Hoe gaat het klimaat de komende tijd veranderen? Was de boostercampagne effectief om de weerstand tegen corona op te peppen? Wanneer kun je een patiënt veilig ontslaan uit het ziekenhuis? Wat gebeurt er als de energieprijzen laag worden gehouden?
Het zijn allemaal vragen waar een causale vraag aan ten grondslag ligt. Joris Mooij, hoogleraar mathematische statistiek aan de Universiteit van Amsterdam, onderzoekt hoe we op basis van data causale verbanden kunnen vinden. Nu is daar eigenlijk nog geen goede manier voor. Met zo’n methode zou ook AI naar causaliteit kunnen zoeken, terwijl dat nu nog niet mogelijk is.
Waarin bestaande statistiek en algoritmes wel goed zijn, is het vinden van correlaties. In data kan bijvoorbeeld een correlatie te zien zijn tussen drugsgebruik en psychiatrische stoornissen: mensen die meer drugs gebruiken hebben vaker een psychiatrische stoornis.
Maar dat betekent niet dat het drugsgebruik ook de psychiatrische stoornis veroorzaakt. Het kan ook andersom zijn: door een slecht mentaal welzijn hebben mensen eerder behoefte aan de verdoving van drugs. Mooij: „Een associatie vinden in data is heel rechttoe-rechtaan. Maar causaliteit is lastiger.”
Op dit moment is de enige manier om binnen de wetenschap echt een causale vraag te beantwoorden, het uitvoeren van randomized controlled trials (RCT’s). „Dit soort onderzoek is al in 1648 bedacht, maar het is nog steeds de gouden standaard om causale voorspellingen te doen.”
Bij een randomized controlled trial verdelen onderzoekers wat ze willen onderzoeken, bijvoorbeeld mensen, zo willekeurig mogelijk in twee groepen en brengen ze bij de ene groep een verandering aan. Dan kijken ze of dit een gevolg heeft voor die groep en niet voor de andere, de controlegroep.
Om bijvoorbeeld te onderzoeken of het boostervaccin goed werkt zouden artsen aan één groep mensen het vaccin kunnen geven en aan de andere groep niet, en dan kijken of de ene groep vaker in het ziekenhuis belandt. In dit geval zou er reden zijn om aan te nemen dat het echt door het boostervaccin komt dat mensen minder snel ernstig ziek worden.
Om ethische of praktische redenen is het alleen vaak niet mogelijk om dit soort onderzoek te doen. Het RIVM kan wel achteraf data bekijken en hier kansberekening op loslaten. Als ze zouden vinden dat mensen met een booster minder vaak of minder ernstig ziek werden door corona, zouden ze kunnen denken dat het vaccin inderdaad goed heeft gewerkt.
Maar dit is waar mensen volgens Mooij dus vaak te snel geneigd zijn om causale conclusies te trekken, waar dit eigenlijk nog niet kan. Het kan in dit geval bijvoorbeeld ook zijn dat mensen die een booster nemen, zelf sowieso al voorzichtiger zijn en daardoor minder snel ziek worden. Dat het niet door de booster komt. „Je ziet dus heel vaak dat het misgaat, ook in de krantenkoppen bijvoorbeeld, dan is er misschien een correlatie aangetoond maar dan interpreteer je het zelf vaak snel als een causaal verband.”
Wanneer kunnen we dan echt van een causaal verband spreken?
„Oeh, een definitie geven van causaliteit is echt lastig. Daar breken filosofen en wetenschappers zich al eeuwen het hoofd over. Het is een beetje als wanneer je een definitie wilt geven van andere fundamentele concepten, zoals tijd of ruimte.
„Als je me toch vraagt om een zo goed mogelijke definitie te geven, dan zou je kunnen zeggen dat A een oorzaak is van B als een verstoring van buitenaf die de waarde van A verandert, ook de waarde van B verandert of tot een verhoogde kans leidt dat de waarde van B verandert.
„Een preciezere definitie geven is ontzettend moeilijk. Maar wat we wel kunnen doen is wiskundige objecten bestuderen die een goed model vormen van causaliteit. Wiskundige definities kunnen dus misschien dat concept goed vangen.”
Waarom denkt u dat er nog niet eerder wiskundige methodes zijn ontwikkeld om causale verbanden te vinden?
„Lange tijd bestond er bij statistiek het idee dat causaliteit daar niet bij hoorde. Pearson, een van de grondleggers van de statistiek, heeft er altijd heel erg op gehamerd dat je met statistiek echt alleen moet proberen om correlaties aan te tonen. De stap naar causaliteit was nog niet zo duidelijk en dat liet men liever over aan domeinexperts.
:format(webp)/s3/static.nrc.nl/wp-content/uploads/2024/01/30132321/web-0302WET_JorisMooij.jpg)
„Het is nu nog steeds geen standaard onderdeel van de statistiek. Het is bijvoorbeeld nog niet inbegrepen bij het introductievak statistiek dat wiskundestudenten krijgen. Wat mij betreft hoort causaliteit er wel echt bij, want het gaat ook over het interpreteren van data met behulp van kansrekening.
„Bij AI en informatica is causaliteit ook nog vrij nieuw. Toen ik tien jaar geleden begon en voorstelde om een vak te geven over causaliteit bij informatica werd dat nog direct weggewuifd. En nu hebben ze geloof ik drie vakken over causaliteit. Het is ook pas vrij recent binnen de machine learning-gemeenschap duidelijk geworden dat causale vragen heel belangrijk zijn.”
Waarom is causaliteit daarvoor relevant?
„Machine learning is de aanpak die de laatste tien jaar dominant is geworden binnen AI. Maar in principe is het ook gewoon een vorm van statistiek. Machine learning-algoritmes gaan op zoek naar patronen in data. Je kunt bijvoorbeeld een algoritme ontwikkelen dat voorspelt wat voor weer het morgen wordt op basis van het weer van de afgelopen week. Dat is dan getraind op hoe het weer in het verleden is geweest. Maar het zal geen echte causale voorspelling doen.
„Causal AI is inmiddels een hype geworden. Machine learning wordt steeds meer toegepast, en er is ook steeds meer data beschikbaar. Nu komen we erachter dat voor sommige vragen de standaard machine learning eigenlijk niet zo goed werkt. Als een algoritme bijvoorbeeld wordt getraind in één setting en gebruikt in een andere, kan het helemaal misgaan. Als er bijvoorbeeld een keer een week is met gek weer dat het algoritme nooit eerder heeft gezien, kan het een foute voorspelling doen.”
Het weer een keer fout voorspellen is nog niet zo’n ramp. Kan het echt grote gevolgen hebben?
„Ja, een ontwikkeling waar ik huiverig voor ben is dat er steeds meer beslissingen worden uitbesteed aan algoritmes. Kom je in aanmerking voor een lening? Is er aanleiding om te denken dat je fraude pleegt of een crimineel bent? Kan je al worden ontslagen uit de intensive care of is het beter om nog even te blijven liggen?
„Een algoritme dat beslist of een patiënt uit de intensive care kan worden ontslagen kan bijvoorbeeld worden getraind op bestaande data over patiënten die door artsen zijn ontslagen. Het probleem is dat wanneer de artsen goed hun werk hebben gedaan, dit algoritme bijna geen voorbeelden te zien krijgt van gevallen waarin het fout gaat. Omdat het algoritme alleen naar correlaties kijkt, kan het hierdoor heel basale fouten maken.
„Als je een algoritme wilt trainen om beslissingen te nemen krijg je altijd vertekeningen in de data. Het mooie is dat we met causale methodes kunnen corrigeren voor dat soort vertekeningen.”
Hoe werkt zo’n causale methode?
„Ik ben nu een paper aan het schrijven over een methode waarmee we kunnen aantonen dat er geen duidelijk bewijs van discriminatie was bij een bekende dataset uit 1973 van het University College Berkeley in Californië. Uit die data bleek dat er een correlatie was tussen gender en de kans dat je werd toegelaten voor een opleiding. Voor vrouwen was de kans lager dan voor mannen.
„Om te kijken of er echt sprake is van een causaal verband tussen gender en toelatingskans, kan je kijken naar de hypothetische verklaringen die er zijn voor de data. Eén verklaring is dat de toelatingscommissie echt een voorkeur had voor mannelijke studenten. Maar een andere verklaring is bijvoorbeeld dat er een tussenliggende variabele is waar gender invloed op heeft en waardoor de kans kleiner is dat studenten worden aangenomen.
„In dit geval kan het tweede scenario de data verklaren. En er bleek inderdaad ook een tussenliggende oorzaak te zijn, namelijk het departement waar studenten zich voor aanmelden. Doordat vrouwen zich vaker aanmeldden voor studies zoals geesteswetenschappen, waar het in Berkeley moeilijker was om aangenomen te worden, hadden ze een kleinere kans om aangenomen te worden. Maar gender is dan dus niet de directe oorzaak.”
Kan zo’n methode echt met zekerheid causale verbanden vinden in data?
„Wat we bij het Berkeley-voorbeeld met zekerheid kunnen zeggen is dat er binnen de data geen bewijs is voor discriminatie. Er kan nog steeds wel sprake zijn van discriminatie, maar uit deze data blijkt dat niet.
„In het algemeen is een van de lastige dingen in dit vakgebied dat het vaak moeilijk is om te bewijzen dat zo’n wiskundige causale methode werkt. Want vaak weten we ook niet met zekerheid wat de causale relaties precies zijn. De enige manier om erachter te komen dat een causale voorspelling klopt is als je ook zelf verandering kan aanbrengen om te testen wat de gevolgen zijn van zo’n verandering. We hebben maar één Berkeley in de jaren 70, daar is nu niets meer aan te veranderen.
„Een andere causale methode heb ik wel kunnen verifiëren met data van een onderzoek naar gistcellen. In Utrecht hebben wetenschappers onderzocht hoe verschillende genen in die cellen invloed op elkaar hebben. Vijf jaar lang hebben robots daar allerlei experimenten op die cellen uitgevoerd. Wij hebben toen met een deel van de data voorspeld dat een bepaald gen effect had op een ander gen. En toen hebben we met de data die later waren verzameld, nadat de onderzoekers iets hadden veranderd, de voorspelling kunnen verifiëren.
„Maar zo’n onderzoek kost miljoenen. Het is heel moeilijk om meer van dit soort datasets te vinden. Ik ben nu een samenwerking aangegaan met Booking.com waar ze willen bekijken wat bijvoorbeeld het effect is van het bovenaan zetten van bepaalde advertenties, . Dit kan ik dan gebruiken om mijn causale methodes te testen.”
Hoe kan zo’n causale methode in de praktijk worden toegepast?
„We hebben nu nog geen algoritme ontwikkeld dat zelf deze methode kan toepassen. Het is nu nog een kwestie van mensenwerk. Maar in principe willen we zulke algoritmes wel maken. Zo kunnen we dan machine learning-technieken verbeteren, doordat ze zelf verschillende hypothetische causale scenario’s kunnen bedenken, testen met de data, en zo zoeken naar causale verbanden.
„In principe is een groot deel van de vragen in de wetenschap, maar ook in de maatschappij, causaal. Maar deze vorm van machine learning die naar causale verbanden zoekt zal denk ik vooral geschikt zijn voor vragen binnen bijvoorbeeld de biologie en de economie. Bij biologie heb je heel complexe causale systemen, zoals de genen van die gistcellen.
„De causale verbanden tussen die gistcellen onderzoeken zonder machine learning is gewoon niet te doen. Dan moet iemand zelf 25 miljoen genenparen gaan bekijken. Het is echt zoeken naar een speld in een hooiberg.”
