Dat viel dus mee – of tegen. Bepaalde hersengebieden spelen inderdaad een rol bij de beslissing om een portie lekker maar ongezond eten toch maar te laten staan, bleek uit een herhaling van eerder onderzoek. Maar dat het bij zulke zelfbeheersing vooral gaat om de ‘dorsolaterale prefontale cortex’ (DLPFC), dáárvoor werd geen sterk bewijs gevonden. Het oorspronkelijke onderzoek dat dit verband wel legde, in het gezaghebbende tijdschrift Science, bleek niet repliceerbaar. Om zo’n verband alsnog te bewijzen zou veel meer studie nodig zijn.
Je zou zeggen: een waardevolle kanttekening bij hersenonderzoek dat typisch de krant haalt, omdat het gaat over alledaagse menselijke beslissingen en gedrag. Jammer genoeg werd het nauwelijks opgemerkt, zegt de Tilburgse gedragswetenschapper Nynke van der Laan, die het replicatieonderzoek uitvoerde. „Het is twee keer geciteerd”, aldus Van der Laan, „waarbij niet eens naar de non-replicatie is verwezen.” Het oorspronkelijke artikel haalde inmiddels ongestoord zo’n 250 citaties.
Dat ziet ook onderwijsonderzoeker Nienke Smit. Zij probeerde aan de Universiteit Utrecht een roemruchte studie uit de jaren zeventig te herhalen naar de effectiviteit van hulp op maat voor jonge kinderen. Opnieuw werd het sterke effect uit het oorspronkelijke onderzoek niet gevonden. Smits bevindingen moeten nog verschijnen, maar afgaande op eerdere ervaringen is ook zij sceptisch over de impact die het zal hebben. Frustrerend, want „je stopt er veel tijd en geld in, maar hoe zorg je ervoor dat het resultaat niet weer onder in een la verdwijnt?”
Smit en Van der Laan, beiden „replicatieonderzoekers”, maken zich zorgen over de geringe aandacht voor replicatie- of herhaalonderzoek in de wetenschap en in het publieke debat. Met elf andere wetenschappers uit verschillende disciplines verwoordden ze hun zorgen afgelopen juni in een lange hartekreet op de nieuwssite Science Guide. Niet alleen zijn replicatiestudies „schaars”, schreven ze, ten minste zo zorgelijk is hun geringe effect. Herhaalonderzoek verschijnt doorgaans in tijdschriften met een geringer bereik en autoriteit en wordt veel minder geciteerd. Dat betekent dat non-replicatie geen remmend effect heeft op de verspreiding van betwist onderzoek – slecht voor het zelfcorrigerend vermogen van de wetenschap.
Tien jaar na de ‘crisis’ is van meer animo voor replicatie-onderzoek nog weinig te merken
Hun onderzoek hoort bij het antwoord op de veelbesproken ‘replicatiecrisis’ die ongeveer tien jaar geleden uitbrak in met name de psychologie en sociale wetenschappen. Na aanwijzingen dat sommige publicaties rammelden of zelfs berustten op gesjoemel – zoals onderzoek van de Nederlandse sociaal psycholoog Diederik Stapel – stak brede twijfel op over de deugdelijkheid van onderzoek in die disciplines. Een grootscheeps Reproducibility Project om gepubliceerde artikelen te toetsen kwam in 2011 tot schrikbarende bevindingen: minder dan de helft van honderd onderzochte artikelen uit één jaar bleek bij replicatie even significante resultaten op te leveren. Het leidde – ondanks relativerende kritiek dat de alarmerende term crisis overdreven was – tot internationaal rumoer. De Nederlandse onderzoeksfinancier NWO lanceerde een drietal pilotprojecten voor meer replicatieonderzoek, waaronder dat van Van der Laan en Smit.
Lees ook
Verkeerd begrip van statistiek leidt tot foute wetenschap. De p-waarde is dood. Leve de e-waarde!
De mogelijkheid om onderzoek te herhalen geldt als een hoeksteen van wetenschappelijke betrouwbaarheid: dezelfde methode moet, met dezelfde of een vergelijkbare onderzoeksgroep, als het goed is leiden tot dezelfde uitkomsten. Dat kan op een aantal manieren. In ‘directe replicatie’ wordt het oorspronkelijke onderzoek in alle opzichten zo nauwgezet mogelijk herhaald. Een variant is ‘approximatieve’ replicatie (bij benadering), waarin een onderzoek opnieuw wordt gedaan met dezelfde procedure maar een aangepaste vraagstelling, variabelen of onderzoeksgroep. En ten slotte is er ‘conceptuele’ replicatie, de meest theoretische versie, die het idee of de hypothese achter het oorspronkelijke onderzoek onder de loep legt.
Hoe opmerkelijker het onderzoek is, hoe lager de eisen van beoordelaars weleens zouden kunnen zijn
Maar wat heeft de schrik om de crisis tot nu toe opgeleverd?
Replicatieonderzoek gebeurt nog altijd maar weinig, zeggen Van der Laan en Smit, mede op basis van internationale studies. Een terugblik op replicatieonderzoek in de onderwijskunde leverde bijvoorbeeld al in 2014 een ontnuchterend resultaat op. Dat vond een zeer lage reproductiegraad bij alle onderzochte artikelen over een periode van tien jaar (gemiddeld 0,20 procent per jaar). Een (approximatieve) replicatie van dat onderzoek bevestigde drie jaar geleden de lage uitkomsten. Waar replicatie wél gebeurt, blijft het veelal onder de radar. Een Amerikaanse evaluatie wees uit dat psychologisch en economisch onderzoek dat niet repliceerbaar bleek, opvallend genoeg juist vaker wordt geciteerd dan onderzoek dat wel succesvol is herhaald. Als mogelijke verklaring wordt gewezen op de hogere attentiewaarde van zulk onderzoek: hoe opmerkelijker het onderzoek is, hoe lager de eisen van beoordelaars weleens zouden kunnen zijn. Dat zou in elk geval het succes helpen verklaren van aansprekende, Diederik Stapel-achtige onderzoeken die ook in de media breed worden uitgemeten.
Hoe kan het beter? De opstellers van het opiniestuk in Science Guide doen een oproep aan universiteiten, onderzoeksinstituten en uitgevers van wetenschappelijke tijdschriften om meer werk te maken van replicatieonderzoek. Niet alleen met geld, ook met erkenning en waardering. Er is „anekdotisch bewijs”, schrijven Van der Laan en Smit, dat herhaalonderzoek bij vaktijdschriften stuit op „weerstand” van redacteuren en beoordelaars. Smit zegt: „Je moet je best vaak verdedigen als replicatieonderzoeker: waarom is het nuttig wat jij doet?” Maar juist voor gedegen kennisvorming en voortschrijdend inzicht is replicatie onontbeerlijk, benadrukt ze. „Elke wetenschapper zou een keer replicatieonderzoek moeten doen, het hoort in hun standaard toolkit. Het lijkt misschien makkelijk, nog eens doen wat anderen eerder deden, maar het is veel ingewikkelder dan dat. De kwaliteitseisen zijn heel hoog.”
Wetenschappers zien replicatie van hun onderzoek nog te vaak als „een vijandige daad”, schreven ook twee bestuurders van het Amerikaanse Center for Open Science al eens in Nature. Touwtrekken om onwelkome resultaten leidt snel tot onmin en een chagrijnige patstelling. De bestuurders deden een concreet voorstel: auteurs van een gepubliceerd onderzoek én replicatieonderzoekers zouden tevoren overeenstemming moeten bereiken over de methode van een komende replicatie en die ook openbaar moeten vastleggen. Zulke ‘preregistratie’ kan ruzie en eventuele bijstelling achteraf voorkomen, dat zou al helpen. Ook bij het intrekken van omstreden artikelen schiet verantwoording tekort, zeggen Van der Laan en Smit. Een inventarisatie van 441 ingetrokken artikelen in gezondheidsstudies (1980-2023) wees uit dat maar bij 5 procent ervan op alle platforms vermeld stond dát het artikel was ingetrokken. Ook daarbij weer geen aandacht voor de vraag of het onderzoek al dan niet was gerepliceerd.
‘Unieke’ objecten
Ook buiten de psychologie en aanverwante disciplines is winst te behalen met replicatieonderzoek, meent theoloog Rik Peels van de Vrije Universiteit Amsterdam, ook een van de ondertekenaars van de oproep in Science Guide. Het is volgens Peels een misverstand dat replicatie niet mogelijk en nuttig zou zijn in de geesteswetenschappen omdat die ‘unieke’ objecten onderzoeken (een roman, een historische gebeurtenis) of een methode volgen die meer ruimte voor interpretatie laat (zoals filosofie, geschiedenis of literatuurwetenschap). Met een collega verdedigde Peels in 2018, toen het NWO-pilotprogramma van start was gegaan, de mogelijkheid én wenselijkheid van replicatieonderzoek in de geesteswetenschappen. Systematische theologie leent zich er misschien niet voor, zegt hij, maar je kunt heel goed nagaan of bijvoorbeeld onderzoek naar Egyptische hiëroglyfen of schildertechnieken uit de zeventiende eeuw zich laat herhalen. „Ook in die disciplines vergroot replicatie de betrouwbaarheid van de resultaten en geeft het inzicht in de destijds gevolgde methode.”
Lees ook
Waarom geloven mensen sommige uitzinnigheden? ‘Extremisten zijn niet a priori irrationeel’
Dat is ook de opzet van – bijna afgerond maar nog te publiceren – kunsthistorisch replicatieonderzoek van een promovenda van Peels. Kunsthistorica Charlotte Rulkens buigt zich over de toeschrijving van twee versies van een portret van Rembrandt, een in Den Haag en het andere in Neurenberg. Lang werd gedacht dat de versie in het Haagse Mauritshuis door Rembrandt zelf was geschilderd en die in Neurenberg een studiokopie. Totdat onderzoek met geavanceerde technieken in de jaren negentig de toeschrijving omdraaide: nu werd het portret in Neurenberg aangemerkt als eigenhandige Rembrandt en dat in Den Haag als de kopie. Rulkens wilde dat laatste onderzoek herhalen en dat heeft behoorlijk wat voeten in de aarde. Niet alleen zijn er inmiddels weer nieuwe onderzoekstechnieken bijgekomen, ook stelde ze een nieuwe expertgroep van Rembrandt-kenners samen. Van de oude expertgroep is een deelnemer overleden, twee van hen kon Rulkens nog interviewen. Ze hoopt dat de replicatie nieuw licht werpt op de toeschrijvingscasus én op de mogelijkheden – en grenzen – van replicatieonderzoek in de geesteswetenschappen.
Budget van vijf miljoen
Natuurlijk gaat het niet alleen om aandacht en erkenning, ook om geld. Momenteel stelt NWO, laat een woordvoerder weten, een budget van vijf miljoen ter beschikking voor nieuwe replicatiestudies, als vervolg op het eerdere pilotproject, dat drie tranches kende. Bedoeling is het nieuwe budget open te stellen voor alle wetenschapsgebieden. Al is het de vraag, waarschuwt de woordvoerder, of dat overeind kan blijven nu het kabinet forse bezuinigingen heeft aangekondigd op het Fonds voor Onderzoek en Wetenschap.
Natuurlijk gaat het niet alleen om aandacht en erkenning, ook om geld
Van der Laan, Smit en hun medeondertekenaars wijzen op de rol van alle betrokkenen: onderzoeksinstituten, universiteiten en uitgevers. Replicatieonderzoek, vinden zij, moet niet alleen vaker worden gedaan en beter worden gewaardeerd, maar ook ingebed worden in de academische wereld, van personeelsbeleid tot wetenschapscommunicatie.
Dat zou een cultuurverandering vergen zodat replicatieonderzoekers, aldus het stuk in Science Guide, „niet langer worden beschouwd als eenvoudige arbeiders die geen nieuwe kennis voortbrengen”. Smit: „Nu hebben we elkaar landelijk opgezocht. Je hebt als replicatieonderzoeker behoefte aan support.”
