N.B. Het kan zijn dat elementen ontbreken aan deze printversie.
Onderzoek Na kritiek dat het rapport met schokkende conclusies over Holocaust-ontkenning in Nederland zou rammelen, reageert de Amerikaanse onderzoeker. „De steekproef is voldoende representatief.” Maar twijfels over de methode blijven bestaan.
:format(webp)/s3/static.nrc.nl/images/gn4/stripped/data96111076-8aa565.jpg)
Foto AP/Markus Schreiber
Het Amerikaanse onderzoek naar Holocaustbewustzijn in Nederland leverde woensdagochtend schokkende nieuwsberichten over het groeiende gebrek aan kennis in Nederland over de donkerste periode uit de twintigste eeuw. Bijna een kwart van de mensen onder de veertig noemt de massamoord op joden in de Tweede Wereldoorlog volgens het onderzoek een „mythe” (6 procent) of vindt dat het aantal slachtoffers „overdreven” wordt (17 procent). Nergens in de zes eerder onderzochte landen was deze antisemitische verdwazing zo hoog.
De zorg over groeiend antisemitisme, dat zich geregeld manifesteert door het bagatelliseren van de Holocaust, kreeg zo een nieuwe dimensie. Maar de aanvankelijke schok maakte in de loop van woensdag plaats voor serieuze kanttekeningen bij het onderzoek. Met name op aansporing van adjunct-hoogleraar statistiek Casper Albers (Rijksuniversiteit Groningen) hielden veel media al snel een slag om de arm. Hij deelde op Twitter enkele „rode vlaggen” die tot scepsis rond dit onderzoek zouden moeten leiden. Het rapport werd vervolgens een „rammelrapport” genoemd (Nieuwsuur-journalist Eelco Bosch van Rosenthal op Twitter) en ook de Volkskrant kopte dat het Holocaustonderzoek „aan alle kanten” rammelde.
Oppassen
De opdrachtgever voor het onderzoek is de Joodse belangenorganisatie Claims Conference, die zich sinds 1951 inzet voor (de nazaten van) onteigende Holocaust-slachtoffers en inmiddels ook tot doel heeft het kennispeil over de genocide voor toekomstige generaties te bewaken. Volgens Albers „weten we niet wat ze precies hebben gedaan” en in zijn vakgebied betekent dit: oppassen. Albers: „Ze maken onvoldoende duidelijk hoe het onderzoek is uitgevoerd, waardoor je niet goed kunt duiden of de bereikte doelgroep wel representatief is. Wat als gevolg kan hebben dat de conclusies uit het rapport misschien wel en misschien ook niet geldig zijn.” Het zóú dus best kunnen dat de situatie in Nederland zo ernstig is als wordt voorgesteld, zegt hij. „Maar het zou ook kunnen dat dat niet zo is. En het probleem is dat we nu niet weten hoe het zit.”
Steekproef
Het betrokken onderzoeksbureau is Schoen Cooperman Research in New York, dat onder meer de Democratische partij strategisch adviseert en research doet voor campagnes. De peiling is uitgevoerd onder mensen die na rekrutering via „duizenden websites” uiteindelijk tot het panel zijn doorgedrongen, stelt Schoen Cooperman. Daarna is in december een steekproef uitgevoerd door het willekeurig bellen en online benaderen van mensen in het panel, op basis van regionale spreiding en leeftijd. De interviews en polls zijn volgens directeur Carly Cooperman in het Nederlands uitgevoerd, wat eventuele problemen in taalbarrière en begripsverwarring zou moeten wegnemen. Ze stelt dat de steekproef „voldoende is in omvang en representativiteit” en ook „overeenkomend op het gebied van geslacht, leeftijd en opleidingsniveau” met een Deloitte-enquête uit 2019 naar driehonderd Nederlandse millennials (grofweg 25-40 jaar oud).
Toch blijft er veel onduidelijk, zegt Sjoerd van Heck van onderzoeksbureau Ipsos. „Als wij een dergelijk onderzoek doen, vermelden we er altijd bij: we hebben een aantal variabelen in acht genomen en we hebben ervoor gezorgd dat de steekproef precies dezelfde verdeling heeft op die variabelen, als de onderzoekspopulatie.” Ook nadat hij via NRC een methodologische uitleg van Schoen Cooperman heeft ontvangen dat, is hem nog niet duidelijk hoe sommige standaardproblemen bij een steekproef, bijvoorbeeld hoe je compenseert voor moeilijk te bereiken doelgroepen, in dit geval zijn opgelost.
Niet representatief
Zou het in Nederland dan helemaal mis zijn gegaan? Professor Casper Albers maakte onder meer een punt van het disproportioneel hoge aantal respondenten van onder de veertig jaar dat zegt ingeschreven te staan aan een universiteit: 34 procent. In werkelijkheid zijn er rond de 320.000 wo-studenten in Nederland, wat minder dan 7 procent is van het aantal 18-39 jarigen in Nederland (5 miljoen). Dat kan dus al niet representatief zijn.
Er blijkt inderdaad iets vreemds aan de hand. ‘University’ staat volgens Cooperman voor alle vormen van vervolgonderwijs waar deelnemers momenteel ingeschreven zijn. Dus MBO, HBO en WO, wat optelt tot ongeveer 1,3 miljoen jonge Nederlanders en ongeveer een kwart van de leeftijdsgroep 18-39. Nog steeds geen 34 procent, maar het komt in de buurt. Cooperman beaamt overigens dat wanneer het aantal respondenten met een hoger opleidingsniveau aan de hoge kant zou zijn, de resultaten des te opvallender zijn.
Toch stelt Albers dat het disproportioneel hoge aantal studenten in de poll maar één punt is. „Bottom line is dat je eigenlijk nog steeds te veel onzekerheid hebt om er iets zinnigs over te kunnen zeggen.”
Onzekerheid
Een onderzoek over de Holocaust-kennis bij jonge mensen in vijftig Amerikaanse staten gaf in 2020 aan dat 3 procent de Holocaust een mythe noemde en 12 procent sprak van overdrijving. De onzekerheidsmarge in de VS was 3 procent. Cooperman laat weten dat voor het Nederlandse onderzoek bij mensen tussen 18-39 (804 respondenten) óók een onzekerheidsmarge van 3 procent moet worden aangehouden. In de studie werd alleen de marge van 2 procent over de hele studie gegeven (2.000 Nederlanders).
Gegeven de onzekerheidsmarges is het betwistbaar om, zoals Claims Conference deed in het persbericht, vast te stellen dat die 12 procent ontkenning (3 procent) en bagatellisering (9 procent) in de hele Nederlandse bevolking het „hoogste” is in de zeven onderzochte landen. In de VS was dat in 2018 bijvoorbeeld respectievelijk 1 procent en 9 procent, mogelijk is dat met de jaren toegenomen.
De onderzoeksmethode is door het online magazine Slate in 2020 beschreven en bekritiseerd, al betrof dit vooral de vraagstelling en begripsverwarring rond thema’s als de Holocaust. Niet vergeten moet worden dat Claims Conference, schreef Slate, „zijn werk doet” en dat is het „genereren van data en krantenkoppen, waarvan het hoopt dat deze haar gerechtvaardigde doel ondersteunen.”
/s3/static.nrc.nl/images/gn4/stripped/data122629589-63eccf.jpg|https://images.nrc.nl/lqbdPgzALwhyOsc2WVwyof9Iy44=/1920x/filters:no_upscale()/s3/static.nrc.nl/images/gn4/stripped/data122629589-63eccf.jpg|https://images.nrc.nl/VYBnNRq7U2ryc-ufxMHoy1EmW9E=/5760x/filters:no_upscale()/s3/static.nrc.nl/images/gn4/stripped/data122629589-63eccf.jpg)
