Peerreviewer die zich herhaalt wekt argwaan

Peerreview – toetsing van een artikel door deskundige collega’s vóór publicatie – klinkt als het beste kwaliteitsbewijs, een onkreukbaar keurmerk. De wetenschapsredactie van NRC schrijft in de regel dan ook niet over onderzoek dat die toets nog niet heeft doorstaan.

Maar is het keurmerk wel zo onkreukbaar of keihard?

Een onderzoeker van de universiteit van Sevilla ging het na en stuitte bij 263 artikelen in 37 tijdschriften op toch wel heel veel identieke formuleringen. Zoals: „De auteur dient meer wetenschappelijke resultaten weer te geven”, of: „Het nieuwe karakter van het werk moet worden besproken zowel in de samenvatting als in de inleiding.”

Bij één peerreviewer vond ze dubbelingen in 56 van zijn beoordelingen.

De Spaanse onderzoeker, Maria Angeles Oviedo-Garcia, publiceerde haar bevindingen vorige maand in het (peerreviewed) tijdschrift Scientometrics, dat zich richt op kwantitatieve aspecten van het wetenschapsbedrijf.

De artikelen komen van de Zwitserse open access-uitgever MDPI, die 450 tijdschriften publiceert (441 met peerreview, negen met verslagen van conferenties). De uitgever plaatst, met toestemming van de auteur, besprekingen van peers naast of bij het artikel.

MDPI heeft laten weten de zaak te zullen onderzoeken. Een eerste inventarisatie leverde al 32 artikelen op die opnieuw bekeken dienen te worden.

Vast template

Oviedo-Garcia vermoedt dat peerreviewers bij wie zij veel dubbelingen in hun besprekingen vond, zich bedienden van een vast template voor meerdere artikelen om hun werk sneller te kunnen doen – wat vragen oproept over de kwaliteit of grondigheid van de review.

Voor wetenschappers kan bespreken van het werk van een vakgenoot professionele voordelen hebben: peerreview-werk telt mee in hun beoordelingen. Uitgever MDPI geeft een peerreviewer bovendien korting op tarieven voor toekomstige eigen artikelen, wat volgens Oviedo-Garva ook een perverse prikkel kan opleveren om in hoog tempo meerdere te schrijven.

Het probleem van haastige besprekingen is niet nieuw. In 2022 kwam Sage Publishing al tot de conclusie dat bij ongeveer 1 procent van 67.000 gepubliceerde artikelen de vakbesprekingen identieke passages bevatten. Volgens de onderzoeker – nu werkzaam bij een bedrijf voor antifraudesoftware – een duidelijke onderschatting.

Uit eerder onderzoek bleek dat auteurs soms fictieve reviewers aandragen, om hun eigen werk te bespreken.

Niet alles hoeft bedrog te zijn. In tientallen besprekingen zullen soms herhalingen sluipen. De peerreviewer bij wie Oviedo-Garcia in 56 recensies dubbelingen vond, houdt in Science staande dat er niks mis is met zijn werk. „Er zullen best wat standaardzinnetjes of opmerkingen in sommige besprekingen voorkomen”, aldus de betrokken bespreker, een ingenieur van de universiteit van Queensland, „maar dat betekent niet dat ik er onvoldoende moeite of zorg in heb gestoken.” Geen van de door hem besproken artikelen is door MDPI teruggetrokken.