Wetenschappers zijn verdeeld over hoe taalmodellen zoals ChatGPT ingezet mogen worden bij het schrijven en beoordelen van wetenschappelijke publicaties. Dat blijkt uit een enquête van het tijdschrift Nature onder ruim 5.000 wetenschappers. Vooral inzet van AI voor inhoudelijke schrijftaken ligt gevoelig. Hulp bij vertalen of redigeren vindt het overgrote deel van de respondenten wel acceptabel. Slechts een klein deel van de respondenten gebruikt AI daadwerkelijk bij het schrijven. Eventueel AI-gebruik wordt liever niet vermeld.
De wetenschappelijke ‘papiermolen’ is een belangrijke pijler van de wetenschap. Onderzoekers publiceren artikelen over hun onderzoek in tijdschriften en voorafgaand aan de publicatie houden andere onderzoekers in een zogeheten peerreview de inhoud tegen het licht en leveren zo nodig kritiek. Invloed en prestige van een wetenschapper hangen sterk samen met de hoeveelheid publicaties op diens naam.
De hoge publicatiedruk maakt tijdwinst door een taalmodel te gebruiken verleidelijk. Uit analyses van onder meer woordkeuze in papers en peerreviews blijkt dat tekenen van chatbotgebruik volop aanwezig zijn. Maar van taalmodellen zoals ChatGPT is bekend dat ze regelmatig onzin produceren en dat ze vooringenomenheid in de hand kunnen werken. Het omarmen van AI werpt dan ook vragen op over betrouwbaarheid en ethiek.
Schrijven of redigeren
Om bloot te leggen hoe wetenschappers over die ethiek denken legde Nature scenario’s voor waarin de fictieve academicus dr. Bloggs AI gebruikt. Bloggs vroeg aan een chatbot om een eerste versie van een paper te schrijven, om te redigeren, om een vertaling te maken en om een peerreview schrijven. Bloggs maakte het AI-gebruik niet kenbaar. Aan de (anonieme) respondenten werd per scenario gevraagd of ze het gebruik acceptabel vonden en of ze dit zelf weleens gedaan hadden of dit zouden willen doen.
Meer dan 90 procent gaf aan gebruik van AI acceptabel te vinden voor het redigeren of vertalen van teksten. Over het genereren van grote delen van de tekst zijn de meningen meer verdeeld: 65 procent vindt het acceptabel, 35 procent niet. De samenvatting boven aan het artikel door AI laten schrijven vindt twee derde van de respondenten prima, maar inhoudelijke stukken zoals onderzoeksresultaten en de conclusie laten schrijven door AI vindt twee derde juist niet acceptabel.
Een klein deel van de respondenten zegt AI daadwerkelijk te gebruiken bij het schrijven van papers. Bijna een derde gebruikt het om te redigeren, en ruim 40 procent zou dit wel willen. Een eerste versie laten schrijven deed 8 procent van de respondenten, 30 procent zou dit wel willen.
Dan het schrijven van peerreviews, een taak die onderzoekers onbezoldigd uitvoeren en die soms veel tijd kost. Ruim de helft van de respondenten vindt het niet acceptabel om AI te vragen een eerste aanzet voor de peerreview te maken. Toch deed 4 procent van de respondenten dit al, en zegt 18 procent dit wel te willen.
Relatief jong
Niet verrassend staan de respondenten die AI gebruiken welwillender tegenover AI dan niet-gebruikers. Promovendi en wetenschappers vroeg in hun carrière, vaak relatief jong, vinden AI-gebruik vele malen acceptabeler dan onderzoekers die al lang in het vak zitten. Daarentegen bleken de regionale verschillen klein.
Veel uitgevers hebben in hun voorwaarden staan dat ‘substantieel gebruik’ van AI vermeld zou moeten worden in de paper. Als het alleen om redigeren gaat vindt 35 procent dit niet nodig, 55 procent wel maar ze verschillen in de mate waarin. Ook als AI grote delen heeft geschreven vindt 13 procent vermelden niet nodig. „Kenbaar maken van AI-gebruik is niet nodig als het breed omarmd wordt, zoals je ook niet aangeeft dat je een rekenmachine hebt gebruikt”, schrijft een van de respondenten als commentaar.
Dat er totaal verschillend tegen AI-gebruik aangekeken wordt blijkt uit andere commentaren. De woorden valsspelen, fraude en plagiaat komen langs, schrijft Nature. Ook dubben respondenten over verantwoordelijkheid, privacy en vertrouwen in een wereld met AI. En ander werpt op dat AI vooral nog ondermaats werk levert, zoals foutieve citaten en inaccurate weergaven. De resultaten van de Nature-enquête sluiten aan op resultaten van een eerdere enquête van uitgever Wiley.
