Wetenschappelijke uitgevers zoeken naar een slim algoritme dat de stijl van ChatGPT herkent

Als je nog een introductie nodig hebt voor een wetenschappelijk artikel kan je die zo laten schrijven door de chatbot en tekstgenerator ChatGPT. ChatGPT kan zelfs op basis van een verzameling gegevens een eigen onderzoeksvraag verzinnen en een heel wetenschappelijk artikel schrijven.

Hoe kunnen uitgevers van wetenschappelijke tijdschriften nu nog zien welke artikelen door mensen zijn geschreven en welke door een computer? Dit is een vraag die heerst sinds de lancering van ChatGPT vorig jaar.

Begin dit jaar hebben Nature en Science in hun richtlijnen opgenomen dat ChatGPT door auteurs niet als coauteur mag worden vermeld. Nature stond vanaf het begin al wel toe dat onderzoekers ChatGPT als hulp bij het schrijven gebruikten, als dit maar werd aangegeven. Het tijdschrift Science had eerder elk gebruik van ChatGPT verboden, maar deze week heeft het ook in de richtlijnen opgenomen dat ChatGPT wel kan worden gebruikt, als maar wordt aangegeven waarvoor.

Stiekem doen

Jelle Zuidema, universitair hoofddocent kunstmatige intelligentie aan de Universiteit van Amsterdam, begrijpt deze regels: „Op deze manier hopen tijdschriften te voorkomen dat onderzoekers het stiekem gaan doen en is het beter te controleren.”

Zuidema heeft het idee dat ChatGPT al massaal wordt gebruikt binnen de wetenschap om artikelen te verfijnen of korte stukken tekst te schrijven. „Ik heb het zelf nog niet gedaan, maar het is wel begrijpelijk dat onderzoekers het doen, want er is een publicatiedruk en aan het opschrijven van je resultaten ben je vaak een groot deel van je tijd kwijt.”

Het wordt een probleem als ChatGPT niet alleen gebruikt wordt om een artikel bij te schaven, maar ook om hele artikelen van begin tot eind op te bouwen.

Gekke uitdrukkingen

Ondanks het peerreviewproces waarbij andere onderzoekers een artikel controleren voordat het wordt gepubliceerd, komen er toch soms artikelen doorheen die duidelijk door ChatGPT geschreven zijn. Zo zijn er meerdere artikelen gevonden waar in de tekst ineens gekke uitdrukkingen te vinden zijn zoals ‘regenerate response’ of ‘As an AI language model, I…’ die duidelijk aangeven dat de tekst door AI is gemaakt.

Om te voorkomen dat artikelen geschreven door ChatGPT aan de aandacht kunnen ontsnappen, zoeken uitgevers naar een slim algoritme dat de stijl van ChatGPT herkent. Nature schreef vorige week over een nieuw model dat is ontwikkeld door scheikundigen en met hogere nauwkeurigheid dan bestaande detectoren kan herkennen of een scheikundig artikel door ChatGPT is geschreven. Dit is nog een vrij simpel model en Zuidema verwacht dat het in de praktijk een lagere nauwkeurigheid zal hebben. „Mensen zullen altijd manieren proberen te vinden om detectors te misleiden, bijvoorbeeld door ChatGPT te vertellen dat ze een bepaalde schrijfstijl moeten gebruiken.”

Volgens Zuidema is het voor de lange termijn een beter idee om ChatGPT te verplichten om een watermerk in te bouwen in de teksten dat detectoren kunnen herkennen, bijvoorbeeld in de vorm van een patroon van synoniemen in de tekst.