N.B. Het kan zijn dat elementen ontbreken aan deze printversie.
Medische vragen Een computer is aardiger en preciezer dan een arts van vlees en bloed bij het beantwoorden van vragen op een medisch forum.
:format(webp)/s3/static.nrc.nl/images/gn4/stripped/data99974632-e85686.jpg)
Beeld Getty Images
De antwoorden van ChatGPT op online medische patiëntenvragen zijn van betere kwaliteit dan de antwoorden die artsen van vlees en bloed geven. Dat blijkt uit een Amerikaanse studie waarin zorgmedewerkers de reacties op 195 vragen beoordeelden en punten gaven. De antwoorden van de kunstmatig intelligente bot scoren niet alleen hoger op kwaliteit, maar opmerkelijk genoeg ook op inlevingsvermogen. De resultaten verschenen afgelopen weekend in het vakblad JAMA Internal Medicine.
De onderzoekers gebruikten vragen die patiënten stelden op een forum van het sociale medium Reddit, Ask a Doctor. Op dit gemodereerde forum geven medisch geschoolde vrijwilligers antwoorden. De onderzoekers verzamelden 195 gedetailleerde vragen en antwoorden die in oktober 2022 gesteld waren, en legden die voor aan ChatGPT op 22 en 23 december 2022. Dat programma, een groot taalmodel, werd op 30 november vrijgegeven door OpenAI. De gratis versie die de onderzoekers gebruikten maakt gebruik van GPT-3,5. De premium versie maakt sinds 13 maart van dit jaar gebruik van het nog betere GPT-4.
De artsen waren in hun antwoorden veel botter dan de bot. Ze gebruikten ook minder woorden
De vragen gingen over uiteenlopende onderwerpen – van de gevolgen van een ingeslikte tandenstoker tot vreemde bobbels of bloedingen.
Elke vraag werd met de twee bijbehorende antwoorden aan drie medische professionals voorgelegd. Zij wisten niet welk antwoord van een arts of van de chatbot was – mogelijke aanwijzingen daarvoor waren verwijderd. De beoordelaars gaven aan welk van de twee antwoorden ze beter vonden. En ze gaven scores aan de kwaliteit van de geboden informatie en aan de empathie die eruit sprak – op een schaal van vijf, van heel slecht tot heel goed, en van niet empathisch tot zeer empathisch.
De chatbot scoorde verbluffend veel beter dan de artsen op kwaliteit. Bij 79 procent van de vragen gaven de beoordelaars de voorkeur aan de antwoorden van ChatGPT. Datzelfde percentage van hun antwoorden kreeg de score ‘goed’ of ‘zeer goed’ – bij de dokters was dat slechts 22 procent.
Gemiddeld scoorde de chatbot beter dan ‘goed’, terwijl de dokters gemiddeld ‘acceptabel’ scoorden. Ruim 27 procent van hun antwoorden was zelfs onder de maat, tegen 2,6 procent van de reacties van de chatbot.
Op het vlak van empathie stak de chatbot de artsen zelfs nog meer naar de kroon. De artsen waren veel botter dan de bots: 80 procent van hun antwoorden werd beoordeeld als minder dan ‘een beetje empathisch’, tegen nog geen 15 procent van de bot. Andersom werd 45 procent van de bot-antwoorden ‘empathisch’ of ‘zeer empathisch’ genoemd. Tien keer vaker dan die van de dokters, bij wie dat maar 4,6 procent was.
Langere antwoorden
Een groot verschil was de lengte van de antwoorden: die van de chatbot waren gemiddeld 150 woorden langer dan die van de dokters. Die laatsten gebruikten gemiddeld 50 woorden per antwoord. Artsen hebben nu eenmaal minder tijd dan chatbots.
Langere antwoorden werden hoger gewaardeerd. Maar zelfs als alleen de langere antwoorden met elkaar werden vergeleken, kwamen die van de chatbot beter uit de bus, schrijven de onderzoekers.
De studie laat niet zien hoe een chatbot presteert in de spreekkamer, benadrukken de onderzoekers. Maar wel dat kunstmatig intelligente assistenten wellicht een rol zouden kunnen spelen in de dokterspraktijk. Ze zouden een antwoord kunnen formuleren op een e-mail van een patiënt, dat de dokter dan alleen nog hoeft te controleren.
Uit klinische studies zal moeten blijken of het inzetten van chatbots leidt tot betere behandelingen en minder overbelasting van artsen.
De nieuwe generatie artsen moet zich aanpassen aan een nieuw tijdperk waarin we kunnen verwachten dat taalmodellen zoals ChatGPT worden geïntegreerd met klinische beslissingen, schrijft de Amerikaanse onderzoeker Jonathan Chen, niet bij de studie betrokken, in een begeleidend commentaar. Hij hoopt dat de opkomende kunstmatig intelligente systemen artsen zullen verlossen van administratieve taken, zodat ze helpen om zich weer te kunnen richten op het behandelen van patiënten.
