Zeer voorzichtig omgaan met algoritmes en kunstmatige intelligentie die emoties kunnen herkennen, waarschuwt AP

Gebruik van technologie om menselijke emoties te herkennen werpt ethische vragen op en brengt risico’s met zich mee. Die waarschuwing geeft de Autoriteit Persoonsgegevens (AP) dinsdag in haar jaarlijkse Rapportage AI- & Algoritmerisico’s Nederland.

Bedrijven en andere organisaties gebruiken kunstmatige intelligentie in toenemende mate om menselijke emoties te herkennen. Onder meer om te achterhalen of een klant tevreden is en om winkeldiefstal te voorkomen door verdacht gedrag te detecteren. De AP, toezichthouder op de privacy, ziet echter dat bij emotieherkenning nogal eens omstreden aannames worden gedaan over emoties. Ook bij de meetbaarheid ervan stelt ze vragen.

Emotieherkenningssystemen

Algoritmes en AI-modellen kunnen menselijke emoties detecteren en interpreteren via tekst, audio, video, biometrische gegevens of een combinatie ervan. Denk bijvoorbeeld aan gesprekken met chatbots waarin kan worden beoordeeld of woorden neutraal, positief of negatief zijn. AI-gedreven spraakanalyses die aan de hand van de intonatie, snelheid en toonhoogte kunnen inschatten of iemand bijvoorbeeld gefrustreerd is.

Emotieherkenningssystemen kunnen processen in verschillende sectoren verbeteren en efficiënter maken, zoals klanttevredenheid in de marketing, maar er kleven ook risico’s aan, zegt de AP. Uit haar onderzoek komt naar voren dat deze systemen gebruikmaken van universele emoties. Het uitgangspunt is dat iedereen natuurlijke emoties op dezelfde manier ervaart en uitdrukt.

Dit blijkt in de praktijk echter niet het geval. Emotieherkenningssystemen zijn voornamelijk getraind op basis van westerse opvattingen over emoties, die niet per definitie universeel zijn. In de praktijk zijn emoties vaak moeilijk te analyseren en sterk afhankelijk van de context. AP-voorzitter Aleid Wolfsen waarschuwt daarom voor het gebruik van deze systemen. Emoties kun je „niet altijd een-op-een vertalen”, zegt hij. „Een hoge hartslag is niet altijd een teken van angst, en een harde stem niet altijd een uitdrukking van woede.”

Ethische vraagstuk

Wat ook naar voren komt uit het rapport is dat de privacy in het geding kan komen bij het detecteren, verwerken en analyseren van menselijke emoties. AI-gedreven systemen die emoties herkennen, hebben namelijk toegang nodig tot persoonlijke data als je hartslag en je lichaamshouding. Daarnaast vormt de toenemende verwerking van data van deze gevoelige gegevens naar bijvoorbeeld databases in the cloud een privacyrisico. Dat emotieherkenning voornamelijk gebaseerd is op westerse data op het gebied van emoties kan ook discriminatie in de hand werken, omdat deze systemen getraind zijn op data die niet representatief is voor alle culturen en bevolksingsgroepen.

Volgens Wolfsen is het „een ethisch vraagstuk of je als maatschappij het herkennen van emoties met AI toelaatbaar vindt. Daarvoor is een maatschappelijke en democratische afweging nodig: of je deze systemen wilt gebruiken en zo ja, in welke vorm en waarvoor.”

Praktijkvoorbeelden

In haar rapportage richtte de AP zich dit jaar vooral op emotieherkenningssystemen in de praktijk. Zo onderzocht de toezichthouder het gebruik van emotieherkenning met AI bij het meten van de hartslag in bijvoorbeeld smartwatches en fitnessarmbanden. Daarnaast nam ze enquêtes af bij klantenservices die gesprekken opnamen en analyseerden met taalmodellen die audio van geluidsopnames omzetten in tekst emoties van de betrokkenen. . Uit al deze onderzoeken bleek dat de AI-systemen emoties niet altijd accuraat konden herkennen en dat de uitkomsten van de analyses onbetrouwbaar waren. Zo was niet te achterhalen op basis waarvan een sporthorloge had vastgesteld dat iemand stress ervoer of waarom aan ‘blije’ of ‘boze’ woorden deze specifieke emoties waren toegekend.

In het geval van de enquêtes bij de klantenservices concludeerde de AP dat het voor de bedrijven zelf niet duidelijk was dat de gesprekken ook werden opgenomen voor emotieherkenning. Zij dachten dat dit puur voor trainingsdoeleinden gebeurde, wat een inbreuk van de privacy kan vormen.

Daarom concludeert de AP dat er zeer voorzichtig moet worden omgegaan met het gebruik en toestaan van dit soort toepassingen, om risico’s op discriminatie en inperking van de menselijke autonomie en waardigheid te minimaliseren. Wolfsen: „Emoties raken sterk aan je menselijke autonomie. Als je emoties wilt herkennen, moet dat dan ook zeer zorgvuldig en op basis van betrouwbare technologie gebeuren.” Daar is momenteel volgens Wolfsen nu vaak geen sprake van.

Delen





Mail de redactie