N.B. Het kan zijn dat elementen ontbreken aan deze printversie.
Stemklonen Door AI is het klonen van iemands stem al mogelijk in een paar seconden. Wat doen we als we zelfs de stem van onze geliefden niet meer kunnen vertrouwen?
Jennifer DeStefano heeft net haar auto geparkeerd als haar telefoon gaat. Het is een vrijdagmiddag in januari in Scottsdale, Arizona. Terwijl DeStefano uit de auto stapt kijkt ze op het scherm. Een onbekend nummer. Ze krijgt haar vijftienjarige dochter Briana aan de lijn, die in de bergen ten noorden van Scottsdale traint voor een skiwedstrijd. DeStefano zet haar telefoon op speaker.
„Mam!”, zegt Briana. „Er is iets vreselijks gebeurd!”
„Wat heb je gedaan? Wat is er aan de hand?”
Op dat moment klinkt er een zware mannenstem.
„Ga liggen! Hoofd achterover!”
„Wacht, wacht”, zegt DeStefano. „Wat is er?!”
„Luister. Ik heb je dochter”, zegt de man. Hij eist dat DeStefano direct 50.000 dollar overmaakt. „Anders stop ik je dochter vol drugs en dump ik haar over de grens in Mexico.”
DeStefano zet de speakerfunctie van haar telefoon uit. Ze kijkt in paniek rond over de parkeerplaats en schreeuwt om hulp. Voorbijgangers snellen toe. Een van hen belt alarmnummer 911.
De medewerker vertelt DeStefano dat ze waarschijnlijk het slachtoffer is van een ‘AI-scam’. Iets wat, zo vertelt de medewerker van de alarmcentrale, de laatste tijd vaker voorkomt.
DeStefano is pas gerustgesteld als ze, via de telefoon van een voorbijganger, haar man aan de lijn krijgt, die bij haar dochter is. Ze verbreekt de verbinding met de oplichter. Het geld maakt ze nooit over.
„De stem van mijn dochter klonk zo echt. Het was geen opname. Nee, het was een echt gesprek”, zegt ze in een telefoongesprek met NRC. „Ze huilde zoals mijn dochter zou huilen.”
Stem klonen met een app
Jennifer DeStefano is een van de vele Amerikaanse slachtoffers van voice cloning, de nieuwste vorm van online oplichting. Daarbij bootsen criminelen een stem na met behulp van artificiële intelligentie (AI), om daarna een vriend of familielid met die stem ertoe aan te zetten geld over te maken. Exacte cijfers zijn er niet, maar in de VS neemt het aantal verhalen over slachtoffers van voice cloning snel toe. In Nederland zijn er, zo meldt de politie, nog geen gevallen bekend.
Dat is een kwestie van tijd. Door de snelle ontwikkelingen in AI-technologie wordt het klonen van stemmen snel eenvoudiger en goedkoper. Het Amerikaanse audiobedrijf ElevenLabs – een van de pioniers in deze technologie – claimt slechts een opname van een minuut nodig te hebben om een kloon te maken. Dat kan, sinds vorige week, in achtentwintig talen, inclusief het Nederlands.
Voice cloning kan geweldige toepassingen hebben, beweren de bedrijven die zich hierin specialiseren. Denk aan toeristen die zichzelf overal op vakantie verstaanbaar kunnen maken, met hun eigen stem. ALS-patiënten die weer hun stem kunnen gebruiken. De originele stemmen van historische figuren die kunnen worden gebruikt in games, films of audioboeken.
Maar aan voice cloning kleven ook enorme risico’s. Vrijwel direct na de lancering van de ElevenLabs-app kwam er nepaudio online waarin actrice Emma Watson voorlas uit Mein Kampf. Streamingdienst Spotify heeft een dagtaak aan het verwijderen van nummers van muzikanten wier stem zonder toestemming is gekopieerd. Tegenstanders van zowel Joe Biden als Donald Trump maken overtuigende nepfilmpjes waarin ze de Amerikaanse politici woorden in de mond leggen. En cybercriminelen krijgen met de technologie een enorm overtuigend nieuw wapen in handen om burgers geld afhandig te maken.
„We leven in een tijd dat je berichten, video’s en nu ook stemmen niet kunt vertrouwen. Zelfs van de mensen die het dichtst bij je staan”, zegt Jennifer DeStefano. „Denk niet: dit overkomt mij niet.”
‘Vriend-in-noodfraude’
De kantine van het hoofdbureau van de Amsterdamse politie, half augustus. Manon den Dunnen, Strategisch Specialist Digitaal bij de politie, tilt haar lege koffiebeker op van de tafel. „Ik heb deze beker. Ik kan hem vastpakken. Ik kan eruit drinken. Dus hij bestaat”, zegt ze. „Zo werken onze hersenen. We vertrouwen wat we kunnen waarnemen.”
Om die reden maakt Den Dunnen zich ernstige zorgen over de gevolgen van stemklonen. Onze communicatie via de telefoon of een computerscherm gaat door een „digitaal filter, dat bepaalt wat jij ziet en hoort”, zegt Den Dunnen. „Als je belt heb je feitelijk niet direct contact met iemand. Je staat niet tegenover hem of haar, dus je moet je realiseren dat wat je hoort gemanipuleerd kan zijn. Dat is heel moeilijk te bevatten.”
Den Dunnen kent de verhalen uit de Verenigde Staten zoals dat van Jennifer DeStefano. Fraude met stemklonen is, zo verwacht ze, iets wat snel ook Nederlandse slachtoffers gaat maken. Zeker nu de software ook in een kant-en-klare app in het Nederlands beschikbaar is.
Cybercriminelen hebben een enorm overtuigend nieuw wapen in handen om burgers geld afhandig te maken
Dan gaat het over wat de politie ‘vriend-in-noodfraude’ noemt, waarbij iemand zich voordoet als een zogenaamde bekende en vraagt om geld over te maken. Maar Den Dunnen verwacht ook een toename van ‘ceo-fraude’. Bij deze vorm van oplichting worden leidinggevenden geïmiteerd en bedrijven opgelicht voor soms enorme bedragen. Cybercrimelen combineren verschillende technieken, waarbij ze inbreken in iemands e-mail en vervolgens collega’s bellen met een gekloonde stem.
In januari 2020 verloor een bank in de Verenigde Arabische Emiraten 35 miljoen dollar, nadat een medewerker uit Hongkong grote bedragen had overgemaakt naar verschillende rekeningen. Hij dacht dat zijn baas, die hem zogenaamd belde en ook e-mails stuurde, hem dat had opgedragen. Deze bankroof is, voor zover bekend, de grootste tot nu toe waarbij voice cloning is gebruikt.
„Het wordt zo veel makkelijker”, zegt Den Dunnen. „En als ik denk aan de slachtoffers en zie hoeveel extra politiecapaciteit dit gaat kosten, dan maak ik me ernstig zorgen.”
‘Roekeloos’
Wat is eraan te doen? Tot nationale overheden met goede AI-wetgeving komen, kunnen de voicecloning-bedrijven doen wat ze willen. Al zeggen de bedrijven zelf alles te doen om misbruik van hun technologie te voorkomen.
Na kritiek op de eerste versie van de app besloot ElevenLabs zijn software achter een betaalmuur te plaatsen, in de hoop oplichters af te schrikken (een abonnement kost 5 dollar per maand). Ook bracht het bedrijf een tool uit waarmee iedereen kan detecteren of audio van ElevenLabs afkomstig is. Deze maatregelen moeten volgens het bedrijf helpen „een veilig medialandschap” te creëren.
Den Dunnen reageert sceptisch als ze erover hoort. Start-ups moeten hun software überhaupt niet op de markt brengen als er zo veel misbruik van gemaakt kan worden, zegt ze. „Deze bedrijven laten mensen er eerst mee experimenteren en passen pas hun producten aan nadat de incidenten groot in de pers komen”, zegt Den Dunnen. „Dan denk ik: denk eens aan de slachtoffers. Het is echt roekeloos.”
En dus moeten bedrijven en burgers, tot er goede wetgeving is, zichzelf wapenen tegen oplichters. In mei riep de Amerikaanse Senaat de topbestuurders van de zes grootste Amerikaanse banken op actie te ondernemen. Onder meer door speciale software aan te schaffen die stemmen kunnen herkennen.
Volgens Manon den Dunnen is dit niet de oplossing. Deze stemsystemen pikken AI-stemklonen er namelijk lang niet altijd uit, zoals onder meer de Australische belastingdienst ondervond. Ze pleit voor extra veiligheidsmaatregelen – denk aan twee-factor-authenticatie – „zodat systemen niet uitsluitend met biometrische gegevens toegankelijk zijn”, zegt Den Dunnen.
Ze hoopt vooral dat managers het onderwerp op de werkvloer ter sprake brengen. En onderling goede afspraken maken. Zodat iedereen op de werkvloer weet welke controlevragen hij moet stellen als de baas hem per telefoon of e-mail vraagt geld over te maken.
En wat kun je als burger doen als je kind belt en ineens geld nodig heeft? Moet elk gezin in Nederland een codewoord afspreken, zoals de Fraudehelpdesk onlangs adviseerde? „Dat is geen goed idee, want een codewoord is ook weer makkelijk te kraken”, zegt Den Dunnen. „Stel liever een paar informele vragen. Over wat je de laatste keer dat je elkaar zag zoal besproken hebt. Heb het erover met elkaar. Dat lijkt nu heel vreemd, maar ik hoop dat we dit met z’n allen normaal gaan vinden.”