Doodsbang was ze, toen de Zuid-Koreaanse studente Heejin via chatapp Telegram een bericht ontving. „Je foto’s en persoonlijke informatie zijn gelekt”, stond er. „Laten we praten.”
Ze reageerde niet. Daarna volgde een foto, vertelde de studente deze week aan de BBC, van haar gezicht, geplakt op een neplichaam dat seksuele handelingen uitvoerde. „Ik was verlamd”, zei Heejin. „Ik voelde me alleen.”
De Zuid-Koreaanse krant Hankyoreh ontdekte in augustus dat foto’s van duizenden scholieren en studenten zoals Heejin werden gebruikt om nep-porno te fabriceren. Het leidde tot een nationale discussie in Zuid-Korea over de ‘deepfake pornocrisis’, zoals lokale media het noemen.
Dinsdag maakte de Zuid-Koreaanse politie bekend zeven mannelijke verdachten, van wie zes tieners, te hebben gearresteerd. De tieners gebruikten foto’s van klasgenoten en docenten die op sociale media te vinden waren en bewerkten die met speciale AI-apps tot pornografische afbeeldingen. De daders kunnen tot vijf jaar gevangenisstraf krijgen.
De foto’s werden verspreid via chatapp Telegram, via speciale kanalen die gebruikt werden door honderden Zuid-Koreaanse scholen en universiteiten. Maandag maakte de Zuid-Koreaanse autoriteiten bekend Telegram te willen vervolgen. Daarmee volgt het land het voorbeeld van Frankrijk, dat vorige week de Russische Telegram-topman Pavel Doerov in voorlopige staat van beschuldiging stelde. De Telegram-topman wordt verweten te weinig te doen om criminele activiteiten, waaronder kindermisbruik en drugshandel, op zijn platform tegen te gaan.
Lees ook
‘Zijn techbedrijven verantwoordelijk voor wat zich afspeelt op hun platformen?’
Deepfakes en AI
Landelijk coördinator Ben van Mierlo van het Team Bestrijding Kinderpornografie en Kindersekstoerisme (TBKK) heeft het nieuws uit Zuid-Korea meegekregen, vertelt hij aan de telefoon. Het verbaast hem niet, zegt hij. „Ontkleed-apps. Gemodificeerd beeldmateriaal. Er wordt ontzettend veel gesodemieterd met techniek.”
Op dit moment circuleren er naar schatting 130 miljoen naaktafbeeldingen of -video’s van kinderen op digitale netwerken. De politie maakt zich al langer zorgen over hoe kunstmatige intelligentie de verspreiding en het maken van kinderporno aanmerkelijk eenvoudiger heeft gemaakt. Daarbij zijn er twee vormen van nepporno te onderscheiden, legt Van Mierlo uit. De portretfoto’s van echte mensen die met hulp van AI op naaktbeelden worden gemonteerd, de zogenaamde deepfakes. En de volledig door AI-gegenereerde kinderporno, waar nepkinderen worden ‘gecreëerd’ door een AI-programma daartoe de opdracht te geven.
Op dit moment bestaat „een paar procent” van de wereldwijde kinderporno uit deepfakes en „ongeveer 1 procent” uit volledig door AI-gegenereerde kinderporno, vertelt Van Mierlo. Het maken van allebei is strafbaar, zegt hij, ook als het niet om echte kinderen gaat. „Zoals ook het verspreiden van een manga-tekening van een jong kind dat seksuele handelingen verricht verboden is.”
Minderjarige daders
De daders zijn, opvallend genoeg, vaak andere kinderen. Dat was het geval bij de zaak in Zuid-Korea en eerder ook in Spanje, waar vorig jaar achtentwintig minderjarige meisjes in het dorp Almendralejo slachtoffer werden van deepfakes. Vijftien jongens tussen de dertien en vijftien jaar werden veroordeeld tot een jaar voorwaardelijke gevangenisstraf.
Lees ook
Wat is er wél te doen tegen seksfakes? ‘Je kunt vanuit je verontwaardiging veel bereiken’
Van Mierlo ziet dat in Nederland hetzelfde gebeurt, zegt hij. Kinderen die in vertrouwen verstuurde naaktfoto’s doorsturen of foto’s van klasgenootjes bewerken tot porno en vervolgens verspreiden. „Pestgedrag. En echt niet alleen door jongens”, zegt Van Mierlo. „De meiden kunnen er ook wat van.”
Daarbij is het door AI-programma’s ontzettend eenvoudig geworden om overtuigende kinderporno te maken. Alom beschikbare ‘open source’ AI-modellen zijn, zo bleek vorig jaar, getraind met openbare datasets, waar ook honderden foto’s van kinderporno in staan. Er bestaan tientallen ‘uitkleed-apps’ die gebruikmaken van deze AI-modellen en waar gebruikers foto’s kunnen uploaden en dan een uitgeklede versie terugkrijgen.
Dat bedrijven die deze AI-modellen bouwen het niet onmogelijk maken om dergelijke afbeeldingen te genereren vindt Van Mierlo „onbegrijpelijk”, zegt hij. Hij zegt dat de politie internationale samenwerking zoekt in de hoop met zulke bedrijven in gesprek te gaan.
Verder kan het probleem alleen worden opgelost als scholen, overheden en bedrijven samenwerken, zegt de politieman. „En vergeet de ouders niet. Praat met je kind”, zegt van Mierlo. „Heb je je sociale media goed afgeschermd voor onbekenden? En vraag eens aan je kind: hoe zou jij het vinden als iemand zulke afbeeldingen van jou zou verspreiden?”
