In februari van dit jaar verschijnt er een berichtje op netwerksite LinkedIn, opgemaakt als een tegeltje, met blauwe letters en een rood-blauw logo. Het is van SigmaRed Technologies, een klein Canadees software-analysebedrijf. In het bericht feliciteert het bedrijf zichzelf met de lof van een opdrachtgever. „We zijn dolblij om te vertellen dat we een mooi compliment hebben gekregen van een leading EU government”, schrijft SigmaRed. Wie een offerte wil, kan mailen naar het contactadres.
Het government is dat van Nederland, specifieker het ministerie van Buitenlandse Zaken. Dat heeft een paar maanden eerder een rapport besteld bij het in Europa vrijwel onbekende bedrijf, dat vanuit Toronto ict’ers in India aanstuurt. De opdracht aan SigmaRed: onderzoek of het algoritme dat wordt gebruikt bij het beoordelen van visumaanvragen ongewild bepaalde aanvragers discrimineert – een risico waar NRC een jaar geleden over schreef.
Lees ook
Pas op met deze visumaanvraag’, waarschuwt het algoritme dat discriminatie in de hand werkt. Het ministerie negeert kritiek
Na een paar maanden is de conclusie van SigmaRed helder: er is niets aan de hand, Buitenlandse Zaken doet zijn werk naar behoren, niemand wordt gediscrimineerd. Een conclusie die, zo blijkt uit de LinkedIn-post, in Den Haag in dankbaarheid wordt aanvaard.
Het rapport van SigmaRed, dat maandag openbaar werd gemaakt, biedt het ministerie een uitweg uit een netelige situatie. Op het departement ligt namelijk al ruim een jaar een ander rapport in een la, van het Rijks ICT Gilde. Deze gezaghebbende IT-dienst van de overheid komt daarin tot een volstrekt tegenovergestelde conclusie. Namelijk dat het visum-algoritme van Buitenlandse Zaken reizigers uit landen in Afrika en het Midden-Oosten discrimineert. Goedwillende reizigers uit die regio worden door de computer opvallend vaak als „risicovolle aanvragers” bestempeld, aldus dat rapport. Dat is onwenselijk.
NRC kreeg vorig jaar lucht van het kritische onderzoek door het Rijks ICT Gilde. Datzelfde gold voor diverse Tweede Kamerleden. NRC vroeg het rapport op via een beroep op de Wet openbare overheid (Woo), de parlementariërs rechtstreeks bij de minister. Maar in plaats van het onderzoek vrij te geven, rekte de minister tijd en liet ondertussen een second opinion schrijven door het Canadese SigmaRed. Toen dat rapport – met de conclusie dat er „geen disproportionele discriminatie op basis van leeftijd, burgerlijke staat of leeftijd” plaatsvindt – klaar was, maakte het ministerie beide onderzoeken openbaar.
„Het ministerie heeft het eindrapport van het Rijks ICT Gilde om een aantal redenen helaas niet kunnen accepteren”, schrijft minister van Buitenlands Zaken Hanke Bruins Slot (CDA) maandag, op de eerste dag van het meireces, aan de Tweede Kamer. „Vanwege het tekortschietende rapport heeft het ministerie een andere externe partij verzocht een onderzoek te doen”. En die concludeert, aldus de minister, „geen bias” bij het beoordelen van de aanvragen.
‘Net een beetje anders’
Het Rijks ICT Gilde, onderdeel van het ministerie van Binnenlandse Zaken, omschrijft zichzelf op haar website als „een ambitieuze tech-organisatie, die alles nét een beetje anders doet.” Bij het Gilde werken meer dan zeventig programmeurs, data-wetenschappers en andere specialisten aan de „digitale deskundigheid” van het Rijk. Daarbij gaat het, zeker sinds de Toeslagenaffaire, steeds vaker over de manier waarop de overheid omgaat met vraagstukken rondom verantwoorde AI, eerlijke algoritmes, ethiek en privacy.
Leif de Kloet, voormalig handelaar in derivaten en de voorman van het Gilde, zei in 2022 dat hij „enthousiast werd van complexe ict- en datavraagstukken bij het Rijk”. Hij hoopte dat zoveel mogelijk interne opdrachtgevers hem zouden weten te vinden „als gelijkwaardige partner.”
Eén van de eerste grote algoritme-onderzoeken van het Rijks ICT Gilde is bij Buitenlandse Zaken. Het departement heeft De Kloet gevraagd om het visumalgoritme door te lichten. De aanleiding: er is interne kritiek en ook reizigers klagen. De digitale dienstverlening hapert en aanvragers mopperen dat ze niet te horen krijgen waarom hun visumaanvraag wordt afgewezen.
Het algoritme moest juist de dienstverlening verbeteren. ‘Beslisambtenaren’ bij de visumafdeling gebruiken het systeem bij het beoordelen van de honderdduizenden visumaanvragen per jaar voor kort verblijf in Nederland. Het werkt met risicoscores voor visumaanvragen. Door een aanvrager te vergelijken met andere reizigers op basis van onder meer nationaliteit, leeftijd, geslacht en plek van aanvraag, berekent het algoritme een score. Een lage score betekent: deze aanvraag mag naar de ‘fast track’, hier hoeft de ambtenaar maar kort naar te kijken. Een hoog getal betekent een groter risico op problemen. Die aanvraag komt in de ‘intensive track’ bij de beslisambtenaar. Die kan er voor kiezen de aanvrager te interviewen of om extra documenten te vragen.
Dankzij de risicoscore kunnen de ambtenaren sneller door de enorme stapel aanvragen heen. En daarmee is het óók een bezuiniging. Zonder het algoritme, zei het ministerie vorig jaar tegen NRC, zouden er „enkele tientallen” extra beslisambtenaren nodig zijn.
Lees ook
‘Alsof je tegen een robot praat’, zeggen Surinamers die een visum voor Nederland aanvragen
‘Geen menselijke maat’
In 2022 maakte de interne privacy-toezichthouder van Buitenlandse Zaken bezwaar tegen het algoritme bij de visumdienst. De scores die daaruit voortkomen hebben een „mogelijk discriminerend karakter”, schreef hij in een intern stuk. Hoe kun je op basis van iemands nationaliteit of geslacht de kans berekenen dat iemand een malafide aanvraag doet? En was één van de lessen van de Toeslagenaffaire niet dat dit soort systemen onbedoeld discriminatie in de hand werken?
De gevolgen kunnen enorm zijn. Bij een afwijzing kunnen mensen niet naar familie of geliefde reizen. Ze missen zakelijke kansen, geboortes, huwelijken, begrafenissen. Dat een afwijzing met grote pijn gepaard gaat, bleek uit tientallen brieven die NRC na publicatie van het artikel over deze problematiek kreeg. „Dit is precies wat er gebeurt als alles overgenomen wordt door computers en algoritmes. Er is geen menselijke maat meer”, schreef één lezer. „Dit is een enorm onderbelicht probleem dat vele duizenden mensen raakt, inclusief mijzelf”, schreef een ander.
Het ministerie wees de kritiek resoluut af. De risicoscores zijn niets meer dan een steuntje in de rug voor de beslisambtenaren, aldus het departement. Zíj nemen de beslissing. En de beslissers laten zich niet leiden door het stempel ‘risicovol’, ook niet onbewust. „De profielen leiden niet tot het mechanisme van ‘zoekt en gij zult vinden’”, schreef het ministerie aan NRC.
Met het onderzoek van het Rijks ICT Gilde hoopte het ministerie alle twijfel uit de wereld te helpen. In overleg met het Gilde werd een onderzoeksopzet uitgedacht, maar het enthousiasme bij Buitenlandse Zaken verdampte zodra de conclusies van de it-dienst duidelijk werden. Het Gilde bevestigde begin 2023 juist alle eerdere bezwaren van de privacy-toezichthouder. In het algoritme zit een heel sterke bias, zag de it-dienst. Aanvragers uit specifieke landen worden door de computer opvallend vaak ten onrechte ingedeeld in de categorie „streng controleren”. Mensen met de ene nationaliteit hebben tot zeventig keer meer kans om extra gecontroleerd te worden dan aanvragers met een andere nationaliteit, aldus de dienst.
In de rapporten die het ministerie van Buitenlandse Zaken maandag naar de Tweede Kamer heeft gestuurd, zijn de namen van die landen weggelakt. Uit onderzoek van NRC blijkt dat aanvragen uit onder meer Marokko, Tunesië, Egypte, Ghana, Ethiopië, Iran en Irak vaak ten onrechte extra streng worden gecontroleerd. Het gaat om tienduizenden aanvragen per jaar.
Het kritische rapport van het ICT Gilde is toevallig klaar in dezelfde maand dat NRC, in samenwerking met journalistiek collectief Lighthouse Reports, over het algoritme publiceert, in het voorjaar van 2023. In reactie op de artikelen vragen diverse Kamerleden om een onderzoek, zonder dat ze weten dat dit al gedaan is. Het ministerie houdt ze in die waan. Als Denk in juni 2023 expliciet om de bias-toets vraagt, verzwijgt de bewindspersoon dat dit rapport al bestaat, en verwijst naar eerder beantwoorde Kamervragen en een oude „voortgangsrapportage”.
Openbaarmaking afdwingen
NRC doet in dezelfde periode een Woo-verzoek, maar krijgt te horen dat er „personele problemen”, zijn en dat „de situatie in de wereld” voor vertraging zorgt. Er liggen „veel dossiers” en er wordt gewacht op nieuwe „onderzoeksresultaten”. Herhaaldelijk belooft het ministerie „het verzoek spoedig af te ronden”. Uiteindelijk stapt NRC in februari dit jaar naar de rechter om openbaarmaking af te dwingen.
In de tussentijd laat het ministerie een tweede rapport opstellen, door SigmaRed. De onderbouwing daarvoor is dat het Rijks ICT Gilde „is afgeweken van de door Buitenlandse Zaken gestelde onderzoeksvraag” en „aannames heeft gedaan die niet stroken met de feitelijke werkwijze” van het computersysteem. Het onderzoek zou ook over het hoofd zien dat de beslismedewerkers van Buitenlandse Zaken de uiteindelijke beslissing over het visum nemen. Eventuele fouten die de computer maakt met risicoscores worden zo recht gezet, redeneert de minister.
Eind april mailt het departement NRC dat de Woo-stukken nu echt komen. Maar voordat die naar NRC worden gestuurd, zijn ze al gepubliceerd op de website van de Tweede Kamer.
Lees ook
WRR-voorzitter Corien Prins: ‘Politiek heeft nog niet voldoende oog voor gevolgen van AI en de gevaren van digitale ontwrichting’
‘Onwenselijke bias’
NRC heeft de twee rapporten voorgelegd aan Cynthia Liem, universitair hoofddocent intelligente systemen aan de TU Delft. Liem duidt vaker vraagstukken rond problematische algoritmen, onder meer in de Toeslagenaffaire en in Rotterdam, waar met computermodellen op bijstandsfraudeurs werd gejaagd. „SigmaRed beargumenteert haar onderzoeksmethode niet goed, en ik begrijp sommige dingen niet die ze opschrijven”, zegt ze. „Het Rijks ICT Gilde doet dat beter. Dat heeft onderzocht hoe vaak mensen uit bepaalde landen in de intensieve track zijn beland, om daarna tóch een visum te krijgen. Die zijn dus ten onrechte blootgesteld aan extra controles. Dat blijkt bij bepaalde nationaliteiten veel vaker te gebeuren dan bij andere. Dat kun je als onwenselijke bias zien.” Daar moet je niet licht over oordelen, zegt Liem. „Het lijkt op wat in Rotterdam gebeurde: daar werden veel onschuldige alleenstaande bijstandsmoeders onderworpen aan extra controles”.
De verdediging van het ministerie dat beslismedewerkers zich niet laten beïnvloeden door de risicoscore, overtuigt haar niet. „Mensen zijn gevoelig voor dit soort scores, weten we.”
In het rapport van het Rijks ICT Gilde staat dat de ambtenaren bij de fast track te lezen krijgen: „Aanvraag valt in groep met weinig tot geen risico op misbruik visumprocedure”. Bij de intensive track staat de melding: „LET OP: Aanvraag valt in groep met verhoogd risico op misbruik visumprocedure”. Liem: „Het lijkt me logisch dat een medewerker reageert op ‘LET OP’. Het is zelfs problematisch als die dat niet doet. Als dit soort mededelingen geen effect hebben, waarom wordt dit systeem dan überhaupt gebruikt?”
Leif de Kloet van het Rijks ICT Gilde zegt in een reactie dat uit het onderzoek van zijn organisatie blijkt „dat er aanwijzingen zijn dat het algoritme mogelijk discrimineert”. Hij pleit voor aanvullend onderzoek, „zowel kwalitatief als kwantitatief.” De Kloet zegt dat hij heeft aangeboden het Gilde-onderzoek te laten valideren door een derde partij. Buitenlandse Zaken heeft er echter voor gekozen „om een andere, voor ons onbekende partij, te benaderen om opnieuw een bias toets uit te voeren.”
SigmaRed antwoordt niet op vragen. Het ministerie laat weten dat „Buitenlandse Zaken een duidelijke onderzoeksvraag” had. „Die vraag is door het rapport van SigmaRed beantwoord.”
Reageren? [email protected]
/s3/static.nrc.nl/images/gn4/stripped/data124940228-e4b40b.jpg|https://images.nrc.nl/hs_1FkRd7uut_-gLRIC7xdQ3yzw=/1920x/filters:no_upscale()/s3/static.nrc.nl/images/gn4/stripped/data124940228-e4b40b.jpg|https://images.nrc.nl/-sMQ1nywi672XctpUkflN-7b_RM=/5760x/filters:no_upscale()/s3/static.nrc.nl/images/gn4/stripped/data124940228-e4b40b.jpg)
