DUO keek door een gekleurd filter naar uitwonende studenten: het algoritme zei ‘fraude’

Algoritme Een fraudeteam van de Dienst Uitvoerend Onderwijs spoorde studenten op die frauderen met hun beurs. Het algoritme dat ze op pad stuurde, blijkt vooringenomen.

Uit- of thuiswonend? In 367 van de 376 beroepszaken van veronderstelde beursfraudeurs tegen DUO was sprake van een migratieachtergrond.
Uit- of thuiswonend? In 367 van de 376 beroepszaken van veronderstelde beursfraudeurs tegen DUO was sprake van een migratieachtergrond. Foto Patricia Rehe / ANP

De deurbel klinkt – „tring!” – en op de stoep staat iemand die zich legitimeert als toezichthouder van Dienst Uitvoerend Onderwijs (DUO). Of hij even in uw woning mag kijken. Een blik op de kamer waar u slaapt, uw studieboeken, uw kleding, uw persoonlijke spullen. En of u de sleutel heeft, het huurcontract, en hoeveel nachten per week slaapt u hier? En mogen er foto’s gemaakt worden?

Jaarlijks legt het fraudeteam van DUO zo’n duizend van zulke huisbezoeken af, om te beoordelen of een student wel recht heeft op de aangevraagde uitwonende beurs van 439,20 euro per maand – in plaats van de 110,30 euro voor thuiswonenden. De student moet feitelijk op het opgegeven inschrijfadres wonen, maar van de regeling wordt jaarlijks voor miljoenen euro’s misbruik gemaakt en wie wordt beoordeeld als fraudeur moet vaak het hele bedrag terugbetalen plus 40 procent boete.

In theorie kan een huisbezoek van DUO elke uitwonende student overkomen. Maar de praktijk is anders, zagen journalisten van Hoger Onderwijs Persbureau, NOS op 3 en Investico die daarover woensdag publiceerden in Trouw en De Groene.

Huiszoekingen gebeuren niet altijd even zorgvuldig, dat bleek al toen een student die door DUO als fraudeur was bestempeld daartegen in beroep ging en in januari door de rechter in het gelijk werd gesteld. Maar in de bijna vijftienhonderd van zulke beroepszaken die de journalisten daarna analyseerden, viel nog iets anders op: ze spraken 32 advocaten, samen goed voor 376 zaken in de afgelopen tien jaar, en al die advocaten zeiden, soms uit zichzelf, dat hun cliënten opvallend vaak studenten waren met een migratie-achtergrond. Preciezer: in 367 van de 376 zaken.

Dat is ruim 97 procent.

Hoe zit dat? Frauderen studenten met een migratie-achtergrond zoveel meer? Nee, vertelde een deskundige hen. Hebben deze advocaten dan toevallig meer cliënten met een migratie-achtergrond? Nee, ook niet. De enige verklaring die overbleef: het ‘risicoprofiel’ op basis waarvan DUO zijn toezichthouders op pad stuurt.

Variabelen

Dat profiel is opgesteld in 2011 nadat de toenmalig minister van Onderwijs beloofde de fraude stevig aan te pakken. Het profiel bestaat uit een algoritme dat aan de hand van een aantal variabelen adressen met een hoog frauderisico genereert. Die variabelen zijn combinaties van leeftijd, onderwijssoort, woonsituatie en afstand van opgegeven woonadres tot ouders en onderwijsinstelling. Een team van fraudeonderzoekers bepaalt vervolgens naar welke adressen het een toezichthouder stuurt.

„Het risicoprofiel lijkt adequaat”, concludeerde de minister in 2011 in de pilotfase van de start van de uitwonende controles. Sindsdien is het door DUO in die vorm in gebruik.

Migratieachtergrond was in het profiel geen variabele maar kan indirect een rol spelen, zegt Gijs van Dijck, hoogleraar privaatrecht aan Maastricht University. Zo zouden jonge mbo’ers, mogelijk oververtegenwoordigd onder studenten met een migratieachtergrond, hoger scoren in het risicoprofiel dan oudere WO’ers. Ook kan het zijn dat studenten met een migratieachtergrond hoger scoren omdat ze dichter bij de onderwijsinstelling of het ouderlijk huis wonen. „Wat de oorzaak ook is, het gaat erom dat een algoritme wetenschappelijk is onderbouwd. En dat lijkt hier niet het geval.”

De complexe werkelijkheid willen reduceren tot een aantal variabelen: die neiging ziet Gijs van Dijck wel vaker bij overheden en bedrijven die werken met risicoprofielen. De Belastingdienst, het UWV, verzekeraars, kredietverstrekkers; allemaal gebruiken ze algoritmes om in grote bestanden de mogelijke fraudeurs eruit te pikken. Het gebruik van deep learning en neural networks nam een vlucht in de tijd dat ook DUO ermee begon. „Op zich is daar niets mis mee, maar dan moet de gebruiker wel de juiste vragen stellen, en ik vraag me af of dat gebeurt.”

Waaróm wil je een algoritme gebruiken, is zo’n vraag. Van Dijck: „Onderzoek laat zien dat simpele modellen met enkele variabelen vaak net zo goed menselijk gedrag voorspellen als ingewikkelde algoritmes.” Omdat het uiteindelijk de mens zelf is die de variabelen erin stopt – en het algoritme gaat ermee aan de haal. „Het voordeel van simpele modellen: die zijn transparant.”

En: is een algoritme wel geschikt voor het te bereiken doel? Vrijwel nooit ziet Van Dijck dat overheden en bedrijven met een aselecte steekproef de effectiviteit van een algoritme bepalen met als gevolg dat elk referentiepunt ontbreekt. „Misschien pik je hetzelfde percentage fraudeurs eruit als je zomaar bij studenten aanbelt.”

Gefilterde groep

Het grootste gevaar ziet Van Dijck in het ontbreken van waarborgen. Stel dat je volgens een risicoprofiel waarschijnlijk een fraudeur bent, maar het niet bent? Het kan gebeuren dat overheden bij zo’n gefilterde groep het bewijs erbij gaan zoeken, waardoor het profiel als vanzelf een succes lijkt. „Maar je moet blijven openstaan voor het tegendeel. Dat vereist continue feedback en bijsturing.”

Daar ging het mis voor de uitwonende studenten die het stempel ‘fraudeur’ de afgelopen jaren wilden aanvechten. Als een student een bezwaarschrift indient, dan wordt de student altijd uitgenodigd voor een telefonische hoorzitting. Maar de bewijslast ligt bij de student: die moet aantonen dat hij er woont – en dat kan in de praktijk lastig zijn, blijkt uit de rechtszaken hierover.

Voor DUO zijn de bevindingen van de journalisten „aanleiding om het controlesysteem structureel te gaan evalueren, om zo onbedoelde bijeffecten te voorkomen”. De minister heeft een extern onderzoek aangekondigd.