Vrije Universiteit vrijgepleit van discriminatie met systeem voor gezichtsherkenning

Hoe ging het verder met de ophef rond software die aan de Vrije Universiteit een student zou hebben gediscrimineerd op huidskleur? VU-student Robin Pocornie klaagde bij het College voor de Rechten van de Mens dat zij door haar donkere huidskleur moeite had met inloggen bij online tentamens en een lamp op haar gezicht moest laten schijnen om er niet te worden uitgegooid.

In een voorlopig oordeel vond het college eind 2022 dat Pocornie voldoende feiten had aangevoerd voor een vermoeden van discriminatie. De VU kreeg ruim de tijd om data op te vragen bij de leverancier van de Proctorio-software en met een inhoudelijk weerwoord te komen.

Dat nadere verweer heeft het college overtuigd. Eind vorig jaar, in een definiteve uitspraak die in deze krant onopgemerkt bleef, oordeelde het college (zonder een algemene uitspraak te doen over gezichtsherkenning) dat in dit geval geen sprake was van discriminatie.

Video van de werkplek

De software voor controle bij online tentamens die de Vrije Universiteit gebruikt, Proctorio, werkt op twee manieren. Voor aanvang van het tentamen maakt de webcam foto’s van de deelnemer en diens studentenpas en een video van de werkplek. Tijdens het tentamen worden onregelmatigheden gesignaleerd met ‘vlaggetjes’, die na afloop tot nadere controle kunnen leiden.

Bij vier tentamens die Pocornie aflegde, blijkt uit de data die de VU aanleverde, hoefde zij niet meer dan drie pogingen te doen om in te loggen (na drie keer krijgt de student automatisch hulp aangeboden). Bij drie van vier latere tentamens kwam ze sneller in de tentamenomgeving dan de gemiddelde deelnemer. Dat het bij één tentamen niet lukte, werd volgens de VU veroorzaakt door haar bril. Toen die was afgezet, kwam ze wel direct in de online omgeving. Dat een bril problemen kan geven bij aanmelden staat in een instructie van de VU.

Pocornie vertelde ook dat zij tijdens het tentamen uit de digitale omgeving werd gegooid en constant een lamp op haar gezicht moest laten schijnen om dat te voorkomen. Maar volgens de VU kwam dat door storingen in de verbinding, niet door haperende gezichtsherkenning, die op dat moment geen rol meer speelt. Het schijnen met de lamp zou niet nodig zijn geweest.

Niet goed opgepakt

Het college geeft Pocornie wel gelijk dat de VU haar klacht in eerste instantie niet goed heeft opgepakt. De student diende al in oktober 2021 een formele klacht in, maar het duurde tot mei van het jaar daarop voordat die serieus in behandeling werd genomen

Pocornie is „teleurgesteld” in de uitspraak, zegt ze in een persbericht van het Racism and Technology Center, dat haar zaak bepleitte. „De feiten blijven staan zoals ze zijn: ik moest met een lamp in mijn gezicht mijn tentamens maken, terwijl mijn witte medestudenten dat niet hoefden te doen.” Het oordeel laat zien „hoe moeilijk het is om algoritmische discriminatie juridisch te bewijzen”. Wel is ze „trots” dat universiteiten zich door haar zaak bewuster zijn geworden van het onderwerp. Problemen met software voor gezichtsherkenning voor zwarte en Aziatische studenten zijn al langer bekend.