Opinie | In de moderne oorlog kiest AI wie er zal sterven

Er is een stille revolutie gaande in de manier waarop strijdkrachten beslissingen nemen in oorlogstijd. Niet door autonome drones of robots die zelfstandig wapens afvuren. Maar via een subtielere en in sommige opzichten nog verraderlijkere weg: die van kunstmatig intelligente systemen die bepalen hóe militairen doden.

Deze technologieën heten ook wel ‘AI-gebaseerde beslissingsondersteunende systemen’ (afgekort tot AI-DSS) en ze worden in rap tempo onderdeel van moderne militaire operaties. Ze halen de trekker niet over, dat is ook niet nodig. In plaats daarvan verzamelen AI-DSS inlichtingen, analyseren ze gegevens en doen ze aanbevelingen over waar en wanneer toe te slaan. In een militaire omgeving met hoge druk wordt vaak vertrouwd op zulke suggesties, zelfs als de logica ervan onduidelijk is. De systemen bieden snelheid en schaal die ongekend is in de oorlogsvoering. Dat is juist wat hen zo gevaarlijk maakt.

In tegenstelling tot autonome wapensystemen blijven AI-DSS grotendeels buiten het publieke debat en de internationale regelgeving. Maar ze spelen nu al een belangrijke rol in gewapende conflicten, waaronder in Gaza en Oekraïne en zelfs nog onlangs in het conflict tussen India en Pakistan. Dit zou ons allemaal zorgen moeten baren.

Systemen met invloed op beslissingen over leven en dood moeten controleerbaar zijn

Deze systemen worden vaak gezien als neutrale hulpmiddelen ter ondersteuning van militairen van vlees en bloed. Maar in de praktijk beïnvloeden ze de manier waarop menselijke oordelen worden gevormd. AI-DSS geven aanvalsopties weer, suggereren prioritering van doelen en ze leveren input voor beoordeling van de proportionaliteit van een aanval– vaak op manieren die moeilijk te begrijpen en dus ook moeilijk te betwisten zijn. Dit kan leiden tot een te grote afhankelijkheid van de systemen, minder verantwoording voor het gebruik ervan en uiteindelijk dus tot een uitholling van de bescherming die is vastgelegd in het humanitair oorlogsrecht – zoals we later nog zullen uitleggen.

Burgers beschermen

In een recente bijdrage aan de Algemene Vergadering van de Verenigde Naties hebben wij – wetenschappers die werken op het snijvlak van AI, ethiek en gewapende conflicten – aangedrongen op onmiddellijke actie, omdat AI-DSS een reëel en actueel risico vormen voor de internationale vrede en stabiliteit. Terwijl de wereld het afgelopen decennium heeft gedebatteerd over autonome wapensystemen, zijn AI-DSS al van theorie naar de praktijk gegaan, vaak zonder transparantie en met veel te weinig toezicht en internationale discussie.

Om burgers te beschermen tijdens een gewapend conflict, kent het humanitair oorlogsrecht de beginselen van onderscheid, voorzorgsmaatregelen bij een aanval en proportionaliteit. Deze regels vereisen menselijk controle en oordeel. Door te vertrouwen op AI-DSS wordt deze menselijke inschatting beperkt, en dit creëert een moreel vacuüm. Want deze systemen begrijpen de context niet. Zij optimaliseren. Zij rangschikken. En ze weerspiegelen op grote schaal de aannames en vooroordelen waarmee ze zijn getraind.

We hebben al gezien hoe AI-systemen discriminatie kunnen versterken en de verantwoordingsplicht in het burgerleven kunnen vertroebelen – van voorspellend politiewerk tot algoritmes voor het aannemen van personeel – met schadelijke gevolgen. Denk aan SyRi, dat door de overheid werd gebruikt om mensen te profileren op frauderisico’s. Of aan het toeslagenschandaal.

Stel je nu eens voor dat je deze dynamiek toepast op oorlogsvoering. Stel je voor dat levens afhankelijk zijn van kansberekeningen die commandanten nauwelijks begrijpen, of dat een operator maar twintig seconden heeft om te checken of zij het juiste doelwit in het vizier heeft, en dit dan honderden keren achter elkaar. Stel dat je na een luchtaanval waarbij burgerdoden zijn gevallen de verantwoordelijkheid probeert te achterhalen, maar stuit op de ondoorzichtige aanbeveling van een algoritme.

In ieder geval meer transparantie

We roepen niet op tot een verbod op deze AI-systemen, maar we roepen wel op tot snelle actie.

Ten eerste zouden ministeries van Defensie ‘menselijke beoordeling en controle’ moeten vastleggen als een ononderhandelbare standaard in alle militaire besluitvorming met betrekking tot AI. Dat betekent dat commandanten en operators getraind en bevoegd moeten zijn, en dat van hen wordt verwacht dat ze AI-gegenereerde aanbevelingen kritisch onderzoeken en, indien nodig, terzijde schuiven – en ze niet blindelings goedkeuren.

Ten tweede moeten militaire actoren die deze technologie ontwikkelen en inzetten, en hun klanten, zich 100 procent moeten inzetten voor transparantie. Systemen die van invloed zijn op beslissingen over leven en dood moeten uitlegbaar, controleerbaar én verantwoord zijn. Nederland investeert miljarden in defensie en in AI-onderzoek, en zou het voortouw moeten nemen in verantwoord ontwerp van AI-DSS.

Ten derde dringen we er bij de Algemene Vergadering van de Verenigde Naties op aan om AI-DSS op de agenda te zetten en regels te bedenken rondom hun ontwerp, ontwikkeling en inzet. Deze systemen spelen een rol bij dodelijke acties en worden nu al ingezet aan het front. Ze beïnvloeden de uitkomsten van oorlogen. Het is dus hoog tijd om ze als een zaak van urgente wereldwijde zorg te behandelen.

Sommigen beweren dat regelgeving innovatie zal vertragen. Dit is een misvatting. Innovatie zonder ethische waarborgen ondermijnt het publieke vertrouwen, vergroot de strategische instabiliteit en creëert onaanvaardbare risico’s voor burgers die zich in oorlogsgebieden bevinden.

We kunnen niet toestaan dat AI oorlognog onmenselijker maakt dan nu al het geval is.