Drone met kunstmatige intelligentie wint race van professionele menselijke piloot

Technologie Een autonoom vliegende drone kan dankzij AI races winnen van wedstrijdpiloten. „Ik ben onder de indruk van dit onderzoek.”

Fragment uit een filmpje van de Zwitserse onderzoekers. Dit is wat deelnemers aan de race zien, de first-person view.
Fragment uit een filmpje van de Zwitserse onderzoekers. Dit is wat deelnemers aan de race zien, de first-person view. Beeld Leonard Bauersfeld

Racen met drones is een nieuwe sport waarin regelmatig internationale kampioenschappen worden georganiseerd. Onlangs zijn enkele van de beste professionele droneracers verslagen door een drone die wordt aangestuurd door kunstmatige intelligentie (AI), gemaakt door onderzoekers van de universiteit van Zürich.

Dat staat woensdag in het wetenschappelijke tijdschrift Nature. Dit is de eerste keer dat een computer een spel in de echte wereld wint – eerder bleek AI al beter dan menselijke spelers in een aantal bord- en computerspellen. Het onderzoek is een flinke stap vooruit voor autonoom vliegende kleine drones.

Het parcours met poortjes dat de drones aflegden. Het paarse spoor is van de AI-drone, het rode spoor van de drone met een menselijke piloot.
Foto Leonard Bauersfeld

Meer dan 100 kilometer per uur

Bij drone racing moet een drone zo snel mogelijk een parcours afleggen dat voert langs poorten die de drones uitdagen tot het maken van bochten en vliegen op verschillende hoogtes. De kleine drones, quadcopters met vier propellers, vliegen met snelheden van meer dan 100 kilometer per uur. De persoon aan de knoppen kijkt niet omhoog maar draagt een headset met daarin videobeeld afkomstig van camera’s op de drone, dat zorgt voor een zogeheten first-person view. De sport, die sinds 2014 in competitieverband bestaat, zit wat betreft ervaring tussen een fysieke sport en een computergame in.

Dat droneracen met kleine elektronica gebeurt en in de echte wereld, maakt de sport een uitdaging voor robotici. In tegenstelling tot bij bordspellen gebeuren in de echte wereld onverwachte dingen, waar gegevens uit eerdere trainingen niet bij kunnen helpen. Eerdere pogingen om professionele droneracers te verslaan waren niet succesvol, de AI-drones waren flink langzamer of ze hadden extra externe sensoren nodig.

De AI waarmee de onderzoekers uit Zürich nu wel wisten te winnen is gebaseerd op een combinatie van algoritmes. Een neuraal netwerk detecteert op basis van camerabeelden de hoekpunten van de poorten. Traditionele algoritmes verwerken sensor-input over onder meer snelheid en positie ten opzichte van de grond. Een tweede neuraal netwerk stuurt op basis van input uit de andere algoritmes de stuwkracht en rotatiesnelheid aan. De strategie die dit algoritme volgt heet ‘versterkend leren’, het probeert dingen en wordt beloond voor goede resultaten, waarna het die strategie vaker toepast. Dit laatste algoritme is cruciaal om in de echte wereld te kunnen opereren. De AI kreeg ook een naam: Swift.

Een van de poortjes waar de twee drones tijdens een wedstrijdronde doorheen vlogen.
Foto Leonard Bauersfeld

In de juiste volgorde

Het raceparcours bestond uit zeven vierkante poorten die samen een ronde vormden van 75 meter lang. Om te winnen moest een drone als snelste drie rondes afleggen en de poorten in de juiste volgorde passeren. Swift racete tegen drie menselijke racers die eerder grote internationale wedstrijden hadden gewonnen. Elke racer nam het meerdere keren op tegen Swift, steeds in een een-tegen-eenrace.

Swift won 15 van de 25 races, en klokte ook de snelste tijd. Vier races verloor de AI-drone doordat het tegen de tegenstander aan vloog (die daarna weer opsteeg, maar dat kon Swift niet), vier keer verloor het doordat het tegen een poort aan vloog en twee keer omdat het langzamer was. Analyse achteraf laat zien dat Swift een kortere reactietijd heeft en daardoor sneller kan starten en dat het scherpere bochten wist te maken.

„Ik ben onder de indruk van dit onderzoek”, zegt Guido de Croon, hoogleraar bij het Micro Air Vehicle-laboratorium aan de TU Delft. „In 2019 won onze onderzoeksgroep nog een race met autonome drones van de onderzoekers uit Zürich. Sindsdien is het bij de Zwitsers heel hard gegaan.”

Volgens De Croon is „de stap van een virtuele omgeving naar de echte wereld groot”. Want „in een simulator werkt alles perfect. Maar in de echte wereld is een propeller misschien net iets verbogen, of beïnvloedt de elektronica elkaar waardoor er ruis is. Dan vliegt hij tegen de eerste de beste paal aan.” Het is voor AI notoir moeilijk deze zogeheten reality gap te overbruggen.

Daar komt bij dat de racedrones klein en licht zijn. „Het manoeuvreren gebeurt op basis van sensoren en rekenkracht aan boord, alles moet mee de lucht in”, zegt De Croon. „Het is al moeilijk om een zelfrijdende auto goed op de omgeving te laten reageren, en daarin kun je heel veel meenemen.”

De gegevens worden op een hoog abstractieniveau verwerkt, dat kost minder rekenkracht

Guido de Croon TU Delft

De onderzoekers hebben simpele sensoren gebruikt en een aantal slimmigheden in hun algoritmes gebouwd. „De gegevens worden op een hoog abstractieniveau verwerkt, dat kost minder rekenkracht en maakt dat het leren in de simulator snel gaat”, zegt De Croon. „Voor het herkennen van de poortjes zijn alleen de hoekpunten nodig, geen hele plaatjes. Ook het aansturen van de motor gebeurt op een hoog abstractieniveau. Het algoritme zegt ‘ik wil versnellen die richting uit’, in plaats van specifieke commando’s naar de vier motoren te geven. In de echte wereld is er een aansturend programmaatje dat die commando’s naar de motoren stuurt, zodat er weinig verschil is tussen simulatie en de werkelijkheid.”

Wat heeft de echte wereld aan zulke snelle racedrones? „Sneller is niet een doel op zich, maar werk als dit helpt om drones energiezuiniger te laten vliegen. Uiteindelijk wil je zo ver mogelijk komen met een beperkte batterij.”

Veel mensen denken bij dronetechnologie aan militaire toepassingen. De Amerikaanse luchtmacht is bijvoorbeeld bezig met de ontwikkeling van de Valkyrie, dat is een grote autonome drone met raketmotoren die bommen kan dragen. Hij kost miljoenen dollars. Het idee is dat Valkyries traditionele gevechtsvliegtuigen gaan ondersteunen en daarmee voor een relatief klein bedrag veel massa aan de luchtvloot toevoegen. Zulke grote, geavanceerde gevechtsdrones zijn van een totaal andere orde dan de kleine quadcopters waarmee geracet wordt.

„Als het om militaire toepassing gaat, krijgt het aanvallende aspect van drones vaak veel aandacht”, zegt De Croon. „Dat is een kant die we wat mij betreft niet uit moeten, maar als Westen moeten we die technologie wel begrijpen. En er is ook nog een defensieve kant, waar mensen minder snel aan denken. Een van de manieren om drones uit de lucht te halen, zijn snellere drones. Het werk van deze onderzoekers is overigens niet zomaar militair toe te passen, deze drone vliegt echt alleen door poortjes.”