Je tikt in de lucht alsof je een knop indrukt – en de computer reageert. De nieuwste innovatie van de onderzoekstak van Meta, Reality Labs, oogt als een kruising tussen een smartwatch en een sciencefictiongadget: een brede, zwarte behuizing met een klein scherm, aan een strakke polsband. Het apparaat meet elektrische signalen van de spieren in de pols en zet die om in digitale opdrachten. Wie de armband draagt, kan ermee schrijven, swipen en navigeren − allemaal in de lucht, zonder fysiek contact met een scherm.
Hiermee kunnen mensen hun apparaten onderweg bedienen met intuïtieve en expressieve gebaren, zonder hun aandacht te verleggen naar een touchscreen, schrijven de onderzoekers in hun paper in het wetenschappelijke tijdschrift Nature.
Opvallend aan de armband is dat hij meteen werkt, zonder dat het systeem eerst hoeft te leren hoe een individuele gebruiker beweegt. Volgens de onderzoekers is dat een belangrijke stap richting breed inzetbare, draagbare mens-computerinterfaces. In een video tonen ze hoe gebruikers met een onzichtbare pen op een oppervlak schrijven, waarbij de armband die bewegingen omzet in computerschrift. Ook registreert het apparaat handbewegingen waarmee je bijvoorbeeld een cursor bestuurt, en herkent het specifieke gebaren − zoals vingerknipjes en duimvegen − om te navigeren.
Soepel aansturen
Om te testen of de armband inderdaad zonder kalibratie werkt, lieten de onderzoekers mensen die er nog geen ervaring mee hadden het apparaat gebruiken. De armband herkende gebaren correct, stuurde de cursor soepel aan en registreerde handschrift met gemiddeld 20,9 woorden per minuut. Met een toetsenbord op een mobiele telefoon is veel sneller typen mogelijk, ongeveer 36 woorden per minuut. Toch noemen de onderzoekers de prestaties voldoende functioneel.
Er bestaan al diverse andere technologieën die gebaren herkennen, bijvoorbeeld op basis van bewegingssensoren of camera’s die de gebruiker filmen. Die systemen werken echter minder goed bij slechte verlichting of minimale beweging. Ook op het gebied van directe hersen-computerinterfaces gebeurt er de laatste jaren veel. Zo kunnen implantaten in de hersenen inmiddels gedachten omzetten in taal, met een datasnelheid die vergelijkbaar is met die van een toetsenbord. Maar dat soort technologie vereist ingrijpende hersenchirurgie en werkt alleen met op maat gemaakte software voor één persoon.
De polsband van Reality Labs omzeilt deze beperkingen. Het apparaat gebruikt zogenoemde oppervlakte-elektromyografie (sEMG), waarbij kleine elektrische spanningen in de spieren worden opgevangen via 48 metalen contactpunten op de huid. Door die signalen te analyseren met slimme algoritmes, kan de armband afleiden wat een gebruiker wil doen.
Commerciële toepassingen
De sEMG-methode bestaat al langer. In de zorg wordt het bijvoorbeeld gebruikt voor de aansturing van prothesen. Ook bestonden er commerciële toepassingen, zoals de inmiddels niet meer geproduceerde Myo-armband, die om de onderarm werd gedragen om daarmee apparaten zoals computers of gameconsoles draadloos te bedienen. Eerdere systemen hadden volgens de onderzoekers beperkingen: ze werkten niet in realtime en vereisten kalibratie per gebruiker.
Om het systeem te trainen zijn gegevens van duizenden mensen verzameld. De proefpersonen voerden verschillende handgebaren uit terwijl ze een apparaat droegen dat de elektrische signalen van hun spieren registreerde. De onderzoekers schrijven dat het door verschillen in lichaam, spieractiviteit en bewegingspatronen lastig was een model te bouwen dat voor alle gebruikers geschikt is. De armband is volgens hen het resultaat van tien jaar werk door honderden wetenschappers en ingenieurs van Reality Labs.
De onderzoekers gaan ervan uit dat het model steeds beter wordt naarmate het met data van meer gebruikers wordt getraind. „Dit is nog maar het begin”, schrijven ze. De technologie is nog niet te koop, maar de onderzoekers verwachten dat dit soort interfaces in de toekomst kan bijdragen aan snellere, meer intuïtieve en toegankelijkere vormen van interactie met computers.
