Er heerst een zekere grimmigheid in de publieke verbeelding. Die heeft te maken met de oorlogen die nu plaatsvinden, maar ook steeds meer met angst voor nieuwe technologie. Sinds de presentatie van ChatGPT is het brede publiek vertrouwd met de grote risico’s van kunstmatige intelligentie. Ontzag voor innovatie gaat tegenwoordig hand in hand met een gevoel van huivering. Individuen als Sam Altman en Elon Musk en organisaties als OpenAI, Anthropic en DeepMind spelen door middel van hun technische uitvindingen met het lot van de mensheid.
Misschien was de film Oppenheimer daarom zo’n succes vorig jaar. Die ging over wetenschappers die in oorlogstijd verantwoordelijk waren voor de bouw van een gevaarlijke technologie die de geschiedenis heeft veranderd. Toch was Oppenheimer niet bevredigend. Uiteindelijk gaf de film ons maar weinig inzicht in de vraag wat de relatie van die briljante wetenschappers nu precies was tot de wapens die zij bouwden.
Een veel oudere film slaagde daar beter in. Ik heb het over de satirische Dr. Strangelove van Stanley Kubrick uit 1962. De film gaat over de kernwapenwedloop tijdens de Koude Oorlog. De hoofdpersoon is een krankzinnige wetenschapper die de doctrine van MAD – ‘mutually assured destruction’ – met ijzige logica doortrekt. Dat was de doctrine dat er alleen vrede kan zijn als de Verenigde Staten en de Sovjet-Unie zoveel kernwapens bezitten dat zij elkaar altijd volledig kunnen vernietigen.
De logica van de wetenschapper draagt bij aan de uiteindelijke vernietiging van de aarde. De schrijver van het verhaal modelleerde zijn maniakale hoofdpersoon op een veelal vergeten wetenschapper genaamd John von Neumann.
Levende machines
In een prachtig recent boek wordt die wetenschapper uit de vergetelheid getrokken en geplaatst in de opkomst van kunstmatige intelligentie. Als geen ander boek vraagt het ons na te denken over de relatie tussen briljante wetenschappers en de technologieën die zij creëren.
Dat is bijzonder, want The Maniac van Benjamin Labatut is fictie. Toch heeft het verhaal ons veel te zeggen, want ook al zit het vol met fictieve dialogen en gedachten van personages, de auteur heeft zich grondig in zijn personages verdiept. We kunnen het lezen als een spiegel op de recente geschiedenis.
John von Neumann was een briljante wetenschapper, een Hongaarse Jood die de nazi’s ontvluchtte, naar de VS trok en bijdragen leverde aan allerlei vakgebieden. Hij begon in de wiskunde en zijn leven lang benaderde hij alles als mathematisch op te lossen problemen.
Tijdens de Tweede Wereldoorlog was hij een consultant voor het Manhattan Project, waar Oppenheimer met zijn collega’s de atoombom bouwde. Hij was de grondlegger van de speltheorie in de economie, waarin menselijke interacties vanuit rationele strategieën worden afgeleid. Von Neumann droeg bij aan het onderzoek naar zelfreplicatie in de biologie, wat hem bracht bij zijn andere grote fascinatie: levende machines, ofwel kunstmatige intelligentie.
In de jaren vijftig was John von Neumann ook een van de pioniers in de ontwikkeling van computers. De ENIAC, gebouwd voor het Amerikaanse leger, is beroemd als een van de eerste computers. Von Neumann bouwde een eigen versie, de Mathematical Analyzer Numerical Integrator and Automatic Computer Model I, ofwel de MANIAC. Labatut heeft die naam als titel voor zijn boek gebruikt, omdat het inzicht geeft in de gevaarlijke logica die mensen als Von Neumann dreef.
Waar zit dat gevaar dan in?
Irrationeel
Vaak wordt gewezen op dubieuze karaktertrekken en slechte beslissingen van grote geesten als reden voor het gevaarlijk gebruik van technologie. Inderdaad, het boek zit vol met eigenaardige karakters. Von Neumann zelf was zeer moeilijk, we komen wiskundigen als Gödel en Cantor tegen die krankzinnig werden en ook wetenschappers die voor de nazi’s hebben gewerkt.
Maar zo’n verklaring zou te gemakkelijk zijn. Het impliceert dat hun werk neutraal was en het pas gevaarlijk werd door karakterfalen of door verkeerd gebruik ervan.
Een van Labatuts karakters wijst op een dieper verband: „Paranoia is op hol geslagen logica.” Als je namelijk gelooft dat alles een oorzaak heeft, is het maar een kleine stap om overal geheime plannen en agenten achter te gaan zien. Er schuilt gevaar in een bepaalde manier van nadenken.
/s3/static.nrc.nl/images/gn4/stripped/data111686704-cf64a6.jpg|https://images.nrc.nl/9AuiOfrrMYm_-hmwxN_HOCe38u4=/1920x/filters:no_upscale()/s3/static.nrc.nl/images/gn4/stripped/data111686704-cf64a6.jpg|https://images.nrc.nl/g44ffkiADz47wez0vyNBMvAH_7Q=/5760x/filters:no_upscale()/s3/static.nrc.nl/images/gn4/stripped/data111686704-cf64a6.jpg)
The Maniac gaat over het leven van John von Neumann, maar dat verhaal wordt aan het begin en het eind geflankeerd door een ander verhaal. Het boek opent met de natuurkundige Paul Ehrenfest die een voorgevoel heeft van iets zeer gevaarlijks dat in de wetenschap kruipt en daarmee is dit de prelude op het verhaal van Von Neumann.
Ehrenfest leert dat de oude Grieken het irrationele vreesden. Concepten als oneindigheid of de nul, zaken die wij in de werkelijkheid niet kunnen tegenkomen, ons niet eens goed kunnen voorstellen, waren voor hen verboden terrein. Maar begin twintigste eeuw zag Ehrenfest hoe het gezond verstand en het menselijke voorstellingsvermogen werden verlaten. Mensen als Cantor en Gödel ontwikkelden een wiskunde die nieuwe berekeningen mogelijk maakte, maar die voor het menselijk verstand niet meer te begrijpen is.
Hetzelfde geldt voor de kwantummechanica, die de voor mensen rationeel te begrijpen natuurkunde verving met iets raadselachtigs. The Maniac is geen kritiek op de moderne wetenschap, maar wel op een manier van denken die daardoor mogelijk werd gemaakt. Mensen als Von Neumann volgden een logica en een manier van rekenen die vanaf dat moment volledig gescheiden kon worden van de wereld met mensen van vlees en bloed. Gezond verstand, zintuiglijke ervaring en de menselijke maat geven het denken richting en houvast. Maar Von Neumann werd gedreven door een „sinistere machinale intelligentie zonder de begrenzingen die de rest van ons binden”. Een nihilistisch rekenen en een gebruik van modellen dat ongebonden is door de menselijke maat.
Afgrond
Een goed voorbeeld daarvan is de zo adequaat genaamde MAD-doctrine van Dr. Strangelove. John von Neumann was een van de vaders van die doctrine: vrede realiseren door een wapenarsenaal te bouwen dat de wereld kan vernietigen. Met zijn koude logica had Von Neumann trouwens ook beargumenteerd dat de VS haar kernwapens tegen de Sovjet-Unie moest gebruiken voordat dat land zelf kernwapens had. Dat was simpelweg de prijs voor eeuwige vrede.
Of neem een ander voorbeeld van zijn maniakale logica: Von Neumann droomde van het naar de ruimte sturen van zelfreplicerende machines, omdat „iets de bommen moest overleven”. Alsof dat ergens een oplossing voor was. En we niet konden proberen om de bommen te beheersen. Die logica doet denken aan hoe Elon Musk over zijn werk spreekt: met Tesla proberen de aarde te redden, maar als dat niet lukt, met SpaceX evacueren naar Mars. Of de gedachte uit Silicon Valley dat de enige manier om kunstmatige intelligentie te slim af te blijven is om onszelf te ‘upgraden’ tot computers.
In plaats van na te denken over hoe wij de gevaren van nieuwe technologieën en wapens kunnen inperken wordt hier de oplossing gezocht in nog meer technologie, waarbij gaandeweg onze menselijkheid verloren gaat.
De boodschap van Labatut doet denken aan Hannah Arendts diagnose van totalitaire politiek. Ook daar werd volgens haar het terrein van het gezonde verstand verlaten. Mensen werd geleerd dat alles mogelijk was en daarmee niets is wat het lijkt. Burgers mochten hun zintuigen niet vertrouwen. Vriendelijke medemensen moesten genegeerd worden omdat zij eigenlijk agenten waren van klasse- of rasvijanden. Als mensen hun ogen en oren niet meer vertrouwen, kunnen duistere figuren ze alles laten geloven. Het is de afgrond waar desinformatie en deepfakes ons nu weer voor plaatsen.
Een ander inzicht van Arendt werpt ook licht op hedendaagse gevaren. Dat is haar idee van de banaliteit van het kwaad. Zij zag hoe mensen in abstracties dachten en daarmee de meest gruwelijke dingen konden doen. In The Maniac zien wij de poging van mensen als Von Neumann om de werkelijkheid te reduceren tot een spel – de speltheorie bijvoorbeeld – een lichtzinnigheid waarmee veel kwaad aangedaan kan worden, zoals zijn aanbeveling om de Sovjet-Unie volledig te vernietigen.
Russische roulette
Het laatste deel van het boek, na het verhaal van Von Neumann, gaat ook over een spel. Het vertelt hoe een paar jaar geleden Lee Sedol, de Zuid-Koreaanse grootmeester in het spel Go, de strijd aanging met het kunstmatige intelligentieprogramma AlphaGo van het bedrijf DeepMind.
We volgen een spannende wedstrijd van mens tegen machine, waarbij de machine nog weleens hapert, maar uiteindelijk de mens overtuigend verslaat. Dat is de gangbare angst voor AI waar we vertrouwd mee zijn. Maar het verhaal eindigt daar niet, want Labatut signaleert een dieper gevaar.
AlphaGo versloeg Lee Sedol met een enorme database van menselijke strategieën waarop het was getraind, te veel voor een enkel mens om tegenop te boksen. Maar na AlphaGo lanceerde het bedrijf DeepMind het programma AlphaZero en gebruikte daarvoor geen menselijke trainingsdata meer. De eeuwenoude strategieën en het gezond verstand van Go-spelers werd losgelaten en in plaats daarvan speelde het programma alleen tegen zichzelf. Het volgde dus een volledig eigen machinale logica. AlphaZero werd snel veel beter dan het meer menselijke AlphaGo en werkt op een manier die het menselijk voorstellingsvermogen te boven gaat.
Dit is het gevaar van AI waar The Maniac ons op wijst. Niet dat AI beter gaat doen wat wij als mensen doen, maar dat het iets totaal anders gaat doen. Dat het een logica volgt die voor ons begrip en gezond verstand niet te volgen is en onze menselijkheid niet meer meeneemt in de berekeningen. Het echte gevaar is dat wij geen voorstelling meer kunnen maken van het gevaar.
The Maniac is geen aanklacht tegen technologie of tegen individuele wetenschappers. Maar wel tegen een bepaalde logica die technologieën loslaat op de samenleving waarvan wij de werking niet meer kunnen voorstellen. Een logica die de menselijke maat links laat liggen en technologische gevaren bestrijdt met alleen maar meer technologie.
Dat unheimische gevoel krijg je van Oppenheimer, maar wordt in The Maniac blootgelegd. Het laat zien wat er op het spel staat wanneer mensen als Sam Altman en Elon Musk ons lot in hun handen hebben. Dat is geen lichtzinnig spelletje, maar eerder een soort Russische roulette.
Klik op het vinkje naast ‘Ik ben geen robot’
