Onderzoekers reconstrueren nummer van Pink Floyd uit hersenscans van luisteraars

Neurowetenschap Uiteindelijk zou deze techniek moeten leiden tot betere spraakcomputers die patiënten kunnen helpen meer emoties te uiten.

Een uitvoering van The Wall door Pink Floyd in Londen in juni 1981.
Een uitvoering van The Wall door Pink Floyd in Londen in juni 1981. Foto Pete Still/Redferns

Je kunt niet alleen een liedje in je hoofd hebben, wetenschappers kunnen het er ook uithalen. Amerikaanse hersenonderzoekers zijn erin geslaagd om Another Brick in the Wall te reconstrueren uit de hersenactiviteit van mensen die dit nummer van Pink Floyd hadden beluisterd.

Het is voor het eerst dat op deze manier muziekgolven via de hersenen zijn opgevangen en opnieuw in elkaar gezet. Tot dan toe was dat alleen met spraak gelukt. Het onderzoek is deze week gepubliceerd in Plos Biology.

Dit lijkt misschien op gedachten lezen, maar het opvangen van de geluidsgolven in het brein is nog niet zo eenvoudig. De hersenactiviteit werd niet van buitenaf gemeten, maar via elektroden ín de hersenen. De wetenschappers konden meeliften met onderzoek onder 29 epilepsiepatiënten, bij wie al elektrodenmatjes waren geïmplanteerd om de epileptische aanvallen te lokaliseren. Gemiddeld hadden ze 92 elektroden in het brein, sommigen zelfs 250. Voorwaarde was dat de elektroden in elk geval deels de zogeheten superieure temporale gyrus (STG) bedekten, een stukje boven de oren, een belangrijk gebied voor de verwerking van muziek.

Aandachtig luisteren

De deelnemers, van zestien tot zestig jaar, kregen de opdracht met een koptelefoon aandachtig naar Another Brick in the Wall (deel 1) te luisteren. Zonder al te veel op details te letten en passief, om te voorkomen dat er te veel ruis zou ontstaan door andere hersenactiviteiten. Juist dit nummer werd gekozen, omdat het een rijk en complex nummer is, met voldoende elementen om meerdere delen van de hersenen aan te spreken.

Hoe muzikaal de luisteraars waren, wisten de onderzoekers niet. Maar dat het nummer bekend voorkwam, lag voor de hand: het nummer stond op het wereldberoemde album The Wall. Deel 2 van de compositie stond vanaf eind 1979 hoog in hitlijsten over de hele wereld en werd een evergreen.

In de 191 seconden die het nummer duurde, werd de hersenactiviteit van de deelnemers met een electroencephalografie (EEG) vastgelegd, om daarna te kijken in hoeverre een computermodel de data weer in omgekeerde richting kon vertalen naar een herkenbaar liedje. Het model leert van elke relatie tussen breinactiviteit en de akoestiek van het liedje en kan zo uit de data voorspellen wat iemand hoort.

Gereconstrueerde geluidsgolven

De reconstructie werd beoordeeld door te berekenen in hoeverre de grafiek van de gereconstrueerde geluidsgolven het origineel benaderde. „Maar we hebben er ook een bestand van gemaakt om naar te luisteren en konden het nummer herkennen aan onder meer de gitaar en de zang”, aldus onderzoeker Ludovic Bellier via de mail. De woorden van ‘all in al it was… just a brick in the wall’ waren een beetje vaag, maar het ritme was intact.

Bij het luisteren naar muziek is een breed netwerk van verschillende breingebieden betrokken, deels overlappend met spraakwaarneming. De neurowetenschappers wilden ook kijken of ze beter konden specificeren of bepaalde gebieden een voorkeur hebben voor afzonderlijke elementen, zoals ritme, harmonie of zang. Door de data van elektroden in afzonderlijke gebieden weg te laten uit de analyse, zagen ze dat de rechterkant van het brein in het algemeen dominanter is bij muziek dan de linkerkant. Ook konden ze ritme koppelen aan een klein subgebiedje in het grotere gebied boven de oren.

Lees ook: Hoe Hanneke kan praten met een brein-computerverbinding

Meer emoties uiten

Hoewel lang niet alle signalen in de hersenen op deze manier opgevangen, gecodeerd en gedecodeerd kunnen worden – diepere hersenlagen zijn moeilijker te bereiken – hopen de onderzoekers dat hun onderzoek op termijn kan helpen om spraakcomputers te verbeteren. Gesproken taal heeft allerlei muzikale elementen die de betekenis kunnen versterken. Patiënten die niet kunnen spreken, kunnen mogelijk meer emoties uiten met spraakprogramma’s die gebruik maken van muzikale elementen.

Neuropsycholoog Rebecca Schaefer, die in Leiden onderzoek doet naar muziekwaarneming, vindt de studie bijzonder vanwege de grote hoeveelheid data uit een relatief grote groep deelnemers. „Dit geeft een beter begrip van de transformatie van geluid, maar het gaat vooral over perceptie. Om te kunnen communiceren moet je niet alleen registreren wat iemand hoort, maar moet de gebruiker ook manieren hebben om zich uit te drukken.” Spraakprogramma’s kunnen nog lang niet waar de Amerikanen op hopen, zegt ze. „Daar zijn nog wel wat stappen voor nodig.”