Sztuczna inteligencja posłucha mózgu i pozwoli zaśpiewać jak Pink Floyd
W badaniu opublikowanym na łamach „PLOS Biology” przeanalizowano dane od 29 osób z implantami mózgowymi monitorującymi ataki epilepsji. Gdy osoby te słuchały utworu zespołu Pink Floyd „Another Brick in the Wall, Part I”, wszczepione elektrody rejestrowały aktywność elektryczną w kilku obszarach mózgu związaną z elementami utworu, takimi jak dźwięk, rytm, harmonia i tekst. Następnie naukowcy przepuścili te dane przez model SI, aby choć częściowo odtworzyć to, czego słuchano. Opierano się przy tym na poprzednich badaniach, w których z powodzeniem zrekonstruowano słowa i obrazy wizualne na podstawie aktywności mózgu – wyjaśnia Shailee Jain, nie uczestniczący w badaniach neurobiolog z University of California w San Francisco – i dodaje: „teraz jesteśmy w stanie naprawdę wniknąć w mózg, aby odkryć lokalizację dźwięków”.
Model SI przeanalizował wzorce reakcji mózgów osób badanych na utwór, wyodrębniając zmiany związane z wysokością dźwięku, rytmem i tonacją. Następnie inny model ponownie złożył elementy składowe kompozycji, by odtworzyć słyszane dźwięki. Zrekonstruowana melodia pozostała prawie nienaruszona, zaś słowa były zniekształcone, ale rozpoznawalne, gdy wiedziano, czego dotyczyły. Ale dlaczego Pink Floyd? Ten utwór jest „bardzo wielowarstwowy”, co czyni go idealnym do analizy, a poza tym po prostu lubimy ten zespół – wyjaśnia prowadzący badania neurobiolog poznawczy Ludovic Bellier z University of California w Berkeley.
Poza muzyką efekty badań mogą być przydatne do przekształcania sygnałów mózgowych na ludzką mowę, która także zawiera w sobie niuanse melodyczne, takie jak tempo, akcenty czy intonacja. Te niuanse „oznaczają, że same słowa nie zapewniają pełnej komunikacji”, mówi Bellier.
Naukowcy mają nadzieję, że nowy model ulepszy interfejsy mózg-komputer, czyli w tym przypadku urządzenia, które zmieniają aktywność mózgu w syntetyzowaną mowę – przeznaczone dla osób niemych. „Zamiast automatycznie mówić »ja, kochać, ty« możemy krzyknąć »kocham cię!«” – mówi zaangażowany w badania Robert T. Knight, neurobiolog poznawczy z UC w Berkeley.
Obecny model opiera się na chirurgicznie wszczepianych elektrodach. Jednak w miarę doskonalenia technik zapisu aktywności mózgu możliwe będzie korzystanie z ultraczułych elektrod przymocowanych do skóry głowy. Na razie badacze mają nadzieję uzyskać wierniejsze odtwarzanie muzyki poprzez umieszczenie elektrod bliżej siebie na powierzchni mózgu, co umożliwi precyzyjniejszy odbiór elektrycznej symfonii wytwarzanej przez mózg. „Dziś odtworzyliśmy jeden utwór; może jutro uda nam się zrekonstruować cały album Pink Floyd” – dodaje Knight.