Sztuczna inteligencja rozpoznaje muzyczne „odciski palców”

|Z ostatniej chwili

W przyrodzie kolor wściekle żółty bywa stosowany ku przestrodze (patrz: liściołaz żółty) czy jako kamuflaż (patrz: modliszka storczykowa). W Pulsarze natomiast – to sygnał końca embarga, które prestiżowe czasopisma naukowe nakładają na publikowane przez badaczy artykuły. Tekst z żółtym oznaczeniem dotyczy więc doniesienia, które zostało upublicznione dosłownie przed chwilą.

Zespół brytyjskich naukowców postanowił sprawdzić, czy sztuczna inteligencja zdoła wyodrębnić indywidualne cechy stylu wybitnych improwizatorów jazzowych. W tym celu badacze wykorzystali starannie wyselekcjonowany zbiór danych: 84 godziny nagrań z 1629 występów 20 słynnych pianistów, w tym Billa Evansa, Oscara Petersona, Theloniousa Monka, Chicka Corei i Keitha Jarretta. Aby umożliwić algorytmom odpowiednią pracę, utwory zostały przetworzone na cyfrowy format MIDI, rejestrujący wysokość, moment i głośność każdego dźwięku. Następnie naukowcy przetestowali kilka różnych systemów AI – od stosunkowo prostych algorytmów wyłapujących powtarzalne wzorce po zaawansowane sztuczne sieci neuronowe.

Wyniki eksperymentów, opublikowane w czasopiśmie „Nature Machine Intelligence”, okazały się bardzo obiecujące. Najlepiej radzący sobie system identyfikował poszczególnych wykonawców z dokładnością sięgającą 94,4 proc. Sama skuteczność niewiele jednak mówi o muzyce, dlatego powstała druga architektura AI – innowacyjny system, który przetwarzał kilka niezależnych strumieni informacji jednocześnie. Tworzyły go cztery podsieci analizujące osobno melodię, harmonię, rytm i dynamikę. Za „czytelność” program zapłacił jednak spadkiem trafności do 91,3 proc. Gdy zaś każda z podsieci pracowała osobno, najwięcej – jeśli chodzi o osobisty styl pianisty – zdradzała harmonia (74,4 proc. trafnych wskazań), potem rytm (61,9 proc.) i melodia (57,5 proc.); dynamika (głośność dźwięku) okazała się niemal bezużyteczna.

Odkrycia te dostarczają badaczom narzędzi do eksploracji muzycznych wzorców, z których część pokrywa się z dotychczasową literaturą naukową, a inne nigdy wcześniej nie były szerzej dyskutowane. System trafnie wyłapał bowiem motywy znane z muzycznych podręczników, jak np. charakterystyczne opadające arpeggia u Billa Evansa, czyli tzw. akordy łamane, w których poszczególne dźwięki grane są po kolei, a nie w tym samym czasie. Co równie istotne, zwrócił uwagę także na figury, których dany pianista w praktyce nie stosuje. Gdy taki motyw pojawiał się w ocenianym nagraniu, algorytm traktował to jako przesłankę, że przy fortepianie zasiadł ktoś inny. Sugeruje to, że styl wirtuozów opiera się także na konsekwentnym unikaniu określonych rozwiązań, o czym dotychczasowi analitycy rzadko wspominali.

Podsumowując swoje osiągnięcia, badacze zwracają uwagę na pewne ograniczenia zastosowanych metod. Muzyczne wymiary, takie jak melodia i harmonia, mogą się bowiem nakładać na siebie, co utrudnia ich całkowite odseparowanie przez algorytmy. Ponadto transkrypcje w formacie MIDI, choć są czytelne dla człowieka, to z konieczności zawężają zakres informacji muzycznej, z której model może się uczyć. Zapis ten nie uwzględnia bowiem unikalnych cech tonalnych i barwowych, takich jak wibrato (delikatne i pulsujące „drżenie” wydobywanego dźwięku, polegające na minimalnych wahaniach jego wysokości lub głośności) czy płynne zmiany wysokości dźwięku. W grze fortepianowej efekty te w zasadzie nie występują, problem ujawniłby się więc dopiero przy rozszerzaniu metody na inne instrumenty – autorzy piszą, że przeniesienie jej na saksofon wymagałoby uwzględnienia właśnie takich technik.

Dziękujemy, że jesteś z nami. To jest pierwsza wzmianka na ten temat. Pulsar dostarcza najciekawsze informacje naukowe i przybliża najnowsze badania naukowe. Jeśli korzystasz z publikowanych przez Pulsar materiałów, prosimy o powołanie się na nasz portal. Źródło: www.projektpulsar.pl.