Sieci neuronowe potrzebują snu, żeby pamiętać

Sztuczne sieci neuronowe (artificial neural networks, ANN) to systemy, których budowa oraz zasady działania wzorują się na funkcjonowaniu biologicznego układu nerwowego. Potrafią przetwarzać informacje i wykonywać wyuczone wcześniej zadania. Jednak mają problem z treningiem sekwencyjnym: jeśli najpierw uczone są zadania A, a później zadania B, często nadpisują nową treść na starej. Podobne zjawisko u człowieka nazywane jest katastrofalnym zapominaniem (ang. catastrophic forgetting). W przeciwieństwie do ANN, mózg potrafi uczyć się w sposób ciągły, ale robi to znacznie skuteczniej, gdy okresy nauki przeplatane są snem. Ta obserwacja zainspirowała naukowców z University of California do wprowadzania sztucznych sieci neuronowych w stan przypominający śnienie i sprawdzenie, czy zapobiegnie on katastrofalnemu zapominaniu.

Uczeni trenowali ANN do wykonywania zadania nr 1, a następnie pozwalali im „spać”: puszczali im projekcje wykonywanego zadania w trybie offline – w trakcie sztuczne neurony nie mogły wpływać na przebieg testu, a jedynie „obserwowały” jego realizację. Autorzy badania uważają, że analogiczne procesy zachodzą w śpiącym mózgu, w szczególności w odniesieniu do pamięci proceduralnej, czyli warunkującej wykonywanie określonych czynności, np. jazdę na rowerze.

Po „przerwie na drzemkę” sztuczne neurony przystępowały do nauki zadania nr 2. Dzięki temu, że wcześniej „śniły” o zadaniu nr 1, nie zapominały, jak je wykonywać.

Autorzy eksperymentu uważają, że ich badania dostarczają przynajmniej dwóch ważnych wniosków. Po pierwsze, „wyspane” ANN lepiej chronią stare ślady pamięciowe. Po drugie, dane, na których zostają nadpisane nowe zadania, nie są bezpowrotnie tracone – dostarczenie sztucznym neuronom projekcji poprzednich zadań w trybie offline może przypomnieć im dawne czynności bez konieczności przeprowadzania ponownego treningu. Te wyniki stawiają też w zupełnie nowym świetle tytułowe pytanie powieści Philipa K. Dicka: „Czy androidy śnią o elektrycznych owcach?”. Wygląda na to, że odpowiedź brzmi: tak.