Nowe roboty uczą się starych sztuczek

„W praktyce jest to istotne i stanowi atrakcyjny, podstawowy problem wart studiowania” – uważa Xingyu Liu, informatyk z Carnegie Mellon University i główny autor badań, zaprezentowanych latem na Międzynarodowej Konferencji, dotyczącej Uczenia Maszynowego.

Załóżmy, że mamy ramię robota z ludzką ręką. Wytrenowaliśmy jego pięć palców, aby podnieść młotek i wbić kołek. Teraz chcemy, aby to samo zadanie wykonał chwytak dwupalcowy. Uczeni stworzyli między nimi rodzaj mostu z robotów symulacyjnych – między każdymi dwoma z nich powoli zmienia się pierwotny kształt poleceń. Każdy robot pośredniczący wykonuje wyznaczone zadanie, dostrajając do niego sztuczną sieć neuronową, aż osiągnie progowy wskaźnik efektywności, po czym kod zadań zostaje przekazany do następnego robota w łańcuchu.

W celu przejścia między wirtualnymi robotami źródłowymi i docelowymi zespół stworzył wspólne „drzewo kinematyczne” – zestaw węzłów reprezentujących części kończyn połączonych odpowiednikami stawów. Przeniesienie umiejętności uderzania młotkiem na dwupalcowy chwytak wymagało dostosowania rozmiarów i masy węzłów ze względu na brak trzech palców. W każdym robocie pośrednim rozmiary i masa palców były nieco mniejsze, a sieć kontrolująca je musiała nauczyć się do tego dostosowywać. Naukowcy dopracowali również metodę treningu, aby skoki między robotami nie były zbyt duże lub zbyt małe.

Metoda z Carnegie Mellon, o nazwie REvolveR (od Robot-Evolve-Robot), góruje nad podstawowymi metodami, polegającymi na uczeniu robota od podstaw. Aby osiągnąć 90-procentowy wskaźnik efektywności chwytaka w zadaniu z młotkiem i w innych sytuacjach – na przykład przy poruszaniu piłki lub otwieraniu drzwi – najlepsza alternatywna metoda treningu wymaga od 29 do 108% więcej prób niż REvolveR, mimo że w metodzie alternatywnej obficiej korzysta się z treningowych informacji zwrotnych. W dalszych eksperymentach naukowcy przetestowali metodę na innych typach wirtualnych robotów, na przykład dodając nogi do robota przypominającego pająka i ponownie ucząc go stąpania.

„Myślę, że to fajny pomysł” – uważa Vitaly Kurin, informatyk z University of Oxford, który studiuje robotykę i uczenie maszynowe, ale w opisanych pracach nie uczestniczył. Choć podejmowanie prób przenoszenia umiejętności przez sztuczną inteligencję nie jest niczym nowym, to, jak twierdzi, takiego transferu, korzystającego z interpolacji między robotami, wcześniej nie rozważał.