Siedem pierścieni zamiast rękawic. Być może przełom w tłumaczeniu języka migowego

|Z ostatniej chwili

W przyrodzie kolor wściekle żółty bywa stosowany ku przestrodze (patrz: liściołaz żółty) czy jako kamuflaż (patrz: modliszka storczykowa). W Pulsarze natomiast – to sygnał końca embarga, które prestiżowe czasopisma naukowe nakładają na publikowane przez badaczy artykuły. Tekst z żółtym oznaczeniem dotyczy więc doniesienia, które zostało upublicznione dosłownie przed chwilą.

Język migowy jest podstawowym środkiem komunikacji dla osób z zaburzeniami słuchu lub mowy, jednak stałą barierą pozostaje brak jego znajomości u większości ludzi. Dotychczasowe systemy tłumaczące opierały się przeważnie na „inteligentnych” rękawicach lub układach połączonych przewodami. Choć pozwalały na odczytywanie podstawowych gestów, ich konstrukcja krępowała naturalne ruchy dłoni, zmniejszała komfort i nierzadko wymagała drobiazgowej kalibracji pod konkretnego użytkownika. Naukowcy zaprezentowali właśnie na łamach „Science Advances” system eliminujący te ograniczenia.

Ich rozwiązanie, nazwane WRSLT (wirelessly connected ring-type sign language translator), składa się z siedmiu niezależnych pierścieni. Zamiast rejestrować sygnały z całej dłoni, badacze wytypowali bowiem siedem palców kluczowych dla rozpoznawania gestów. Każdy z pierścieni wyposażono w akcelerometr, co pozwala na jednoczesne śledzenie statycznego ułożenia palców oraz ich dynamicznego ruchu w przestrzeni. A poszczególne elementy systemu komunikują się bezprzewodowo za pomocą Bluetooth, dając użytkownikowi pełną swobodę działania.

Wyeliminowanie połączeń za pomocą kabli przełożyło się na wysoką skuteczność podczas ostatecznych testów. Urządzenie rozpoznawało gesty spośród zestawu stu słów amerykańskiego języka migowego (ASL) oraz międzynarodowego języka migowego (ISL) ze średnią dokładnością wynoszącą odpowiednio 88,3 oraz 88,5 proc. Eksperymenty przeprowadzono w rygorystycznych warunkach „niewidzianego użytkownika”, co oznacza, że osoby testujące sprzęt nie brały wcześniej udziału w trenowaniu algorytmów sztucznej inteligencji. Chodziło o to, by sprawdzić, czy system radzi sobie bez ponownej konfiguracji.

Platforma WRSLT nie tylko rozpoznaje pojedyncze, wyrwane z kontekstu słowa. Naukowcy opracowali specjalny algorytm, który na bieżąco analizuje i wyodrębnia znaki z ciągłego strumienia ludzkich gestów. Dzięki temu tłumacz radzi sobie z całymi zdaniami.

Zdaniem jego twórców uzyskane wyniki pomogą w tworzeniu powszechnych systemów tłumaczeniowych oraz interfejsów asystujących w codziennym życiu.

Dziękujemy, że jesteś z nami. To jest pierwsza wzmianka na ten temat. Pulsar dostarcza najciekawsze informacje naukowe i przybliża najnowsze badania naukowe. Jeśli korzystasz z publikowanych przez Pulsar materiałów, prosimy o powołanie się na nasz portal. Źródło: www.projektpulsar.pl.