Podkast 50. Przemysław Biecek: ChatGPT wytresowano tak, by uszczęśliwiał człowieka

ChatGPT. Od początków elektryfikacji żaden chyba wynalazek nie wzbudza takiego poruszenia jak ten model sztucznej inteligencji. W odpowiedzi na pytania sformułowane w języku naturalnym algorytmy zaprojektowane przez firmę OpenAI generują odpowiedzi, których spójna i poprawna forma prowokują refleksję, że oto w maszynie pobłyskują iskry inteligencji podobnej do ludzkiej. Przez media przetacza się fala niedowierzania, a zaraz za nią – przerażenia tym „nadludzkim” potencjałem. Mój gość uspokaja.

Po pierwsze, niepokój może wynikać z efektu zaskoczenia. Wielkie modele językowe (i szerzej – modele generatywne) badane są z powodzeniem od lat w wielu laboratoriach. Nie były jednak udostępniane szerszej publiczności. – Nasze doświadczenia związane z ChatGPT zostały skompresowane do paru tygodni, nie rozkładały się w czasie. Jesteśmy zaskoczeni, udziela nam się zaskoczenie innych, efektem czego jesteśmy jeszcze bardziej zaskoczeni – mówi Biecek.

Po drugie, o to właśnie upiorne wrażenie obcowania z istotą ludzką chodziło projektantom ChatGPT. W iteracyjnym procesie model uczony był coraz skuteczniej oczarowywać człowieka umiejętnością rozmowy. Akcent kładziono niekoniecznie na tym, by udzielał odpowiedzi bezbłędnych (stąd wypisywane przez niego banialuki zwane halucynacjami), ale na tym, by użytkownik – konwersując – był szczęśliwy. Model był tresowany. – Boję się analogii do istot żywych, bo one mogą nas kierować w niewłaściwą stronę. Ale tak – jest to rodzaj tresowania. Mówimy maszynie, co jest dobre, co jest złe. Nagradzamy za zachowanie, którego oczekuje człowiek.

Zdolności i wiedza modeli GPT są imponujące. Imponujący jest jednak zakres artefaktów języka, które posłużyły do zbudowania matryc statycznych prawidłowości. Owszem, zaszyte w nim tzw. mechanizmy uwagi pozwalają mu też wykraczać poza czystą stochastykę – uwzględniać konteksty i niektóre kategorie abstrakcyjne. Nawet taki lotny start nie sprawia jednak, że jego wiedza rośnie samoistnie. Jest jak kula śniegowa, owszem, ale taka, którą trzeba mozolnie toczyć pod górę. ChatGPT nie uczy się w trakcie naszej z nim rozmowy. Konieczne są ingerencje programistów – i kolejne restarty. Nie wyrwie się na wolność.

Po trzecie, reguły działania tego typu modeli sztucznej inteligencji nie są wiedzą tajemną. – Środowisko naukowe kręci nosem. Projektanci z OpenAI nie zrobili niczego nowego. Mają tylko wiele danych do dyspozycji. I potężne zasoby sprzętowe. Jedno i drugie niedostępne dla badaczy z uczelni czy politechnik. Jeśli już coś może budzić obawy, to ów monopol w dostępie do zasobów bitów i watów (wyuczenie GPT-3 kosztuje tyle emisji dwutlenku węgla co sto lat ludzkiego życia).

W modelach SI tkwią stronniczości lub tendencyjności. Wynikają z przypadku, z nieuwagi projektantów, z kulturowych „parametrów” ochotników, których reakcje służyły do strojenia modelu. Pół biedy, jeśli jest on niewielki. Usterki odkryć wtedy łatwo, prostymi testami lub nawet śledząc kod, linia po linii. Im większy jednak model, tym mniejsza przejrzystość. Zwłaszcza gdy twórcy – a tak właśnie jest w przypadku ostatnich wersji GPT – nie udostępniają dokumentacji.

– Odnajdywanie ukrytych tendencyjności – oto wielkie wyzwanie badawcze. Pokolenia będą się nad nim pochylać. Być może, z powodu skali modeli, analiza tego, co dzieje się w jego wnętrzu w ogóle nie będzie możliwa. Konieczne będą badania behawioralne – testy, które model będzie musiał przejść, by zyskać nasze zaufanie. – To jest zabawa w odkrywanie czegoś, czego nie przewidzieli nawet jego twórcy. Wyzwanie to jest potęgowane przez brak możliwości, którymi dysponują tylko giganci tacy jak Google czy Microsoft. – Bez wielkich baz danych i potężnych mocy obliczeniowych nie możemy wielkich modeli języka ani odtworzyć, ani zweryfikować.

Większe obawy zapewne powinna budzić inna okoliczność. – Kontrola nad ChatGPT leży w rękach kilku osób, które nie muszą wiedzieć, jak on działa. Ale kontrolę mają.