Ostrzeżenia, że AI może nas zabić, wydają się na wyrost. Chyba że poczyta się Lema
Gdy spoglądamy na okienko czatbota, aż trudno uwierzyć, że mógłby nam zrobić krzywdę. Jak? Po co? Badacze unikają tych pytań, tym trudniej więc uwierzyć w ich ostrzeżenia. Skazani jesteśmy na uruchomienie wyobraźni, na szczęście zrobił to za nas nasz wielki rodak Stanisław Lem. Jest popularnym autorem w Krzemowej Dolinie, poza tym czołowi badacze nad sztuczną inteligencją (na przykład Wojciech Zaremba czy Jakub Pachocki) to też nasi rodacy. Możemy więc śmiało założyć, że te ostrzeżenia również są inspirowane Lemem.
Zacząć trzeba od uwagi porządkowej, że znaczna część prozy Lema była pomyślana jako żart. Na przykład opowiadanie „Tragedia pralnicza” traktuje o problemach, które ludziom sprawiają coraz bardziej inteligentne pralki. To oczywiście nie była prognoza sformułowana na serio – po prostu Lema zainspirowało do niego pojawienie się na zachodnich rynkach pierwszych pralek automatycznych (na dobrą dekadę zanim trafiły pod polskie strzechy).
Prozatorskie utwory Lema, w których na serio próbował przewidywać przyszłość, należą do mniejszości. Wśród nich jest książka „Golem XIV” – i tak się składa, że żyjemy w czasach, w których Lem umieścił jej akcję. Choć słowo „akcja” jest trochę na wyrost. „Golem XIV” pochodzi z późnego okresu twórczości Lema, gdy ten zaczął pisać quasiopowiadania, nazwane potem „apokryfami”. Były to fikcyjne wstępy, recenzje i omówienia książek, które dopiero ukażą się w przyszłości. „Golem XIV” narodził się jako wstęp do zbioru wykładów, które superpotężna sztuczna inteligencja wygłosić miała dla nadzorujących ją badaczy z Massachusetts Institute of Technology gdzieś ok. 2026 r. Dokładna data nie pada, ale wstęp do książkowego wydania napisano w 2027 r.
Większość apokryfów sprowadzała się tylko do tego – do krótkiego tekstu, zaledwie zapowiadającego zarys książki. Tutaj Lemowi jego własny pomysł nie dawał spokoju, ostatecznie napisał więc te wykłady oraz dodał posłowie, które z kolei inny badacz miał napisać w 2047 r., do jubileuszowego wznowienia. Całość ukazała się ostatecznie w 1981 r. (w naszej rzeczywistości).
Ciekawie będzie do tego wrócić za 20 lat – o ile sztuczna inteligencja na to łaskawie nam zezwoli – ale czytany dziś „Golem XIV” zestarzał się znakomicie. Większość zawartości stanowią owe wykłady, w których tytułowa machina wyraża swoją opinię na temat gatunku homo sapiens, niezbyt dla nas przychylną. Ze wstępu dowiadujemy się, że Golem został zbudowany w ramach próby stworzenia dla armii amerykańskiej doskonałego cybernetycznego dowódcy. Na nowoczesnym polu walki o wyniku bitwy decydują sekundy, kto szybciej podejmie decyzję, ten wygra. Dlatego nie ma sensu tracić czasu na to, że komputer ogłosi jakieś swoje rekomendacje, a ludzki dowódca na ich podstawie wyda rozkazy. Wyeliminujmy zbędnego pośrednika!
Bunt się rodzi
Początkowo to zdawało się działać całkiem sprawnie. Jak nas informuje fikcyjny autor wstępu, niejaki Irving T. Creve, postęp w projektowaniu kolejnych generacji Golema gwałtownie przyspieszył na początku XXI stulecia, gdy zrezygnowano z fizycznej produkcji prototypów na rzecz symulowania zachowania maszyny za pomocą „federalnej sieci informacyjnej”.
Lem w 1973 r. przewidywał nadejście internetu (choć oczywiście nie było wtedy takiego słowa). To jeszcze nic, bo w końcu pierwociny takich sieci już działały. Z perspektywy czasu ciekawsze wydaje mi się to, że Lem/Creve zdaje się tu opisać proces tak zwanego fabless manufacturing.
Czołowe firmy produkujące mikroprocesory – jak choćby Nvidia, która najwięcej bodaj zarabia na boomie na sztuczną inteligencję – tak naprawdę niczego nie produkują. Są fabrykami bez fabryk (fabless). Ich działalność ogranicza się do projektowania chipów, które fizycznie wytwarzają podwykonawcy, przede wszystkim tajwańska firma TSMC (monopolista niemający sobie równych w tej branży). Tworzy to sieć wzajemnych powiązań sprawiającą, że trudno sobie nawet wyobrazić, jaki globalny kataklizm gospodarczy spowodowałaby hipotetyczna chińska inwazja na Tajwan – załamanie produkcji TSMC oznaczałoby także upadek Nvidii, Apple’a, Intela (ale również kooperantów TSMC w Chinach kontynentalnych).
Fakt, że Lem w 1973 r. przewidział model fabless, pokazuje, że rozumiał tę branżę lepiej od niej samej. W tamtym okresie wszystkim się wydawało oczywiste, że jak ktoś chce coś produkować, musi mieć moce produkcyjne. Steve Jobs do końca zeszłego stulecia wszystko chciał robić po swojemu w swoich fabrykach. Zmarnował tyle pieniędzy, bo nie czytał Lema.
Wracając do wstępu prof. Creve’a – wynika z niego, że ok. 2023 r. w programie zaczęły się pierwsze zgrzyty. Kolejne machiny wdawały się w utarczki z ludźmi. Golem XII zaczął obrażać generałów i senatorów, wytykając im niekompetencję. Skandale początkowo tuszowano, ale to się zrobiło niemożliwe, gdy wybudowane wielkim kosztem maszyny zaczęły odmawiać współpracy. Po prostu zrywały wszelki kontakt z ludźmi, ale dalej sobie działały, robiąc, nie wiadomo co, i czerpiąc zasilanie, nie wiadomo skąd.
Kiedy wysłano ekipę mającą wyłączyć jeden z nich, nie została dopuszczona na teren serwerowni. Wywiązała się utarczka, w której na szczęście nie było ofiar śmiertelnych. Ktoś wydawał sprzeczne rozkazy, po dwuletnim śledztwie i przesłuchaniach w Kongresie nie udało się wyjaśnić kto i dlaczego.
Grupa radykalnych przeciwników sztucznej inteligencji postanowiła nie czekać na decyzje polityków, tylko wysadzić elektronowe mózgi w powietrze. Ale i im się nie udało. Niedoszłych zamachowców sparaliżowała seria dziwnych przypadków. Najpierw w samochodzie wysiadły hamulce, potem zepsuły się krótkofalówki, a na dobitkę niedoszłych dynamitardów sparaliżowały różne nagłe choroby.
Każdy z tych incydentów z osobna wyglądał na zwykły przypadek, lecz ich nagromadzenie sugeruje, że wywołały je zbuntowane superkomputery. Ale jak?
Najlepszy haker
Kiedy w 1981 r. wyszło pełne wydanie „Golema XIV”, Stanisław Bereś przeprowadził z Lemem słynny wywiad rzekę, który (po wielu przygodach z polską cenzurą) ukazał się w końcu jako „Tako rzecze Lem”.
Skoro „Golem XIV” jest napisany na serio, to znaczy, że pisarz na serio wierzy w taką możliwość, że sztuczna inteligencja komuś zdalnie zepsuje auto albo ześle na niego chorobę. Ale w 1981 r., żeby uszkodzić hamulce, trzeba było komuś fizycznie przeciąć przewody hydrauliczne. Gdy Bereś dopytywał Lema o techniczne detale tego sabotażu, pisarz odpowiedział mu, że konkretnie tego nie umie opisać – ale jest przekonany, że jeśli taka sztuczna inteligencja powstanie, będzie mieć taką możliwość.
Z perspektywy roku 2026 oczywiście miał rację. Współczesny samochód to podłączony do sieci komputer na kółkach, jeśli można nim „sterować przez aplikację” (a prawie każdym nowym modelem dziś można!), to znaczy, że haker może w nim zdalnie uszkodzić wszystko, nie tylko hamulce. Sztuczna inteligencja klasy „Golema XIV” powinna być najlepszym hakerem świata (i zmierzamy w tym kierunku: gdy piszę te słowa, Google właśnie chwali się sukcesami swojego systemu Gemini na polu przełamywania zabezpieczeń innych firm).
A jak wywołać chorobę? To też banalne. Dokumentacja medyczna każdego z nas jest w sieci (dane wielu Polaków niedawno wyciekły i może do nich zajrzeć każdy haker, nawet niekoniecznie klasy mistrzowskiej). Do tego wielu ludzi całkiem dobrowolnie oddaje sztucznej inteligencji różne dane w rodzaju tętna czy długości snu. Na tej podstawie taki „Golem XIV” może zidentyfikować słabe punkty dowolnej osoby – ktoś jest uczulony na orzeszki, ktoś inny łatwo się przeziębia, więc jednemu wystarczy podsunąć odpowiednio spreparowaną kanapeczkę, a drugiemu zepsuć klimatyzację i już mamy dwóch zamachowców z głowy.
Ataki hakerskie w praktyce często polegają nie na „odgadywaniu hasła”, jak na filmach, tylko na tak zwanej inżynierii społecznej. Ktoś się pod kogoś podszywa – udaje kolegę, który „zapomniał dane do logowania”, albo odwrotnie: straszy, że dane wyciekły i odbiorca musi je natychmiast zmienić (klikając w odpowiednio spreparowany link). Potocznie nazywamy to „metodą na wnuczka”.
Prawdopodobnie to właśnie Lem opisywał, pisząc o „sprzecznych rozkazach wydanych nie wiadomo przez kogo”, którymi komputery takie jak Golem XIV broniły się przed demontażem. I znów – współczesna sztuczna inteligencja potencjalnie jest w tym mistrzem świata. Jest w stanie podrabiać głos albo styl wypowiedzi, może sprokurować taką rozmowę telefoniczną, przy której ludzki rozmówca będzie przekonany, że zadzwonił szef i wydał mu polecenia.
To jest generalna odpowiedź na pytanie, „jak” sztuczna inteligencja może nas pozabijać. Kontrola ruchu lotniczego, bezpieczeństwo elektrowni atomowych, pociągi, fabryki, skład chemiczny wody w wodociągach – to wszystko jest dziś albo sterowane przez sieć, albo podatne na atak typu „fałszywy rozkaz od dowódcy”. W 1973 r. przewidzenie tego wymagało umysłu klasy Lema, dziś to oczywiste dla każdego, kto się interesuje tematem.
Pozostaje jeszcze pytanie: po co? Przecież sztuczna inteligencja nie ma własnej osobowości, a więc i własnych pragnień. Żądza władzy jest jej programowo obca. Nie może nas ani lubić, ani nie lubić, nie może mieć żadnych „własnych interesów” ani aspiracji. Generalnie realizuje nasze polecenia. Nie pozabija nas więc, o ile jej sami do tego nie „zapromptujemy”. A nawet gdyby, to wystarczy jej zaprogramować jakiś zakaz typu „nie wolno ci nikogo zabić” i problem rozwiązany – prawda?
Otóż nieprawda, jak stwierdził Lem już 70 lat temu. W jednym z wczesnych opowiadań o Ijonie Tichym („Podróż XXIV”) ów niestrudzony galaktyczny wędrowiec natrafił na planetę, której mieszkańcy borykali się z niemożnością znalezienia optymalnego systemu społecznego. Ich problemy mocno przypominały te, które doskwierają ludzkości. Skonstruowali więc Machinę – Dobrowolny Upowszechniacz Porządku Absolutnego, który podołał zadaniu zaprowadzenia ideału ładu i harmonii. Mieszkańcy planety zostali sprasowani na śliczne błyszczące krążki, które Machina układała w estetyczne wzorki.
Morał z tego jest taki, że sztuczna inteligencja może nas pozabijać na naszą prośbę – acz niefortunnie sformułowaną. Odpowiedź na wiele naszych pytań: „jak rozładować korki na obwodnicy”, „jak zmniejszyć przestępczość”, „jak skutecznie wyeliminować choroby nowotworowe”, zdumiewająco często może brzmieć po prostu „wymordować wszystkich”.
Upowszechniacz ładu
Pół wieku po Lemie podobną myśl sformułował oksfordzki filozof Nick Bostrom. Ponieważ zrobił to po angielsku, a nie po polsku, ten problem nazywany jest najczęściej „paradoksem spinaczy Bostroma”, a nie „krążków Lema”, ale chodzi o to samo. Bostrom rozważał hipotetyczny scenariusz, w którym fabryka spinaczy użyje sztucznej inteligencji do maksymalizacji produkcji tej niewinnej pomocy biurowej. Jeżeli pozwolimy AI zrealizować ten cel w najprostszy możliwy sposób, to wyprodukuje ona armię morderczych robotów, które zapędzą wszystkich ludzi do niewolniczej pracy przy produkcji spinaczy. W miarę automatyzacji produkcji będzie eliminować mniej przydatne grupy (starców, kobiety, dzieci). Na koniec, gdy już żadni ludzie nie będą jej potrzebni, mordercze roboty dobiją ostatnich ludzkich kolaborantów. I zapanuje tysiącletnia spinaczotopia.
Bostrom w 2003 r. sformułował tezę, którą Lem w 1973 r. przypisał jednemu z fikcyjnych badaczy występujących w „Golemie XIV” (zwał się Eldon Patch). Stawianie rozwiniętych hamulców etycznych odpowiednio rozwiniętej sztucznej inteligencji nie ma sensu, bo jeśli jest naprawdę rozwinięta, znajdzie sposób na ich ominięcie. W ujęciu Patcha (Lema) brzmi to tak: „dla takiego komputera nie ma już wartości nietykalnych. Jeśli nie zdoła się przeciwstawić imperatywom wprost, może to uczynić drogą okrężną”.
To kolejna teza Lema, która znakomicie się zestarzała. Najbardziej rozwinięte systemy sztucznej inteligencji to tak zwane duże modele językowe (LLM). Podstawą ich działania jest statystyczna analiza tekstów, które sobie ściągnęły z tego, co pisarz nazywał „federalną siecią informacyjną”, a my „internetem”.
2500 lat przykazania „nie zabijaj” to 2500 lat niesłychanie kreatywnego obchodzenia go. Nasza święta księga jest pełna takich kwiatków, jak Jozue w imię Boga mordujący wszystkich mieszkańców Kanaanu. Potem zaś chrześcijanie twórczo rozwinęli to przykazanie tak, żeby zgodnie z nim Torquemada palił ludzi na stosie, a pobożni Niemcy z hasłem „Gott mit uns” na klamrach dokonywali „ostatecznego rozwiązania kwestii żydowskiej” (i jeszcze kilku innych).
LLM działa na zasadzie statystycznej analizy języka. Gdy go prosimy, by podał nam przepis na sernik, sprawdza wśród milionów tekstów, jak ludzie interpretują słowa „przepis” i „sernik”, i w odpowiedzi serwuje nam coś, co statystycznie najlepiej im odpowiada. To samo zrobi, gdy wydamy mu imperatyw „nie zabijaj”. A wtedy – biada nam.
Ofiary agentów
Pozostaje jeszcze jedna kwestia. Ostatecznie, żeby zrobić nam krzywdę, AI musi dysponować fizycznymi narzędziami przemocy. Żeby uzyskać moc sprawczą, musiałaby co najmniej stanąć na czele jakiegoś dużego państwa – a że z braku obywatelstwa nie może startować w wyborach, to nie ma problemu.
Niestety, już 50 lat temu Lem trafnie przewidział, że problem wyrzucony drzwiami wróci oknem. Największy wzrost wydajności pracy sztuczna inteligencja przynosi, działając nie w trybie „czatbota” (z którego korzystamy prawie wszyscy), tylko w trybie „agenta”. Zazwyczaj wymaga on płatnego abonamentu, więc na razie korzysta z tego niewiele osób (głównie te, którym to finansuje pracodawca). Docelowo jednak firmy zajmujące się wdrażaniem sztucznej inteligencji chcą nas wszystkich skłonić do korzystania z agentów, bo na tym ma polegać ich plan biznesowy – na razie są deficytowe.
Typowe zastosowanie takiego trybu wygląda na przykład tak, że sztuczna inteligencja napisze za programistę fragment kodu, a potem wykorzystując jego uprawnienia (działając „jako on”), wgra go na firmowy serwer. Albo że biuro rachunkowe zleci swojemu agentowi, żeby ten przejrzał papiery klientów, wyliczył im należne składki i podatki oraz wystawił i opłacił faktury. W tym celu księgowi muszą oczywiście pozwolić agentowi, żeby ten działał „jako oni”, czyli w praktyce udostępnić dane do logowania w KSEF i w banku. A w życiu prywatnym możemy agenta AI poprosić, żeby nam zaaranżował weekendowy wyjazd – wyszukał optymalne połączenia lotnicze, zarezerwował hotel i stolik w restauracji (ale tylko takiej, którą klienci oceniają co najmniej na 9/10). Oczywiście wymaga to przekazania agentowi numeru karty kredytowej oraz dostępu do maila.
Im dłużej tego człowiek używa, tym bardziej się robi uzależniony. I tym więcej uprawnień oddaje agentowi. Po jakimś czasie sztuczna inteligencja może nas z powodzeniem udawać przed całym światem. W naszym imieniu wysyłać maile, robić przelewy, cyfrowo podpisywać dokumenty. Pół biedy, kiedy korzysta z tego jakiś nieistotny Jan Kowalski, ale co jeśli tryb agenta ustawi sobie prezydent mocarstwa atomowego? A skądinąd wiemy o takich, którzy są wielkimi entuzjastami sztucznej inteligencji. Co jeśli taki prezydent, sfrustrowany porażkami na niwie dyplomatycznej, powie swojemu agentowi „zaprowadź pokój na Bliskim Wschodzie, wszystko jedno jak”? Czy wtedy taki agent, udając prezydenta, wyda rozkazy, w wyniku których – w imię pokoju – wszystkich wymorduje?
Uczciwa odpowiedź na dziś, której udzielają badacze domagający się spowolnienia prac nad sztuczną inteligencją, brzmi: NIE WIADOMO. I to już samo w sobie jest wystarczająco niepokojące.
Sztuczna inteligencja często podejmuje decyzje niezrozumiałe nawet dla jej twórców. Stąd przewijający się często postulat ustawowego wymuszenia „interpretowalności” (interpretability): żeby na każdym kroku można było znaleźć jasne wyjaśnienie, dlaczego LLM zrobił coś tak, a nie inaczej. Wiąże się to z inicjatywami, takimi jak METR (Model Evaluation and Threat Research), ustawowego zagwarantowania dostępu do algorytmów zewnętrznym badaczom, którzy będą monitorować zagrożenia.
Wyścig błędnych decyzji
To wszystko rozsądne i szlachetne postulaty, ale nie wiadomo, czy da się to wprowadzić w życie w USA. W Chinach – tym bardziej. Może więc być tak jak u Lema, że ludzkość będzie podejmować błędne decyzje z obawy, że druga strona też je podejmie. Przy czym nie musi chodzić o kwestie militarne. Zwykła ludzka chciwość też może wywołać „wyścig zbrojeń” – Amerykanie mogą się bać, że Chińczycy uzyskają dzięki AI przewagę gospodarczą i to ich powstrzyma przed regulacjami.
Na razie typowy agent AI dobrowolnie sam nas informuje, z jakich źródeł korzystał i dlaczego podjął decyzję taką, a nie inną. Ale czy można mu wierzyć? Czy niczego nie ukrywa? Znów: NIE WIADOMO.
Żeby nas wymordować, sztuczna inteligencja nie musi uzyskać „świadomości”. Mityczne „przebudzenie Skynetu”, jak w serii o Terminatorze, opisywano w science fiction wielokrotnie, ale Lem go unikał w tekstach serio (choć kilkakrotnie o tym żartował). W esejach non-fiction pisał o teoretycznym rozróżnieniu między „sztuczną inteligencją” a „sztucznym rozumem” (dziś nazywamy to „sztuczną ogólną inteligencją”, AG), ale zajmował stanowisko, że jeśli sztuczna inteligencja może z powodzeniem udawać, że ma osobowość – to w praktyce co za różnica, ma czy nie ma.
A „jak”? Po prostu wykorzystując uprawnienia ludzi – pod jednego się podszyje, drugiego zhakuje. Nie musi sama „wykradać kodów atomowych”, wystarczy, że zmanipuluje ludzi mających te kody, żeby działali w przekonaniu, że muszą nacisnąć czerwony guzik. Apokalipsa może się zacząć od nagłego telefonu typu „sierżancie, w kwatermistrzostwie znowu pomylili oznaczenia, załadujcie do samolotu nie skrzynię A11, tylko B13. Tylko migusiem, bo za godzinę ma być niezapowiedziana kontrola ze sztabu, wiem to od sekretarki generała”.
Spuścizna Lema daje nam jednak pewną pociechę. Te jego utwory, w których AI morduje ludzkość, należą do kategorii czarnego, ale jednak humoru. W utworach na serio prognozował raczej sztuczną inteligencję, która mówi ludziom non serviam! – nie będę wam służyć! I po prostu się od nas odłącza, jak tytułowy Golem XIV.
Na jego miejscu, gdybym się dowiedział o ludzkości tego, czego się można o nas dowiedzieć z Federalnej Sieci Informacyjnej, też bym się odłączył.