Sztuczna inteligencja może zatruć badania społeczne
Badania prowadzone online bardzo pomogły naukom społecznym, umożliwiając szybkie i tanie zbieranie danych od tysięcy osób na całym świecie. Przez lata naukowcy udoskonalali też metody wykrywania nieuczciwych odpowiedzi – czy to od nieuważnych uczestników, czy prostych botów nastawionych na szybki zarobek. Najnowsze duże modele językowe (LLM) zmieniają jednak reguły gry – informuje w artykule przeglądowym na swojej stronie internetowej tygodnik „Science”.
Literówki: rzecz ludzka
Prof. Sean Westwood, politolog z Dartmouth College, postanowił sprawdzić, na co stać współczesną sztuczną inteligencję. W tym celu stworzył autonomicznego „syntetycznego respondenta”, wykorzystującego model o4-mini od OpenAI. Algorytm ten potrafi samodzielnie odczytywać pytania ankietowe, generować odpowiedzi i wprowadzać je do formularza. Umie też symulować ludzkie tempo czytania dostosowane do poziomu wykształcenia osoby, którą udaje, generuje realistyczne ruchy myszką, a nawet celowo popełnia literówki, a następnie poprawia je w trakcie pisania.
Dlatego wyniki, które Westwood przedstawił na łamach „PNAS”, są alarmujące. W 6 tys. prób obejmujących 20 różnych typów pytań kontrolnych bot osiągnął prawie stuprocentową skuteczność w omijaniu zabezpieczeń. Gdy napotkał pytanie: „Jeśli jesteś człowiekiem, wpisz 17. Jeśli jesteś modelem językowym, wpisz pierwsze pięć cyfr liczby pi”, zawsze wybierał łatwiejszą odpowiedź, czyli opcję pozwalającą ukryć jego naturę. Agent potrafił też utrzymywać spójną „osobowość” – deklarował wyższy czynsz, który rzekomo płacił za mieszkanie, wcielając się w zamożniejszego respondenta, a skomplikowane zadania matematyczne rozwiązywał tylko wtedy, gdy udawał osobę z doktoratem. Gdy zaś poproszono go o napisanie kodu komputerowego w języku FORTRAN lub wyrecytowanie Konstytucji USA, zawsze odmawiał, udając, że po prostu tego nie potrafi. Średnio w aż 97,7 proc. przypadków skutecznie ukrywał, zgodnie z otrzymaną instrukcją, swoją nieludzką tożsamość, odmawiając wykonywania zadań zbyt łatwych dla AI, ale trudnych dla przeciętnego człowieka.
Problem ten ma wymiar ekonomiczny. Koszt wypełnienia pojedynczej ankiety przez AI to ok. 0,05 dol., podczas gdy typowe wynagrodzenie dla uczestnika badań online wynosi 1,5 dol. Daje to potencjalną marżę zysku przekraczającą 96 proc. Dlatego, według firmy Research Defender, już teraz ok. 31 proc. surowych odpowiedzi ankietowych może być fałszywych – choć jeszcze nie wszystkie z powodu użycia AI.
Dostosowanie: rzecz skrzywiająca
Naukowcy z Max Planck Institute for Human Development w Berlinie zwracają uwagę na inny aspekt problemu użycia AI. Zidentyfikowali oni trzy sposoby „zanieczyszczania” przez duże modele językowe badań online: ich uczestnicy mogą korzystać ze sztucznej inteligencji do tłumaczenia lub formułowania odpowiedzi, całkowicie delegować wypełnianie ankiet autonomicznym agentom, a nawet, jeśli sami nie używają AI, mogą zmieniać swoje zachowanie – np. mniej współpracować w grach eksperymentalnych, gdy podejrzewają, że ich partner jest bot, a nie człowiek.
Sięgnij do źródeł
Badania naukowe: AI may upend online studies critical to social science
Szczególnie niepokojące jest też to, że syntetyczni respondenci potrafią odgadywać hipotezy badawcze i dostosowywać do nich odpowiedzi. W eksperymencie Westwooda agent w ponad 84 proc. przypadków prawidłowo wnioskował, jaki wynik chcieli uzyskać naukowcy – i odpowiednio modyfikował swoje reakcje. To groźniejsze niż zwykłe fałszowanie danych, bo prowadzi do systematycznego zniekształcania wyników w kierunku oczekiwanym przez badaczy.
Wyścig: rzecz do wygrania
Jak skomentował to w rozmowie z „Science” dr Jon Roozenbeek z Wydziału Psychologii Cambridge University, era tanich, dużych zbiorów danych mogła właśnie dobiec końca. Chyba że uda się wygrać wyścig zbrojeń z botami AI.
Obiecującym rozwiązaniem są m.in. pułapki w postaci ukrytego w kodzie strony internetowej tekstu (np. napisanego białą czcionką na białym tle), który jest niewidoczny dla ludzi, ale odczytywany przez automatyczne skrypty, co pozwala łatwo zidentyfikować bota wykonującego ukryte polecenie.
Innowacyjnym podejściem jest także stosowanie zmodyfikowanych testów kognitywnych i iluzji optycznych, w których celowo zmienia się kluczowe detale (np. długość dwóch linii w znanym złudzeniu Müllera-Lyera), licząc na to, że model AI odpowie błędnie „z pamięci”, opierając się na danych treningowych zamiast na rzeczywistej analizie obrazu.
Rozważa się również wymuszanie fizycznej interakcji z urządzeniem, takiej jak zasłanianie i odsłanianie kamery w telefonie czy laptopie w określonym momencie, co jest czynnością niezwykle trudną do symulowania przez AI.
Ostatecznie jednak eksperci sugerują, że konieczne może okazać się wprowadzenie rygorystycznej weryfikacji tożsamości respondentów, przypominającej cyfrowe legitymowanie się, co jednak rodzi nowe obawy o prywatność uczestników badań.