AI przewiduje wynik eksperymentów społecznych, zanim zostaną przeprowadzone

Zrozumienie mechanizmów, które kształtują ludzkie opinie i decyzje, wymaga kosztownych i czasochłonnych badań. Tradycyjnie naukowcy polegają na pilotażach lub intuicji doświadczonych ekspertów, aby oszacować, czy dana interwencja – np. kampania prozdrowotna – przyniesie zamierzony skutek. Badacze z Harvard University i Stanford University opublikowali w „Nature” wyniki analiz, które mogą zoptymalizować ten proces. Wykazali bowiem, że zaawansowane duże modele językowe (LLM) potrafią skutecznie symulować odpowiedzi osób o zróżnicowanym profilu demograficznym (płeć, wiek, rasa, poglądy) na konkretne bodźce wykorzystywane w testach.

Naukowcy zbudowali potężną bazę danych obejmującą 70 reprezentatywnych dla populacji USA wyników eksperymentów ankietowych, w których łącznie wzięło udział ponad 119 tys. osób. Następnie udostępnili LLM profile demograficzne respondentów oraz teksty wykorzystane w oryginalnych badaniach, prosząc o przewidzenie ich odpowiedzi. Okazało się, że korelacja między symulacjami wygenerowanymi przez maszyny a rzeczywistymi wynikami była bardzo wysoka – wyniosła 0,85 w skali od 0 do 1. Ponadto model GPT-4 radził sobie równie dobrze w przypadku eksperymentów, które nie zostały nigdzie opublikowane przed zakończeniem jego treningu przez firmę OpenAI. Jest zatem mało prawdopodobne, że algorytm jedynie odtworzył zapamiętane informacje.

Wysoka korelacja nie oznacza jednak precyzji. Na przykład GPT-4 systematycznie zawyżał siłę efektów np. kampanii społecznych – jego szacunki były średnio dwukrotnie większe od rzeczywistych. Ta skłonność do przesady dotyczyła jednak także ludzi (prognozy porównawcze zebrano od ponad 2,5 tys. laików zrekrutowanych przez specjalną platformę internetową). Badacze dostrzegli zaś niewielkie różnice w trafności symulacji na korzyść próbek reprezentujących osoby białe oraz sympatyków Partii Republikańskiej.
Dodatkowo autorzy zwrócili uwagę, że modele mogą zostać użyte niezgodnie z przeznaczeniem, np. do wskazywania bardzo skutecznych przekazów dezinformacyjnych, m.in. antyszczepionkowych. Dlatego poinformowali o tym firmy rozwijające modele AI jeszcze przed publikacją swoich wyników w „Nature”.

Mimo tych zastrzeżeń, LLM mogą posłużyć jako rodzaj pilotażu w badaniach społecznych. Przeprowadzenie takiej symulacji kosztuje bowiem mniej niż dolara, a daje trafność porównywalną z sondażem na 230 osobach (koszt ok. 736 dol.). Aczkolwiek najlepsze rezultaty przyniosłoby połączenie prognoz AI z niewielką próbą ludzką – podsumowują amerykańscy naukowcy.

Dziękujemy, że jesteś z nami. To jest pierwsza wzmianka na ten temat. Pulsar dostarcza najciekawsze informacje naukowe i przybliża najnowsze badania naukowe. Jeśli korzystasz z publikowanych przez Pulsar materiałów, prosimy o powołanie się na nasz portal. Źródło: www.projektpulsar.pl.