Podkast 158. Trzciński, Sankowski: Jak rośnie inteligencja sztucznej inteligencji
Niedługo nikt nie będzie pamiętał, jak wyglądał świat przed premierą pierwszego dużego modelu językowego AI. Dziś jednak jeszcze trudno o tym zapomnieć. Zaprezentowany trzy lata temu ChatGPT – a także jego następcy – zmieniają sposób, w jaki korzystamy z wiedzy, zmuszają rynek pracy do gwałtownej ewolucji, zaczynają majstrować przy relacjach międzyludzkich. Żeby ten stan rzeczy zdiagnozować, regularnie zapraszamy do naszego studia Piotra Sankowskiego, znakomitego informatyka, szefa IDEAS Research Institute. Dwa lata temu na pytanie o to, co myśleć o ofensywie AI rodem zza wielkiej wody, odpowiadał: „Nie bójmy się jej, róbmy własną”. Co mówi dziś?
W studiu nie jest sam – tym razem występuje raczej w roli osoby towarzyszącej koledze po fachu, Tomaszowi Trzcińskiemu, którego nazwisko przemknęło lotem błyskawicy przez nagłówki gazet i portali. Jest on współautorem – wraz z Michałem Bortkiewiczem ze Szkoły Doktorskiej PW – publikacji, którą recenzenci najbardziej prestiżowej konferencji AI na świecie, NeurIPS, uznali za jedną z czterech najlepszych spośród 20 tys. nadesłanych.
W największym skrócie – praca Trzcińskiego i Bortkiewicza, powstała we współpracy instytutu IDEAS z Princeton University, podważa przekonania dotyczące pewnego, powszechnie używanego modelu AI: mianowicie że jego pogłębianie (dodawanie kolejnych warstw sieci neuronowych) po prostu przestaje działać przy dużej skali. Jest przeciwnie, a nawet lepiej. Trzciński udowodnił, że owa głębokość fundamentalnie zmienia sposób wykonywania zleconych AI zadań – odblokowuje złożone zachowania. W jeszcze większym skrócie: zamiast błądzić w labiryncie w poszukiwaniu wyjścia, model taki potrafi przeskoczyć przez jego ściany.
Sięgnij do źródeł
1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
Obu panów pytamy oczywiście nie tylko o konsekwencje owej publikacji. Rozmawiamy także o tym, jak AI zmienia sposób uprawiania nauki. I o tym, gdzie należy spodziewać się gwałtownych przyrostów wiedzy. Pojawia się wątek wpływu nowej technologii na globalną ekonomię. Zastanawiamy się, czy skala inwestycji w infrastrukturę w prosty, automatyczny sposób przekłada się na jakość generowanych pomysłów. Ponawiamy też, rzecz jasna, pytanie o to, czy – i ewentualnie czego – należy się bać.