AI w nauce: więcej publikacji, ale kulejących merytorycznie

|Z ostatniej chwili

W przyrodzie kolor wściekle żółty bywa stosowany ku przestrodze (patrz: liściołaz żółty) czy jako kamuflaż (patrz: modliszka storczykowa). W Pulsarze natomiast – to sygnał końca embarga, które prestiżowe czasopisma naukowe nakładają na publikowane przez badaczy artykuły. Tekst z żółtym oznaczeniem dotyczy więc doniesienia, które zostało upublicznione dosłownie przed chwilą.

Naukowcy przeanalizowali dane z trzech największych internetowych repozytoriów preprintów: arXiv, bioRxiv oraz SSRN, śledząc dalsze losy ponad 2 mln manuskryptów (czy zostały opublikowane w jakimś recenzowanym czasopiśmie) oraz miliony danych dotyczących cytowani, wyświetleń i pobrań (z okresu styczeń 2018 – czerwiec 2024). Ponadto wykorzystali algorytm wykrywający teksty pisane z pomocą AI, porównując rozkład słów w abstraktach powstałych przed erą ChatGPT z tymi napisanymi później.

Z badania wynika, że zastosowanie dużych modeli językowych (LLM) wiąże się z wyraźnym wzrostem produktywności naukowców, jednak korzyści te rozkładają się nierównomiernie. Szczególnie duże zyski odnoszą badacze, dla których angielski nie jest językiem ojczystym. Naukowcy o azjatyckich nazwiskach, afiliowani przy azjatyckich instytucjach, odnotowali wzrost produktywności od 43 proc. do prawie 89,3 proc. Dla porównania, badacze z instytucji w krajach anglojęzycznych zyskali w tym samym czasie od 23,7 proc. do 46,2 proc. Technologia wydaje się więc niwelować różnice wynikające z biegłości językowej.

Ilość nie przechodzi jednak w jakość. Tradycyjnie w nauce wysoka złożoność językowa tekstu korelowała z jego wartością merytoryczną i większym prawdopodobieństwem publikacji w recenzowanym czasopiśmie. Era AI tę zależność odwróciła. W przypadku manuskryptów wspomaganych przez algorytmy, wyrafinowanie językowe wiąże się z niższymi ocenami recenzentów i mniejszą szansą na akceptację do druku. Oznacza to, że dopracowana przez maszynę, profesjonalna forma często służy do ukrywania słabszego wkładu naukowego.

Badanie przynosi również optymistyczne wnioski. Analiza zachowań użytkowników po wprowadzeniu wyszukiwarki Bing Chat (opartej na modelu GPT4) wykazała, że AI pomogła naukowcom wychodzić poza utarte schematy. Osoby z niej korzystające o ponad 26 proc. częściej sięgały do książek, a także docierały do nowszych prac oraz tych rzadziej przywoływanych. Przeczy to obawom, że sztuczna inteligencja zamknie badaczy w bańce najpopularniejszych artykułów – w rzeczywistości wydaje się sprzyjać odkrywaniu bardziej zróżnicowanych źródeł.

Warto jednak zauważyć, że zastosowana w badaniu metoda detekcji treści generowanych przez AI opierała się na analizie abstraktów, a nie całych tekstów, co może nie oddawać pełnej skali zjawiska. Ponadto wykorzystane dane pochodzą z okresu przed upowszechnieniem się najnowszych LLM-ów zdolnych do „rozumowania”, więc obserwowane efekty mogą ulec zmianie wraz z ulepszaniem technologii.

Dziękujemy, że jesteś z nami. To jest pierwsza wzmianka na ten temat. Pulsar dostarcza najciekawsze informacje naukowe i przybliża najnowsze badania naukowe. Jeśli korzystasz z publikowanych przez Pulsar materiałów, prosimy o powołanie się na nasz portal. Źródło: www.projektpulsar.pl.