Nauki społeczne i behawioralne: tylko co drugi wynik badań da się potwierdzić

Zaufanie do nauki opiera się na założeniu, że opublikowane wyniki badań można niezależnie zweryfikować. Na ile ten ideał pokrywa się z rzeczywistością w dyscyplinach społecznych, postanowili sprawdzić badacze z zakrojonego na szeroką skalę międzynarodowego projektu SCORE (Systematizing Confidence in Open Research and Evidence). Pod lupę wzięto artykuły z zakresu zarządzania, ekonomii, edukacji, nauk politycznych, psychologii i socjologii, opublikowane w latach 2009–2018 w 62 czasopismach naukowych. Weryfikacja przebiegała na trzech poziomach: odtwarzalności, odporności analitycznej i replikowalności.

Pierwszy artykuł z najnowszego wydania „Nature” prezentuje rezultaty testu odtwarzalności – uzyskania tych samych wyników przy użyciu identycznych danych i metod co autorzy oryginalnych prac. Naukowcy przebadali pod tym kątem 600 publikacji i już na starcie napotkali poważną przeszkodę: w 72 proc. przypadków nie udostępniano ani danych, ani kodu analitycznego (czyli skryptów i programów komputerowych użytych do przetwarzania danych i przeprowadzania analiz statystycznych). Ostatecznie weryfikację udało się przeprowadzić jedynie dla 24 proc. artykułów. W tej grupie odtworzono precyzyjnie tylko 54 proc. wyników, a ok. 21 proc. – z pewnym dopuszczalnym marginesem błędu. Wyraźnie lepiej wypadły w tym zestawieniu ekonomia i nauki polityczne, gdzie normy dzielenia się danymi są lepiej ugruntowane.

W drugim badaniu naukowcy zwrócili się do kilku niezależnych grup analityków o ponowne opracowanie tych samych danych pochodzących ze 100 publikacji, ale z użyciem innych, uzasadnionych merytorycznie metod statystycznych. W ok. jednej czwartej przypadków alternatywne sposoby analizy doprowadziły do odmiennych wniosków. To pokazuje, jak duży wpływ na końcowy wynik mają decyzje badaczy oraz jak łatwo taka swoboda może zmieniać rezultaty.

Trzecia próba stawiała najbardziej wymagające pytanie: czy wynik oryginalnego badania utrzyma się, gdy ktoś inny powtórzy je od zera – z nowymi uczestnikami lub świeżym zestawem danych? Podjęto 274 takie próby dla 164 artykułów. Wyniki oryginalnych badań udało się potwierdzić w połowie przypadków. Co więcej, nawet gdy wynik został obroniony, rzadko miał taką samą wagę. Siła obserwowanych efektów stopniała bowiem średnio o ponad połowę w stosunku do pierwotnych publikacji. Ponadto problem replikowalności okazał się uniwersalny: wskaźniki wahały się od ok. 43 do 63 proc., niezależnie od danej dyscypliny nauk społecznych i behawioralnych.

Jak zauważa w komentarzu na łamach „Nature” prof. Robb Willer ze Stanford University, uzyskane wyniki analiz nie oznaczają, że badane dyscypliny opierają się wyłącznie na szumie informacyjnym. Dowodzą jednak, że system wymaga naprawy, a apelowanie do dobrych chęci naukowców nie wystarczy – konieczne jest zaangażowanie instytucji w egzekwowanie wyższych standardów. Chodzi m.in. o obowiązkowe udostępnianie danych czy jasne określanie metod analizy jeszcze przed rozpoczęciem eksperymentu. Publikacje w „Nature” są więc dzwonkiem alarmowym, mogącym pomóc naukom społecznym w zdobywaniu wiedzy, która przetrwa próbę czasu.

Dziękujemy, że jesteś z nami. To jest pierwsza wzmianka na ten temat. Pulsar dostarcza najciekawsze informacje naukowe i przybliża najnowsze badania naukowe. Jeśli korzystasz z publikowanych przez Pulsar materiałów, prosimy o powołanie się na nasz portal. Źródło: www.projektpulsar.pl.