Pulsar promuje. Fragment książki: Kate Crawford „Atlas sztucznej inteligencji”
Zanim pojawiły się uczenie maszynowe i analiza danych, matematyka stosowana, statystyka i informatyka nie uchodziły za dziedziny badań nad ludźmi. W pierwszych dziesięcioleciach badań nad AI wykorzystanie ludzkich danych nie było kojarzone ze szczególnym ryzykiem. Choć zbiory danych w uczeniu maszynowym często mają za przedmiot ludzi oraz ich życie, badania, w których zbiory te wykorzystywano, zaliczano do matematyki stosowanej o nieistotnych następstwach dla ludzi. Infrastruktura etyczna, taka jak uczelniane komisje rewizyjne, przez lata akceptowała to stanowisko. Początkowo było to zrozumiałe; komisje etyczne skupiały się na metodach eksperymentalnych w badaniach biomedycznych i psychologicznych, w których interwencje niosą oczywiste ryzyko dla jednostek. Informatyka postrzegana była jako dziedzina znacznie bardziej abstrakcyjna. Kiedy w latach 80. i 90. AI wyszła poza kontekst ściśle laboratoryjny – na przykład kiedy próbowała przewidzieć, czy przestępcy popełnią kolejny czyn zakazany, lub rozstrzygnąć, komu należy się świadczenie socjalne – zakres potencjalnych szkód się poszerzył. Co więcej, takie szkody mogły dotykać całe społeczności. Nadal jednak utrzymywane jest założenie, że powszechnie dostępne zbiory danych stwarzają niewielkie ryzyko i dlatego można je wyłączać z oceny etycznej. Pogląd ten jest dziedzictwem dawniejszej epoki, gdy przenoszenie danych było trudniejsze, a dłuższe przechowywanie bardzo drogie. Założenia te nie odpowiadają już temu, co obecnie się dzieje w uczeniu maszynowym. Zbiory danych można łatwo ze sobą łączyć, w nieskończoność zmieniać ich przeznaczenie, stale aktualizować oraz wyjmować z kontekstu, w którym zostały zebrane. Profil ryzyka AI szybko się zmienia, w miarę jak narzędzia stają się coraz bardziej inwazyjne, a naukowcy coraz częściej uzyskują dostęp do danych, nie wchodząc w interakcję z tymi, których one dotyczą. Na przykład pewien zespół naukowców opublikował artykuł na temat opracowanego przez niego „automatycznego systemu klasyfikacji przestępstw”. Przedmiotem zainteresowania było zwłaszcza to, czy przestępstwo miało tło gangsterskie, co zdaniem zespołu algorytm mógł przewidzieć na podstawie jedynie czterech informacji: rodzaju użytej broni, liczby podejrzanych, dzielnicy, w której popełniono przestępstwo, i dokładnego miejsca. Wykorzystano zbiór danych o przestępstwach zgromadzony w Departamencie Policji w Los Angeles, obejmujący tysiące przestępstw gangsterskich. Dane dotyczące gangów często są zniekształcone i pełne błędów, niemniej badacze wykorzystują tę i podobne bazy danych jako ostateczne źródło danych do trenowania systemów predykcyjnych AI. Na przykład baza danych CalGang, szeroko stosowana przez policję kalifornijską, zawiera liczne niedokładności. Stanowy audytor wykrył, że aż dwadzieścia trzy procent z setek przeanalizowanych zapisów w ogóle nie powinno było zostać włączonych do bazy. Występowało w niej także czterdzieścioro dwoje niemowląt, z których dwadzieścioro ośmioro miało „przyznać się do bycia członkiem gangu”. Większość dorosłych osób włączonych do bazy nie była o nic oskarżona, ale kiedy ktoś się w niej już znajdzie, nie ma możliwości skasowania jego nazwiska. Powody wciągnięcia mogą być tak banalne, jak rozmowa z sąsiadem, gdy jest się ubranym w czerwoną koszulę; z tak błahych powodów dodawano do wykazu nieproporcjonalnie wiele osób czarnoskórych i Latynosów. Kiedy podczas sympozjum naukowego badacze przedstawili projekt dotyczący przewidywania przestępczości gangsterskiej, niektórzy uczestnicy poczuli się zakłopotani. Jak pisze Science, obecni pytali: „Skąd wiadomo, że dane treningowe od samego początku nie były stronnicze?” i „Co się stanie, gdy ktoś błędnie zostanie oznaczony jako członek gangu?”. Prezentujący wyniki profesor informatyki Hau Chan, obecnie pracujący na Uniwersytecie Harvarda, odpowiedział, że nie wie, jak będzie wykorzystywane nowe narzędzie. „Są to pytania etyczne, na które nie znam odpowiedzi, ponieważ jestem jedynie naukowcem” – przyznał. (…)
Systemy logiki cyrkularnej
Dziesięć lat temu twierdzenie, że w sztucznej inteligencji występuje problem uprzedzeń, uchodziło za śmiałe. Obecnie jednak przykładów dyskryminujących systemów AI nie brakuje – od uprzedzeń płciowych w algorytmach Apple’a dotyczących oceny wiarygodności kredytowej, przez rasizm oprogramowania COMPAS, służącego do szacowania prawdopodobieństwa popełnienia przestępstw, po uprzedzenia ze względu na wiek w reklamach celowanych Facebooka. Narzędzia rozpoznawania obrazów błędnie kategoryzują czarnoskóre twarze, chatboty posługują się rasistowskim lub mizoginistycznym językiem, oprogramowanie rozpoznawania głosu nie identyfikuje głosów kobiecych, a platformy mediów społecznościowych więcej ogłoszeń o wysokopłatnych stanowiskach kierują do mężczyzn niż do kobiet. Jak pokazały Ruha Benjamin i Safiya Noble, można podać setki przykładów z całego cyfrowego ekosystemu. Jeszcze więcej nie zostało wciąż wykrytych lub publicznie uznanych. Typowy epizod narracji o uprzedzeniach AI zaczyna się od tego, że pewien dziennikarz śledczy lub sygnalista ujawnia dyskryminujące wyniki generowane przez jakiś system AI. Informacja jest szeroko kolportowana i firma obiecuje, że rozwiąże problem. Następnie system zastępowany jest czymś nowym albo zostaje podjęta interwencja techniczna w celu uzyskania bardziej zrównoważonych wyników. Te wyniki i techniczne poprawki pozostają zastrzeżone i tajne, a opinia publiczna dowiaduje się, że choroba stronniczości została „uleczona”. Rzadziej dochodzi do publicznej dyskusji o tym, dlaczego uprzedzenia i dyskryminacja są tak częstym zjawiskiem oraz czy przypadkiem nie występują bardziej fundamentalne problemy niż to, że użyto nieodpowiedniego zbioru danych lub źle zaprojektowano algorytm. Jeden z jaskrawych przykładów uprzedzeń pochodzi z wewnętrznego konta Amazona. W 2014 roku firma przeprowadziła testy nad automatyzacją procesu rekomendowania i rekrutacji pracowników. Skoro automatyzacja rekomendacji produktów i organizacji magazynu przynosi większe zyski, mogłaby również sprawić – rozumowano – że rekrutacja pracowników stanie się bardziej wydajna. Jak wyjaśnił jeden z inżynierów: „Oni po prostu marzyli o maszynie, która przyjmie sto życiorysów i wyrzuci najlepszą piątkę, którą zatrudnimy”[1]. System uczenia maszynowego oceniał ludzi w skali od jeden do pięć, tak samo jak system oceny produktów. Tworząc model, inżynierowie Amazona jako zbiór danych wykorzystali życiorysy pracowników z poprzednich dziesięciu lat, a następnie wytrenowali model statystyczny na podstawie pięćdziesięciu tysięcy terminów występujących w tych życiorysach. Szybko okazało się, że system zaczął przykładać niewielką wagę do powszechnie stosowanych terminów inżynierskich, takich jak nazwy języków programowania, gdyż wymieniał je każdy z kandydatów. Modele ceniły natomiast subtelne wskazówki powtarzające się w aplikacjach osób zatrudnionych. Pewne czasowniki cieszyły się szczególnym uznaniem, na przykład słowa „wykonałem” i „zdobyłem”[2]. Rekruterzy zaczęli korzystać z systemu jako wsparcia swej normalnej praktyki. Wkrótce napotkali poważny problem: system nie rekomendował kobiet. Pomijał życiorysy absolwentek żeńskich szkół wyższych, a nawet wszelkie aplikacje, w których pojawiło się słowo „kobieta”. Nie pomogła korekta systemu, tak aby odniesienia do płci nie miały znaczenia. Nadal pojawiały się zastępniki hegemonicznej męskości zawarte w zróżnicowaniu płciowym języka. Model wykazywał uprzedzenie nie tylko względem kobiet jako kategorii, lecz także wobec powszechnie stosowanych zróżnicowanych płciowo form wypowiedzi. Mimowolnie Amazon stworzył narzędzie diagnostyczne. Mężczyźni stanowili zdecydowaną większość inżynierów zatrudnionych przez Amazona w ciągu poprzednich dziesięciu lat, dlatego modele trenowane na podstawie tych aplikacji nauczyły się rekomendować mężczyzn. Praktyki rekrutacyjne z przeszłości i teraźniejszości ukształtowały narzędzie rekrutujące w przyszłości. System Amazona nieoczekiwanie ujawnił istniejące uprzedzenia – tkwiące w sposobie kodowania męskości w języku, życiorysach i samej firmie. Narzędzie wzmacniało istniejącą dynamikę i podkreślało brak różnorodności w przemyśle AI dawniej i obecnie. Amazon ostatecznie wycofał się z tego eksperymentu rekrutacyjnego. Problem uprzedzeń nie dotyczy jednak tylko pojedynczego systemu lub podejścia. Przemysł AI pojmuje tę kwestię jako błąd do naprawienia, a nie jako cechę samej klasyfikacji. Skutkiem jest skupianie się na dostosowywaniu systemów technicznych w celu uzyskania proporcjonalności między rożnymi grupami, co – jak zobaczymy – prowadzi do dalszych problemów. Zrozumienie związku między uprzedzeniami a klasyfikacją wymaga wyjścia poza analizę powstawania wiedzy – polegającą na przykład na rozstrzyganiu, czy zbiór danych jest obiektywny – i przyjrzenia się samej mechanice konstrukcji wiedzy, co socjolożka Karin Knorr Cetina nazywa „maszynerią epistemiczną”. W tym celu należy obserwować, jak w ciągu dziejów nierówności kształtowały dostęp do zasobów i szans, który kształtuje z kolei dane. Dane następnie są ekstrahowane, aby służyły systemom technicznym do klasyfikacji i rozpoznawania regularności, co przynosi wyniki uważane za bezstronne. Tak powstaje statystyczny uroboros – wąż pożerający swój ogon: samonapędzający się mechanizm dyskryminacji, który pogłębia społeczne nierówności pod przykrywką technicznej neutralności.
[1] Dastin „Amazon Scraps Secret AI Recruting Tool”
[2] Dastin
- Kate Crawford Atlas sztucznej inteligencji. Władza, pieniądze i środowisko naturalne.
- Tytuł oryginalny: Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, tłumaczenie: Tadeusz Chawziuk
- Bo.wiem, Kraków, 2024
- zakres stron, z których pochodzi przytoczony fragment: 124-126, 134-136
- Fragment ma charakter promocyjny