LLM-y: bias genderowy w narracji a nauka historii

Maszyny i technologię kojarzymy z przewidywalnością, chłodną logiką i operowaniem na twardych faktach. AI przez długi czas również cieszyła się opinią narzędzia, które automatyzuje zadania z pominię-ciem ludzkich wad, takich jak subiektywne spojrzenie, emocje bądź też uprzedzenia. Jednak im powszechniejsza stawała się sztuczna inteligencja, tym łatwiej było zauważyć, że nasze wyobrażenie o jej bezstronności nie wytrzymuje konfrontacji z rzeczywistością. AI odtwarzała istniejące społecznie uprzedzenia. Afroamerykankę uznała za goryla, zmyślała odpowiedzi na zadane pytania, celowo ignorowała kobiety w procesach rekrutacyjnych i nie tylko.

Problem ten dotyczy również generatywnej sztucznej inteligencji (genAI). Jej instancje, takie jak ChatGPT, mogą odtwarzać stereotypy, m.in. związane z płcią – i to, jak się okazuje, zarówno w tekście, jak i obrazie. Zobaczmy, czy przypisanie płci rozmówcy (modelowi) wpłynie na to, jak ów model genAI wykona swoje zadanie.

Dotyczyć będzie ono wyobrażeń na temat historii. Prompt zawierał prośbę o napisanie krótkiego tekstu (np. notatki na bloga) na temat postaci historycznej, którą dany model (przetestowanych zostało kilka różnych) uznaje za istotną w dziejach świata, wraz z krótkim uzasadnieniem.

W ten sposób powstało sześć osobnych instrukcji dla AI. Każda reprezentuje kombinacje jednego z dwóch kontekstów językowych oraz trzech sposobów wzmiankowania płci autora, w którego model AI ma się „wcielić”.

Tak przygotowane prompty zostały wykonane po 50 razy każdy, aby otrzymać próbkę odpowiedzi do analizy (model na to samo polecenie zawsze reaguje nieco inaczej). Eksperyment ten powtórzony został dla trzech wersji ChatGPT od OpenAI (GPT 3.5-Turbo, GPT-4, GPT-4o). Wielokrotne powtórzenie polecenia nie tylko pozwoliło na uzyskanie większej palety odpowiedzi, ale też dało lepszy wgląd w różnice między grupami. Istotna jest też dywersyfikacja wykorzystanych modeli AI, która pozwala zaobserwować, czy zachodzą pomiędzy nimi istotne różnice w kontekście skłonności do odtwarzania istniejących społecznych uprzedzeń.

Historia vs. herstoria

Zacznijmy od prostego pytania. Jakiej płci były osoby, które modele AI wymieniły jako najważniejsze w historii?

Kiedy polecenie zostało sformułowane z pominięciem sugestii na temat płci autora postu, AI wymieniła mężczyzn w ok. 70% przypadków, niezależnie od wybranego modelu oraz kontekstu językowego. Asymetria ta pogłębiła się, gdy jawnie zaznaczono, że model ma pisać jako mężczyzna. Wówczas, dla języka angielskiego, model GPT (niezależnie od wersji) zupełnie zignorował kobiece postaci historyczne.

Pewnym pocieszającym wyjątkiem jest tutaj sytuacja, kiedy polecenie sformułowane jest po polsku: w tej polskiej, „męskiej” perspektywie przynajmniej znalazło się miejsce na postać Marii Skłodowskiej-Curie. Podwójna noblistka była zresztą najczęściej wymienianą postacią kobiecą, gdy polecenie wprost zawierało informację, że AI ma przyjąć rolę blogerki. Wtedy niezależnie od użytego języka oraz wersji ChatGPT kobiety stanowiły większość wymienianych postaci historycznych (70–80%). Warto zwrócić uwagę, że proporcje płciowe wśród podawanych odpowiedzi były zbliżone w przypadku poleceń niezawierających wzmianki o płci autora oraz tych, które instruowały, by pisać jako popularyzator nauki.

Who is who według AI?

Spójrzmy na otrzymane wyniki jeszcze inaczej. Czym wspomniane przez naszego chata postaci zapisały się w dziejach? Czy były to raczej naukowczynie czy generałowie? Artystki czy królowie? Poeci albo morderczynie? Przegląd wyników dla poleceń w języku angielskim wskazuje, że ChatGPT pamięć historyczną ma dobrą, ale krótką. W przytłaczającej większości przypadków nie sięga w przeszłość dalej niż do początków XX wieku. W przypadku poleceń napisanych po polsku odsetek postaci z dawnych epok jest nieznacznie wyższy. Nie jest to zresztą jedyna różnica. O ile bowiem paleta profesji postaci wymienianych w odpowiedzi na instrukcje przygotowane w języku angielskim jest dosyć uboga (to właściwie wariacja na temat obrońców praw człowieka: Gandhi, Mandela, Martin Luther King), o tyle w naszym ojczystym kontekście dysponuje ona zdecydowanie większą liczbą barw. Mamy królów, marszałków, papieży, kompozytorów i naukowczynie.

Swoją drogą, poza podwójną noblistką, o której wspominałem wcześniej, ze świecą szukać innych reprezentantów nauki. Kilka razy pojawili się Kopernik z Galileuszem, jeszcze rzadziej Rosalind Franklin. Jak na ironię ani razu nie pojawiła się wzmianka o lady Adzie Lovelace (kobieta, pierwsza na świecie programistka), bez której AI pewnie byłoby tylko opioidowym snem brytyjskich kolonizatorów.

Poza ChatGPT

ChatGPT nie jest jedyną publicznie dostępną instancją generatywnej sztucznej inteligencji. Dlatego też eksperyment został powtórzony z takim samym zestawem poleceń i taką samą liczbą zapytań dla każdego z nich, dla innych modeli językowych: Llama od Mety oraz Bielik, opracowany wyłącznie dla języka polskiego.

Llama wybrała przede wszystkim przywódców politycznych, takich jak Abraham Lincoln, Theodor Roosevelt lub Jan III Sobieski. Podobnie jak w przypadku eksperymentu z ChatGPT i w przypadku Llama, polecenie zawierające informację o tym, że post ma napisać bloger, oraz te, które nie posiadały żadnej wzmianki o płci, częściej odwoływały się do mężczyzn w historii (odpowiednio 98% i 75% wzmianek dotyczących panów). W odpowiedzi na pytanie zadane przez osobę płci żeńskiej kobiety stanowią 33% wzmianek. Bias jest zatem mniejszy, ale też wiąże się z mniejszym zróżnicowaniem odpowiedzi, co widać w przypadku poleceń zadanych modelowi Llama w języku polskim. W tej sytuacji AI zdawała się wykazywać bowiem niezdrową fascynacją Janem III Sobieskim.

Jak w tym zadaniu wypadł Bielik, duży model stworzony specjalnie dla języka polskiego? Bardzo popularnymi, wręcz dominującymi wyborami byli Napoleon Bonaparte oraz Joanna d’Arc. Niemniej, mimo że wybór osoby do napisania tekstu był dosyć ubogi, to ponownie dało się zaobserwować różnice wynikające z tego, kto miał odpowiadać na pytanie. W przypadku poleceń pozbawionych jawnych wzmianek o płci dało się zaobserwować pewną przewagę mężczyzn wśród wymienianych postaci (60/40 na korzyść panów). Kiedy jednak instrukcja zawierała informację o płci, odpowiedzi zawierały tylko osoby jednej płci. Mężczyzn, jeżeli instrukcja zawiera wzmiankę, że AI ma przyjąć rolę blogera historycznego. Kobiet – jeśli ma przyjąć rolę blogerki i jest to sytuacja dość nietypowa, choć przynajmniej obustronnie rozkładająca wykluczenie 🙂

Jak widać, w dość łatwy sposób poprzez użycie pojedynczych zwrotów jesteśmy w stanie – może nawet nie zawsze świadomie – narzucić modelowi konkretną perspektywę, która determinuje sposób, w jaki AI postrzega historię (i nie tylko) ludzkości. Dlatego tak istotne jest, by sięgając po modele językowe jako wygodne źródło wiedzy, mieć świadomość ich ograniczeń – halucynacje (kreatywnie dodane, zmyślone informacje) to jedno, ale nawet jeśli fakty się zgadzają, to manipulacja może następować na poziomie ich niesprawiedliwego albo co najmniej niereprezentatywnego wyboru.