Ale zacznijmy od kilku przyk\u0142ad\u00f3w. Niedawno organizacja ProPublica, zajmuj\u0105ca si\u0119 dziennikarstwem \u015bledczym, opisywa\u0142a, jak algorytm Facebooka, rekomenduj\u0105c ofert\u0119 pracy, mo\u017ce dyskryminowa\u0107 kandydat\u00f3w z uwagi na wiek i p\u0142e\u0107. Reklamy z t\u0105 ofert\u0105 pracy dla kierowcy ci\u0119\u017car\u00f3wki w popularnym serwisie spo\u0142eczno\u015bciowym wy\u015bwietla\u0142y si\u0119 znacznie cz\u0119\u015bciej m\u0142odym m\u0119\u017cczyznom ni\u017c ich starszym kolegom i wielokrotnie cz\u0119\u015bciej ni\u017c kobietom, niezale\u017cnie od wieku. Firma zlecaj\u0105ca t\u0119 reklam\u0119 twierdzi\u0142a, \u017ce wiek i p\u0142e\u0107 kandydata nie maj\u0105 znaczenia, byle je\u017adzi\u0142 sumiennie z punktu A do punktu B. Wi\u0119c dlaczego algorytm Facebooka zadecydowa\u0142, \u017ce nale\u017cy reklam\u0119 pokazywa\u0107 m\u0142odym m\u0119\u017cczyznom?<\/p>
Inny przyk\u0142ad: algorytm opracowany przez firm\u0119 Amazon filtruj\u0105cy CV kandydat\u00f3w nauczy\u0142 si\u0119, by cz\u0119\u015bciej odrzuca\u0107 podania od os\u00f3b, kt\u00f3re w \u017cyciorysie przyzna\u0142y si\u0119, \u017ce chodzi\u0142y do \u017ce\u0144skich szk\u00f3\u0142 (przyk\u0142ad z UK) lub by\u0142y kapitanami \u017ce\u0144skiej dru\u017cyny szachowej. Wsp\u00f3ln\u0105 cech\u0105 wielu z tych negatywnych cech by\u0142o okre\u015blenie \u201e\u017ce\u0144ska\u2019\u2019, co doprowadzi\u0142o do podejrzenia o dyskryminacj\u0119 i zatrzyma\u0142o plany wdro\u017cenia tego algorytmu. Ironia sytuacji polega na tym, \u017ce Amazon i tak cz\u0119\u015bciej zatrudnia kobiety ni\u017c inne Big Techy.<\/p>
Ale najbardziej dyskutowanym przypadkiem algorytmicznej dyskryminacji jest algorytm COMPAS opracowany przez firm\u0119 Northpoint, kt\u00f3ry mia\u0142 zmniejszy\u0107 uprzedzenia rasowe s\u0119dzi\u00f3w, stosuj\u0105c bezduszny (czytaj ,,obiektywny\u2019\u2019) algorytm, oceniaj\u0105cy, czy dany skazany stwarza wysokie ryzyko recydywy. Ten algorytm wspiera s\u0119dzi\u00f3w w kilku stanach USA, a jest znany g\u0142\u00f3wnie z artyku\u0142u ju\u017c wspomnianej fundacji ProPublica, wykazuj\u0105cej, \u017ce dyskryminuje osoby o kolorze sk\u00f3ry innej ni\u017c bia\u0142a. Cho\u0107 sytuacja nie jest taka czarno-bia\u0142a, jak si\u0119 mo\u017ce wydawa\u0107.<\/p>
Mo\u017cna mie\u0107 r\u00f3\u017cne opinie na temat tego, czy powy\u017csze przyk\u0142ady dyskryminacji s\u0105 z\u0142e\/szkodliwe, czy te\u017c s\u0105 odzwierciedleniem faktycznych statystycznych relacji w spo\u0142ecze\u0144stwie. Bez wzgl\u0119du jednak na indywidualne przekonania, przyj\u0119te niedawno porozumienie o sztucznej inteligencji (AI Act) wymaga, by systemy podwy\u017cszonego ryzyka audytowa\u0107 pod k\u0105tem dyskryminacji. Mamy prawo do sprawiedliwych decyzji! Ale… jak si\u0119 jednak zaraz oka\u017ce, uniwersalna sprawiedliwo\u015b\u0107 nie istnieje i istnie\u0107 nie mo\u017ce!<\/p>
Zanim cokolwiek udowodnimy, musimy dok\u0142adnie okre\u015bli\u0107, jak mierzy\u0107 dyskryminacj\u0119, a mo\u017cna j\u0105 mierzy\u0107 na wiele sposob\u00f3w. Trzymaj\u0105c si\u0119 przyk\u0142adu z s\u0119dziami, rozwa\u017cmy los oskar\u017conego, co do kt\u00f3rego s\u0119dzia musi podj\u0105\u0107 decyzj\u0119 [D], kt\u00f3ra mo\u017ce brzmie\u0107: \u201eskaza\u0107\u201d (S) lub \u201euwolni\u0107\u201d (U). Na t\u0119 decyzj\u0119 czeka oskar\u017cony, kt\u00f3rego stan opisuje zmienna [O], kt\u00f3ra mo\u017ce by\u0107: \u201ewinny\u201d (W) lub \u201eniewinny\u201d (N). Mamy wi\u0119c cztery mo\u017cliwe scena- riusze opisane w tabeli poni\u017cej.<\/p>
Sytuacje SW (skazano winnego) oraz UN (uniewinniono niewinnego) s\u0105 oczywi\u015bcie pozytywne i po\u017c\u0105dane. Ale nikt nie jest nieomylny, wi\u0119c nale\u017cy si\u0119 liczy\u0107 z tym, \u017ce mo\u017ce si\u0119 pojawi\u0107 te\u017c UW (uwolnienie winnego) lub SN (skazanie niewinnego).<\/strong><\/p> Do pe\u0142nego obrazu problematyki dyskryminacji potrzebujemy dw\u00f3ch grup oskar\u017conych (oznaczymy je jako G), roboczo nazwiemy je \u201eNiebiescy\u201d i \u201eCzerwoni\u201d. Przyjmijmy, \u017ce grupa Niebieskich mo\u017ce by\u0107 uprzywilejowana. Jak sprawdzi\u0107, czy nie zachodzi dyskryminacja?<\/p> Szczeg\u00f3\u0142owe dowody dla ka\u017cdej z grup mo\u017cna znale\u017a\u0107 w fantastycznej ksi\u0105\u017cce: <\/strong>Fairness and Machine Learning. Limitations and Opportunities <\/em>autorstwa Solona Barocasa, Moritza Hardta, Arvinda Narayanana).<\/p>\n\n W tym artykule przedstawiamy i t\u0142umaczymy tylko jeden z nich.<\/strong><\/p>\n\n <\/p><\/div><\/div> Przyjmijmy, \u017ce oskar\u017cony jest niewinny, ale te\u017c \u015bwiadomy tego, \u017ce s\u0119dzia nie jest nieomylny. Liczy si\u0119 wi\u0119c z b\u0142\u0119dem fa\u0142szywie pozytywnej predykcji (ang. false positive), czyli \u017ce b\u0119dzie skazany, cho\u0107 jest niewinny. Prawdopodobie\u0144stwo takiej sytu- acji r\u00f3wna si\u0119 liczbie takich precedens\u00f3w (SN) podzielonych przez wszystkie decyzje wydane przez s\u0119dzi\u00f3w wobec os\u00f3b niewinnych, czyli SN\/ (SN+UN). Dyskryminacj\u0105 z perspektywy oskar\u017conego by\u0142aby sytuacja, gdyby w\u015br\u00f3d niewinnych os\u00f3b maj\u0105cych pecha by\u0107 ofiar\u0105 takich fa\u0142szywie pozytywnych predykcji by\u0142o wi\u0119cej w grupie Czerwonych ni\u017c Niebieskich. Dlaczego niewinni Czerwoni mieliby by\u0107 cz\u0119\u015bciej skazywani ni\u017c niewinni Niebiescy? Takie okre\u015blenie sprawiedliwo\u015bci okre\u015blane jest cz\u0119sto jako Positive Rate Parity. Mo\u017cna te\u017c rozwa\u017cy\u0107 symetryczn\u0105 sytuacj\u0119 dla winnych, kt\u00f3rzy chc\u0105 mie\u0107 r\u00f3wne szanse bycia uniewinnionymi, nawet je\u015bli swoje przeskrobali.<\/p> Matematycznie sprawiedliwo\u015b\u0107 z perspektywy oskar\u017conego oznacza, \u017ce zmienna losowa D oraz zmienna losowa G s\u0105 warunkowo niezale\u017cne, bez wzgl\u0119du na win\u0119 lub niewinno\u015b\u0107 oskar\u017conego O. Technicznie rzecz ujmuj\u0105c, maj\u0105c przed sob\u0105 oskar- \u017conego O, prawdopodobie\u0144stwo zaobserwowania dw\u00f3ch zdarze\u0144: decyzji D i przynale\u017cno\u015bci O do G, jest r\u00f3wne prawdopodobie\u0144stwu zaobserwowania decyzji D dla O pomno\u017conemu przez prawdopodo- bie\u0144stwo zaobserwowania grupy G dla O. Mo\u017cemy to zwi\u0119\u017ale zapisa\u0107 w nast\u0119puj\u0105cy spos\u00f3b:<\/p> G \u22a5 D | O<\/strong><\/p> A po ludzku: bez wzgl\u0119du na to, czy O jest winny czy nie, decyzja D jest niezale\u017cna od grupy G, do kt\u00f3rej nale\u017cy oskar\u017cony O.<\/p> Brzmi jak sprawiedliwo\u015b\u0107? Dla oskar\u017conego z pewno\u015bci\u0105 tak, ale przyjrzyjmy si\u0119 innym perspektywom.<\/p> Przyjmijmy, \u017ce s\u0119dzia chce skaza\u0107 oskar\u017conego, ale jest te\u017c \u015bwiadomy, \u017ce nie jest nieomylny i dopuszcza pewne prawdopodobie\u0144stwo b\u0142\u0119du. Liczy si\u0119 wi\u0119c z b\u0142\u0119dem fa\u0142szywie pozytywnej predykcji, czyli \u017ce skazany jest niewinny. Z jego perspektywy prawdopodobie\u0144stwo tego b\u0142\u0119du to liczba os\u00f3b niewinnych skazanych w kontek\u015bcie wszystkich wydanych decyzji o tym, by kogo\u015b skaza\u0107, niezale\u017cnie od rzeczywistej winy, czyli SN\/(SN+SW). Dyskryminacj\u0105 z perspektywy s\u0119dziego by\u0142aby sytuacja, gdyby w\u015br\u00f3d skazanych fa\u0142szywie pozytywna predykcja by\u0142aby cz\u0119stsza w grupie Czerwonych ni\u017c Niebieskich. Dlaczego skazani Czerwoni mieliby cz\u0119\u015bciej okazywa\u0107 si\u0119 niewinni ni\u017c Niebiescy? Czyli dlaczego s\u0119dzia mia\u0142by cz\u0119\u015bciej by\u0107 eksponowany na wyczerpuj\u0105ce procesy, do kt\u00f3rych w og\u00f3le nie powinno doj\u015b\u0107 (np. dlatego \u017ce gdzie\u015b w procesie za bardzo ulegano perswazyjnym oskar\u017cycielom). Takie okre\u015blenie sprawiedliwo\u015bci okre\u015blanej jest cz\u0119sto jako Positive Predictive Parity. Mo\u017cna te\u017c rozwa\u017cy\u0107 symetryczn\u0105 sytuacj\u0119 dla uniewinnionych. Matematycznie zapiszemy, \u017ce:<\/p> G \u22a5 O | D<\/strong><\/p> Bez wzgl\u0119du na to, jaka decyzja D zapada, wina lub niewinno\u015b\u0107 oskar\u017conego O nie zale\u017cy od grupy G, do kt\u00f3rej nale\u017cy oskar\u017cony O. Brzmi jak sprawiedliwo\u015b\u0107? Dla s\u0119dziego z pewno\u015bci\u0105 tak, ale zobaczmy inne perspektywy.<\/p> Przyjmijmy, \u017ce procesowi przygl\u0105da si\u0119 postronny obserwator. Zapisuje sobie w notatniku, jak cz\u0119sto skazywani s\u0105 oskar\u017ceni, liczy wi\u0119c dla ka\u017cdej grupy cz\u0119sto\u015b\u0107 (SW+SN)\/(SW+SN+UW+UN). Dla niego dyskryminacj\u0105 b\u0119dzie sytuacja, w kt\u00f3rej Czerwoni s\u0105 cz\u0119\u015bciej skazywani ni\u017c Niebiescy. Takie sformu\u0142owanie sprawiedliwo\u015bci jest okre\u015blane cz\u0119sto jako Demographic Parity, a matematycznie mo\u017cna je zapisa\u0107 jako<\/p> D \u22a5 G<\/strong><\/p> Czyli decyzja D jest niezale\u017cna od grupy G, do kt\u00f3rej nale\u017cy dowolny oskar\u017cony.<\/p> Pozostaje pytanie, jak budowa\u0107 systemy sprawiedliwe dla oskar\u017conego, s\u0119dziego i obserwatora? Niestety, w rzeczywisto\u015bci (a wi\u0119c w sytuacji, w kt\u00f3rej nie mo\u017cna za\u0142o\u017cy\u0107 stuprocentowej nieomylno\u015bci s\u0119dzi\u00f3w) nie do\u015b\u0107, \u017ce nie da si\u0119 po\u0142\u0105czy\u0107 jednocze\u015bnie wszystkich trzech perspektyw, to nawet zadowolenie cho\u0107by dw\u00f3ch grup jednocze\u015bnie jest niemo\u017cliwe, bo si\u0119 wzajemnie wykluczaj\u0105!<\/p> Za\u0142\u00f3\u017cmy, \u017ce istnieje niezerowe ryzyko pope\u0142nienia b\u0142\u0119du. Za\u0142\u00f3\u017cmy tak\u017ce, \u017ce zmienna losowa G i zmienna losowa O nie s\u0105 niezale\u017cne<\/strong>. Oznacza to, \u017ce zaobserwowanie winy lub niewinno\u015bci oskar\u017conego niesie ze sob\u0105 informacj\u0119 dotycz\u0105c\u0105 grupy<\/strong>, do kt\u00f3rej nale\u017cy (wyrok nie jest anonimowy, wiadomo, do kogo z jakiej grupy si\u0119 odnosi). Zapami\u0119tajmy dobrze to za\u0142o\u017cenie!<\/p> Przyjrzyjmy si\u0119 teraz ponownie przyj\u0119tym wymaga- niom sprawiedliwo\u015bci i zastan\u00f3wmy si\u0119, czy mog\u0105 one by\u0107 spe\u0142nione jednocze\u015bnie.<\/p> Sprawiedliwo\u015b\u0107 dla obserwatora wymaga, by decyzje by\u0142y niezale\u017cne od grupy przynale\u017cno\u015bci oskar\u017conego, czyli G \u22a5 D (czyt. G i D to niezale\u017cne zmienne losowe). Sprawiedliwo\u015b\u0107 dla s\u0119dziego oznacza natomiast, \u017ce dla dowolnej decyzji D nie ma znaczenia grupa G, do kt\u00f3rej nale\u017cy oskar\u017cony O,czyli G\u22a5O|D(czyt.zmiennelosoweGiOs\u0105 warunkowo niezale\u017cne od decyzji D).<\/p> Ale wymagaj\u0105c, by oba warunki by\u0142y prawdziwe, czyli wymagaj\u0105c, by jednocze\u015bnie zachodzi\u0142o G \u22a5 D oraz G \u22a5 O | D, wymagamy, by zachodzi\u0142 warunek G \u22a5 (O, D). To logiczna konsekwencja relacji zachodz\u0105cych pomi\u0119dzy zmiennymi losowymi (G, O, D). Oznacza ona, \u017ce zmienna losowa G musi by\u0107 jednocze\u015bnie niezale\u017cna <\/strong>od zmiennych losowych O i D. Obserwacja oskar\u017conego oraz podj\u0119tej decyzji nie nios\u0105 informacji o grupie G.<\/p> Ostatnie wymaganie \u0142\u0105cznej niezale\u017cno\u015bci ( jednoczesnej sprawiedliwo\u015bci z dw\u00f3ch perspektyw) oznacza tak\u017ce, \u017ce grupa G oraz O to zmienne niezale\u017cne, czyli G \u22a5 O. Zaobserwowanie oskar\u017conego nie niesie ze sob\u0105 \u017cadnej informacji o grupie<\/strong>. Ale przecie\u017c na samym pocz\u0105tku za\u0142o\u017cyli\u015bmy, \u017ce tak nie jest! Pami\u0119tacie? Um\u00f3wili\u015bmy si\u0119, \u017ce \u201ezaobserwowanie winy lub niewinno\u015bci oskar\u017conego niesie ze sob\u0105 informacj\u0119 dotycz\u0105c\u0105 grupy<\/strong>, do kt\u00f3rej nale\u017cy\u201d.<\/p> Wobec tego mamy sprzeczno\u015b\u0107, a jej istnienie dowodzi, \u017ce nie da si\u0119 jednocze\u015bnie zapewni\u0107 sprawiedliwo\u015bci dla obu perspektyw.<\/p> Wobec tego pozostaje fundamentalne pytanie: skoro nie mo\u017cna mie\u0107 sprawiedliwo\u015bci dla \u017cadnych dw\u00f3ch z przedstawionych stron, to kto b\u0119dzie w stanie \u2013 i na jakiej podstawie \u2013 wybra\u0107, kt\u00f3r\u0105 sprawiedliwo\u015b\u0107 nale\u017cy zaimplementowa\u0107 w wybranym systemie AI?<\/p>","protected":false},"excerpt":{"rendered":" Jednym z gor\u0119tszych temat\u00f3w w \u015bwiecie AI jest obecnie problem (nie)sprawiedliwo\u015bci algorytm\u00f3w. <\/p>\n","protected":false},"author":46,"featured_media":3444,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,756,754,403,761],"tags":[216,232],"popular":[],"difficulty-level":[37],"ppma_author":[364],"class_list":["post-3443","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_branza","category-hai_premium","category-hai-magazine-1","category-prawo_etyka","tag-ai-ethics","tag-fairness","difficulty-level-hard"],"acf":[],"authors":[{"term_id":364,"user_id":46,"is_guest":0,"slug":"prof-przemyslaw-biecek","display_name":"prof. Przemys\u0142aw Biecek","avatar_url":{"url":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/prof.-Przemyslaw-Biecek.jpeg","url2x":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/prof.-Przemyslaw-Biecek.jpeg"},"first_name":"Przemys\u0142aw","last_name":"Biecek","user_url":"","job_title":"","description":"Profesor Uniwersytetu Warszawskiego i Politechniki Warszawskiej. Prowadzi grup\u0119 badawcz\u0105 MI2.AI i projekt BeatBit popularyzuj\u0105cy my\u015blenie oparte na danych."}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3443","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/46"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=3443"}],"version-history":[{"count":6,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3443\/revisions"}],"predecessor-version":[{"id":3804,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3443\/revisions\/3804"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/3444"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=3443"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=3443"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=3443"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=3443"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=3443"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=3443"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/9780262048613.jpg.webp\")
<\/a>Mamy problem, i to powa\u017cny. Dlaczego?<\/h3>