{"id":4758,"date":"2024-10-03T12:32:00","date_gmt":"2024-10-03T12:32:00","guid":{"rendered":"https:\/\/haimagazine.com\/?p=4758"},"modified":"2025-06-26T13:31:43","modified_gmt":"2025-06-26T11:31:43","slug":"nie-wyjasniajmy-wizyjnych-modeli-ai-w-oderwaniu-od-kontekstu","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/nie-wyjasniajmy-wizyjnych-modeli-ai-w-oderwaniu-od-kontekstu\/","title":{"rendered":"\ud83d\udd12 Nie wyja\u015bniajmy wizyjnych modeli AI w oderwaniu od kontekstu"},"content":{"rendered":"

Artyku\u0142 obja\u015bnia publikacj\u0119 „Position: Do Not Explain Vision Models Without Context”, Pauliny Tomaszewskiej i Przemys\u0142awa Biecka (mo\u017cna j\u0105 przeczyta\u0107 TUTAJ<\/mark><\/strong>)<\/em><\/p>

To w uproszczeniu zale\u017cy od tego, jakie s\u0105 szczeg\u00f3\u0142owe relacje przestrzenne pomi\u0119dzy osob\u0105 a stetoskopem, czyli co w tym przypadku oznacza sformu\u0142owanie, \u017ce \u201eco\u015b jest blisko czego\u015b\u201d. <\/p>

Je\u017celi cz\u0142owiek ma na sobie stetoskop, to wzrasta prawdopodobie\u0144stwo, \u017ce jest lekarzem. Natomiast gdy cz\u0142owiek jest dotykany jedynie ko\u0144c\u00f3wk\u0105 stetoskopu, to kontekst sytuacyjny sugeruje, \u017ce jest pacjentem podczas badania.<\/p>

Ten prosty przyk\u0142ad wskazuje, \u017ce samo wykrycie wyst\u0119powania dw\u00f3ch obiekt\u00f3w w przestrzeni, zwykle nie wystarczy do tego, aby w\u0142a\u015bciwie oceni\u0107 sytuacj\u0119. Musimy stwierdzi\u0107, jak s\u0105 wzgl\u0119dem siebie zorientowane \u2013 nazywamy to kontekstem przestrzennym w danych obrazkowych.<\/p>

Temat kontekstu jest szeroko badany w zagadnieniach przetwarzania j\u0119zyka naturalnego oraz szereg\u00f3w czasowych, ale znacznie mniej w wizji komputerowej, dlatego chcemy przedstawi\u0107 analiz\u0119 dotycz\u0105c\u0105 roli i znaczenia kontekstu przestrzennego w modelach AI i ich wyja\u015bnieniach.<\/p>

Poni\u017cej pokazujemy odpowiedzi na nast\u0119puj\u0105ce pytania: jak radz\u0105 sobie modele oparte na sieciach neuronowych z danymi obrazowymi, gdzie kontekst jest istotny? Czy potrafimy w\u0142a\u015bciwie wyja\u015bni\u0107 predykcje tych modeli z u\u017cyciem popularnych metod wyja\u015bnialnej sztucznej inteligencji (XAI)?<\/p>

Zanim przejdziemy do temat\u00f3w zwi\u0105zanych z AI, wr\u00f3\u0107my do zagadnienia kontekstu, tj. tego, czym jest, jakie s\u0105 jego rodzaje i jaka jest jego rola.<\/p>

Wyr\u00f3\u017cniamy kontekst semantyczny, kontekst skali i kontekst przestrzenny. Poni\u017cej przedstawiamy uproszczone przyk\u0142ady ilustruj\u0105ce r\u00f3\u017cne kategorie kontekstu (cz\u0119\u015b\u0107 z nich w rzeczywisto\u015bci mo\u017ce by\u0107 bardziej zniuansowana).<\/p>

\"\"<\/figure>
  • Kontekst semantyczny<\/strong> Ze zdj\u0119cia, na kt\u00f3rym wida\u0107 wy\u0142\u0105cznie krzes\u0142a, trudno wywnioskowa\u0107, co to za pomieszczenie. Je\u015bli w tym pomieszczeniu b\u0119dzie te\u017c tablica, to mo\u017cna za\u0142o\u017cy\u0107, \u017ce to prawdopodobnie sala lekcyjna (relacja prawdopodobie\u0144stwa). Przyk\u0142adem innej zale\u017cno\u015bci, tj. z\u0142o\u017cenia, s\u0105 rolki \u2013 na obrazku musi pojawi\u0107 si\u0119 i but, i k\u00f3\u0142ka (bo bez k\u00f3\u0142ek to po prostu buty).<\/li>\n\n
  • Kontekst skali<\/strong> Je\u017celi na zdj\u0119ciu znajduje si\u0119 bi\u017cuteryjny okr\u0105g, to mo\u017cemy si\u0119 zastanawia\u0107, czy to bardziej obr\u0105czka czy bransoletka. Pomocne w rozpoznaniu jest zestawienie z obiektem referencyjnym o powszechnie znanym rozmiarze.<\/li>\n\n
  • Kontekst przestrzenny<\/strong> Jest on definiowany poprzez r\u00f3\u017cne relacje przestrzenne mi\u0119dzy obiektami, w\u015br\u00f3d kt\u00f3rych mo\u017cna wskaza\u0107 dystans pomi\u0119dzy obiektami, zawieranie si\u0119 w sobie, kolejno\u015b\u0107, orientacja wzgl\u0119dem siebie.<\/li><\/ul>


    <\/strong>Poni\u017cej podane zosta\u0142y przyk\u0142ady:<\/p>

    Dystans<\/mark><\/strong><\/h4>

    Ilustracj\u0105 tej relacji mo\u017ce by\u0107 wspomniany cz\u0142owiek\u2013stetoskop (dystans do okre\u015blonego elementu stetoskopu), cz\u0142owiek\u2013\u0142opata (fakt, \u017ce cz\u0142owiek stoi obok \u0142opaty, nie czyni z niego pracownika budowlanego). Jak r\u00f3wnie\u017c przywo\u0142ane powy\u017cej rolki, w kt\u00f3rych k\u00f3\u0142ka musz\u0105 by\u0107 odpowiednio przyczepione do but\u00f3w (je\u017celi te obiekty s\u0105 od siebie daleko, to nie s\u0105 w\u00f3wczas rolki). Podobnie kolizja drogowa \u2013 ma miejsce tylko wtedy, gdy samochody s\u0105 w kontakcie bezpo\u015brednim. Analogicznie, w szerszym wymiarze, gdy na zdj\u0119ciu znajduje si\u0119 wi\u0119cej obiekt\u00f3w: przyk\u0142adowo aby zdecydowa\u0107, czy przedstawiona grupa ludzi si\u0119 t\u0142oczy, trzeba przeanalizowa\u0107 dystans mi\u0119dzy nimi.<\/p>

    Zawieranie si\u0119<\/mark><\/strong><\/h4>

    Mo\u017cemy uzna\u0107, \u017ce kwiaty s\u0105 w wazonie tylko wtedy, gdy s\u0105 one przynajmniej cz\u0119\u015bciowo w \u015brodku (fakt, \u017ce s\u0105 blisko wazonu, nie wystarczy).<\/p>

    Kolejno\u015b\u0107<\/mark><\/strong><\/h4>

    Aby oceni\u0107, czy poci\u0105g wje\u017cd\u017ca, czy wyje\u017cd\u017ca z tunelu, musimy sprawdzi\u0107, jaka jest kolejno\u015b\u0107 obiek-\u00a0t\u00f3w: lokomotywa, wagony, tunel.<\/p>

    Orientacja<\/mark><\/strong><\/h4>

    Je\u017celi na zdj\u0119ciu s\u0105 dwie osoby i jedna z nich trzyma n\u00f3\u017c, to je\u017celi s\u0105 one do siebie zwr\u00f3cone twarzami, to mo\u017cemy w uproszczeniu oznaczy\u0107 t\u0119 sytuacj\u0119 jako zmierzaj\u0105c\u0105 do ataku. Je\u017celi jednak te same osoby s\u0105 zwr\u00f3cone do siebie plecami, to mo\u017cemy w sytuacji zero-jedynkowej stwierdzi\u0107 \u201enie-atak\u201d. Analogiczn\u0105 sytuacj\u0119 w kwestii sytuacyjnego znaczenia kontekstu orientacji przestrzennej mo\u017cna rozwa\u017ca\u0107, je\u017celi na zdj\u0119ciu s\u0105 kobieta i m\u0119\u017cczyzna, a obiektem s\u0105 kwiaty (gdy oboje s\u0105 zwr\u00f3ceni do siebie twarzami, \u201ekwiaty s\u0105 wr\u0119czane\u201d, a w przeciwnym przypadku \u201enie s\u0105 wr\u0119czane\u201d).<\/p>

    \"\"<\/figure>

    W dalszej cz\u0119\u015bci skupimy si\u0119 na kontek\u015bcie przestrzennym. Mo\u017ce on odgrywa\u0107 du\u017c\u0105 rol\u0119 w przypadku analizy m.in. zdj\u0119\u0107 medycznych, satelitarnych (rolnictwo, archeologia) i przedstawiaj\u0105cych sytuacje na ulicach (systemy do monitoringu ulicznego, samochody autonomiczne).<\/p>

    Powstaje pytanie, czy sieci neuronowe poradz\u0105 sobie z w\u0142a\u015bciw\u0105 analiz\u0105 zdj\u0119\u0107, gdy opisane wy\u017cej przyk\u0142ady kontekstu s\u0105 istotne? Okazuje si\u0119, \u017ce tak, chocia\u017c nie zawsze tak by\u0142o… Przyjrzyjmy si\u0119 przez chwil\u0119 historii rozwoju sieci neuronowych do analizy obraz\u00f3w.<\/p>

    Na pocz\u0105tku obrazy by\u0142y konwertowane do p\u0142askich wektor\u00f3w i analizowane z u\u017cyciem perceptron\u00f3w wielowarstwowych (MLP), kt\u00f3re nie zwraca\u0142y uwagi na relacje przestrzenne. P\u00f3\u017aniej zaproponowano sieci konwolucyjne (CNNs), \u017ceby wy\u0142apywa\u0107 lokalne wzorce. Nast\u0119pnie Geoffrey Hinton (jeden z \u201eojc\u00f3w\u201d AI) stwierdzi\u0142, \u017ce CNNs patrz\u0105 tylko na elementy obiekt\u00f3w (lokalne wzorce), a nie na relacje mi\u0119dzy nimi, co jest ich wad\u0105. Dlatego zaproponowa\u0142 now\u0105 architektur\u0119 modeli, tzw. sieci kapsu\u0142kowe. Cz\u0119sto podawanym przyk\u0142adem ukazuj\u0105cym kontrast dzia-\u00a0\u0142ania tych dw\u00f3ch klas modeli s\u0105 dwa szkice \u2013 jeden to twarz z elementami takimi jak nos, usta, oczy, uszy, a drugi to te same obiekty, ale losowo umieszczone w przestrzeni. Sugerowano w\u00f3wczas, \u017ce z uwagi na swoje w\u0142a\u015bciwo\u015bci sieci CNNs zaklasyfikuj\u0105 zdeformowan\u0105 twarz r\u00f3wnie\u017c jako twarz, co jest b\u0142\u0119dem. W\u00f3wczas wydawa\u0142o si\u0119, \u017ce rozwi\u0105zaniem b\u0119d\u0105 sieci kapsu\u0142kowe, kt\u00f3re takich b\u0142\u0119d\u00f3w mia\u0142y nie pope\u0142nia\u0107. Finalnie sieci te nie zyska\u0142y jednak popularno\u015bci, g\u0142\u00f3wnie ze wzgl\u0119du na problemy wydajno\u015bciowe, jednak zwr\u00f3ci\u0142y uwag\u0119 na to, \u017ce patrzenie jedynie na same elementy obraz\u00f3w (bez relacji mi\u0119dzy nimi) to za ma\u0142o. Dodatkowo, pomimo wcze\u015bniejszych obaw, okaza\u0142o si\u0119, \u017ce CNNs potrafi\u0105 rozumie\u0107 relacje przestrzenne.<\/p>

    Prze\u0142omem w rozwoju AI by\u0142o zaproponowanie architektury transformera do analizy j\u0119zyka, kt\u00f3ry to model mia\u0142 mie\u0107 zdolno\u015b\u0107 do rozumienia szerokiego kontekstu (dok\u0142adn\u0105 zasad\u0119 jego dzia\u0142ania Zuza Kwiatkowska opisa\u0142a w nr 1 \u201ehAI Magazine\u201d). Architektur\u0119 t\u0119 przeniesiono tak\u017ce do obszaru wizji komputerowej. Tam informacja o tym, \u017ce poszczeg\u00f3lne fragmenty obrazka s\u0105 blisko siebie, jest kodowana w tzw. wektorze pozycji.<\/p>

    Ostatnim rozwi\u0105zaniem jest MLP-Mixer, kt\u00f3ry mia\u0142 pozwoli\u0107 na analiz\u0119 obraz\u00f3w z u\u017cyciem tylko perceptron\u00f3w wielowarstwowych. Autorzy stwierdzili, \u017ce ich model jest odporny na losow\u0105 zmian\u0119 kolejno\u015bci fragment\u00f3w obraz\u00f3w (tzw. \u0142at) oraz pikseli w ramach tych \u0142at, o ile schemat losowo\u015bci jest w pewien spos\u00f3b powtarzalny. Oznacza to, \u017ce predykcje modelu s\u0105 takie same niezale\u017cnie od tego, czy na wej\u015bciu by\u0142 oryginalny obrazek, czy te\u017c losowo zmodyfikowany.<\/p>

    Rodz\u0105 si\u0119 zatem nast\u0119puj\u0105ce pytania:
    Czy to dobrze, \u017ce MLP-Mixer tak dzia\u0142a\u0142? Czy takie dzia\u0142anie modelu jest zgodne z oczekiwaniami u\u017cytkownik\u00f3w? Czy by\u0142o to sp\u00f3jne z rozwojem prac nad architekturami modeli?<\/p>

    Moim zdaniem odpowied\u017a brzmi: 3 x nie<\/strong>.<\/mark><\/h4>

    Dlaczego? Obecnie coraz cz\u0119\u015bciej dostrzega si\u0119 konieczno\u015b\u0107 swego rodzaju uzgodnienia zachowa\u0144, sposobu wnioskowania i warto\u015bci reprezentowanych przez AI z tymi, jakie posiada cz\u0142owiek (ang. AI alignment<\/em>, po polsku okre\u015blany te\u017c \u201ewychowaniem modelu\u201d). Spos\u00f3b dzia\u0142ania MLP-Mixer stoi w sprzeczno\u015bci z t\u0105 wizj\u0105 z uwagi na niewra\u017cliwo\u015b\u0107 na kontekst w danych obrazowych. Tym samym MLP-Mixer stanowi\u0142 niekonsekwencj\u0119 na osi rozwoju architektur sieci neuronowych, gdzie z etapu na etap coraz bardziej brano pod uwag\u0119 znaczenie kontekstu w danych. Finalnie MLP-Mixer nie zdetronizowa\u0142 sieci transformerowych.<\/p>

    \"\"<\/figure>

    Jak wida\u0107, rola kontekstu w obrazach by\u0142a brana pod uwag\u0119 na etapie opracowywania modeli sztucznej inteligencji. Czy podobnie jest zatem w przypadku metod wyja\u015bnialnej sztucznej inteligencji (ang. Explainable Artificial Intelligence<\/em>, XAI)?<\/p>

    Okazuje si\u0119, \u017ce nie. Wytrenowali\u015bmy dwa modele \u2013 Resnet-50 (sie\u0107 konwolucyjna) i Moco v3 (transformer), na dw\u00f3ch zbiorach danych, w kt\u00f3rych kontekst jest szczeg\u00f3lnie istotny.<\/p>

    Pierwszym zbiorem danych by\u0142 KITTI, gdzie zdj\u0119cia by\u0142y zebrane z u\u017cyciem kamer zamontowanych na samochodzie. Zadaniem modelu by\u0142a predykcja, jak daleko jest najbli\u017cszy pojazd na zdj\u0119ciu (po podziale na przedzia\u0142y). Mo\u017cna wi\u0119c pomy\u015ble\u0107, \u017ce jest to sce- nariusz przypominaj\u0105cy to, co mo\u017cna zaobserwowa\u0107 w samochodach autonomicznych.<\/p>

    Drugi z nich by\u0142 zbiorem syntetycznym (dsprites) gdzie proste kszta\u0142ty podlega\u0142y r\u00f3\u017cnym transformacjom w przestrzeni, np. obrotom, przesuni\u0119ciom. Zadaniem innego modelu by\u0142a predykcja, jaki jest przedzia\u0142 obrotu k\u0105towego obiektu (jego orientacja w przestrzeni).<\/p>

    W obu zadaniach wytrenowane modele cechowa\u0142y si\u0119 satysfakcjonuj\u0105c\u0105 jako\u015bci\u0105 predykcji mierzon\u0105 jako dok\u0142adno\u015b\u0107 (ang. accuracy<\/em>). Nast\u0119pnie zastosowali\u015bmy pi\u0119\u0107 popularnych metod XAI, aby wyja\u015bni\u0107 poprawne decyzje wspomnianych modeli.<\/p>

    \"\"<\/figure>\n\n
    \"\"<\/figure><\/figure>

    Przedstawione przyk\u0142ady pokazuj\u0105, \u017ce trudno stwierdzi\u0107, na jakiej podstawie modele podj\u0119\u0142y prawid\u0142owe decyzje. W pierwszym przypadku kluczowy powinien by\u0107 dystans, a w drugim orientacja \u2013 ale czy mo\u017cna to odczyta\u0107 z tych wyja\u015bnie\u0144?<\/p>

    Wniosek: niestety obecne metody XAI nie s\u0105 wystarczaj\u0105ce, aby wyja\u015bnia\u0107 decyzje modeli, gdy kontekst jest istotny.<\/h4>

    Analiza literatury wskazuje, \u017ce niewiele prac naukowych dotyczy tego tematu. Dlatego te\u017c zach\u0119camy, aby bardziej aktywnie rozwija\u0107 obszar zdefiniowany przez nas jako przestrzenne XAI, gdzie nacisk zosta\u0142 po\u0142o\u017cony na analiz\u0119 relacji przestrzennych mi\u0119dzy obiektami, kt\u00f3re s\u0105 istotne dla poprawnego rozwi\u0105zania zadania (predykcji).<\/p>

    Tym samym postulujemy, aby zmodyfikowa\u0107 dotychczasowy paradygmat wyja\u015bnie\u0144 i przenie\u015b\u0107 punkt ci\u0119\u017cko\u015bci z \u201egdzie\u201d i \u201eco\u201d jest istotne na wej\u015bciowym obrazku (z punktu widzenia modelu AI), na \u201ejak\u201d te zidentyfikowane obiekty s\u0105 zorientowane w przestrzeni.<\/p>

    Rozw\u00f3j przestrzennej XAI mo\u017ce wymaga\u0107 uwzgl\u0119dnienia w wyja\u015bnieniach innych modalno\u015bci (np. regu\u0142 symbolicznych), a tak\u017ce zwi\u0119kszenia udzia\u0142u analiz ilo\u015bciowych. Na koniec pojawia si\u0119 kwestia rozwa\u017cenia, kiedy przestrzenne XAI powinno by\u0107 stosowane. Tutaj wyr\u00f3\u017cniamy dwa potencjalne scenariusze: sprawdzenie a priori<\/em>, czy przestrzenne wyja\u015bnienia maj\u0105 zastosowanie w danym przypadku, oraz stoso- wanie w ka\u017cdym przypadku przestrzennych technik XAI, a nast\u0119pnie krytyczna analiza wynik\u00f3w post hoc.<\/p>

    W pierwszym przypadku zak\u0142adamy, \u017ce mamy wiedz\u0119 domenow\u0105 na temat tego, czy kontekst jest istotny. Je\u017celi takiej wiedzy nie mamy, w\u00f3wczas drugi wariant znajduje zastosowanie. Realizowana w\u00f3wczas analiza post hoc mo\u017ce potencjalnie przynie\u015b\u0107 dodatkowe zrozumienie domeny.<\/p>

    <\/p>","protected":false},"excerpt":{"rendered":"

    Czy fakt, \u017ce stetoskop jest blisko jakiej\u015b osoby, czyni j\u0105 lekarzem? I jakie to ma znaczenie dla obja\u015bniania decyzji podejmowanych przez modele AI? <\/p>\n","protected":false},"author":103,"featured_media":4760,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,763,754,404],"tags":[],"popular":[],"difficulty-level":[38],"ppma_author":[379],"class_list":["post-4758","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_praktyka","category-hai_premium","category-hai-magazine-2","difficulty-level-medium"],"acf":[],"authors":[{"term_id":379,"user_id":103,"is_guest":0,"slug":"paulina-tomaszewska","display_name":"Paulina Tomaszewska","avatar_url":{"url":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/ptomaszewska.jpg","url2x":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/ptomaszewska.jpg"},"first_name":"Paulina","last_name":"Tomaszewska","user_url":"","job_title":"","description":"Senior Research Scientist w Samsung AI Center, doktorantka na Politechnice Warszawskiej, nale\u017cy do grupy badawczej MI2.ai."}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/4758","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/103"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=4758"}],"version-history":[{"count":5,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/4758\/revisions"}],"predecessor-version":[{"id":5722,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/4758\/revisions\/5722"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/4760"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=4758"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=4758"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=4758"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=4758"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=4758"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=4758"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}