{"id":3405,"date":"2024-08-29T13:27:00","date_gmt":"2024-08-29T13:27:00","guid":{"rendered":"https:\/\/haimagazine.com\/?p=3405"},"modified":"2025-06-24T14:23:52","modified_gmt":"2025-06-24T12:23:52","slug":"transformer-jak-dziala-rewolucyjna-architektura","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/transformer-jak-dziala-rewolucyjna-architektura\/","title":{"rendered":"Transformer \u2013 jak dzia\u0142a rewolucyjna architektura?"},"content":{"rendered":"

Ten artyku\u0142 jest cz\u0119\u015bci\u0105 serii \u201eT\u0142umaczymy! Naukowe klasyki\u201d, do kt\u00f3rej zapraszamy ekspert\u00f3w, by dla nas obja\u015bniali najwa\u017cniejsze, klasyczne ju\u017c, publikacje naukowe z dziedziny sztucznej inteligencji.<\/em><\/p>

Nie wiem, jak to \u015bwiadczy o moim \u017cyciu prywatnym, ale gdyby kto\u015b zapyta\u0142 mnie o trzy najbardziej sexy s\u0142owa roku 2023, to by\u0142yby to: generatywny, pretrenowany i transformer<\/strong>, kt\u00f3re razem sk\u0142adaj\u0105 si\u0119 na GPT<\/strong>, jak w ChatGPT. (ang. Generative Pretrained Transformer, GPT<\/strong>). GPT go\u015bci\u0142 na wielkich salach konferencyjnych i w ma\u0142ych gabinetach, najpierw naukowych, potem biznesowych, a na ko\u0144cu zawita\u0142 w naszych salonach i kuchni. O GPT rozmawiano, GPT u\u017cywano, ale nie dla wszystkich jasne by\u0142o, czym ten tw\u00f3r w\u0142a\u015bciwie jest? Si\u0119gnijmy zatem do \u017ar\u00f3de\u0142 i przyjrzyjmy si\u0119, jak dzia\u0142a ta rewolucyjna architektura.<\/p>

S\u0142owo \u201egeneratywny\u201d jest zrozumia\u0142e i z grubsza oznacza, \u017ce produkujemy co\u015b nowego. \u201ePretrenowany\u201d mo\u017ce ju\u017c nie jest tak intuicyjny, ale upraszczaj\u0105c, mo\u017cna to opisa\u0107 jako co\u015b, co widzia\u0142o i uczy\u0142o si\u0119 z du\u017cego zbioru r\u00f3\u017cnorakich danych. I tu dochodzimy do nie\u0142atwej \u015bciany \u2013 a co z transformerem? Czym jest tajemniczy tw\u00f3r, kt\u00f3ry podbi\u0142 biznesowe salony? Niezale\u017cnie od tego, czy masz programi- styczne do\u015bwiadczenie, czy ciekawo\u015b\u0107 nowicjusza, po tej lekturze transformer nie b\u0119dzie Ci obcy!<\/p>

Transformer to sie\u0107 neuronowa (wyobra\u017a sobie kawa\u0142ek m\u00f3zgu do wykonywania okre\u015blonych zada\u0144, ale w komputerze), kt\u00f3ra po raz pierwszy zosta\u0142a zaproponowana przez naukowc\u00f3w z Google\u2019a w publikacji Attention is All You Need<\/em>.<\/p>

Pierwotnym zadaniem transformera by\u0142o t\u0142umaczenie tekstu z jednego j\u0119zyka na drugi (troch\u0119 dos\u0142ownie transformowanie, czyli przekszta\u0142canie jednego w drugie). Szybko jednak zauwa\u017cono, \u017ce mo\u017cna zastosowa\u0107 t\u0119 sam\u0105 formu\u0142\u0119 do przetwarzania s\u0142\u00f3w w obr\u0119bie tego samego j\u0119zyka, aby generowa\u0107 zupe\u0142nie nowe teksty.<\/p>

\u017beby dobrze zrozumie\u0107 co i kiedy transformer robi, musimy rozbi\u0107 to na 2 kroki typowe dla dowolnej sieci neuronowej: proces uczenia i proces korzystania (pokazane na rysunku 1). Korzystanie jest \u0142atwe \u2013 wk\u0142adamy nasze zdanie do nauczonego transformera (np. \u201eAla ma…\u201d), a transformer m\u00f3wi nam co wed\u0142ug niego jest najlepszym dope\u0142nieniem (np. \u201e…kota\u201d). Maj\u0105c takie dope\u0142nienie, mo\u017cemy odpyta\u0107 transformer jeszcze raz (\u201eAla ma kota\u201d) i zobaczy\u0107, co nam zaproponuje tym razem, jakie b\u0119dzie nast\u0119pne najbardziej prawdopodobne wed\u0142ug niego s\u0142owo (\u201eAla ma kota i…\u201d). Jak widzisz, powtarzaj\u0105c t\u0119 operacj\u0119, mo\u017cemy doj\u015b\u0107 do bardzo d\u0142ugiego tekstu i dowiedzie\u0107 si\u0119, jakie jeszcze zwierz\u0119ta ma Ala, co z nimi robi i co z tego wynika.<\/p>

W procesie uczenia dysponujemy du\u017c\u0105 ilo\u015bci\u0105 danych, kt\u00f3re, dla uproszczenia, sk\u0142adaj\u0105 si\u0119 z par: zdanie (\u201eAla ma…\u201d) i odpowied\u017a (\u201e…kota\u201d) albo \u201eJa\u015b ma kota i…\u201d oraz \u201epsa\u201d. Okazuje si\u0119, \u017ce w takich danych, jak i w samym j\u0119zyku, niekt\u00f3re kombinacje s\u0105 bardziej prawdopodobne ni\u017c inne. Co to znaczy?<\/p>

Wyobra\u017a sobie, \u017ce idziemy ulic\u0105 i prosimy przechodni\u00f3w o doko\u0144czenie zdania \u201eAla ma…\u201d. Na 100 zapytanych os\u00f3b 90 odpowie nam \u201ekota\u201d, 5 przekornie odpowie \u201epsa\u201d, a kolejne 5 powie \u201edaj mi spok\u00f3j, spiesz\u0119 si\u0119 do pracy\u201d. Te proporcje w naszych zebranych danych (kot: 90\/100, pies: 5\/100 etc.) b\u0119d\u0105 nam opisywa\u0107, jak prawdopodobne jest dope\u0142nienie (\u201ekota\u201d), maj\u0105c kontekst naszego zdania (\u201eAla ma…\u201d). A dlaczego si\u0119 wszyscy upieraj\u0105 przy kocie? Bo nasz wewn\u0119trzny ludzki \u201etransformer\u201d te\u017c kiedy\u015b zosta\u0142 tego nauczony \u2013 w szkole.<\/p>

\"\"
Rysunek 1. Uproszczony schemat p\u0119tli uczenia i predykcji sieci neuronowej<\/figcaption><\/figure>

Wracaj\u0105c do du\u017cej ilo\u015bci danych. W takich danych r\u00f3wnie\u017c wyst\u0119puj\u0105 proporcje i to w\u0142a\u015bnie ich chcemy nauczy\u0107 nasz transformer. Aby to zrobi\u0107, b\u0119dziemy wk\u0142ada\u0107 w transformer zdania tak d\u0142ugo, a\u017c nauczy si\u0119 generowa\u0107 propozycje przypominaj\u0105ce te faktyczne, najbardziej prawdopodobne dope\u0142nienia. Na pocz\u0105tku b\u0119dzie on strzela\u0142 na \u015blepo i rzuca\u0142 losowe odpowiedzi, ale z czasem i spor\u0105 ilo\u015bci\u0105 danych mo\u017ce zacz\u0105\u0107 m\u00f3wi\u0107 z sensem, odzwierciedlaj\u0105c to, co m\u00f3wi\u0105 nasi typowi przechodnie na ulicy.<\/p>

I tu musz\u0119 si\u0119 do czego\u015b przyzna\u0107 \u2013 proces, kt\u00f3ry opisa\u0142am, m\u00f3g\u0142by zosta\u0107 przypisany jeszcze wielu innym sieciom neuronowym, nie tylko transformerowi. Co w takim razie czyni transformer transformerem? Niuans\u00f3w jest wiele, ale gdybym musia\u0142a wybra\u0107 te moim zdaniem najwa\u017cniejsze, by\u0142by to wspomniany ju\u017c mechanizm uwagi (ang. attention<\/em>) oraz wielowar- stwowy perceptron (ang. multi-layer perceptron<\/em>, MLP). Spokojnie, ju\u017c t\u0142umacz\u0119, o co chodzi!<\/p>

Wcze\u015bniej napisa\u0142am, \u017ce do transformera wk\u0142adamy nasz kontekst, czyli zdanie (\u201eAla ma…\u201d). Niestety, dla komputera nic to nie oznacza, wi\u0119c musimy przet\u0142umaczy\u0107 to na jedyny zrozumia\u0142y dla niego j\u0119zyk \u2013 liczby. Upraszczaj\u0105c, ka\u017cde s\u0142owo kodowane jest za pomoc\u0105 zestawu liczb nazywanego wektorem, kt\u00f3ry ma reprezentowa\u0107 to s\u0142owo i jego pozycj\u0119 w ca\u0142ym zdaniu lub kontek\u015bcie. Je\u015bli pami\u0119tasz ze szko\u0142y uk\u0142ad wsp\u00f3\u0142rz\u0119dnych, mo\u017cesz to rozumie\u0107 graficznie tak jak na rysunku 2.<\/p>

\"\"
Rysunek 2. Pogl\u0105dowy rozk\u0142ad s\u0142\u00f3w w przestrzeni wektorowej <\/figcaption><\/figure>

Takie wektory przechodz\u0105 dalej do mechanizmu uwagi. Po co? W samym wektorze zawarta jest jedynie informacja o s\u0142owie, a nie ca\u0142ym kontek\u015bcie, a przecie\u017c kontekst ma bardzo du\u017ce znaczenie! To w\u0142a\u015bnie kontekst b\u0119dzie wyznacza\u0107, czy zamek jest miejscem, w kt\u00f3rym \u017cyje kr\u00f3lowa, czy zapi\u0119ciem bluzy. Mechanizm uwagi pozwala nam zatem powi\u0105za\u0107 ze sob\u0105 wektory i zaktualizowa\u0107 je tak, aby wzbogaci\u0107 je o istotny kontekst (rysunek 3). Dzi\u0119ki temu wiemy te\u017c, na kt\u00f3re informacje warto zwr\u00f3ci\u0107 uwag\u0119, bo b\u0119d\u0105 kluczowe w przewidywaniu kolejnego s\u0142owa, a kt\u00f3re mo\u017cemy zignorowa\u0107.<\/p>

\"\"
Rysunek 3. Pogl\u0105dowy rozk\u0142ad tak samo brzmi\u0105cych s\u0142\u00f3w w przestrzeni wektorowej z uwzgl\u0119dnieniem kontekstu zmieniaj\u0105cego znaczenie (po\u0142o\u017cenie) danego s\u0142owa <\/figcaption><\/figure>

W nast\u0119pnym kroku nasze wzbogacone wektory wpadaj\u0105 do wielowarstwowego perceptrona, kt\u00f3ry jest stosowan\u0105 ju\u017c od lat sieci\u0105 neuronow\u0105. Jego dzia\u0142anie mo\u017cna wyja\u015bni\u0107 \u0142atwo przez pryzmat gotowania. \u017beby przygotowa\u0107 pyszny sernik, potrzeba odpowiednich proporcji twarogu, czasem bia\u0142ej czekolady i innych sk\u0142adnik\u00f3w, do tego odpo- wiednio d\u0142ugo je uciera\u0107 i piec. Tylko jedna kombinacja tych wszystkich element\u00f3w da Ci dok\u0142adnie ten sam smak \u2013 Ty znasz ten konkretny przepis, ale kto\u015b inny mo\u017ce go nie zna\u0107 i pr\u00f3bowa\u0107 uzyska\u0107 taki sam sernik metod\u0105 pr\u00f3b i b\u0142\u0119d\u00f3w. W perceptronie r\u00f3wnie\u017c mamy miliony, a nawet miliardy takich element\u00f3w, ustawionych w z\u0142y i dobry spos\u00f3b i m\u00f3wi\u0105cych nam, kt\u00f3re fragmenty wektor\u00f3w s\u0105 wa\u017cne i trzeba je uwypukli\u0107, a kt\u00f3re nie (np. mo\u017cemy piec o kilka minut d\u0142u\u017cej lub kr\u00f3cej, ale jak dodamy za du\u017co jajek, to si\u0119 nie uda).<\/p>

Dla pewno\u015bci zatrzymajmy si\u0119 na chwil\u0119 przy mechanizmie uwagi (tym bardziej je\u015bli zgodnie z tytu\u0142em \u201etrzeba nam tylko uwagi\u201d).<\/p>

Mechanizm uwagi w trzech krokach<\/strong><\/h3>

Co mamy na my\u015bli, gdy s\u0142yszymy s\u0142owo \u201ezamek\u201d? To zale\u017cy, prawda? A dok\u0142adniej od kontekstu, tego, co us\u0142yszeli\u015bmy chwil\u0119 wcze\u015bniej, gdzie si\u0119 znajdujemy, co widzimy przed sob\u0105 etc. Dzi\u0119ki mechanizmowi uwagi transformer robi podobn\u0105 rzecz \u2013 cho\u0107 pocz\u0105tkowo ma pewne wyobra\u017cenie s\u0142owa \u201ezamek\u201d, mo\u017ce je aktualizowa\u0107, dostaj\u0105c dodatkowy kontekst (np. \u201eKr\u00f3l mieszka\u0142 w pi\u0119knym zamku\u201d). Taki kontekst znaczeniowy jest dla transformera wa\u017cny, aby poprawnie przewidywa\u0107 kolejne s\u0142owo w zadanej przez nas sekwencji \u2013 bo przecie\u017c lepiej brzmi \u201eKr\u00f3l mieszka\u0142 w pi\u0119knym zamku na wzg\u00f3rzu\u201d ni\u017c \u201eKr\u00f3l mieszka\u0142 w pi\u0119knym zamku od spodni\u201d. Na poni\u017cszym przyk\u0142adzie wida\u0107 z kolei, jak kontekst zmienia si\u0119 dla kolejnych s\u0142\u00f3w i zda\u0144. By odgadn\u0105\u0107 nazwisko Mickiewicza, istotne by\u0142y: tytu\u0142 dzie\u0142a, informacja o epoce oraz s\u0142owo \u201episarz\u201d. W kolejnym zdaniu natomiast, by sprecyzowa\u0107, o jakiego Adama chodzi, wa\u017cne by\u0142o uwzgl\u0119dnienie, \u017ce przed chwil\u0105 pad\u0142o nazwisko \u201eMickiewicz\u201d i tak dalej.<\/p>

\"\"\/<\/figure>
\"\"<\/figure>

I to tyle! Czy m\u00f3j opis wyczerpuje temat trans- formera? Oczywi\u015bcie, \u017ce nie, ale chcia\u0142am roz\u0142o\u017cy\u0107 go na czynniki pierwsze i wyci\u0105gn\u0105\u0107 esencj\u0119. Esencj\u0119, kt\u00f3ra w\u0142a\u015bnie pozwoli\u0142a Ci by\u0107 o krok dalej od wielu entuzjast\u00f3w AI i zrozumie\u0107, co w transformerze piszczy. Maj\u0105c tak\u0105 podstaw\u0119, b\u0119dziesz gotowy na analiz\u0119 tego, jak dzia\u0142aj\u0105 du\u017ce modele generatywne \u2013 kt\u00f3re wychodz\u0105 od transformera, ale rozszerzaj\u0105 go m.in. o aspekt konwersacji, a nawet wychowania modelu (ang. alignment<\/em>).<\/p>

Dla ciekawskich: por\u00f3wnaj popularne transformery! <\/p>

\"\"<\/figure>","protected":false},"excerpt":{"rendered":"

Na co warto zwr\u00f3ci\u0107 w tego typu modelach uwag\u0119, i dlaczego przede wszystkim na mechanizm uwagi? <\/p>\n","protected":false},"author":39,"featured_media":3412,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,756,754,771,403],"tags":[227,230,228,226],"popular":[],"difficulty-level":[38],"ppma_author":[363],"class_list":["post-3405","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_branza","category-hai_premium","category-it","category-hai-magazine-1","tag-attention","tag-generative","tag-gpt","tag-transformer","difficulty-level-medium"],"acf":[],"authors":[{"term_id":363,"user_id":39,"is_guest":0,"slug":"zuza-kwiatkowska","display_name":"Zuza Kwiatkowska","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/9f5df78b6e90f8ea2af3991ecdff1c87e1f1902543b585f0d155dfed2049e8b6?s=96&d=mm&r=g","first_name":"Zuza","last_name":"Kwiatkowska","user_url":"","job_title":"","description":"Od prawie 10 lat po technicznej stronie mocy w bran\u017cy AI. Od 2 lat pomaga t\u0142umaczy\u0107 z naukowego na ludzki. Kreatywnie nap\u0119dzana przez ADHD"}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3405","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/39"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=3405"}],"version-history":[{"count":6,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3405\/revisions"}],"predecessor-version":[{"id":11220,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3405\/revisions\/11220"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/3412"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=3405"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=3405"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=3405"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=3405"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=3405"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=3405"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}