Transformer – jak działa rewolucyjna architektura?

Ten artykuł jest częścią serii „Tłumaczymy! Naukowe klasyki”, do której zapraszamy ekspertów, by dla nas objaśniali najważniejsze, klasyczne już, publikacje naukowe z dziedziny sztucznej inteligencji.

Nie wiem, jak to świadczy o moim życiu prywatnym, ale gdyby ktoś zapytał mnie o trzy najbardziej sexy słowa roku 2023, to byłyby to: generatywny, pretrenowany i transformer, które razem składają się na GPT, jak w ChatGPT. (ang. Generative Pretrained Transformer, GPT). GPT gościł na wielkich salach konferencyjnych i w małych gabinetach, najpierw naukowych, potem biznesowych, a na końcu zawitał w naszych salonach i kuchni. O GPT rozmawiano, GPT używano, ale nie dla wszystkich jasne było, czym ten twór właściwie jest? Sięgnijmy zatem do źródeł i przyjrzyjmy się, jak działa ta rewolucyjna architektura.