{"id":3375,"date":"2024-08-29T17:01:22","date_gmt":"2024-08-29T17:01:22","guid":{"rendered":"https:\/\/haimagazine.com\/?p=3375"},"modified":"2025-06-24T14:29:11","modified_gmt":"2025-06-24T12:29:11","slug":"rag-na-sterydach-czyli-generowanie-tresci-z-turbodoladowaniem","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/rag-na-sterydach-czyli-generowanie-tresci-z-turbodoladowaniem\/","title":{"rendered":"\ud83d\udd12 RAG na sterydach czyli generowanie tre\u015bci z turbodo\u0142adowaniem"},"content":{"rendered":"

Rok 2023 bez w\u0105tpienia obfitowa\u0142 w liczne sukcesy na polu sztucznej inteligencji, od debiut\u00f3w nowych firm, przez innowacyjne rozwi\u0105zania, a\u017c po prze\u0142omowe modele i architektury. W\u015br\u00f3d tych wszystkich osi\u0105gni\u0119\u0107, w kontek\u015bcie biznesowym (zgodnie z subiektywn\u0105 ocen\u0105 autora), na piedestale znalaz\u0142a si\u0119 technologia RAG (ang. Retrieval Augmented Generation, czyli generowanie wspomagane wyszukiwaniem). <\/p>

Co zadecydowa\u0142o o dominacji RAG nie tylko w \u015bwiecie biznesu, ale tak\u017ce w sektorze publicznym? Przede wszystkim brak konieczno\u015bci ponoszenia koszt\u00f3w dostosowywania domenowego du\u017cych modeli j\u0119zykowych, imponuj\u0105ca efektywno\u015b\u0107 oraz ograniczenie ryzyka tzw. halucynacji danych dzi\u0119ki opieraniu si\u0119 na wewn\u0119trznych dokumentach firmy lub innych sprawdzonych bazach wiedzy (a nie wy\u0142\u0105cznie informacjach zawartych w danych treningowych modelu). Niemniej, szybko okaza\u0142o si\u0119, \u017ce mimo i\u017c aplikacje i systemy oparte na RAG doskonale radz\u0105 sobie z prostymi i kr\u00f3tkimi dokumentami, ich skuteczno\u015b\u0107 maleje w przypadku obs\u0142ugi rozleg\u0142ych repozytori\u00f3w z\u0142o\u017conych z zaawansowanych dokument\u00f3w biznesowych o r\u00f3\u017cnorodnej formie. Na szcz\u0119\u015bcie mo\u017cna temu zaradzi\u0107 i stosuj\u0105c kilka konkretnych technik \u201eturbo do\u0142adowa\u0107\u201d klasyczne systemy RAG, zwi\u0119kszaj\u0105c ich efektywno\u015b\u0107 i jako\u015b\u0107 generowanych odpowiedzi. Ale najpierw spr\u00f3bujmy zrozumie\u0107, czym jest i jak dzia\u0142a taki system.<\/p>

Jak dzia\u0142a RAG?<\/h3>

Koncepcja ta jest zadziwiaj\u0105co prosta, a jednocze\u015bnie prze\u0142omowa. Wyobra\u017amy sobie pracownika w fikcyjnej firmie, kt\u00f3ry pilnie musi uzyska\u0107 informacje na temat wewn\u0119trznych procedur, np. kadrowych: \u201eczy firma oferuje pracownikom dofinansowanie do zakupu nowych okular\u00f3w?\u201d Pytanie takie, zadane wyszukiwarce internetowej lub nawet zaawansowanemu chatbotowi typu ChatGPT, w niczym nie pomo\u017ce, bo nie jest natury og\u00f3lnej, lecz dotyczy bardzo konkretnych zasad panuj\u0105cych w bardzo konkretnej firmie. A wyszukiwarki i du\u017ce modele j\u0119zykowe (LLM) nie maj\u0105 dost\u0119pu do specyficznych, wewn\u0119trznych procedur tej\u017ce firmy i mog\u0105 jedynie skierowa\u0107 nas do og\u00f3lnych regulacji prawnych lub, co gorsza, generowa\u0107 odpowiedzi na podstawie niepewnych domys\u0142\u00f3w \u2013 niech pierwszy rzuci myszk\u0105 ten, kto nie spotka\u0142 si\u0119 z takimi halucynacjami? Potrzeba wi\u0119c rozwi\u0105zania dedykowanego. Aczkolwiek klasyczne przeszukiwanie wewn\u0119trznych repozytori\u00f3w procedur, oparte g\u0142\u00f3wnie na s\u0142owach kluczowych, cz\u0119sto ko\u0144czy si\u0119 otrzymaniem setek, je\u015bli nie tysi\u0119cy, lu\u017ano powi\u0105zanych dokument\u00f3w, w g\u0105szczu kt\u00f3rych nadal trudno znale\u017a\u0107 interesuj\u0105c\u0105 nas informacj\u0119.<\/p>

I wtedy na scen\u0119 wkracza RAG. Technologia ta \u0142\u0105czy mechanizm wyszukiwania z zaawansowa- nymi mo\u017cliwo\u015bciami generowania odpowiedzi przez du\u017cy model j\u0119zykowy (LLM), tworz\u0105c pot\u0119\u017cne narz\u0119dzie do zarz\u0105dzania wiedz\u0105. W pierwszym etapie RAG identyfikuje fragmenty dokument\u00f3w, kt\u00f3re z wysokim prawdopodobie\u0144stwem zawieraj\u0105 poszukiwane informacje (etap wyszukiwania \u2013 Retrieval<\/em>), aby nast\u0119pnie zleci\u0107 du\u017cemu modelowi j\u0119zykowemu wygenerowanie konkretnej odpowiedzi na postawione pytanie, wykorzystuj\u0105c ten w\u0142a\u015bnie kontekst (generowanie wspomagane \u2013 Augmented Generation<\/em>). Ponadto, mo\u017cemy \u201euprzejmie\u201d poprosi\u0107 model, by w przypadku braku pewno\u015bci co do odpowiedzi, po prostu przyzna\u0142: \u201eNIE WIEM\u201d (!), utrzymuj\u0105c przy tym temperatur\u0119 generowania na poziomie 0.0, a nie p\u0142yn\u0105\u0142 w retorycznie wdzi\u0119czne, ale w praktyce zupe\u0142nie nieprzydatne, halucynacje. Dzi\u0119ki temu otrzymujemy klasyczne dzia\u0142anie RAG, kt\u00f3re mo\u017ce znacz\u0105co usprawni\u0107 wewn\u0119trzne procesy wyszukiwania i generowania wiedzy w organizacji. Poni\u017cszy diagram pokazuj\u0119 ide\u0119, kt\u00f3r\u0105 \u0142atwo mo\u017cna zasymulowa\u0107 np. w piaskownicy API (Playground<\/em>) OpenAI.<\/p>

\"\"
Struktura RAG-a i symulacja mechanizmu w piaskownicy API OpenAI<\/figcaption><\/figure>

Pobieranie informacji (Retrieval<\/em>)<\/h3>

RAG do pobierania informacji, w kt\u00f3rej mo\u017ce kry\u0107 si\u0119 odpowied\u017a na pytanie u\u017cytkownika, u\u017cywa wyszukiwarek semantycznych. Najcz\u0119\u015bciej mechanizm ten bazuje na tzw. wektorach osadze\u0144 (ang. embeddings<\/em>). Osadzenia to technika reprezentacji s\u0142\u00f3w, fraz, a nawet ca\u0142ych dokument\u00f3w w formie wektor\u00f3w o wysokiej wymiarowo\u015bci w przestrzeni wektorowej. Ka\u017cdy element j\u0119zyka, taki jak s\u0142owo czy zdanie, zostaje przekszta\u0142cony w punkt w tej przestrzeni, gdzie podobne znaczeniowo elementy s\u0105 umieszczane blisko siebie. Dzi\u0119ki temu, zamiast polega\u0107 na dos\u0142ownym dopasowaniu s\u0142\u00f3w kluczowych, osadzenia pozwalaj\u0105 na zrozumienie i por\u00f3wnywanie znacze\u0144 na poziomie semantycznym.<\/p>

Wyszukiwanie semantyczne w RAG wykorzystuje te osadzenia do identyfikacji dokument\u00f3w, kt\u00f3re s\u0105 najbardziej znaczeniowo zwi\u0105zane z zapytaniem u\u017cytkownika. Proces ten odbywa si\u0119 poprzez por\u00f3wnywanie wektor\u00f3w osadze\u0144 zapytania z wektorami osadze\u0144 dost\u0119pnych dokument\u00f3w, cz\u0119sto wykorzystuj\u0105c miar\u0119 tak\u0105 jak odleg\u0142o\u015b\u0107 cosi- nusowa. Im mniejsza odleg\u0142o\u015b\u0107 cosinusowa (czyli wi\u0119ksza warto\u015b\u0107 cosinusa k\u0105ta mi\u0119dzy wektorami na p\u0142aszczy\u017anie), tym wi\u0119ksze podobie\u0144stwo semantyczne mi\u0119dzy por\u00f3wnywanymi elementami.<\/p>

\"\"
Wizualizacja wektor\u00f3w r\u00f3\u017cnych gatunk\u00f3w ksi\u0105\u017cek z Wikipedii. Jak wida\u0107, podobne gatunki, oznaczone wsp\u00f3lnymi kolorami, gromadz\u0105 si\u0119 blisko siebie, tworz\u0105c skupiska (\u017ar\u00f3d\u0142o).<\/figcaption><\/figure>

Brzmi bajkowo, jednak w praktycznym zastosowaniu napotykamy na pewne wyzwania. Pierwszym z nich, jak mo\u017cna si\u0119 by\u0142o spodziewa\u0107, jest niemo\u017cno\u015b\u0107 przekszta\u0142cenia ca\u0142ego dokumentu, np. o obj\u0119to\u015bci 100 stron, w jedyny, gigantyczny wektor semantyczny. Powodem tego s\u0105 ograniczenia narz\u0119dzi generuj\u0105cych osadzenia, takie jak maksymalna liczba token\u00f3w, kt\u00f3r\u0105 mo\u017cna przetworzy\u0107 na jednym wej\u015bciu. Ponadto im wi\u0119ksze fragmenty tekstu pr\u00f3bujemy reprezentowa\u0107 za pomoc\u0105 jednego wektora, tym wi\u0119ksze musi nast\u0105pi\u0107 uog\u00f3lnienie (u\u015brednienie) semantyczne reprezentowanej tre\u015bci. W zwi\u0105zku z tym konieczne staje si\u0119 dzielenie dokument\u00f3w na mniejsze jednostki, znane jako \u201echunki\u201d (ang. chunks <\/em>\u2013 fragmenty). W tym momencie wielu in\u017cynier\u00f3w decyduje si\u0119 na pewne uproszczenia, jak podzia\u0142 dokument\u00f3w na strony lub na stosunkowo jednorodne segmenty, zawieraj\u0105ce np. po 4000 token\u00f3w.<\/p>

Takie podej\u015bcie, cho\u0107 wydaje si\u0119 pragmatyczne, wymaga zastosowania odpowiednich strategii gwarantuj\u0105cych, \u017ce kluczowe informacje nie zostan\u0105 utracone lub b\u0142\u0119dnie zinterpretowane w procesie dzielenia dokument\u00f3w. Ka\u017cdy \u201echunk\u201d powinien by\u0107 na tyle samowystarczalny, aby osadzenia mog\u0142y efektywnie uchwyci\u0107 jego kontekst, co jest kluczowe dla zachowania ci\u0105g\u0142o\u015bci i sp\u00f3jno\u015bci semantycznej przetwarzanych informacji.<\/p>

Oto kilka praktycznych wskaz\u00f3wek, kt\u00f3re mog\u0105 pom\u00f3c w tym procesie:<\/h3>

ZASTOSUJ DU\u017bE MODELE J\u0118ZYKOWE (LLM) DO INTELIGENTNEGO PODZIA\u0141U DOKUMENT\u00d3W:<\/mark><\/strong><\/p>

np. mo\u017cesz wykorzysta\u0107 LLM do wykrycia spisu tre\u015bci i podzieli\u0107 dokument zgodnie
z nim. W przypadku braku spisu tre\u015bci LLM mo\u017ce pom\u00f3c go zrekonstruowa\u0107, wykorzy- stuj\u0105c odpowiednie polecenia. Przeanalizuj dokument strona po stronie, wydobywaj\u0105c tematy i s\u0142owa kluczowe. Nast\u0119pnie popro\u015b model o stworzenie spisu tre\u015bci, kt\u00f3ry pos\u0142u\u017cy jako podstawa do segmentacji dokumentu.<\/p>

DODAJ STRESZCZENIA STRON LUB ROZDZIA\u0141\u00d3W DO BAZY WEKTOROWEJ:<\/strong><\/p>

obok podzielonych fragment\u00f3w dokumentu warto r\u00f3wnie\u017c doda\u0107 ich streszczenia. Umo\u017cliwia to szybsze przegl\u0105danie i wyszukiwanie kluczowych informacji, co mo\u017ce znacznie usprawni\u0107 proces odnajdywania potrzebnych danych.<\/p>

WZBOGA\u0106 KA\u017bDY FRAGMENT O DODATKOWE METADANE:<\/strong><\/p>

w procesie segmentacji dokumentu nie zapomnij doda\u0107 do ka\u017cdego fragmentu metadanych, takich jak przynale\u017cno\u015b\u0107 do okre\u015blonego dokumentu, informacje o kolejno\u015bci (kt\u00f3ry rozdzia\u0142 przed i po), numer strony w dokumencie \u017ar\u00f3d\u0142owym itp. Te informacje pomog\u0105 zachowa\u0107 struktur\u0119 i nawigacj\u0119 po dokumencie, co jest szczeg\u00f3lnie wa\u017cne w kontek\u015bcie wi\u0119kszych i bardziej z\u0142o\u017conych tekst\u00f3w.<\/p>

INTEGRACJA WIZUALNA \u2013 NIE POMIJAJ ZDJ\u0118\u0106 I OBRAZ\u00d3W:<\/strong><\/p>

dokumenty cz\u0119sto zawieraj\u0105 nie tylko tekst, ale i materia\u0142y wizualne. Nie ignoruj ich obecno\u015bci. Wydobywaj\u0105c zdj\u0119cia i obrazy, skorzystaj z modeli multimodalnych, kt\u00f3re s\u0105 w stanie opisa\u0107 zawarto\u015b\u0107 wizualn\u0105 w kontek\u015bcie zrozumia\u0142ym dla maszyn. Dzi\u0119ki temu, chatbot dzia\u0142aj\u0105cy w sklepie odzie\u017cowym czy jakiejkolwiek innej bran\u017cy, b\u0119dzie m\u00f3g\u0142 \u0142atwiej identyfikowa\u0107 i opisywa\u0107 produkty, nie ograniczaj\u0105c si\u0119 wy\u0142\u0105cznie do tekstu, ale r\u00f3wnie\u017c do odpowiednio zakodowanych cech wizualnych.<\/p>

<\/p>

Co dwa wyszukiwania, to nie jedno<\/h3>

Po stworzeniu bazy zawieraj\u0105cej odpowiednio podzielone dokumenty firmowe oraz opisy zdj\u0119\u0107 i obraz\u00f3w, nadszed\u0142 czas, aby skutecznie je wyszukiwa\u0107. Gdy g\u0142\u00f3wnym zadaniem bota jest udzielanie odpowiedzi na pytania dotycz\u0105ce konkretnych fakt\u00f3w, stylu czy inspiracji, wyszukiwanie semantyczne wydaje si\u0119 by\u0107 rozwi\u0105zaniem idealnym. Jednak co w przypadku, gdy u\u017cytkownik pos\u0142u\u017cy si\u0119 kodem produktu? Tutaj osadzenia mog\u0105 okaza\u0107 si\u0119 niewystarczaj\u0105ce, a klasyczne wyszukiwanie pe\u0142notekstowe mo\u017ce zapewni\u0107 lepsze rezultaty. Czy to oznacza powr\u00f3t do metod opartych na prostym dopasowaniu fraz? Niekoniecznie. W takich sytuacjach warto rozwa\u017cy\u0107 zastosowanie wyszukiwania hybrydowego, kt\u00f3re \u0142\u0105czy w sobie kontekstowe zrozumienie oferowane przez wyszukiwanie wektorowe z precyzyjnym dopasowywaniem fraz typowym dla wyszukiwania s\u0142\u00f3w kluczowych. Takie podej\u015bcie pozwala na osi\u0105gni\u0119cie najlepszych z obu \u015bwiat\u00f3w: g\u0142\u0119bokiego zrozumienia zapyta\u0144 u\u017cytkownika i precyzyjnej identyfikacji konkret- nych element\u00f3w bazy danych. Oczywi\u015bcie, proces \u201ez\u0142\u0105czenia\u201d dw\u00f3ch r\u00f3\u017cnych zestaw\u00f3w wynik\u00f3w stanowi wyzwanie. Niemniej jednak dysponujemy ca\u0142\u0105 gam\u0105 metod radzenia sobie z tym problemem, w tym Reciprocal Rank Fusion <\/em>(RRF), Maximal<\/em> Marginal Relevance <\/em>(MMR) oraz ranking kontekstowy, kt\u00f3ry mo\u017ce wykorzystywa\u0107 dodatkowe dane, takie jak informacje uzyskane z historycznych dialog\u00f3w.<\/p>

\"\"
Wyszukiwanie hybrydowe<\/figcaption><\/figure>

Zaprezentowane wskaz\u00f3wki stanowi\u0105 sprawdzone na polu bitwy metody, kt\u00f3re znacz\u0105co wzmacniaj\u0105 dzia\u0142anie RAG w \u015brodowisku biznesowym. Jednak ich zastosowanie nie ogranicza si\u0119 wy\u0142\u0105cznie do tego kontekstu. Mog\u0105 by\u0107 skutecznie implemento- wane w projektach o charakterze niekomercyjnym, np. s\u0142u\u017c\u0105c uczniom, studentom czy urz\u0119dnikom.<\/p>

Ponadto sam proces mo\u017cna jeszcze bardziej optymalizowa\u0107 \u2013 np. do hybrydowego wyszukiwania w\u0142\u0105czaj\u0105c grafy wiedzy, stosuj\u0105c augmentacj\u0119 zapyta\u0144 (rozszerzenie przez zmodyfikowane powielanie), dobieraj\u0105c specjalnie przystosowane du\u017ce modele j\u0119zyk\u00f3w o wysokich wska\u017anikach u\u017cyteczno\u015bci (np. RAG Reader), czy te\u017c konstruuj\u0105c z\u0142o\u017cone potoki wyszukiwania, kt\u00f3re \u0142\u0105cz\u0105 w sobie kilka niezale\u017cnych metod wyszukiwania i technik scalania wynik\u00f3w. \u017byczymy owocnego korzystania z RAG na sprytnych sterydach i poszukiwania nowych technik w imi\u0119 lepszych efekt\u00f3w. Tym bardziej, \u017ce na szali jest dost\u0119p do rzetelnej informacji.<\/p>","protected":false},"excerpt":{"rendered":"

Zaprezentowana ju\u017c w 2020 roku przez firm\u0119 Meta, technologia ta zapocz\u0105tkowa\u0142a rozw\u00f3j licznych chatbot\u00f3w, asystent\u00f3w oraz system\u00f3w QA (ang. question answering, systemy pyta\u0144 i odpowiedzi) s\u0142u\u017c\u0105cych do zarz\u0105dzania wiedz\u0105. Jak dzia\u0142a, i co zrobi\u0107, by dzia\u0142a\u0142a jeszcze lepiej? <\/p>\n","protected":false},"author":34,"featured_media":3376,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,756,754,771,403,406],"tags":[208,64,206,205,207],"popular":[],"difficulty-level":[37],"ppma_author":[368],"class_list":["post-3375","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_branza","category-hai_premium","category-it","category-hai-magazine-1","category-tutoriale-pl","tag-augmented","tag-openai","tag-playground","tag-rag","tag-retrieval","difficulty-level-hard"],"acf":[],"authors":[{"term_id":368,"user_id":34,"is_guest":0,"slug":"sebastian-kondracki","display_name":"Sebastian Kondracki","avatar_url":{"url":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/Sebastian-Kondracki.jpeg","url2x":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/Sebastian-Kondracki.jpeg"},"first_name":"Sebastian","last_name":"Kondracki","user_url":"","job_title":"","description":"Dyrektor Biura Rozwoju Sztucznej Inteligencji w Banku Pekao. Zaanga\u017cowany w rozw\u00f3j Bielika, lider inicjatywy S\u00f3jka \u2013 polskiego modelu typu guardrails. Tw\u00f3rca program\u00f3w szkoleniowych z zakresu AI i transformacji cyfrowej."}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3375","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/34"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=3375"}],"version-history":[{"count":3,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3375\/revisions"}],"predecessor-version":[{"id":3696,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3375\/revisions\/3696"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/3376"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=3375"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=3375"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=3375"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=3375"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=3375"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=3375"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}