RAG na sterydach czyli generowanie treści z turbodoładowaniem

Rok 2023 bez wątpienia obfitował w liczne sukcesy na polu sztucznej inteligencji, od debiutów nowych firm, przez innowacyjne rozwiązania, aż po przełomowe modele i architektury. Wśród tych wszystkich osiągnięć, w kontekście biznesowym (zgodnie z subiektywną oceną autora), na piedestale znalazła się technologia RAG (ang. Retrieval Augmented Generation, czyli generowanie wspomagane wyszukiwaniem).

Co zadecydowało o dominacji RAG nie tylko w świecie biznesu, ale także w sektorze publicznym? Przede wszystkim brak konieczności ponoszenia kosztów dostosowywania domenowego dużych modeli językowych, imponująca efektywność oraz ograniczenie ryzyka tzw. halucynacji danych dzięki opieraniu się na wewnętrznych dokumentach firmy lub innych sprawdzonych bazach wiedzy (a nie wyłącznie informacjach zawartych w danych treningowych modelu). Niemniej, szybko okazało się, że mimo iż aplikacje i systemy oparte na RAG doskonale radzą sobie z prostymi i krótkimi dokumentami, ich skuteczność maleje w przypadku obsługi rozległych repozytoriów złożonych z zaawansowanych dokumentów biznesowych o różnorodnej formie. Na szczęście można temu zaradzić i stosując kilka konkretnych technik „turbo doładować” klasyczne systemy RAG, zwiększając ich efektywność i jakość generowanych odpowiedzi. Ale najpierw spróbujmy zrozumieć, czym jest i jak działa taki system.