Ekonomika LLM, czyli jak policzyć koszty wykorzystania komercyjnych modeli AI we własnym biznesie

Pierwszym krokiem, który każdy w tej sytuacji powinien zrobić, jest szczegółowa analiza poszczególnych rozwiązań pod kątem możliwej do osiągnięcia skuteczności, ograniczeń natury prawnej oraz kosztu użycia.

Na rynku dostępnych jest obecnie wiele gotowych modeli LLM, zarówno open-source, np. Llama 3 czy Mixtral 8x7B, jak również modeli komercyjnych, w tym GPT-4, Claude 3 czy Gemini. W szczególności te drugie charakteryzują się znacząco wyższą liczbą parametrów, którą szacuje się na kilka bilionów. Konsekwencją tego jest ich istotnie wyższa skuteczność, a także zdolność do rozwiązywania szerszej grupy zadań w formule zero-shot, czyli bez konieczności douczania modeli na własnych danych treningowych. Do ich działania wystarcza odpowiednio zdefiniowane polecenie (prompt), które zawiera opis zadania i dane wejściowe dla wybranego problemu. Dzięki temu modele te mogą być stosowane w sytuacji, gdy nie dysponujemy odpowiednim wolumenem danych treningowych i nie jest opłacalne jego pozyskanie z zewnątrz. Brak takiego ograniczenia znacząco skraca czas i koszt przygotowania rozwiązania AI i daje możliwość obsługi bardziej niszowych przypadków użycia.