{"id":3379,"date":"2024-08-29T17:01:29","date_gmt":"2024-08-29T17:01:29","guid":{"rendered":"https:\/\/haimagazine.com\/?p=3379"},"modified":"2025-06-26T14:07:42","modified_gmt":"2025-06-26T12:07:42","slug":"ekonomika-llm-czyli-jak-policzyc-koszty-wykorzystania-komercyjnych-modeli-ai-we-wlasnym-biznesie","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/ekonomika-llm-czyli-jak-policzyc-koszty-wykorzystania-komercyjnych-modeli-ai-we-wlasnym-biznesie\/","title":{"rendered":"\ud83d\udd12 Ekonomika LLM, czyli jak policzy\u0107 koszty wykorzystania komercyjnych modeli AI we w\u0142asnym biznesie"},"content":{"rendered":"

Pierwszym krokiem, kt\u00f3ry ka\u017cdy w tej sytuacji powinien zrobi\u0107, jest szczeg\u00f3\u0142owa analiza poszczeg\u00f3lnych rozwi\u0105za\u0144 pod k\u0105tem mo\u017cliwej do osi\u0105gni\u0119cia skuteczno\u015bci, ogranicze\u0144 natury prawnej oraz kosztu u\u017cycia.<\/p>

Na rynku dost\u0119pnych jest obecnie wiele gotowych modeli LLM, zar\u00f3wno open-source, np. Llama 3 czy Mixtral 8x7B, jak r\u00f3wnie\u017c modeli komercyjnych, w tym GPT-4, Claude 3 czy Gemini. W szczeg\u00f3lno\u015bci te drugie charakteryzuj\u0105 si\u0119 znacz\u0105co wy\u017csz\u0105 liczb\u0105 parametr\u00f3w, kt\u00f3r\u0105 szacuje si\u0119 na kilka bilion\u00f3w. Konsekwencj\u0105 tego jest ich istotnie wy\u017csza skuteczno\u015b\u0107, a tak\u017ce zdolno\u015b\u0107 do rozwi\u0105zywania szerszej grupy zada\u0144 w formule zero-shot, czyli bez konieczno\u015bci douczania modeli na w\u0142asnych danych treningowych. Do ich dzia\u0142ania wystarcza odpowiednio zdefiniowane polecenie (prompt), kt\u00f3re zawiera opis zadania i dane wej\u015bciowe dla wybranego problemu. Dzi\u0119ki temu modele te mog\u0105 by\u0107 stosowane w sytuacji, gdy nie dysponujemy odpowiednim wolumenem danych treningowych i nie jest op\u0142acalne jego pozyskanie z zewn\u0105trz. Brak takiego ograniczenia znacz\u0105co skraca czas i koszt przygotowania rozwi\u0105zania AI i daje mo\u017cliwo\u015b\u0107 obs\u0142ugi bardziej niszowych przypadk\u00f3w u\u017cycia.<\/p>

Niestety, olbrzymia liczba parametr\u00f3w wi\u0105\u017ce si\u0119 r\u00f3wnie\u017c z du\u017cymi zasobami obliczeniowymi koniecznymi do wywo\u0142ywania modeli, a w konsekwencji wysokimi kosztami ich u\u017cycia, powi\u0119kszonymi dodatkowo o mar\u017c\u0119. <\/p>

\"\"<\/figure>

Rysunek 1. przedstawia por\u00f3wnanie koszt\u00f3w wybranych modeli. Jednostk\u0105, kt\u00f3ra zosta\u0142a tam zastosowana, jest koszt procesowania pojedynczego tokenu, kt\u00f3ry w uproszczeniu mo\u017cemy potraktowa\u0107 jako fragment s\u0142owa. W szczeg\u00f3lno\u015bci dla j\u0119zyk\u00f3w europejskich na pojedyncze s\u0142owo sk\u0142ada si\u0119 \u015brednio od 1 do 2,5 tokena. Dodatkowe tokeny u\u017cywane s\u0105 do kodowania cyfr, znak\u00f3w interpunkcyjnych i znak\u00f3w specjalnych. Przeliczaj\u0105c wykorzystane s\u0142owa na tokeny, koszt pojedynczego wywo\u0142ania modelu LLM jest sum\u0105 koszt\u00f3w token\u00f3w wej\u015bciowych i wyj\u015bciowych. Do obliczenia koszt\u00f3w nale\u017cy zatem oszacowa\u0107, ile \u015brednio zu\u017cywamy token\u00f3w na zapytanie w rozwa\u017canym scenariuszu u\u017cycia. Warto podkre\u015bli\u0107, \u017ce w wielu zastosowaniach uzyskanie satysfakcjonuj\u0105cej odpowiedzi b\u0105d\u017a rozwi\u0105zania problemu wymaga wielu wywo\u0142a\u0144 modelu, np. przy zastosowaniu mechanizmu refleksji (reflexion<\/em>) czy zyskuj\u0105cego na popularno\u015bci podej\u015bcia wieloagentowego.<\/p>

W celu lepszego zilustrowania problemu we\u017amy przyk\u0142adowe zadanie ekstrakcji kluczowych informacji ze strony dokumentu. W tym przypadku konstrukcja promptu wymaga zu\u017cycia \u015brednio 2500 token\u00f3w wej\u015bciowych (suma samego zapytania i tre\u015bci dokumentu), a wygenerowanie odpowiedzi ok. 250 token\u00f3w wyj\u015bciowych.<\/p>

A zatem, korzystaj\u0105c z danych na rysunku 1., koszt przetworzenia pojedynczej strony wynosi odpowiednio: 36 gr dla GPT-4, 22 gr dla Claude 3 Opus oraz 13 gr dla GPT-4 Turbo. Czy to si\u0119 op\u0142aca?<\/strong><\/p>

\"\"<\/figure>

Do obliczania op\u0142acalno\u015bci u\u017cycia modeli LLM we w\u0142asnym biznesie nale\u017cy oceni\u0107, jaki zysk osi\u0105gniemy dzi\u0119ki ich zastosowaniu. Przyk\u0142adowo dla start-up\u00f3w SaaS przyjmuje si\u0119, \u017ce koszt w\u0142asny sprzeda\u017cy (COGS), na kt\u00f3ry sk\u0142adaj\u0105 si\u0119 m.in. koszty AI, nie powinien przekracza\u0107 10\u201320% ceny, kt\u00f3r\u0105 u\u017cytkownik jest w stanie zap\u0142aci\u0107 za korzystanie z produktu.<\/p>

Wracaj\u0105c do przyk\u0142adu z ekstrakcj\u0105 kluczowych informacji, we\u017amy rzeczywisty przypadek u\u017cycia z obszaru windykacji, jakim jest pobranie z dokumentacji windykacyjnej danych kontaktowych do d\u0142u\u017cnik\u00f3w. Firmy windykacyjne, aby op\u0142aca\u0142o im si\u0119 wdro\u017cy\u0107 automatyzacj\u0119 z u\u017cyciem AI, s\u0105 w stanie zap\u0142aci\u0107 w tym przypadku maksymalnie 10 gr za stron\u0119. Oznacza to, \u017ce koszt w\u0142asny dostawcy us\u0142ugi powinien by\u0107 na poziomie ok. 1 gr, co jest oczywi\u015bcie wielokrotnie poni\u017cej koszt\u00f3w komercyjnych modeli LLM.<\/p>

Co zatem robi\u0107 w takich sytuacjach? Nale\u017cy zastanowi\u0107 si\u0119 nad alternatyw\u0105, jak\u0105 jest rozw\u00f3j w\u0142asnej technologii lub stosowanie mniejszych modeli, rozwini\u0119tych i douczonych pod konkretne zadania, by\u0107 mo\u017ce nie zawsze opartych na modnych LLM-ach. W przeciwnym razie pozostaje czeka\u0107, a\u017c rozw\u00f3j kolejnych generacji modeli AI doprowadzi do obni\u017cenia koszt\u00f3w ich u\u017cycia.<\/p>



<\/p>","protected":false},"excerpt":{"rendered":"

W dobie gwa\u0142townego rozwoju AI i rosn\u0105cych mo\u017cliwo\u015bci wielkich modeli j\u0119zykowych (LLM) wiele start-up\u00f3w mierzy si\u0119 z dylematem, czy warto inwestowa\u0107 w rozw\u00f3j w\u0142asnych technologii AI na bazie modeli open-source (jak np. LLaMa), czy wy\u0142\u0105cznie polega\u0107 na komercyjnych modelach dost\u0119pnych przez API (np. GPT-4).<\/p>\n","protected":false},"author":29,"featured_media":3380,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,756,758,754,403],"tags":[83,65,194,193],"popular":[],"difficulty-level":[38],"ppma_author":[375],"class_list":["post-3379","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_branza","category-biznes","category-hai_premium","category-hai-magazine-1","tag-ai","tag-chatgpt","tag-koszty","tag-llm-2","difficulty-level-medium"],"acf":[],"authors":[{"term_id":375,"user_id":29,"is_guest":0,"slug":"dr-adam-gonczarek","display_name":"dr Adam Gonczarek","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/34c2e36059539c1be343aae5b54ff61b13887682c09542b946406b1048b1b29b?s=96&d=mm&r=g","first_name":"Adam","last_name":"Gonczarek","user_url":"","job_title":"","description":"Wsp\u00f3\u0142za\u0142o\u017cyciel i CTO w Alphamoon.ai, od 15 lat badacz i praktyk w obszarze sztucznej inteligencji i uczenia maszynowego"}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3379","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/29"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=3379"}],"version-history":[{"count":4,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3379\/revisions"}],"predecessor-version":[{"id":3917,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/3379\/revisions\/3917"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/3380"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=3379"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=3379"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=3379"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=3379"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=3379"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=3379"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}