{"id":7464,"date":"2024-12-17T18:30:00","date_gmt":"2024-12-17T17:30:00","guid":{"rendered":"https:\/\/haimagazine.com\/?p=7464"},"modified":"2025-06-26T11:09:13","modified_gmt":"2025-06-26T09:09:13","slug":"bielik-lokalnie-praktyczne-wdrozenie-malych-modeli-jezykowych","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/hai-magazine-3\/bielik-lokalnie-praktyczne-wdrozenie-malych-modeli-jezykowych\/","title":{"rendered":"Bielik lokalnie \u2013 praktyczne wdro\u017cenie ma\u0142ych modeli j\u0119zykowych"},"content":{"rendered":"

Pochlebnych opinii nie brakowa\u0142o. Czy na produkcji te\u017c doda nam skrzyde\u0142? Jak uruchomi\u0107 go ca\u0142kowicie lokalnie i sprawdzi\u0107 w zastosowaniach biznesowych? I co to w og\u00f3le s\u0105 ma\u0142e modele j\u0119zykowe? Zanim jednak przejdziemy do kodowania, om\u00f3wimy teori\u0119 ma\u0142ych modeli j\u0119zykowych (SLM) i zastanowimy si\u0119, dlaczego w niekt\u00f3rych przypadkach \u201emniej\u201d mo\u017ce oznacza\u0107 \u201ewi\u0119cej\u201d.<\/p>

Du\u017ce modele j\u0119zykowe, takie jak GPT, Gemini PRO czy Claude Sonnet<\/strong>, szybko zyska\u0142y popularno\u015b\u0107 w biznesie dzi\u0119ki prostocie ich integracji \u2013 wystarczy kilka linijek kodu i dost\u0119p do p\u0142atnego API, by zacz\u0105\u0107 korzysta\u0107 z potencja\u0142u tych pot\u0119\u017cnych narz\u0119dzi. Jednak w zastosowaniach biznesowych, takich jak analiza korespondencji z klientami, generowanie odpowiedzi na e-maile czy zaawansowane wnioskowanie na podstawie za\u0142\u0105cznik\u00f3w, wykorzystuje si\u0119 je wci\u0105\u017c nadzwyczaj rzadko. Dlaczego? Zamkni\u0119tymi, komercyjnymi modelami trudniej zarz\u0105dza\u0107 \u2013 ich wydajno\u015b\u0107 i szybko\u015b\u0107 mog\u0105 si\u0119 gwa\u0142townie zmienia\u0107, a przetwarzanie danych w chmurze bywa problematyczne lub wr\u0119cz niemo\u017cliwe<\/strong>, gdy na szali k\u0142adziemy ochron\u0119 danych wra\u017cliwych, takich jak tajemnica bankowa czy dane medyczne. Remedium na te bol\u0105czki okazuj\u0105 si\u0119 tzw. ma\u0142e modele j\u0119zykowe (SLM, ang. small language model<\/em>) \u2013 przy czym ich \u201ema\u0142o\u015b\u0107\u201d jest relatywna, bo to wci\u0105\u017c ca\u0142kiem okaza\u0142e modele, posiadaj\u0105ce oko\u0142o 10 miliard\u00f3w parametr\u00f3w. Cho\u0107 nie stworz\u0105 sp\u00f3jnych i przekonuj\u0105cych dzie\u0142 literackich, do zastosowa\u0144 biznesowych nadaj\u0105 si\u0119 idealnie: mo\u017cna uruchomi\u0107 je lokalnie, dostosowa\u0107 do konkretnych potrzeb, kontrolowa\u0107 oraz optymalizowa\u0107. To modele, kt\u00f3re s\u0105 w pe\u0142ni nasz\u0105 w\u0142asno\u015bci\u0105, bezpieczne, stabilne. Bielik<\/strong>, model o stricte polskim rodowodzie, w\u0142a\u015bnie do tej grupy modeli nale\u017cy.<\/p>

Uruchomienie modelu lokalnie<\/strong><\/h2>


Jak mo\u017cna si\u0119 domy\u015bli\u0107, Bielik \u2013 podobnie jak inne modele typu SLM \u2013 jest dost\u0119pny na portalu Hugging Face. Na profilu dostawcy, jakim jest spo\u0142eczno\u015b\u0107 SpeakLeash, kt\u00f3ra stworzy\u0142a Bielika (https:\/\/huggingface.co\/speakleash<\/a>), znajdziemy jednak dziesi\u0105tki r\u00f3\u017cnych modeli. Jak wybra\u0107 odpowiedni? Do zada\u0144 biznesowych najlepiej sprawdzi si\u0119 model instrukcyjny lub konwersacyjny. W zale\u017cno\u015bci od dostawcy mo\u017cna je znale\u017a\u0107 po s\u0142owach kluczowych w nazwie, takich jak \u201einstruct\u201d, lub w tagach, na przyk\u0142ad \u201econversational\u201d. W przypadku Bielika znajdziemy taki model pod adresem:
https:\/\/huggingface.co\/speakleash\/Bielik-11B-v2.3-Instruct<\/a><\/strong><\/p>

Czy mo\u017cemy ju\u017c zainstalowa\u0107 model?<\/strong><\/h2>


Je\u015bli posiadasz kart\u0119 GPU z co najmniej 40 GB pami\u0119ci vRAM \u2013 tak! Bielik ma 11 miliard\u00f3w parametr\u00f3w, a jego wagi s\u0105 dost\u0119pne w precyzji 16 bit\u00f3w, wi\u0119c do optymalnego dzia\u0142ania wymaga zar\u00f3wno odpowiedniej mocy obliczeniowej GPU, jak i du\u017cej pami\u0119ci. Je\u015bli jednak Tw\u00f3j sprz\u0119t nie spe\u0142nia tych wymaga\u0144, nie martw si\u0119. Dostawcy, w tym tak\u017ce SpeakLeash<\/strong>, udost\u0119pniaj\u0105 alternatywne wersje modeli instrukcyjnych zoptymalizowanych pod k\u0105tem ni\u017cszych zasob\u00f3w, takich jak GGUF<\/strong>, 4-bit<\/strong>, 8FP<\/strong> czy GPTQ<\/strong>.<\/p>

S\u0105 to tzw. modele skwantowane<\/strong> (skompresowane), kt\u00f3re charakteryzuj\u0105 si\u0119 ni\u017csz\u0105 precyzj\u0105 wag \u2013 na przyk\u0142ad 2, 4 lub 8 bit\u00f3w. Dzi\u0119ki temu modele te wymagaj\u0105 mniejszych zasob\u00f3w, takich jak pami\u0119\u0107 vRAM i moc obliczeniowa GPU, co czyni je bardziej dost\u0119pnymi na sprz\u0119cie o ograniczonych zasobach. Ale nic za darmo \u2013 kwantyzacja mo\u017ce wp\u0142ywa\u0107 na efektywno\u015b\u0107 i jako\u015b\u0107 generowanych odpowiedzi.<\/p>

Jak bardzo? Zgodnie z tzw. prawem Ethana Mollicka<\/strong> najlepszym podej\u015bciem jest po prostu regularne testowanie tych modeli, aby okre\u015bli\u0107, kt\u00f3re wersje zapewniaj\u0105 najlepszy kompromis mi\u0119dzy wydajno\u015bci\u0105 a jako\u015bci\u0105 odpowiedzi.<\/p>

Prawo Ethana Mollicka<\/strong>
\u201eW niekt\u00f3rych zadaniach sztuczna inteligencja jest niezwykle skuteczna, a w innych zupe\u0142nie zawodzi lub pope\u0142nia drobne b\u0142\u0119dy. Je\u015bli jednak nie korzystasz z AI regularnie, trudno b\u0119dzie ci odr\u00f3\u017cni\u0107 jedne sytuacje od drugich\u201d.<\/p>

Gdy mamy ju\u017c wybran\u0105 wersj\u0119 modelu, mo\u017cemy przyst\u0105pi\u0107 do dzia\u0142ania.<\/strong>
Zacznijmy od najprostszej metody \u2013 wystarczy, \u017ce na stronie modelu, np. https:\/\/huggingface.co\/speakleash\/Bielik-11B-v2.3-Instruct-4bit-ov<\/a><\/strong>, klikniesz przycisk \u201eUse this model\u201d<\/strong> po prawej stronie i wybierzesz opcj\u0119 \u201eTransformers\u201d<\/strong>, a otrzymasz kod do uruchomienia modelu. Przedtem trzeba jednak zainstalowa\u0107 odpowiednie biblioteki, takie jak Transformers<\/strong>, oraz jedn\u0105 z bibliotek obliczeniowych \u2013 PyTorch<\/strong> lub TensorFlow<\/strong>.<\/p>

\"\"<\/figure>

Ta metoda, cho\u0107 prosta, nie jest jednak optymalna i nie rekomendujemy jej.<\/strong>
Po pierwsze, wymaga pewnego do\u015bwiadczenia z bibliotekami, takimi jak PyTorch lub TensorFlow, oraz umiej\u0119tno\u015bci ich konfiguracji w zale\u017cno\u015bci od posiadanych zasob\u00f3w, czyli obecno\u015bci GPU lub jego braku. Po drugie, kod uruchamiaj\u0105cy model trzeba b\u0119dzie doda\u0107 do ka\u017cdego skryptu lub aplikacji, kt\u00f3ra z niego korzysta. Po trzecie, metoda ta nie oferuje \u017cadnych opcji optymalizacji ani zarz\u0105dzania pami\u0119ci\u0105. To wszystko s\u0105 problemy, kt\u00f3re kto\u015b ju\u017c rozwi\u0105za\u0142 za nas, ale nie pozwoli nam w te rozwi\u0105zania ingerowa\u0107.<\/p>

O wiele wygodniej by\u0142oby mie\u0107 gotowe API, podobne do tego, kt\u00f3re udost\u0119pnia OpenAI, i po prostu po\u0142\u0105czy\u0107 si\u0119 z modelem. Dobra wiadomo\u015b\u0107: mamy to!<\/strong> Wybieramy ponownie opcj\u0119 \u201eUse this model\u201d<\/strong> na stronie modelu, a nast\u0119pnie sprawdzamy dost\u0119pne integracje \u2013 opr\u00f3cz \u201eTransformers\u201d znajdziemy tam r\u00f3wnie\u017c bardziej zaawansowane pakiety, takie jak vLLM<\/strong> (polecam zostawi\u0107 na p\u00f3\u017aniej) oraz Ollama<\/strong> (dla wersji modelu GGUF<\/strong>).<\/p>

Na pocz\u0105tek przygody z lokaln\u0105 wersj\u0105 Bielika rekomendujemy w\u0142a\u015bnie Ollam\u0119<\/strong>. Je\u015bli dopiero zaczynacie przygod\u0119 z pakietem Ollama, najpierw wejd\u017acie na stron\u0119 https:\/\/ollama.com\/download<\/a><\/strong> i zainstalujcie odpowiednie oprogramowanie dla swojego systemu operacyjnego. Nast\u0119pnie macie dwie opcje: mo\u017cecie wyszuka\u0107 odpowiedni model bezpo\u015brednio na stronie Ollamy lub wr\u00f3ci\u0107 do Hugging Face i tam wybra\u0107 opcj\u0119 \u201eUse this model\u201d<\/strong> przy modelach, kt\u00f3re maj\u0105 w nazwie ci\u0105g \u201eGGUF\u201d<\/strong>.<\/p>

Zalecamy jednak korzystanie z modeli dost\u0119pnych bezpo\u015brednio przez Ollam\u0119<\/strong> \u2013 jest ich czasem wi\u0119cej, poniewa\u017c s\u0105 tak\u017ce przygotowywane przez niezale\u017cnych programist\u00f3w, a same karty modeli s\u0105 lepiej opisane i dostosowane do pracy z tym pakietem.<\/p>

Na stronie ollama.com<\/strong> wyszukujemy model, wpisuj\u0105c fraz\u0119 \u201eBielik\u201d<\/strong> \u2013 i wybieramy na przyk\u0142ad najnowsz\u0105 wersj\u0119 2.3:
https:\/\/ollama.com\/SpeakLeash\/bielik-11b-v2.3-instruct<\/a><\/strong><\/p>

\"\"<\/figure>

Nast\u0119pnie rozwijamy list\u0119 dost\u0119pnych modeli i klikamy \u201eView all\u201d<\/strong>. Na dodatkowym ekranie zobaczymy liczb\u0119 pobra\u0144 modelu, precyzj\u0119 wag oraz jego rozmiar w GB. Wybieramy pierwszy model do eksperyment\u00f3w \u2013 ja rekomenduj\u0119, by zacz\u0105\u0107 od Q8<\/strong> i na nim sprawdzi\u0107, jak dzia\u0142a na naszym komputerze. Po wyborze wracamy do g\u0142\u00f3wnej karty, gdzie wystarczy skopiowa\u0107 komend\u0119 \u201eollama run \u2026\u201d<\/strong>:<\/p>

ollama run SpeakLeash\/bielik-11b-v2.3-instruct:Q8_0<\/p>

Je\u015bli macie ju\u017c zainstalowan\u0105 Ollam\u0119<\/strong>, oto komenda do uruchomienia modelu Bielik<\/strong> na Waszym komputerze. Jak \u0142atwo si\u0119 domy\u015bli\u0107, wystarczy zmieni\u0107 ostatni cz\u0142on komendy, aby uruchamia\u0107 inne modele Bielika, a nawet inne modele dost\u0119pne w Ollamie.<\/p>

Dodatkowo Ollama<\/strong> oferuje wiele innych przydatnych komend, takich jak ps<\/strong>, list<\/strong> czy show<\/strong>, kt\u00f3re opisali\u015bmy w poni\u017cszej tabeli.<\/p>

Popularne komendy aplikacji Ollama<\/p>

serve \u2013 Uruchom Ollam\u0119.<\/p>

show \u2013 Wy\u015bwietl informacje o modelu.<\/p>

run \u2013 Uruchom model.<\/p>

pull \u2013 Pobierz model z rejestru.<\/p>

list \u2013 Wy\u015bwietl list\u0119 dost\u0119pnych modeli.<\/p>

ps \u2013 Wy\u015bwietl list\u0119 uruchomionych modeli.<\/p>

cp \u2013 Skopiuj model.<\/p>

rm \u2013 Usu\u0144 model.<\/p>

<\/p>

Uruchamiamy model za pomoc\u0105 komendy run<\/strong>, a aplikacja pobierze go i zapisze na komputerze. Dodatkowo Ollama<\/strong>uruchomi w tle serwer, dzi\u0119ki czemu komputer zacznie oferowa\u0107 API<\/strong> zgodne z protoko\u0142em OpenAI<\/strong>. Od tej pory mo\u017cecie tworzy\u0107 skrypty i systemy wykorzystuj\u0105ce lokalnie model Bielik. To oznacza, \u017ce mo\u017cecie przetwarza\u0107 nawet najbardziej poufne informacje bez obaw \u2013 wszystko b\u0119dzie przetwarzane wy\u0142\u0105cznie lokalnie na Waszym komputerze.<\/p>

Po uruchomieniu mo\u017cemy rozpocz\u0105\u0107 czatowanie z Bielikiem bezpo\u015brednio z terminala. Pami\u0119tajmy jednak, \u017ce prawdziwa moc Bielika ujawnia si\u0119, gdy po\u0142\u0105czymy si\u0119 z nim za pomoc\u0105 skryptu, przeka\u017cemy mu dokumenty do analizy, uprzednio dostosowawszy parametry (np. temperatur\u0119 generowania odpowiedzi<\/strong>). Niemniej ju\u017c teraz mo\u017cemy poczu\u0107 ma\u0142y przedsmak jego mo\u017cliwo\u015bci.<\/p>

Czas na pierwsze prompty<\/strong>
Bielik ma ju\u017c uwite gniazdo na naszym dysku. Przed rozpocz\u0119ciem kodowania warto sprawdzi\u0107 kilka komend Ollamy:<\/p>