Nowy polski model językowy: PLLuM

24 lutego 2025 w Ministerstwie Cyfryzacji odbyła się konferencja, na której oficjalnie zaprezentowano rodzinę polskich modeli językowych PLLuM (Polish Large Language Model). Konferencja była zwieńczeniem pierwszego etapu projektu tworzonego przez konsorcjum sześciu instytucji naukowych, kierowanym przez Politechnikę Wrocławską pod auspicjami rządu (z budżetem 14,5 mln złotych). Cel: budowa wszechstronnych polskich modeli LLM ukierunkowanych na wspieranie administracji publicznej i środowisk naukowych w procesie cyfryzacji, a także polskiego biznesu w zakresie innowacji.

Etapy rozwoju PLLuM, Ministerstwo Cyfryzacji

Rodzina PLLuM wykorzystuje od 8 do 70 miliardów parametrów w zależności od konkretnego modelu. Te mniejsze przewidziane są do prostych zadań, np. do stworzenia bota do obsługującego strony www. Większe modele sprawdzą się tam, gdzie potrzebna jest kontekstowa spójność w rozumieniu języka polskiego, np. w badaniach naukowych czy przetwarzaniu dokumentacji urzędniczej. Wszystkie wersje bazują na etycznie pozyskanych danych – w oparciu o licencje, znowelizowaną ustawę o prawie autorskim oraz przepisy UE. Dodatkowo modele naukowe (które nie mają zgody na wykorzystanie komercyjne) korzystają z ogólnodostępnych zbiorów danych, takich jak np. Common Crawl. To sprawia, że są jeszcze wydajniejsze.

“Wspólnie z modelem Bielik mogą promować sztuczną inteligencję tworzoną w Polsce, wspierając się wzajemnie w lepszym procesie trenowania i dalszym pozyskiwaniu oraz otwieraniu danych, potrzebnych, by #AIMadeInPoland było coraz lepsze – dla administracji publicznej, biznesu i społeczeństwa.”
Ministerstwo Cyfryzacji.

Ciekawym momentem konferencji było potwierdzenie, że jeden z modeli PLLuM (8×7-nc-chat) w testach kompetencyjnych przewyższa benchmarkami takie odpowiedniki, jak GPT-4-turbo czy DeepSeek R1-Llama-70B. To potwierdza, że sukces tego ostatniego nie był przypadkowy i nie trzeba gigantycznych nakładów, by stworzyć wydajne LLMy, które świetnie rozumieją specyfikę naszego języka i kultury. Podobnie jest w obszarze bezpieczeństwa, gdzie polski model (12b-chat) – świetnie sobie radzi, jeśli chodzi o odporność na zakłócenia (np. nieprecyzyjne zapytania użytkownika).

Ministerstwo poinformowało, że na 2025 r. zabezpieczono 19 mln złotych na dalszy rozwój projektu i badania. Konsorcjum HIVE, które jest odpowiedzialne wdrożeniowo za projekt (tym razem liderem jest NASK) powiększyło się o dwóch nowych partnerów: Centralny Ośrodek Informatyki oraz Akademickie Centrum Komputerowe Cyfronet AGH. Na chwilę obecną prawnie jest ograniczone dołączanie do konsorcjum firm prywatnych, ale prowadzone są prace nad rozporządzeniami, by to zmienić.

Na rok 2025 zaplanowano pierwsze wdrożenia modeli w administracji publicznej:

• inteligentny asystent urzędniczy – ma on wspierać pracowników w poruszaniu się w gąszczu przepisów urzędowych (testy już trwają w Ministerstwie Cyfryzacji),
• asystent dla aplikacji mObywatel – zwłaszcza w kontekście rozrastających się jej funkcjonalności,
• rozpoczną się też prace nad opracowaniem rozwiązań w edukacji i wsparciu nauczycieli w procesie nauczania z wykorzystaniem AI.

Istotne jest również to, że same wdrożenia (np. w mObywatelu) będą finansowane z dodatkowych środków. Dzięki temu konsorcjum będzie mogło inwestować budżet w dalszy trening modeli i prace nad ich bezpieczeństwem. 

Już teraz każdy może przetestować PLLuM na stronie https://pllum.clarin-pl.eu/ (chat korzysta z 2 modeli: 12b i 8x7b). A cała biblioteka modeli jest dostępna pod https://huggingface.co/CYFRAGOVPL – każdy, kto ma sprzęt o odpowiedniej mocy obliczeniowej i niezbędne do tego kompetencje, może uruchomić model najbardziej odpowiadający potrzebom swojego projektu badawczego lub komercyjnego. 

Zapytaliśmy model PLLuM czego życzy sobie i nam z okazji swoich narodzin:

Cała konferencja jest dostępna do obejrzenia pod linkiem: https://www.youtube.com/watch?v=m9gyLQTX820&t=2s