{"id":6779,"date":"2024-12-17T18:30:00","date_gmt":"2024-12-17T17:30:00","guid":{"rendered":"https:\/\/haimagazine.com\/?p=6779"},"modified":"2025-06-26T10:14:18","modified_gmt":"2025-06-26T08:14:18","slug":"pohamuj-swoj-llm-sztuka-zmuszania-ai-do-konkretow","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/pohamuj-swoj-llm-sztuka-zmuszania-ai-do-konkretow\/","title":{"rendered":"\ud83d\udd12 Pohamuj sw\u00f3j LLM. Sztuka zmuszania AI do konkret\u00f3w"},"content":{"rendered":"

Na przyk\u0142ad gdy chcemy, by modele udziela\u0142y sformalizowanych odpowiedzi, potrafi ponosi\u0107 je fantazja: dodaj\u0105 co\u015b od siebie, zapominaj\u0105 o znakach specjalnych, wplataj\u0105 elementy, kt\u00f3re psuj\u0105 kod, przechodz\u0105 mi\u0119dzy formatami, dodaj\u0105 komunikaty typu: \u201eOto wynik: (…)\u201d.<\/p>

Oczywi\u015bcie czasem \u2013 zw\u0142aszcza gdy s\u0105 to pojedyncze odpowiedzi \u2013 mo\u017cna r\u0119cznie dostosowa\u0107 je do po\u017c\u0105danego formatu. S\u0105 jednak sytuacje, w kt\u00f3rych wsp\u00f3\u0142praca z modelem skutkuje tysi\u0105cami czy nawet milionami odpowiedzi. Do takich zada\u0144 nale\u017cy np. ekstrakcja danych z du\u017cej liczby dokument\u00f3w lub parsowanie, czyli przetwarzanie danych z jednego formatu na drugi. A w takich zastosowaniach na razie norm\u0105 jest niestety to, \u017ce LLM-y czasem si\u0119 myl\u0105 \u2013 i to na coraz bardziej r\u00f3\u017cnorodne sposoby. Za\u015b poprawa ka\u017cdego z tych uchybie\u0144 przypomina pr\u00f3b\u0119 \u0142atania pojawiaj\u0105cych si\u0119 ci\u0105gle nowych dziur w \u0142odzi. Na otwartym morzu. W trakcie sztormu.<\/p>

I c\u00f3\u017c mamy zrobi\u0107? Pogodzi\u0107 si\u0119 z tym, \u017ce LLM-\u00f3w nie da si\u0119 okie\u0142zna\u0107, bo z za\u0142o\u017cenia s\u0105 one modelami niedeterministycznymi, kt\u00f3re bazuj\u0105 na prawach statystyki? Czy za pomoc\u0105 prompt\u00f3w eskalowa\u0107 w ich kierunku gro\u017aby, licz\u0105c na to, \u017ce w ko\u0144cu nas pos\u0142uchaj\u0105? Ot\u00f3\u017c z LLM-ami jest podobnie jak z dzie\u0107mi i ich wychowaniem \u2013 zamiast grozi\u0107, lepiej postawi\u0107 jasne granice!<\/p>

Problemem tym zaj\u0119to si\u0119 ju\u017c w komercyjnych API, takich jak OpenAI czy Anthropic. Tam strukturyzacja odpowiedzi modeli wydaje si\u0119 prosta. Wystarczy zdefiniowa\u0107 w kodzie schemat, np. przez Pydantic, i u\u017cy\u0107 odpowiedniego trybu response_format<\/code>.<\/p>

from pydantic import BaseModel
from openai import OpenAI<\/code>
<\/code>
<\/mark>class DocumentInfo(BaseModel):
document_type: str
issue_date: str
amount: float
contractor: str<\/code>
<\/code>
<\/mark>client = OpenAI()
completion = client.beta.chat.completions.parse(
model=\"gpt-4o-2024-08-06\",
messages=[
{\"role\": \"system\", \"content\": \"Wydob\u0105d\u017a
informacje z dokumentu.\"},
{\"role\": \"user\", \"content\": \"\"\"Faktura VAT
15\/2024 wystawiona przez firm\u0119 ABC Sp. z o.o.
dnia 28.02.2024 na kwot\u0119 1250,00 PLN\"\"\"}
],
response_format=DocumentInfo,
)
<\/code>
document = completion.choices[0].message.parsed
<\/code>
print(document.dict())<\/code><\/td><\/tr><\/tbody><\/table><\/figure>

Co sprawi, \u017ce ka\u017cda odpowied\u017a, kt\u00f3r\u0105 otrzymamy, b\u0119dzie zgodna ze schematem:<\/p>

{
'document_type': 'Faktura VAT',
'issue_date': '28.02.2024',
'amount': 1250.0,
'contractor': 'ABC Sp. z o.o.'
}<\/code><\/td><\/tr><\/tbody><\/table><\/figure>

Sytuacja przedstawia si\u0119 inaczej, gdy korzystamy z modeli j\u0119zykowych, jak np. Llama, Mistral czy Bielik, kt\u00f3re uruchamiamy lokalnie, na w\u0142asnym sprz\u0119cie. A bywa tak, \u017ce uruchamia\u0107 musimy je w\u0142a\u015bnie w taki spos\u00f3b, bo np. zale\u017cy nam na poufno\u015bci przetwarzanych danych.<\/p>

Otwarty model \u2013 nawet gdy poinstruujemy go w prompcie, \u017ce ma zastosowa\u0107 wymagany format \u2013 cz\u0119sto dodaje w\u0142asne komentarze lub zb\u0119dne wyja\u015bnienia.<\/p>

Sp\u00f3jrzmy na przyk\u0142adow\u0105 odpowied\u017a modelu Bielik-11B-v2.2-Instruct, kt\u00f3ry dosta\u0142 to samo zadanie:<\/p>

Wynik powinien by\u0107 w formacie JSON:
{
\"document_type\": \"Faktura VAT\",
\"issue_date\": \"28.02.2024\",
\"amount\": 1250.0,
\"contractor\": \"ABC Sp. z o.o.\"
}
<\/code>
Wyja\u015bnienie:
- document_type: Typ dokumentu (Faktura VAT)
- issue_date: Data wystawienia dokumentu (28.02.2024)
- amount: Kwota wskazana na dokumencie (1250,00 PLN zamienione na liczb\u0119 1250.0)
- contractor: Nazwa kontrahenta wystawiaj\u0105cego dokument (ABC Sp. z o.o.)
<\/code>
Wynik jest w poprawnym formacie JSON i zawiera wszystkie wymagane informacje z danego dokumentu.<\/code><\/td><\/tr><\/tbody><\/table><\/figure>

Chocia\u017c model zwr\u00f3ci\u0142 poprawne dane, opatrzy\u0142 je zb\u0119dnymi obja\u015bnieniami, kt\u00f3re mog\u0105 utrudni\u0107 automatyczne przetwarzanie odpowiedzi.<\/p>

Skupimy si\u0119 zatem na tym, co zrobi\u0107, by na modelach uruchamianych lokalnie uzyska\u0107 odpowied\u017a w dok\u0142adnie takim formacie, jakiego sobie za\u017cyczymy.<\/p>

Maskowanie token\u00f3w<\/strong><\/h4>

Warto najpierw przyjrze\u0107 si\u0119, co dzieje si\u0119 \u201epod mask\u0105\u201d LLM-u, gdy ten generuje kolejny token. <\/p>

Dla przyk\u0142adowego polecenia:<\/p>

Podaj wynik r\u00f3wnania u\u017cywaj\u0105c tylko cyfry rzymskiej: 2+2=<\/code><\/td><\/tr><\/tbody><\/table><\/figure>

Podczas generowania odpowiedzi model wykonuje nast\u0119puj\u0105ce kroki:<\/p>

  1. Analizuje pe\u0142ny kontekst dost\u0119pny w oknie kontekstowym.<\/li>\n\n
  2. Dla ka\u017cdego mo\u017cliwego tokena w s\u0142owniku (np. dla Bielika to 32 000 token\u00f3w) model wylicza warto\u015b\u0107 logitu \u2013 czyli surow\u0105, nieznormalizowan\u0105 warto\u015b\u0107 wyprodukowan\u0105 przez ostatni\u0105 warstw\u0119 sieci neuronowej.<\/li>\n\n
  3. Stosowana jest funkcja softmax, kt\u00f3ra przelicza te logity na prawdopodobie\u0144stwa.<\/li><\/ol>

    \"\"<\/p>

    Na przyk\u0142ad:<\/p>

    \"\"<\/p>

    A co, gdyby w danym momencie generowa\u0107 token tylko z puli tych, kt\u00f3re s\u0105 zgodne z danym wzorcem? Tu ca\u0142a na bia\u0142o wchodzi koncepcja maskowania token\u00f3w. Jest to proces, kt\u00f3ry:<\/p>

    1. Odbywa si\u0119 przed transformacj\u0105 softmax.<\/li>\n\n
    2. Polega na ustawieniu warto\u015bci logit\u00f3w na -in\u0192 dla niepo\u017c\u0105danych token\u00f3w.<\/li>\n\n
    3. Jest wydajny obliczeniowo, poniewa\u017c nie wymaga modyfikacji architektury modelu.<\/li>\n\n
    4. Skutkuje zerowymi prawdopodobie\u0144stwami dla zamaskowanych token\u00f3w, podczas gdy suma prawdopodobie\u0144stw dla pozosta\u0142ych nadal wynosi 1.<\/li><\/ol>

      Zobaczmy to na przyk\u0142adzie ograniczenia odpowiedzi modelu tylko do cyfr rzymskich. Po zastosowaniu maskowania prawdopodobie\u0144stwa wyboru poszczeg\u00f3lnych token\u00f3w zmieni\u0105 si\u0119 nast\u0119puj\u0105co:<\/p>

      \"\"<\/p>

      Takie podej\u015bcie ma kilka istotnych zalet:<\/p>