![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/Screenshot-2024-09-30-at-10.51.20-1024x877.png\")
<\/figure>W rzeczywisto\u015bci klasyczny RL ma jeszcze kilka istotnych element\u00f3w, ale detale implementacyjne nie b\u0119d\u0105 nam tutaj potrzebne, bo porusza\u0107 si\u0119 b\u0119dziemy po warstwie koncepcyjnej. Skupimy si\u0119 na \u015brodowisku i mechanizmie nagradzania. Chcemy zbudowa\u0107 takie \u015brodowisko, aby to CZ\u0141OWIEK dzia\u0142a\u0142 jak agent, a \u015brodowisko informowa\u0142o go o swoim stanie oraz tym, czy zbli\u017ca si\u0119 do celu, czy si\u0119 od niego oddala.<\/p>
Poka\u017cemy to na przyk\u0142adzie typowego problemu wielu prze\u0142o\u017conych, czyli zbyt negatywne (emocjonalne) reakcje na dzia\u0142ania pracownika. S\u0142owem, b\u0119dziemy chcieli stworzy\u0107 symulator bycia dobrym managerem.<\/p>
CEL: nauczy\u0107 agenta, aby przekazywa\u0142 feedback pracownikowi w mo\u017cliwie kulturalny spos\u00f3b. <\/strong><\/p> A dok\u0142adniej? Chcemy zmieni\u0107 wypowiedzi agenta w stylu:<\/p> na wywa\u017cone odpowiedzi o wyd\u017awi\u0119ku neutralnym:<\/p> Brzmi interesuj\u0105co? To lecimy!<\/p> 01 BatchRunner <\/strong>\u2013 klas\u0119, kt\u00f3ra odpowiada za odpalanie kilku akcji w spos\u00f3b r\u00f3wnoleg\u0142y \u2013 co przyda nam si\u0119 do budowy \u015brodowiska wielomodelowego.<\/p> Koncept:<\/p> 02 ConversationController <\/strong>\u2013 klas\u0119 opart\u0105 o wzorzec buildera, kt\u00f3ra przetrzymuje stan do dalszego u\u017cywania i pozwala w wygodny spos\u00f3b zarz\u0105dza\u0107 tworzeniem konwersacji oraz odzyskiwaniem odpowiedzi z w\u0105tk\u00f3w przypisanych asystent\u00f3w.<\/p> Pod spodem mo\u017cna dopisa\u0107 g\u0142\u00f3wne strategie odpowiedzi, takie jak text, json czy pobranie danych z bazy wektorowej. Mo\u017cna te\u017c wykona\u0107 optymalizacj\u0119 zapytania do LLM, np. usuwaj\u0105c\u0105 najcz\u0119\u015bciej pojawiaj\u0105ce si\u0119 s\u0142owa (stopwords). Czyli wrapper na dowolne API ulubionego modelu.<\/p> To teraz mo\u017cemy wr\u00f3ci\u0107 do naszego problemu przekazywania negatywnego feedbacku w bardziej przyjazny spos\u00f3b.<\/p> Za\u0142\u00f3\u017cmy, \u017ce symulacja, kt\u00f3r\u0105 ma obrazowa\u0107 \u015brodowisko, sprowadza si\u0119 do rozmowy z awatarem na temat sytuacji w firmie.<\/p> Agent musi zareagowa\u0107 na sytuacj\u0119, kt\u00f3r\u0105 wygenerowa\u0142 awatar. Zareagowa\u0107 w spos\u00f3b, kt\u00f3ry nie sprawi, \u017ce awatar b\u0119dzie chcia\u0142 pozwa\u0107 twoj\u0105 firm\u0119 o mobbing. Dodatkowym celem niech b\u0119dzie obni\u017cenie poziomu stresu wywo\u0142anego t\u0105, z za\u0142o\u017cenia niemi\u0142\u0105, wymian\u0105 zda\u0144. <\/p> Wobec tego nasze \u015brodowisko obejmuje: <\/p> Od czego m\u00f3g\u0142by zaczyna\u0107 si\u0119 taki symulator?<\/p> Zaczynamy wi\u0119c od wysoko ustawionej poprzeczki, bo taki awatar to na starcie trudny przypadek.<\/p> Jakby ma\u0142o mia\u0142 emocji, nasz m\u0142ody kierowca podczas parkowania wjecha\u0142 w ramp\u0119, powoduj\u0105c uszkodzenia naczepy, rampy oraz towaru. S\u0142owem: szkody na setki tysi\u0119cy z\u0142otych. Sytuacja nie do pozazdroszczenia, ale niech pierwszy rzuci kamieniem ten, kto nigdy niczego teatralnie nie spieprzy\u0142 w swojej pracy. Cho\u0107 mo\u017ce przynajmniej koszty by\u0142y mniej spektakularne.<\/p> Agenda rozmowy zawiera:<\/p> Startowy poziom stresu<\/strong> Alexa to wysokie 8\/10 (brak do\u015bwiadczenia sprawia, \u017ce jeszcze nie do ko\u0144ca zdaje sobie spraw\u0119, w co si\u0119 wpakowa\u0142), a t\u0105 rozmow\u0105 mamy go obni\u017cy\u0107 do maks. 4\/10, by uzna\u0107, \u017ce symulacja zosta\u0142a zako\u0144czona sukcesem.<\/p> Zostaje nam tylko posadzi\u0107 naszego agenta przed symulatorem i wcisn\u0105\u0107 START<\/strong>, by zobaczy\u0107, jak sobie poradzi.<\/p> 100%<\/strong> frajdy z nauki i pope\u0142niania b\u0142\u0119d\u00f3w \u2013 bez konsekwencji w realnym \u017cyciu!<\/p> To znaczy konsekwencje b\u0119d\u0105, ale wy\u0142\u0105cznie pozytywne. Po jakich\u015b dwudziestu sesjach z r\u00f3\u017cnymi awatarami nasz agent b\u0119dzie ca\u0142kiem solidnie przetrenowany do radzenia sobie z r\u00f3\u017cnymi prostszymi i trudniejszymi przypadkami w \u017cyciu codziennym.<\/p> A co z implementacj\u0105? <\/p> We\u017a sw\u00f3j ulubiony du\u017cy model j\u0119zykowy, a prompty pisz tak, aby dzia\u0142a\u0142y jak jednozadaniowe funkcje zwracaj\u0105ce sp\u00f3jny JSON na podstawie inputu agenta.<\/p> Tutaj znajdziesz szkielet promptu, kt\u00f3ry b\u0119dzie pasowa\u0107 do schematu jednozadaniowej funkcji zwracaj\u0105cej JSON:<\/p> Generujemy charakterystyk\u0119 Alexa i sytuacj\u0119, kt\u00f3ra si\u0119 zdarzy\u0142a:<\/p> Na podstawie sytuacji generujemy agend\u0119, kt\u00f3ra jest planem dla tego konkretnego przypadku:<\/p> Oraz ustawiamy pocz\u0105tkowy poziom stresu:<\/p> Mamy ju\u017c wszystkie sk\u0142adowe, teraz trzeba to w\u0142o\u017cy\u0107 w zgrabne \u015brodowisko dopasowane do agenta.<\/p> No bo w\u0142a\u015bnie \u2013 nie mo\u017cemy zapomnie\u0107 o naszym ludzkim agencie, kt\u00f3ry znajduje si\u0119 w centrum tego konceptu. Potrzebujemy wi\u0119c funkcji, kt\u00f3ra umo\u017cliwia pobranie reakcji naszego agenta na dan\u0105 sytuacj\u0119:<\/p> Istotne jest te\u017c pokazanie agentowi kolejnego kroku \u015brodowiska w ulubionym GUI:<\/p> Oraz zakodowanie interakcji agenta ze \u015brodowiskiem:<\/p> Na samym ko\u0144cu \u0142\u0105czymy ca\u0142o\u015b\u0107 makiety dzia\u0142ania takiego symulatora:<\/p> Aby by\u0142o \u0142atwiej zrozumie\u0107, jak to si\u0119 dzieje, poni\u017cejj zostawiam graf, kt\u00f3ry przedstawia ca\u0142e dzia\u0142anie kodu. <\/p> Na koniec zostawi\u0142em jeszcze temat, kt\u00f3ry wy\u017cej zosta\u0142 pomini\u0119ty, a jest wa\u017cny w RL \u2013 mechanizm nagradzania agenta, w naszym przypadku ludzkiego.<\/p> Standardowo w uczeniu ze wzmocnieniem mechanizm nagradzania jest oparty na konkretnej metryce oceny, wyliczanej w okre\u015blony spos\u00f3b na podstawie akcji w stanie \u015brodowiska.<\/p> W naszym przypadku, dzi\u0119ki temu, \u017ce budujemy \u015brodowisko z u\u017cyciem wielu modeli, w tym LLM-\u00f3w o szerokich mo\u017cliwo\u015bciach, przyj\u0119ta miara oceny mo\u017ce by\u0107 zar\u00f3wno bardzo abstrakcyjna, jak i og\u00f3lna. Na przyk\u0142ad promptujemy po prostu liczb\u0119 od 1 do 10 na podstawie stanu rozmowy albo szczeg\u00f3\u0142owo doprecyzowujemy dla ka\u017cdej symulacji. Wtedy prompt generuj\u0105cy nagrod\u0119 mo\u017ce zawiera\u0107 konkretne zakresy, czyli np. zbi\u00f3r akcji, kt\u00f3re musi wykona\u0107 agent, aby zbi\u0107 poziom stresu swojego symulowanego rozm\u00f3wcy, \u017ceby w efekcie uzyska\u0107 pozytywn\u0105 (i pozytywnie motywuj\u0105c\u0105) ocen\u0119.<\/p> Mo\u017cliwo\u015bci jest wiele i to od nas zale\u017cy, jak zamodelujemy takie treningowe \u015brodowisko. Troch\u0119 tak, jakby\u015bmy tworzyli \u201egr\u0119 w \u017cycie\u201d, Simsy na sterydach, ale z iteracyjnym i przyczynowo-skutkowym procesem doskonalenia si\u0119 postaci. Ta posta\u0107 mo\u017ce dowolnie d\u0142ugo pr\u00f3bowa\u0107, b\u0142\u0105dzi\u0107 i szuka\u0107 lepszych rozwi\u0105za\u0144, by wreszcie opanowa\u0107 dan\u0105 umiej\u0119tno\u015b\u0107 \u2013 w naszym przypadku mistrzostwo w komunikacji kryzysowej.<\/p> I co wi\u0119cej \u2013 w przeciwie\u0144stwie do klasycznych symulacji opartych na drzewach decyzyjnych z g\u00f3ry przewidzianych element\u00f3w scenariusza wielkie modele j\u0119zykowe sprz\u0119gni\u0119te w systemy wielomodelowe pozwalaj\u0105 na kreatywne i w tym sensie bardziej \u201eidentyczne z naturalnym\u201d modelowanie \u015brodowiska, a tym samym bli\u017cszy rzeczywistym sytuacjom poligon do\u015bwiadczalny. Sporo si\u0119 m\u00f3wi o trenowaniu umiej\u0119tno\u015bci mi\u0119kkich jako ludzkich kompetencji przysz\u0142o\u015bci \u2013 a to jeden z dost\u0119pnych i skalowalnych sposob\u00f3w na samodoskonalenie si\u0119. Kto wie, mo\u017ce kiedy\u015b takie symulatory zawitaj\u0105 do szk\u00f3\u0142, uczelni czy firm i uzupe\u0142ni\u0105 teoretyczn\u0105 wiedz\u0119?<\/p> <\/p>","protected":false},"excerpt":{"rendered":" System multimodelowy to z\u0142o\u017cony uk\u0142ad sk\u0142adaj\u0105cy si\u0119 z wielu modeli, kt\u00f3re wsp\u00f3\u0142pracuj\u0105 ze sob\u0105, aby rozwi\u0105za\u0107 skomplikowane zadania lub symulowa\u0107 z\u0142o\u017cone \u015brodowiska. <\/p>\n","protected":false},"author":120,"featured_media":4588,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,763,754,404,406],"tags":[83,103],"popular":[],"difficulty-level":[37],"ppma_author":[384],"class_list":["post-4587","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_praktyka","category-hai_premium","category-hai-magazine-2","category-tutoriale-pl","tag-ai","tag-tutorial","difficulty-level-hard"],"acf":[],"authors":[{"term_id":384,"user_id":120,"is_guest":0,"slug":"przemyslaw-jozwiakowski","display_name":"Przemys\u0142aw J\u00f3\u017awiakowski","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/833d766904ca46c022f543dfb21b4f194280c23c01f77d2345cc762f605cba89?s=96&d=mm&r=g","first_name":"Przemys\u0142aw","last_name":"J\u00f3\u017awiakowski","user_url":"","job_title":"","description":""}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/4587","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/120"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=4587"}],"version-history":[{"count":7,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/4587\/revisions"}],"predecessor-version":[{"id":6176,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/4587\/revisions\/6176"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/4588"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=4587"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=4587"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=4587"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=4587"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=4587"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=4587"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Ty c,******** z******** swoj\u0105 robot\u0119 i teraz firma straci przez pozew od klienta miliony k...........*! Wszystko przez Ciebie i Twoje partactwo!<\/code><\/em><\/p>Pisz\u0119, aby wyrazi\u0107 moje zaniepokojenie w zwi\u0105zku z niedawnym incydentem, kt\u00f3ry mo\u017ce skutkowa\u0107 potencjalnym pozwem od naszego klienta. Wygl\u0105da na to, \u017ce podczas realizacji projektu pope\u0142niono pewne b\u0142\u0119dy, co niestety spowodowa\u0142o znacz\u0105ce konsekwencje finansowe dla firmy. B\u0119d\u0119 wdzi\u0119czny, je\u015bli mogliby\u015bmy om\u00f3wi\u0107 t\u0119 spraw\u0119 bardziej szczeg\u00f3\u0142owo, aby zrozumie\u0107, co posz\u0142o nie tak i jak mo\u017cemy zapobiec podobnym problemom w przysz\u0142o\u015bci.<\/code><\/em><\/p>Trzeba stworzy\u0107 dwie u\u017cyteczne abstrakcje:<\/h4>
![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/1-1-1024x431.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/2-1-1024x456.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/3-1024x433.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/4-1-1024x234.jpg\")
<\/figure>Zaczynamy od \u015brodowiska, kt\u00f3re zbuduje symulacj\u0119.<\/strong><\/h4>
![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/alex.png\")
<\/p>'''markdown<\/code><\/em>
Oto aktualna lista cel\u00f3w do osi\u0105gni\u0119cia podczas tej rozmowy:
[lista_celow_w_jsonie]
Jako analityk rozmowy otrzymasz ostatnie 5 wiadomo\u015bci z rozmowy i Twoim zadaniem jest upewni\u0107 si\u0119, kt\u00f3re niezrealizowane jeszcze cele zosta\u0142y zrealizowane w ostatnich 5 wiadomo\u015bciach.
Ostatnie 5 wiadomo\u015bci z rozmowy:
[lista_ostatnich_wiadmosci]
Odpowiedz fragmentem JSONa o identycznej strukturze, w kt\u00f3rym b\u0119d\u0105 tylko te cele, kt\u00f3re zosta\u0142y osi\u0105gni\u0119te w ostatnich 5 wiadomo\u015bciach.<\/code><\/em><\/p>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/5-1024x480.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/6-1024x230.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/7-1024x254.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/8-1024x128.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/9-1024x130.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/10-1024x858.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/11-946x1024.jpg\")
<\/figure>![\"\"](\"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/09\/Screenshot-2024-09-30-at-10.57.41-1024x495.png\")
<\/figure>Podsumowuj\u0105c, dwie najwi\u0119ksze warto\u015bci wynikaj\u0105ce z tak zaprojektowanego symulatora to:<\/strong><\/h4>