{"id":9092,"date":"2025-03-31T10:00:00","date_gmt":"2025-03-31T08:00:00","guid":{"rendered":"https:\/\/haimagazine.com\/?p=9092"},"modified":"2025-06-18T09:28:48","modified_gmt":"2025-06-18T07:28:48","slug":"skywalker-bez-luk-bezpieczne-systemy-ai-w-kosmosie","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/numer-4\/skywalker-bez-luk-bezpieczne-systemy-ai-w-kosmosie\/","title":{"rendered":"\ud83d\udd12 Skywalker bez luk. Bezpieczne systemy AI w kosmosie"},"content":{"rendered":"

Wyobra\u017a sobie, \u017ce \u017cyjesz w przysz\u0142o\u015bci, gdy technologia jeszcze bar- dziej si\u0119 rozwin\u0119\u0142a, a podr\u00f3\u017ce kosmiczne nie s\u0105 ju\u017c marzeniem, lecz czym\u015b na porz\u0105dku dziennym. Na ka\u017cdym statku \u2013 poza kapitanem i pilotami \u2013 s\u0105 naukowcy, mechanicy i specjali\u015bci od system\u00f3w pok\u0142adowych. Kto\u015b musi w ko\u0144cu pilnowa\u0107, \u017ceby wszystko dzia\u0142a\u0142o po- prawnie: pot\u0119\u017cne silniki, narz\u0119dzia wytwarzaj\u0105ce atmosfer\u0119, a tak\u017ce powszechnie u\u017cywana sztuczna inteligencja, kt\u00f3ra pomaga wyznaczy\u0107 poprawn\u0105 trajektori\u0119 lotu statku, napisa\u0107 e-mail czy rozpozna\u0107 j\u0119zyk, kt\u00f3rym pos\u0142uguj\u0105 si\u0119 nowo poznani kosmici.<\/p>

Jest ma\u0142o rzeczy, kt\u00f3re nie zmieni\u0142y si\u0119 przez ostatnie dziesi\u0119ciolecia, ale jedna owszem \u2013 ludzie wci\u0105\u017c nie do ko\u0144ca pojmuj\u0105, jak w\u0142a\u015bciwie rozumuje sztuczna inteligencja i sk\u0105d bior\u0105 si\u0119 decyzje podejmowane przez model. Wszyscy natomiast zda- j\u0105 ju\u017c sobie spraw\u0119, jak kluczowe jest zachowanie bezpiecze\u0144stwa system\u00f3w AI. Wcze\u015bniej cz\u0119sto zdarza\u0142y si\u0119 gro\u017ane sytuacje, w kt\u00f3rych modele by\u0142y atakowane przez z\u0142o\u015bliwych agent\u00f3w. Od pewnego czasu na ka\u017cdym statku musi by\u0107 obecny tak\u017ce in\u017cynier od bezpiecze\u0144stwa AI. Nikt przecie\u017c nie chce, by znowu rozleg\u0142 si\u0119 alarm, a wszystkie modele zacz\u0119\u0142y sygnalizowa\u0107 wykrycie anomalii w ka\u017cdym mo\u017cliwym systemie, tak jakby statek za- raz mia\u0142 si\u0119 rozpa\u015b\u0107. Bywa\u0142y sytuacje, w kt\u00f3rych nikomu nie udawa\u0142o si\u0119 porozumie\u0107 z chatbotami zarz\u0105dzaj\u0105cymi ca\u0142ym pok\u0142adem \u2013 by\u0142y one w stanie jedynie zakomunikowa\u0107 wyst\u0105pienie awarii, ale nie wyja\u015bnia\u0142y, na czym dok\u0142adnie polega\u0142 problem ani co go spowodowa\u0142o.<\/p>

Wracaj\u0105c do tera\u017aniejszo\u015bci \u2013 aby zapobiec takim sytuacjom, nie tylko w sektorze kosmicznym, mo\u017cemy dzia\u0142a\u0107 ju\u017c teraz, nie musimy czeka\u0107 do pierwszego za\u0142ogowego lotu na Marsa. My ju\u017c dzia\u0142amy, realizuj\u0105c projekt PINEBERRY, kt\u00f3rego celem jest zwi\u0119kszenie \u015bwiadomo\u015bci na temat bezpiecze\u0144stwa i wyja\u015bnialno\u015bci modeli AI u\u017cywanych w sektorze kosmicznym. Projekt realizowany jest przez badaczy z MI2.AI z Politechniki Warszawskiej oraz firm\u0119 KP Labs na zlecenie Europejskiej Agencji Kosmicznej (ESA).<\/p>

Potencjalne ryzyka<\/strong><\/h4>

Je\u015bli chcesz stworzy\u0107 dobrze dzia\u0142aj\u0105cy system AI, lepiej nie ukrywaj szczeg\u00f3\u0142\u00f3w implementacji w nadziei, \u017ce takie dzia\u0142anie za\u0142atwi spraw\u0119 (security through obscurity<\/em>), i zainwestuj w prawdziwe \u015brodki bezpiecze\u0144stwa.<\/p>

Ju\u017c na pocz\u0105tku ka\u017cdego projektu powiniene\u015b odpowiedzie\u0107 sobie na pytanie, jak zabezpieczy\u0107 system przed potencjalnymi z\u0142o\u015bliwymi agentami (malicious agents<\/em>). Warto r\u00f3wnie\u017c zrozumie\u0107, co robi model i dlaczego w danej sytuacji udziela Ci takiej, a nie innej odpowiedzi. Wskaz\u00f3wki, jak odpowiedzie\u0107 na powy\u017csze pytania, zawarli\u015bmy w katalogach, kt\u00f3re powsta\u0142y w ramach projektu PINEBERRY.<\/p>

W dokumentach tych przybli\u017camy potencjalne ryzyka zwi\u0105zane z wykorzystywaniem modeli AI w sektorze kosmicznym, a tak\u017ce podajemy powi\u0105zane przyk\u0142ady. Z\u0142o\u015bliwym agentom w wielu przypadkach wystarczy dost\u0119p do danych, na kt\u00f3rych dzia\u0142a model, aby mogli przeprowadzi\u0107 atak i wp\u0142yn\u0105\u0107 na zwr\u00f3cone przez niego wyniki. Potencjalnych ryzyk jest wiele, np. zatrucie danych (data poisoning) lub ich wyciek (data leakage), atak na \u0142a\u0144cuch zale\u017c- no\u015bci (supply chain attack) czy nadmierne zaufanie (overreliance).<\/p>

Zatrucie danych<\/strong><\/h4>

A teraz wyobra\u017a sobie, \u017ce lecisz statkiem kosmicznym i prosisz model AI o prognoz\u0119 pogody \u2013 chcesz wiedzie\u0107, czy na Twojej trasie b\u0119d\u0105 w najbli\u017cszym czasie wyst\u0119powa\u0142y burze geomagnetyczne. Je\u015bli tak, to wiadomo \u2013 wolisz je omin\u0105\u0107, bo mog\u0105 negatywnie wp\u0142yn\u0105\u0107 na systemy elektroniczne statku. No ale co w sytuacji, gdy kto\u015b zatru\u0142 dane treningowe do modelu, kt\u00f3ry przez to \u017ale zadzia\u0142a, a Ty wlecisz nieprzygotowany w sam \u015brodek burzy? No w\u0142a\u015bnie, lepiej nie ryzykowa\u0107. Lepiej si\u0119 chroni\u0107 i bardzo dok\u0142adnie sprawdzi\u0107 dane treningowe, na przyk\u0142ad przeprowadzaj\u0105c walidacj\u0119 na referencyjnym zbiorze lub u\u017cywaj\u0105c metod detekcji anomalii. W ten spos\u00f3b sprawdzisz, czy otrzymane dane nie zawieraj\u0105 podejrzanych obserwacji. Dodatkowo mo\u017cesz zaszyfrowa\u0107 i zabezpieczy\u0107 miejsce przechowywania danych, zmniejszaj\u0105c prawdopodobie\u0144stwo ich zatrucia. Zrobisz to cho\u0107by poprzez ograniczenie do nich dost\u0119pu.<\/p>

\"\"
\u0179r\u00f3d\u0142o: https:\/\/zenodo.org\/records\/14762574 \/ https:\/\/zenodo.org\/records\/14699440<\/figcaption><\/figure>

Wyciek danych<\/strong><\/h4>

Ka\u017cda firma ma swoje tajemnice, kt\u00f3re nie powinny ujrze\u0107 \u015bwiat\u0142a dziennego, a zw\u0142aszcza bez wiedzy i zgody odpowiedzialnych za nie os\u00f3b. Dotyczy to zar\u00f3wno wielkich korporacji czy szpitali, jak i agencji kosmicznych. Dane pochodz\u0105ce z misji cz\u0119sto jeszcze przez wiele lat nie zostaj\u0105 udost\u0119pnione, mi\u0119dzy innymi dla- tego, \u017ce konkurenci lub hakerzy mogliby ich u\u017cy\u0107.<\/p>

Ale przecie\u017c sama agencja zbiera dane, aby je wy- korzysta\u0107, na przyk\u0142ad do trenowania modeli, kt\u00f3re maj\u0105 pom\u00f3c podczas kolejnej misji, czy to w wykonywaniu \u017cmudnych zada\u0144, czy po prostu u\u0142atwiaj\u0105c prac\u0119 kontrolerom lotu. Gdy po stworzeniu nowego rozwi\u0105zania agencja og\u0142asza, \u017ce ma niesamowicie dobrze dzia\u0142aj\u0105ce modele i pozwala je odpytywa\u0107 osobom z zewn\u0105trz, hakerzy pr\u00f3buj\u0105 doprowadzi\u0107 do wycieku danych. Chc\u0105 oni wykorzysta\u0107 wszystkie dost\u0119pne im \u015brodki. A st\u0105d ju\u017c wzgl\u0119dnie prosta droga i tylko szczypta szcz\u0119\u015bcia potrzebna, by metod\u0105 pr\u00f3b i b\u0142\u0119d\u00f3w dowiedzie\u0107 si\u0119 z modelu, kt\u00f3rych predykcji jest on bardziej pewien (te dane maj\u0105 wi\u0119ksze szanse znajdowa\u0107 si\u0119 w zbiorze treningowym), lub tak skonstruowa\u0107 prompt do modeli LLM, aby udzieli\u0142y odpowiedzi z u\u017cyciem tajnych danych.<\/p>

R\u00f3wnie niebezpieczna by\u0142aby sytuacja, w kt\u00f3rej wy- ciek dotyczy\u0142by danych pacjent\u00f3w w szpitalu. Nikt przecie\u017c nie chce, by wyniki jego bada\u0144 pojawi\u0142y si\u0119 w internecie. Czy da si\u0119 temu zapobiec? Jest wiele sposob\u00f3w, mi\u0119dzy innymi przeciwdzia\u0142anie prze- uczeniu modeli (overfitting), u\u017cywanie r\u00f3\u017cnych technik anonimizacji danych czy transfer learning. W ten spos\u00f3b mo\u017cna zmniejszy\u0107 ilo\u015b\u0107 informacji, kt\u00f3rymi model dysponuje i kt\u00f3re mog\u0105 zosta\u0107 wykradzione.<\/p>

Atak na \u0142a\u0144cuch zale\u017cno\u015bci<\/strong><\/h4>

Cz\u0119sto my\u015blimy, \u017ce jedynie dane lub modele s\u0105 zagro\u017cone atakiem. Jednak tak naprawd\u0119 to tylko elementy wi\u0119kszej ca\u0142o\u015bci, do kt\u00f3rej nale\u017c\u0105 tak\u017ce sie\u0107 komputerowa, oprogramowanie i systemy przechowywania danych. Je\u015bli wyst\u0105pi problem z kt\u00f3rymkolwiek z nich, pozosta\u0142e te\u017c b\u0119d\u0105 zagro\u017cone. Na pewno nieraz jako deweloperowi zdarzy\u0142o Ci si\u0119 pobiera\u0107 z internetu pretrenowane modele, dotrenowywa\u0107 je na wewn\u0119trznych danych i cieszy\u0107 si\u0119 z szybkiego sukcesu. Ile razy jednak przysz\u0142o Ci do g\u0142owy, by sprawdzi\u0107, czy pobrany model pochodzi z zaufanego \u017ar\u00f3d\u0142a? I czy nie zawiera dodatkowych, szkodliwych plik\u00f3w, kt\u00f3re same zainstaluj\u0105 si\u0119 na komputerze, znajd\u0105 tajny projekt najnowszej rakiety czy nieopublikowane jeszcze wyniki bada\u0144 nad prze\u0142omow\u0105 szczepionk\u0105 i wy\u015bl\u0105 te informacje w \u015bwiat? Sprawdzenie autentyczno\u015bci u\u017cytych bibliotek czy modeli nie zajmuje du\u017co czasu, a mo\u017ce uratowa\u0107 ca\u0142y projekt, i to nie tylko w domenie kosmicznej. Dodatkowo, aby zwi\u0119kszy\u0107 bezpiecze\u0144stwo, mo\u017cna pobiera\u0107 dane, modele i biblioteki tylko z zaufanych \u017ar\u00f3de\u0142, na bie\u017c\u0105co je aktualizowa\u0107 oraz u\u017cywa\u0107 bezpiecznych format\u00f3w przechowywania modeli.<\/p>

Nadmierne zaufanie<\/strong><\/h4>

Ataki atakami, ale przecie\u017c AI, a w szczeg\u00f3lno\u015bci du\u017ce modele j\u0119zykowe, m\u00f3wi\u0105 zawsze rzeczy, kt\u00f3re bardzo m\u0105drze brzmi\u0105. To nie znaczy jednak, \u017ce zawsze s\u0105 m\u0105dre. A bezrefleksyjna wiara w ich nie- omylno\u015b\u0107 mo\u017ce prowadzi\u0107 do r\u00f3wnie zgubnych efekt\u00f3w co ataki wymieniane powy\u017cej. Wyobra\u017a sobie, \u017ce musisz zaplanowa\u0107 misj\u0119 kosmiczn\u0105 na Marsa, co jest trudnym i \u017cmudnym zadaniem, zw\u0142aszcza gdy wi\u0105\u017ce si\u0119 z kolejn\u0105 iteracj\u0105 poprawek. Prosisz o pomoc nowego, inteligentnego asystenta z wbudowanym LLM-em, kt\u00f3ry podobno dotychczas spisywa\u0142 si\u0119 bez zarzut\u00f3w. Ju\u017c po kilkunastu sekundach masz gotowy plan, ze wszystkimi uwzgl\u0119dnionymi poprawkami.<\/p>

Tu\u017c przed wys\u0142aniem pliku z planem do mened\u017cera przypomina Ci si\u0119 to nudne szkolenie z bezpiecze\u0144stwa AI, wi\u0119c dla spokoju przegl\u0105dasz plik. I ca\u0142e szcz\u0119\u015bcie, bo asystent jednak nie jest taki idealny, jak si\u0119 zdawa\u0142o, a przepis na zup\u0119 pomidorow\u0105 nie powinien si\u0119 znale\u017a\u0107 w \u015brodku instrukcji dotycz\u0105cej manewr\u00f3w zbli\u017cania si\u0119 do czerwonej planety. Wysy\u0142asz wi\u0119c e-mail, ale nie do mened\u017cera, tylko do os\u00f3b odpowiedzialnych za nowego asystenta AI. W ko\u0144cu to oni powinni go tak poprawi\u0107, by zawsze Ci przypomina\u0142, \u017ce osob\u0105 odpowiedzialn\u0105 za propozycje wygenerowane przez model jeste\u015b Ty. I to oni powinni wprowadzi\u0107 szkolenia pokazuj\u0105ce pracowni- kom, jak bezpiecznie korzysta\u0107 z AI.<\/p>

\"\"<\/figure>

To co? Lecimy?<\/strong><\/h4>

We wsp\u00f3\u0142czesnym \u015bwiecie nie wystarczy ju\u017c zbudowa\u0107 dobrze dzia\u0142aj\u0105cy model, trzeba r\u00f3wnie\u017c wzi\u0105\u0107 pod uwag\u0119 wiele innych czynnik\u00f3w. W\u015br\u00f3d nich jest bezpiecze\u0144stwo zar\u00f3wno poszczeg\u00f3lnych modeli, jak i ca\u0142ych system\u00f3w opartych na AI. Trzeba mie\u0107 \u015bwiadomo\u015b\u0107, \u017ce podobnych zagro\u017ce\u0144 jest wi\u0119cej. Kluczem do unikania tego typu problem\u00f3w jest aktywne przeciwdzia\u0142anie potencjalnym lukom w bezpiecze\u0144stwie system\u00f3w wykorzystuj\u0105cych AI.<\/p>

Nikt przecie\u017c nie chce, aby model, b\u0119d\u0105cy g\u0142\u00f3wn\u0105 cz\u0119\u015bci\u0105 systemu zarz\u0105dzaj\u0105cego rakiet\u0105, w trakcie lotu zmieni\u0142 zdanie i doprowadzi\u0142 do niebezpiecznej sytuacji. Projekty takie jak PINEBERRY pe\u0142ni\u0105 funkcj\u0119 edukacyjn\u0105 i pokazuj\u0105, jak bezpiecznie korzysta\u0107 z system\u00f3w opartych na AI, mi\u0119dzy innymi poprzez tworzenie katalog\u00f3w oraz organizacj\u0119 hackathon\u00f3w.<\/p>

Do zobaczenia w bezpiecznym kosmosie!<\/p>","protected":false},"excerpt":{"rendered":"

Wyja\u015bnialno\u015b\u0107 sztucznej inteligencji i jej bezpiecze\u0144stwo to dwa g\u0142\u00f3wne obszary polskiego projektu PINEBERRY, realizowanego dla Europejskiej Agencji Kosmicznej. I dwa punkty, kt\u00f3re warto odhaczy\u0107 w notatniku, kiedy si\u0119 leci w kosmos.<\/p>\n","protected":false},"author":263,"featured_media":9722,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[612,756,757,402],"tags":[],"popular":[],"difficulty-level":[36],"ppma_author":[642,364],"class_list":["post-9092","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-numer-4","category-ai_branza","category-bezpieczenstwo-pl","category-hai-magazine","difficulty-level-easy"],"acf":[],"authors":[{"term_id":642,"user_id":263,"is_guest":0,"slug":"agata-kaczmarek","display_name":"Agata Kaczmarek","avatar_url":{"url":"https:\/\/haimagazine.com\/wp-content\/uploads\/2025\/03\/agata_kaczmarek-scaled.jpg","url2x":"https:\/\/haimagazine.com\/wp-content\/uploads\/2025\/03\/agata_kaczmarek-scaled.jpg"},"first_name":"Agata","last_name":"Kaczmarek","user_url":"","job_title":"","description":"Research Software Engineer w projekcie PINEBERRY realizowanym przez grup\u0119 badawcz\u0105 MI2.AI. absolwentka data science na Politechnice Warszawskiej."},{"term_id":364,"user_id":46,"is_guest":0,"slug":"prof-przemyslaw-biecek","display_name":"prof. Przemys\u0142aw Biecek","avatar_url":{"url":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/prof.-Przemyslaw-Biecek.jpeg","url2x":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/08\/prof.-Przemyslaw-Biecek.jpeg"},"first_name":"Przemys\u0142aw","last_name":"Biecek","user_url":"","job_title":"","description":"Profesor Uniwersytetu Warszawskiego i Politechniki Warszawskiej. Prowadzi grup\u0119 badawcz\u0105 MI2.AI i projekt BeatBit popularyzuj\u0105cy my\u015blenie oparte na danych."}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/9092","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/263"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=9092"}],"version-history":[{"count":11,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/9092\/revisions"}],"predecessor-version":[{"id":9728,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/9092\/revisions\/9728"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/9722"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=9092"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=9092"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=9092"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=9092"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=9092"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=9092"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}