Zapomnij o swojej dziedzinie i rozejrzyj się wokół

Inez Okulska: Czym dla Ciebie jest kreatywność?

Piotr Sankowski: W badaniach naukowych to posiadanie szerszego spojrzenia i łączenia faktów, łączenia zupełnie ze sobą niezwiązanych, przynajmniej na pierwszy rzut oka, technik, metod, pojęć. Kreatywność to taki generator liczb losowych, i u ludzi, i w modelach sztucznej inteligencji, i u niektórych działa bardzo dobrze, u innych nie. Notabene Sam Altman, twórca ChatGPT, przyznał, że był zaskoczony, gdy okazało się, że akurat kreatywność jest najmocniejszą stroną dużych modeli językowych.

IO: Niemal równolegle prowadziłeś badania i zdobywałeś kolejne tytuły naukowe w dwóch dziedzinach – fizyce i informatyce. Jak zaplecze fizyczne pomaga w informatyce czy badaniach nad AI?

PS: W informatyce jesteśmy przyzwyczajeni do tego, że wszystko rozumiemy i wszystko się składa. A w fizyce, że niczego nie rozumiemy. Pamiętam, jak np. na egzaminie dostaliśmy zadanie, które nie miało rozwiązania. Wszyscy się pocili nad jednym, lekko zmodyfikowanym o dodatkowe założenia równaniem różniczkowym i byli zupełnie bez szans. W ogóle ścieżka edukacyjna w obu dziedzinach bardzo się różni. Informatyka czy sztuczna inteligencja to nowe dziedziny, nie pojawiają się tu zazwyczaj rzeczy, które wymagają jakichś ogromnych zasobów wiedzy, próg wejścia jest inny. Natomiast w fizyce zrozumienie buduje się wielopokoleniowo na wcześniejszych odkryciach. Np. odcięcie się od klasycznej fizyki nastąpiło po latach studiów i dopiero wtedy można zacząć ze zrozumieniem czytać słynne prace Richarda Feynmanna. Fizyka ma też inną metodologię badawczą. Pojęcie układów złożonych jest tu wszechobecne. Rozumiemy podstawowe prawa fizyczne i oddziaływania poszczególnych cząstek, ale jak już mamy policzyć te słynne trzy ciała (chodzi o tzw. problem trzech ciał – przyp. red.), to już sprawa się komplikuje. A jak mówimy o układach, które zawierają setki tysięcy elementów, to z pokorą patrzymy na to, że nie wszystko będzie jasno albo dostępne. I ta pokora wobec złożoności może być sporą korzyścią w badaniach nad sztuczną inteligencją, szczególnie teraz, gdy od klasycznych algorytmów przeszliśmy do niezwykle złożonych „czarnych skrzynek”, jak choćby modele generatywne.

IO: I czym ta pokora zaowocowała u Ciebie? Masz na koncie spektakularne odkrycia?

PS: Jedna z moich pierwszych prac polegała na tym, że skojarzyłem rzeczy, o których wydawało się, że nie mają ze sobą nic wspólnego. Tworzyłem algorytmy oparte na algebrze liniowej, które zastosowałem do rozwiązania pewnego problemu grafowego, i wtedy to się w jakiś kompletnie nieprzewidywalny sposób złożyło. Dzisiaj to bardziej oczywiste połączenie, ale wtedy, ponad dwie dekady temu, powiało świeżością.

IO: A potem?

PS: Bywały momenty, olśnienia najłatwiej przychodzą w teorii, w badaniach podstawowych. Przez długi czas, na przykład, pewien niszowy teoretyczny problem pozostawał otwarty. Chodziło o to, by w sposób deterministyczny rozwiązać problem skojarzeń w grafach planarnych w modelach równoległych. I w pewnym momencie – po jakichś 15 latach dość regularnego myślenia o tym problemie – mi się to wszystko ułożyło. I bam, miałem rozwiązanie!

IO: 15 lat regularnego myślenia! I do czego można to długo wyczekiwane rozwiązanie wykorzystać?

PS: Do niczego. To po prostu bardzo frapujący problem od strony teoretycznej. Chodzi o to, by udowodnić, że można pewne problemy rozwiązać bez użycia randomizacji, co często wymaga nowych ciekawych i złożonych technik. To bardzo wymagająca i jak widać, wieloletnia gimnastyka umysłowa.

IO: No dobrze, czyli pokora teoretyka AI to zaleta ścieżki fizycznej, a odwrotnie? Jak znajomość algorytmów uczenia maszynowego pomaga w dziedzinie fizyki?

PS: Dopiero od niedawna mam wreszcie pomysły i pierwsze wyniki, które pozwalają połączyć te obszary w sposób, który mi się podoba. W doktoracie zajmowałem się tematami związanymi z mechaniką statystyczną, która jest na przecięciu mechaniki i informatyki, ale to jakoś nie wciągnęło mnie wtedy tak bardzo. Teraz po wielu latach widzę potencjał, żeby wykorzystywać uczenie maszynowe, tę metodologię badawczą do nowego sposobu prowadzenia badań w fizyce.

IO: Czyli wykorzystujecie sieci neuronowe w fizyce?

PS: Coraz częściej słyszymy o odkrywaniu nowych cząstek w biofizyce czy chemii organicznej i jest to możliwe właśnie dzięki wspieraniu modelowania układów fizycznych za pomocą modeli AI. Próbowaliśmy używać podobnych technik do tworzenia materiałów periodycznych, czyli stopów metali, tak, żeby zbadać ich właściwości i zaproponować nowe materiały. Stosowaliśmy wariacyjne enkodery do nauczenia się struktur, do których mamy dane symulacyjne, żeby finalnie model generował nowe materiały o pewnych zadanych właściwościach.

IO: Jaki problem dzięki temu rozwiązujecie?

PS: W inżynierii materiałowej klasyczne stopy zawierają żelazo plus niewielki ułamek – 1–2% jakiegoś innego pierwiastka. Kilka lat temu odkryto stopy wysokiej entropii, gdzie bierzemy trzy metale w o wiele większych proporcjach, np. 20–30%, i jeśli odpowiednio się je dobierze, to mogą być np. zdecy- dowanie twardsze. Ale kluczowy jest właśnie dobór proporcji, bo w przeciwnym razie zamiast polepszyć właściwości, znacznie je pogorszymy. Trafienie z odpowiednim składem nie jest więc oczywiste, moc obliczeniowa sieci pozwalająca na symulację ogromnych ilości wariantów jest tu zdecydowanie pomocna.

IO: A co było w środku Waszego modelu? W jaki sposób kodowaliście dane fizyczne? Znane są reprezentacje obrazu, tekstu, ale tutaj problem jest mniej trywialny.

PS: Sam enkoder był prosty, ale rzeczywiście największa walka jest o to, by te dane zakodować, opisać ich właściwości tak, żeby model mógł dostrzec odpowiednie wzorce. Ten embed- ding (wektor reprezentacji danych – przyp. red.) musi odzwierciedlać fizyczne zależności w danych. I tutaj rodzi się mnóstwo pytań i wyzwań – np. w jaki sposób w liczbowym wektorze zakodować to, że jest to materiał periodyczny? Potem dodawa- liśmy kolejne cechy, które jeszcze lepiej kodowały, np. zależności geometryczne tych materiałów.

IO: I ekstrakcja cech następowała całkowicie automatycznie czy była wspierana przez ekspertów ludzkich?

PS: Zdecydowanie wiedza domenowa w takich badaniach jest niezbędna, sama znajomość projektowania modeli AI czy stosowania automatycznych mechanizmów kodowania danych nie wystarczy. Tutaj np. żeby zrozumieć, co to są wektory Parrinello, potrzeba fizyka, bo na informatyce tego nie uczą. Opis struktury krystalicznej musi w odpowiedni sposób bazować na wiedzy domenowej, żeby wiedzieć, jak to się koduje, bo na tym się buduje kolejne kroki. Więc ludzki ekspert był jak najbardziej potrzebny.

IO: To badania o charakterze podstawowym, ale nietrudno sobie wyobrazić, że przy udanym wyniku znajdą konkretne zastosowanie. To zresztą nie pierwsze tego typu teoretyczne projekty w Twoim dorobku, które potem okazywały się bardzo praktyczne. Jak dobierasz kolejne tematy badawcze – to ciekawość naukowca czy jednak pragmatyka biznesmena?

PS: Zawsze starałem się tak formułować problem badawczy, żeby można było go zastosować w praktyce. A czasami te badania same z siebie wynikają z praktycznych aplikacji. Na przykład istotnym obszarem moich badań od lat jest problem skoja- rzeń, tzn. optymalizacja problemu dobierania w pary. Problem ten często tłumaczy się na przy- kładzie łączenia ludzi w pary, ale tak biznesowo jest wiele innych zastosowań, np. łączenie pracownika z zadaniem do wykonania. A w moim przypadku ważnym motorem rozwoju jest rynek reklamowy w internecie.

IO: O! Nie jest to najbardziej oczywiste skojarzenie z grafowymi problemami.

PS: A okazuje się, że to jest dokładnie problem skojarzeń. Mamy reklamy z odpowiednim budżetem i mamy klientów, którzy są gotowi te reklamy oglądać. I musimy optymalnie przydzielić te reklamy do klientów, żeby zmieścić się w budżecie. Kolejnym spojrzeniem na problem skojarzeń jest problem aukcji. Włączenie elementów teorii gier: informacje o motywacji, kto oszukuje, co inni wiedzą, czy sprawiedliwość jest pożądana etc. To są ciekawe rzeczy od strony teoretycznej – np. jak zapisać brak zazdrości w sposób formalny? Żeby aukcja przydzielała przedmioty tak, by uczestnicy sobie nie zazdrościli. Tutaj inspiracją jest też to, co się dzieje w uczeniu maszynowym, tzw. stochastyczna optymalizacja. Generalnie w przypadku wielu naszych projektów zaczynaliśmy od szukania miejsc, w których można robić ciekawe badania podstawowe, ale takie, które jednocześnie będą miały realne zastosowanie.

IO: I ewidentnie Ci to wychodziło. W czym tkwi Twój sekret?

PS: Wydaje mi się, że nie ma tutaj szczególnej tajemnicy. Staram się po prostu zajmować tematami, które mogą być przydatne.

IO: A skąd wiesz, że mogą?

PS: No pewnie przydaje się tu doświadczenie, ale też otwartość na szeroką wiedzę. Czasem problemem badaczy jest to, że za mocno wsiąkają w swój temat i nie interesują się niczym poza nim. I to bardzo utrudnia znalezienie praktycznych zastosowań.

IO: Think outside the box, czyli wyjdź ze swojej bańki?

PS: Dokładnie tak. Ważne jest poszukiwanie na zewnątrz, interesowanie się różnymi tematami, jako informatyk czy automatyk bycie otwartym np. na spotkanie z psychiatrą, psychologiem, socjologiem, zrozumienie, z jakimi wyzwaniami oni się mierzą. I z takich nieoczywistych spotkań rodzą się najciekawsze tematy. Tu pojawia się ta kreatywność badawcza, właśnie z różnych czasami przypadkowych inspiracji. Można odnieść wrażenie, że pochodzi znikąd, choć jak mówiła Coco Chanel, tajemnicą kreatywności jest umie- jętność ukrywania swoich źródeł. W tym przypadku przydaje się zapomnienie na chwilę o swojej perspektywie, swoim zestawie narzędzi i pojęć, i rozejrzenie wokół, takie empatyczne, otwarte na potrzeby innych.

IO: Tak jak w przypadku MIM Fertility? To wspaniały przykład zastosowania sztucznej inteligencji do rozwiązania ważnego problemu ludzkości. Wystarczyło wsłuchać się w potrzeby?

PS: W przypadku MIM Fertility udział mojej żony, Uli, był jasny, bo to ona się zastanawiała, gdzie można wykorzystać potencjał sztucznej inteligencji, żeby wspomóc problem leczenia niepłodności. Zaczęliśmy więc rozmawiać z lekarzami i wspólnie z nimi zidentyfikowaliśmy miejsca w procesie, które wymagają ulepszenia. Pomysły pochodziły już od lekarzy. Dzisiaj MIM Fertility oferuje pomoc w dwóch zadaniach: ocenie zarodków pod względem potencjału, czy powstanie z nich zdrowa ciąża, oraz automatyzacji badania rezerwy jajnikowej, czyli zliczanie pęcherzyków antralnych, tam gdzie rosną jajeczka.

IO: Czego o komercjalizacji badań dowiedzieliście się w procesie tworzenia tego rozwiązania?

PS: Praca nad opracowaniem modeli była ważnym kawałkiem, ale zagwarantowanie dobrej jakości danych i zrozumienie potrzeb klientów miały o wiele większe znaczenie niż sama praca inżynierska. Lekarze muszą mieć zaufanie i do nas, i do narzędzi, których używają. Zatem networking, budowanie relacji i pewnej renomy firmy, są bardzo istotne. Technologia jest początkiem, ale dużo dłuższą drogą jest dogłębne zrozumienie potrzeb klienta, zbudowanie historii, potrzeby biznesowej, uświadomienie i przekazanie jej klientom – to jest kluczowe w komercjalizacji. Sam dobór metody jest gdzieś daleko w procesie. Najpierw trzeba zauważyć problem, zrozumieć go, a potem dopiero zacząć budować wyobrażenie o tym, w jaki sposób go rozwiązać. I często to wcale nie są najnowsze, najbardziej atrakcyjne modele, te słynne „czarne skrzynki”. Bo w przypadku tak krytycznych obszarów jak medycyna, zarówno inżynierowie, jak i klienci szybko zdają sobie sprawę, że lepiej sobie jednak radzą prostsze modele, czasem wręcz prosta optymalizacja. Istotne są solidność modeli (żeby były odporne, uniwersalne, sterowalne) i ich wyjaśnialność – musimy wiedzieć, co się dzieje w środku, na jakiej podstawie model podejmuje decyzje, czego możemy się po nim spodziewać. Częstym błędem jest wychodzenie od modelu, czyli narzędzia, a nie istoty problemu.

prof. Piotr Sankowski – informatyk, fizyk, wykładowca na UW, współzałożyciel i CTO spin-offu MIM Solutions oraz prezes IDEAS NCBR. Laureat pierwszej edycji Nagrody im. Witolda Lipskiego, jako jedyny Polak otrzymał również aż czterokrotnie europejski grant badawczy ERC, w tym na badania podstawowe i komercjalizację.