Andrej Karpathy: „Dzisiejsze LLM-y są jak duchy”

W rozmowie z Dwarkeshem Patelem oraz w serii postów w serwisie X Karpathy nie neguje postępu – podkreśla jednak, że obecne modele są dalekie od ogólnej sztucznej inteligencji (AGI). Brakuje im pamięci, ciągłości uczenia i zdolności działania w świecie fizycznym. Jak zauważa, pomiędzy dzisiejszymi rozwiązaniami a AGI leży ogrom pracy u podstaw – integracja z sensorami, bezpieczeństwo, niezawodność, zrozumienie kontekstu społecznego. To nie są kwestie, które rozwiąże kolejna wersja modelu.

Zwierzęta i duchy

Porównując AI do AGI Karpathy używa analogii, którą formułuje jako „zwierzęta” i „duchy”. Zwierzęta to organizmy fizyczne – mają ciało, zmysły, potrzeby czy instynkty. Uczą się przez działanie: czują głód, widzą zagrożenie, doświadczają bólu i satysfakcji – i w odpowiedni sposób na to reagują. Ich inteligencja jest produktem ewolucji – zaprogramowanej przez miliony lat zdolności do przetrwania i adaptacji.

Modele językowe natomiast nie mają ciała, zmysłów ani doświadczenia. Nie uczą się poprzez działanie – uczą się poprzez imitację. To czysto symboliczne byty, które powstały z miliardów fragmentów ludzkiego języka. Potrafią mówić, przewidywać, tworzyć teksty, ale nie rozumieją świata, o którym mówią. Ich „inteligencja” jest zakodowana sieci neuronowej, ale pozbawiona fizycznego kontekstu – są więc jak duchy, które potrafią mówić głosem ludzi, lecz nie mają ciała, by ten świat poczuć.

Karpathy podkreśla, że ta różnica nie jest tylko metaforyczna. To fundamentalny problem współczesnej AI. Aby maszyny naprawdę myślały, muszą nie tylko przetwarzać symbole, lecz także istnieć w świecie – odbierać bodźce, reagować, doświadczać konsekwencji swoich działań. Dopiero wtedy staną się bardziej „zwierzęce” –zdolne do uczenia się z własnego doświadczenia, a nie tylko z danych pozyskanych w internecie.

Mniej pamięci, więcej rozumu

Karpathy nie szczędzi też krytyki wobec popularnych metod uczenia przez wzmacnianie (RL). Porównuje je do „ssania nadzoru przez słomkę” – sygnał zwrotny jest słaby, spóźniony i często mylący. W efekcie modele mogą uczyć się błędnych nawyków lub odrzucać dobre pomysły, jeśli przypadkiem prowadzą do nieudanego wyniku. Zamiast tego Karpathy wskazuje konieczność rozwoju „uczenia systemowego” (system prompt learning) – procesu, w którym AI uczy się strategii rozwiązywania problemów i prowadzenia dialogu z samą sobą.

To przypomina człowieka, który robi sobie notatki i stopniowo rozwija własny zestaw narzędzi poznawczych. Karpathy stawia więc na AI współpracującą z człowiekiem. Jak zauważa – nie chodzi o to, by agent działa w tle przez 20 minut i napisał tysiąc linii kodu – lecz by pracował wspólnie z użytkownikiem, w iteracji i weryfikacji. Ten model współpracy jest nie tylko bardziej efektywny, ale też bezpieczniejszy i bardziej transparentny. Chroni przed tym, co określa się w świecie AI mianem AI Slop („pomyj”) – błędów, które kumulują się, gdy AI działa bez nadzoru.

Dlatego w centrum jego wizji przyszłej AGI leży pojęcie „rdzenia poznawczego” (cognitive core) – uproszczonego, pozbawionego zbędnej encyklopedycznej pamięci systemu, który uczy się rozumieć, a nie tylko zapamiętywać. Karpathy zauważa, że ludzie nie zapamiętują łatwo – i to dobrze, bo trudność w zapamiętywaniu wymusza zrozumienie. Modele AI, które zapamiętują wszystko, mogą stać się nadmiernie dopasowane do danych, a przez to mało elastyczne. Dlatego przyszłe systemy powinny być bardziej selektywne – mniej „encyklopedyczne”, a bardziej „rozumiejące”.

Rok agentów? Nie. Cała dekada

Według Karpathy’ego, 2025 jako „rok agentów” to w rzeczywistości seria demonstracji efektownych narzędzi, które potrafią wykonać proste zadanie, ale gubią się przy tych bardziej złożonych. Jak twierdzi, potrzeba przynajmniej 10 lat na stworzenie systemów naprawdę ogólnych, odpornych i zdolnych do działania w świecie, w którym człowiek i AI naprawdę współpracują. Dzisiejsze LLM określa Karpathy jako „cyfrowe manipulowanie bitami”, co jest tańsze i prostsze niż „manipulowanie atomami”, czyli interakcja z rzeczywistym światem. A to właśnie fizyczna rzeczywistość, jak mówi, jest ostatecznym i najtrudniejszym wyzwaniem.