🔒 Jak rozsupłać neurony? Czyli co się kryje w dużych modelach językowych

Na łamach „hAI Magazine” (nr 3/2024) Michał Karpowicz wyjaśniał hipotezę superpozycji w sieciach neuronowych. W uproszczeniu zakłada ona, że neurony w takich modelach są często polisemantyczne (wieloznaczne) – nie odpowiadają za jeden konkretny koncept, lecz za wiele jednocześnie. Dlaczego tak się dzieje? Liczba konceptów, które model musi „zrozumieć” podczas realizacji zadania, znacznie przewyższa liczbę dostępnych neuronów. W efekcie neurony odgrywają rolę „wielozadaniowych” jednostek, co sprawia, że ich interpretacja staje się wyjątkowo trudna. Każdy neuron bierze udział w przetwarzaniu wielu nakładających się na siebie wątków, tworząc swoistą „sieć splątania” konceptów i znaczeń.

Badacze opracowali metodę umożliwiającą rozplątywanie tych ukrytych w neuronach zależności. Wykorzystali do tego rzadkie autoenkodery (sparse autoencoders, SAE). Co ciekawe, takie modele nie są nowe – pojawiły się w świecie uczenia maszynowego już znacznie wcześniej, ale wówczas nie zyskały większej popularności. Dopiero niedawno, po tym, jak wykorzystano je do analizy modeli językowych, badacze znów się nimi zainteresowali. To doskonały przykład na to, że stare metody mogą powrócić do łask, jeśli znajdzie się dla nich nowe, praktyczne zastosowanie.