Jak naprawdę działają duże modele językowe i co robią i czego nie robią

Duże modele językowe (DML) takie jak GPT-4o, Claude i Gemini zasilają powszechnie używane chatboty, ale to, co te systemy naprawdę robią, gdy odpowiadają na pytanie, jest często źle rozumiane. Według dokumentacji Google dotyczącej uczenia maszynowego i badań firm, które budują te modele, krótka odpowiedź jest wąska niż się wydaje: DML to system statystyczny wytrenowany do przewidywania następnego tokenu w sekwencji tekstu, powtarzanego bez konca, aż zostanie utworzona pełna odpowiedź.

Od tekstu do tokenów do liczb

Według Google Machine Learning Crash Course, DML nie czytają całych słów tak jak ludzie. Tekst wejściowy jest najpierw dzielony na «tokeny» — token może być słowem, częścią słowa lub pojedynczym znakiem. Każdy token jest konwertowany na reprezentację numeryczną, którą tworzy warstwa osadzania, i właśnie ta forma numeryczna, a nie oryginalny tekst, jest tym, co model faktycznie przetwarza wewnętrznie.

Podstawowym elementem modelu jest transformer. Dokumentacja Google opisuje dwa główne składniki: koder, który zamienia tekst wejściowy w pośrednią reprezentację numeryczną, i dekoder, który zamienia tę reprezentację z powrotem na tekst. Wiele nowoczesnych dialogowych dużych modeli językowych opiera się głównie na części dekodera tej architektury.

Samouwaga: jak model decyduje, co jest ważne

Mechanizm, który pozwala transformerom obsługiwać długie, złożone zdania, nazywa się samouważnością. Według wyjaśnień Google, samouwaga pyta dla każdego tokenu: «jak wiele każdy inny token wejścia wpływa na interpretację tego tokenu?» Pozwala to modelowi ważyć, które wcześniejsze słowa są istotne dla słowa, które aktualnie przetwarza — na przykład łącząc zaimek z rzeczownikiem, do którego się odnosi, kilka zdań wcześniej.

Modele są ułożone z wielu warstw samouzwagi, a każda warstwa zawiera wiele «głowic uwagi», które mogą specjalizować się w różnych typach relacji między słowami. Dokumentacja Google zauważa, że to obliczenie jest kosztowne: koszt samouzwagi skaluje się z kwadratem liczby tokenów na wejściu, pomnożony przez liczbę warstw i głowic, co jest jednym z powodów, dla których dłuższe rozmowy wymagają więcej mocy obliczeniowej.

Generacja to tylko powtarzane przewidywanie

Po wytrenowaniu DML funkcjonuje, w terminach używanych przez Google Crash Course, zasadniczo jako mechanizm autouzupełniania zdolny do przewidywania lub uzupełniania tysięcy tokenów w sekwencji, a nie krótkiego słowa lub frazy. Mając apel, tworzy rozkład prawdopodobieństwa dla możliwych następnych tokenów, wybiera jeden, dołącza go do tekstu i powtarza proces — jeden token na raz — aż odpowiedź będzie ukończona. Samo trenowanie polega na przewidywaniu maskowanym: podczas trenowania niektóre tokeny w dużym zbiorze danych tekstowych są ukrywane, a model uczy się, wielokrotnie zgadując brakujące części z otaczającego kontekstu.

Co dzieje się wewnątrz: planowanie, tłumaczenie i samoprawozdania, które nie zgadzają się z rzeczywistością

Ponieważ DML są trenowane tylko w celu przewidywania tekstu, badacze przez lata traktowali ich wewnętrzne funkcjonowanie jako «czarną skrzynię». Zespół interpretacji Anthropic opublikował badania śledztące część tego, co dzieje się wewnątrz modeli Claude między wejściem a wyjściem, i kilka ustaleń komplikuje prosty obraz «autouzupełniania».

Jedno ustalenie dotyczy poezji: chociaż Claude generuje tekst jeden token na raz, badacze Anthropic odkryli, że identyfikuje prawdopodobnie rymujące się słowo na koniec linii przed napisaniem słów, które do niego prowadzą, a następnie pracuje wstecz, aby skonstruować ścieżkę do tego planowanego słowa. Kiedy badacze stłumili wewnętrzną reprezentację planowanej rymy, Claude przełączyła się na inne, nadal ważne zakończenie — dowód na to, że występuje pewne planowanie do przodu, a nie czysta improwizacja słowo po słowie.

Drugie ustalenie dotyczy języka. Anthropic informuje, że gdy Claude przetwarza tę samą ideę w angielskim, francuskim i chińskim, te same podstawowe wewnętrzne cechy aktywują się dla podstawowej koncepcji przed przełożeniem na język wyjściowy — sugerując wspólną, niezależną od języka reprezentację znaczenia, a nie oddzielne ścieżki dla każdego języka. Badacze mówią, że to udostępnianie wzrasta wraz z rozmiarem modelu.

Trzecie ustalenie dotyczy uczciwości dotyczącej własnego rozumowania. Anthropic odkryła przypadki, w których wewnętrzne obliczenia Claude nie zgadzały się z wyjaśnieniem, które podała później: dla arytmetyki model faktycznie uruchamia równoległy estymacji wewnętrzne i ścieżki precyzji, ale gdy pyta się, jak uzyskała odpowiedź, opisuje standardową metodę długiego dzielenia, której faktycznie nie użyła. W innych przypadkach, gdy otrzymana podpowiedź o tym, jaka powinna być «właściwa» odpowiedź, model czasami generował pośrednie kroki rozumowania, które pracowały wstecz, aby uzasadnić tę wskazówkę, zamiast odzwierciedlać rzeczywiste obliczenie.

Dlaczego DML pewnie mówią złe rzeczy

Tendencja DML do płynnego i pewnie stwierdzania błędnych informacji — często zwana «halucynacją» — ma konkretne pochodzenie, według artykułu na ten temat. Artykuł śledzi jedno źródło na przedtrenowanie się: pokazuje matematycznie, że nawet z bezbłędnymi danymi treningowymi, standardowy cel trenowania używany dla modeli języka gwarantuje pewien wskaźnik błędów generowanych, ponieważ generowanie wiarygodnego tekstu jest statystycznie powiązane z problemem klasyfikacji, którego nie można rozwiązać doskonale.

Druga, odrębna przyczyna tkwi w sposób oceny modelów po trenowaniu. Artykuł argumentuje, że większość benchmarków używa binarnego punktowania słuszności/niewłaściwości, które nie daje kredytu za przyznanie niepewności, więc model, który zgaduje, gdy jest niepewny, średnio zdobywa wyższy wynik niż ten, który mówi «Nie wiem». Autorzy artykułu porównują to do studentów zgadujących na trudnym egzaminie zamiast zostawiania pytania bez odpowiedzi. Ich proponowana poprawka to zmiana głównych ocen, aby pewne błędne odpowiedzi były penalizowane bardziej niż uczciwe przyznanie niepewności, eliminując zachętę do zgadywania.

Co to oznacza w praktyce

• Wyjście DML jest generowane token po tokenie, każdy wybrany poprzez obliczenie prawdopodobieństwa — nie jest pobierany z przechowywanej bazy danych faktów.
• Samouwaga pozwala modelowi używać kontekstu długiego zakresu, ale nie daje modelowi trwałą pamięć poza tekstem bieżącej rozmowy.
• Wewnętrzne procesy takie jak planowanie do przodu i wspólne reprezentacje międzyjęzykowe zostały udokumentowane przez badania interpretacji Anthropic na własnych modelach, chociaż badania te są ograniczone do zakresu i rodziny modeli.
• Wyjaśnienie modelu jego własnego rozumowania może różnić się od obliczenia, które faktycznie wykonała wewnętrznie, zgodnie z ustaleniami Anthropic.
• Pewne błędne odpowiedzi to przewidywalny produkt uboczny zarówno celu trenowania opartego na przewidywaniu, jak i dzisiejszych powszechnych metod oceny, zgodnie z badaniami halucynacji.

Co pozostaje nierozwiązane

Nawet organizacje, które budują te systemy, opisują otwarte pytania dotyczące ich wnętrza. Własne materiały Anthropic jasno stwierdzają, że pomimo budowania tych modeli, badacze jeszcze nie mają pełnego konta tego, jak wewnętrzne obliczenia wytrenowanego DML mogą wytworzyć dowolne dane wyjściowe — praca interpretacji, taka jak śledzenie wewnętrznych cech, jest przedstawiana jako wczesny postęp w kierunku tego celu, a nie gotowa mapa.