Jak rzeczywiście działają chatboty AI takie jak ChatGPT i Claude, wyjaśnienie

Setki milionów ludzi każdego dnia zadają pytania do ChatGPT, Claude, Gemini lub podobnych narzędzi, ale oprogramowanie za nimi jest często opisywane jako tajemniczy "czarna skrzynka". Według kursu Machine Learning Crash Course Google i wyjaśnienia pisarza naukowego Timothy'ego B. Lee opublikowanego w Understanding AI, podstawowy mechanizm jest prostszy do opisania, niż się wydaje: duży model językowy (LLM) to sieć neuronowa wyszkolona do przewidywania następnego małego fragmentu tekstu, zwanego tokenem, na podstawie wszystkiego, co przed nim było.

Od słów do liczb: tokeny i osadzenia

Zanim LLM może przetwarzać tekst, rozbija monit na tokeny — jednostki, które mogą być całym słowem, częścią słowa lub pojedynczym znakiem, zgodnie z dokumentacją dla programistów Google. Każdy token jest konwertowany na wektor, długą listę liczb zwaną osadzeniem, która ma oddawać coś na temat znaczenia tokenu. Wyjaśnienie Understanding AI porównuje to do współrzędnych geograficznych: słowa o podobnym znaczeniu kończy się pozycjonowane blisko siebie w ogromnej przestrzeni numerycznej, tak jak pobliskie miasta mają podobne szerokości i długości geograficzne.

Uwaga: jak model śledzi kontekst

Architektura leżąca u podstaw praktycznie wszystkich nowoczesnych LLM nosi nazwę Transformer. Kurs Machine Learning Crash Course Google wyjaśnia, że Transformer opiera się na mechanizmie zwanym samouwagą, który oblicza, jak dużo każdy token w tekście powinien wpływać na interpretację każdego innego tokenu. Understanding AI ilustruje to na podstawie wektorów zapytania i klucza: każde słowo skutecznie buduje listę kontrolną typu innych słów, których szuka, a uwaga dopasowuje te listy kontrolne w całym zdaniu, aby model mógł na przykład ustalić, do którego rzeczownika odnosi się zaimek taki jak "it".

Po tym kroku następują warstwy przesyłające, które przetwarzają zaktualizowaną reprezentację każdego słowa i zmuszają model do przewidywania następnego tokenu, odnotowuje Understanding AI. Ponieważ uwaga pozwala każdemu tokenowi patrzeć bezpośrednio na każdy inny token niezależnie od odległości, Transformery obsługują długie, złożone fragmenty bardziej konsekwentnie niż sekwencyjne modele, które im poprzedzały.

Trening: miliardy zgadnięć, nie wymaga etykiet człowieka

LLM są szkolone głównie poprzez nienadzorowane uczenie się na maskowaniu lub przewidywaniu następnego tokenu, co oznacza, że system nie otrzymuje ręcznie napisane "poprawne odpowiedzi" na większość czasu szkolenia. Zamiast tego dokumentacja Google opisuje proces, w którym tokeny w rzeczywistym tekście są ukryte, a model musi je zgadnąć; Understanding AI opisuje ten sam pomysł w kategoriach przewidywania następnego słowa na ogromnych zbiorach tekstu pobieranego z książek, stron internetowych i innych źródeł. Parametry wewnątrz sieci — Understanding AI przytacza 175 miliardów parametrów GPT-3, przeszkolonych na około 500 miliardach słów — są początkowo ustawione losowo i stopniowo dostosowywane, przewidywanie po przewidywaniu, aż do momentu, gdy domysły modelu zgadzają się z rzeczywistym tekstem.

Zamienianie surowego modelu w pomocnego asystenta

Model szkolony tylko do przewidywania następnego tokenu nie jest automatycznie chatbotem, który grzecznie przestrzega instrukcji. Techniczne wyjaśnienie Hugging Face dotyczące Reinforcement Learning from Human Feedback (RLHF) opisuje dodatkowe kroki, które firmy takie jak OpenAI wykorzystują do zamiany modelu bazowego na asystenta. Po pierwsze, model wstępnie przeszkolony może być udoskonalony poprzez nadzorowane dostrajanie na przykładowych rozmowach. Po drugie, recenzenci-ludzie klasyfikują wiele odpowiedzi modelu na ten sam monit, a te rankingi szkolą oddzielny model nagrody, który uczy się oceniać wyniki w taki sposób, jak robiliby to ludzie.

Na trzecim etapie oryginalny model jest dostosowywany przy użyciu uczenia ze wzmocnieniem — zwykle Proximal Policy Optimization — aby wytwarza odpowiedzi, które model nagrody ocenia wysoko, podczas gdy kara matematyczna uniemożliwia mu zbyt duży dryf od jego oryginalnego zachowania, że zaczyna generować bzdury czysto po to, aby manipulować wynikiem nagrody, zgodnie z opisem metody Hugging Face.

Dlaczego chatboty wciąż coś wymyślają

Artykuł opublikowany przez badaczy OpenAI, "Dlaczego modele językowe halucynują", dostępny na arXiv, twierdzi, że wymyślone odpowiedzi to nie tylko błąd do naprawienia. Artykuł przypisuje halucynacje dwóm powiązanym przyczyn: statystycznemu skutkowi ubocznemu tego, jak modele uczą się przewidywać prawdopodobnie brzmiące kontynuacje podczas treningu wstępnego, i sposobowi oceny modeli później. Większość benchmarków i tablic liderów ocenia odpowiedź jako prawidłową lub błędną i traktuje przyznanie się do niepewności — "nie wiem" — jako błędną odpowiedź, stwierdza artykuł. Taka konfiguracja nagradza pewne zgadywanie nad szczerością co do niepewności, co zmusza modele do ciągłego wytwarzania płynnych, specyficznie brzmiących stwierdzeń, nawet gdy brakuje im niezawodnej podstawy.

Co model faktycznie robi w jednym zdaniu

Razem proces opisany w tych źródłach to: chatbot zamienia monit na tokeny, konwertuje je na osadzenia numeryczne, używa warstw samouwagi do ważenia tego, jak każdy token się do każdego innego odnosi, i wielokrotnie przewiduje jeden najbardziej prawdopodobny następny token — proces ukształtowany, po wstępnym treningu, przez informacje zwrotne od ludzi zaprojektowane, aby te przewidywania przypominały pomocne odpowiedzi zawierające instrukcje, a nie surowy tekst internetowy.