Dlaczego modele języka AI halucynują: Badania stojące za fałszywymi odpowiedziami

Halucynacja AI to stwierdzenie utworzone przez model języka, które brzmi płynnie i pewnie, ale jest faktycznie błędne - zmyślony cytat, zła data, osoba, która nie istnieje. W artykule badawczym opublikowanym w wrześniu 2025 r. naukowcy z OpenAI opisują halucynacje w tych terminach i stwierdzają, że przy obecnych metodach szkolenia i oceny problem nie może być całkowicie rozwiązany.

Jak proces szkolenia tworzy błędy

Według artykułu OpenAI opublikowanego na arXiv, część wyjaśnienia leży w tym, jak modele są wstępnie szkolone. Podczas wstępnego szkolenia model uczy się tylko z płynnego tekstu, bez etykiet oznaczających, które stwierdzenia są prawdziwe lub fałszywe. Jest szkolony celem statystycznym (strata entropii krzyżowej), który nagradzaje przewidywanie prawdopodobnych następnych słów, a nie weryfikację faktów.

Naukowcy pokazują, że to powoduje błędy nawet na danych, które same w sobie nie zawierają błędów. W przypadku faktów, które pojawiają się tylko raz w danych treningowych - naukowcy dają przykład dnia urodzenia osoby - analiza artykułu pokazuje, że wskaźnik halucynacji dla tych faktów powinien być co najmniej tak wysoki, jak udział takich faktów "singleton" w zbiorze treningowym. Innymi słowy, jeśli fakt został wspomniany tylko raz, model jest matematycznie skłonny do mylenia się. Artykuł określa niektóre błędy jako nieuniknione nawet dla modeli bez ograniczeń mocy obliczeniowej, ponieważ niektóre zadania są tym, co opisuje jako obliczeniowo nierozstrzygalne.

Dlaczego systemy oceniania nagradzają zgadywanie

Drugi argument artykułu dotyczy tego, jak modele są oceniane po wstępnym szkoleniu. Porównuje model języka do ucznia rozwiązującego test wyboru wielokrotnego: pusta odpowiedź daje zero, więc zgadywanie jest zawsze statystycznie lepszą strategią, gdy każda zła odpowiedź kosztuje tyle samo co brak odpowiedzi. Naukowcy z OpenAI zbadali dziesięć szeroko używanych benchmarków AI - w tym GPQA, MMLU-Pro i SWE-bench - i odkryli, że dziewięć z nich używa oceniania binarnego, które nie przyznaje punktów za odpowiedź taką jak "Nie wiem", ten sam wynik co zła odpowiedź.

Według artykułu ten schemat punktacji zmusza modele do ciągłego zgadywania, a nie przyznawania się do niepewności, ponieważ pewne zgadywanie średnio uzyskuje lepsze wyniki niż uczciwe wahanie. TechCrunch, informując o artykule, opisał to jako oceny, które stwarzają złe bodźce, nagradzając szczęśliwe prawidłowe domysły w taki sam sposób jak autentycznie dobrze uzasadnione odpowiedzi.

Modele rozumowania halucynowały więcej, nie mniej

Trend nie ogranicza się do starszych modeli. Własna karta systemowa OpenAI dla modeli rozumowania o3 i o4-mini, wydanych w kwietnia 2025 r. i o których poinformował TechCrunch, wykazała, że wskaźniki halucynacji wzrosły u nowszych systemów rozumowania na wewnętrznym benchmarku OpenAI PersonQA, który testuje pytania faktyczne o osobach.

OpenAI stwierdziła, że potrzeba więcej badań, aby zrozumieć, dlaczego halucynacje wzrastają wraz ze skalowaniem modeli rozumowania, zauważając, że te modele ogólnie zgłaszają więcej twierdzeń, co powoduje zarówno więcej poprawnych, jak i więcej niepoprawnych stwierdzeń. Neil Chowdhury, naukowiec z grupy badawczej AI Transluce cytowany przez TechCrunch, zaproponował jedną hipotezę: rodzaj uczenia ze wzmacnianiem używanego do szkolenia modeli rozumowania serii o może wzmacniać problemy, które standardowe techniki szkolenia zwykle łagodzą.

Co OpenAI proponuje, aby to naprawić

Artykuł z września 2025 r. proponuje zmianę sposobu oceniania benchmarków zamiast dodawania oddzielnych testów na halucynacje. Jego proponowana poprawka to wbudowanie wyraźnych progów zaufania w instrukcje oceniania - na przykład nakazanie modelowi odpowiedzieć na pytanie tylko wtedy, gdy jest pewny w ponad 75%, z błędami kosztującymi więcej punktów niż wstrzymanie się. Teoretycznie czyni to wstrzymanie się matematycznie lepszym wyborem, gdy model jest niepewny, zamiast gorszym, jak ma to miejsce w obecnych systemach oceniania.

Artykuł jasno stwierdza, że takie podejście zmniejszy, ale nie wyeliminuje halucynacje. Ponieważ niektóre błędy wynikają z statystycznie rzadkich faktów lub z zadań, które naukowcy opisują jako obliczeniowo nierozstrzygalne, autorzy dochodzą do wniosku, że model języka z zerowymi halucynacjami jest niemożliwy do osiągnięcia przy obecnych metodach.