Waarom AI-taalmodellen hallucineren: Het onderzoek achter valse antwoorden

Een AI-hallucinatie is een uitspraak geproduceerd door een taalmodel die vloeiend en zelfverzekerd klinkt, maar feitelijk onjuist is — een gefabriceerde citaat, een verkeerde datum, een persoon die niet bestaat. In een onderzoekspapier dat in september 2025 is gepubliceerd, beschrijven OpenAI-onderzoekers hallucinaties in deze termen en stellen dat het probleem met huidige trainings- en evaluatiemethoden niet volledig kan worden opgelost.

Hoe het trainingsproces fouten creëert

Volgens het OpenAI-paper, geplaatst op arXiv, ligt een deel van de verklaring in hoe modellen vooraf worden getraind. Tijdens het voortrainen leert een model alleen van vloeiende tekst, zonder labels die aangeven welke uitspraken waar of onwaar zijn. Het wordt getraind met een statistisch doel (cross-entropy loss) dat het voorspellen van waarschijnlijke volgende woorden beloont, niet het verifiëren van feiten.

De onderzoekers tonen aan dat dit fouten produceert, zelfs voor gegevens die zelf geen fouten bevatten. Voor feiten die slechts eenmaal in de trainingsgegevens voorkomen — de onderzoekers geven het voorbeeld van iemands verjaardag — stelt de analyse van het paper vast dat de hallucinatiegraad voor die feiten minstens zo hoog zou moeten zijn als het aandeel van dergelijke "singleton"-feiten in de trainingsset. Met andere woorden: als een feit slechts eenmaal werd genoemd, is het model wiskundig gevoelig voor het verkeerd te begrijpen. Het artikel noemt sommige fouten onvermijdelijk, zelfs voor modellen zonder computerkrachtbeperkingen, omdat bepaalde taken zijn wat het omschrijft als rekenkundig onoplosbaar.

Waarom beoordelingssystemen gokken belonen

Het tweede argument van het paper betreft hoe modellen na het voortrainen worden beoordeeld. Het vergelijkt een taalmodel met een leerling die een multiple-choice-examen maakt: een leeg antwoord krijgt nul punten, dus gokken is altijd de statistisch betere strategie als elk verkeerd antwoord hetzelfde kost als de vraag onbeantwoord laten. OpenAI-onderzoekers onderzochten tien veel gebruikte AI-benchmarks — waaronder GPQA, MMLU-Pro en SWE-bench — en ontdekten dat negen van hen binaire beoordeling gebruiken die geen krediet geeft voor een antwoord als "Ik weet het niet", dezelfde score als een verkeerd antwoord.

Dit beoordelingspatroon duwt modellen volgens het paper om door te gaan met gokken in plaats van onzekerheid toe te geven, omdat zelfverzekerd gokken gemiddeld beter scoort op tests dan eerlijk nuanceren. TechCrunch, dat over het paper rapporteerde, beschreef dit als evaluaties die de verkeerde prikkels creëren door gelukkige juiste gokken op dezelfde manier te belonen als echt goed ondersteunde antwoorden.

Redeneermodellen hebben meer gehallucineerd, niet minder

De trend is niet beperkt tot oudere modellen. OpenAI's eigen systeemkaart voor zijn o3- en o4-mini-redeneermodellen, uitgebracht in april 2025 en gerapporteerd door TechCrunch, stelde vast dat hallucinatiecijfers stegen met nieuwere redeneersystemen op OpenAI's interne PersonQA-benchmark, die feitelijke vragen over mensen test.

OpenAI zei dat verder onderzoek nodig is om te begrijpen waarom hallucinaties toenemen naarmate redeneermodellen opschalen, en merkte op dat deze modellen in het algemeen meer uitspraken doen, wat zowel meer juiste als meer onjuiste uitspraken voortbrengt. Neil Chowdhury, een onderzoeker bij de AI-onderzoeksgroep Transluce, geciteerd door TechCrunch, stelde een hypothese voor: het type reinforcement learning dat gebruikt wordt om o-series-redeneermodellen te trainen, kan problemen versterken die standaard trainingstechnieken normaal temperen.

Wat OpenAI voorstelt om het op te lossen

Het paper van september 2025 stelt voor om te veranderen hoe benchmarks worden gescoord in plaats van aparte hallucinatietests toe te voegen. Het voorgestelde oplossing is om expliciete vertrouwensdrempels in beoordelingsinstructies in te bouwen — bijvoorbeeld door een model te zeggen een vraag alleen te beantwoorden als het meer dan 75% zeker is, waarbij fouten meer punten kosten dan onthouding. Theoretisch maakt dit onthouding de wiskundig betere keuze als een model onzeker is, in plaats van de slechtere keuze, zoals in huidige scoresystemen gebeurt.

Het paper stelt expliciet dat deze aanpak hallucinaties zou verminderen, niet elimineren. Omdat sommige fouten voorkomen uit statistisch zeldzame feiten of uit taken die de onderzoekers als rekenkundig onoplosbaar beschrijven, concluderen de auteurs dat een taalmodel met nul hallucinaties niet haalbaar is met huidige methoden.