AI言語モデルが幻覚を見る理由：誤った回答の背後にある研究

AI幻覚とは、言語モデルによって生成された発言であり、流暢で自信に満ちていると聞こえますが、事実上は間違っています。捏造引用、誤った日付、存在しない人物などです。2025年9月に発表された研究論文で、OpenAIの研究者は幻覚をこれらの用語で説明し、現在の訓練と評価方法では、この問題は完全には解決できないと述べています。

訓練プロセスがエラーを生じる仕組み

OpenAIの論文によると、arXivに投稿されたもので、説明の一部はモデルの事前訓練方法にあります。事前訓練中、モデルは流暢なテキストからのみ学習し、どの文が真実か偽かを示すラベルはありません。統計的目的（交差エントロピー損失）で訓練されており、これは事実を検証するのではなく尤もらしい次の単語を予測することに報酬を与えます。

研究者は、訓練データ自体に間違いがない場合でも、これがエラーを生成することを示しています。訓練データに1度だけ現れた事実の場合—研究者は人の誕生日の例を挙げています—論文の分析では、これらの「シングルトン」事実の訓練セットにおける共有量と同じくらい高い幻覚率を見つけています。言い換えれば、事実が1度だけ言及された場合、モデルは数学的にそれを間違える傾向があります。論文は、計算能力に制限がないモデルでさえ、一部のエラーが避けられないと述べており、特定のタスクは計算不可能なものとして説明しています。

採点システムがなぜ推測を報酬するのか

論文の第2の議論は、事前訓練後のモデル評価方法に関するものです。言語モデルを複数選択試験に直面している学生と比較しています。空白の回答はゼロ点を獲得するため、すべての誤った回答が未回答と同じコストである場合、推測は常に統計的により良い戦略です。OpenAIの研究者は、広く使用されている10の主要なAIベンチマーク—GPQA、MMLU-Pro、SWE-benchを含む—を調査し、そのうち9つが「わかりません」のような回答に対してゼロクレジットを与える二項採点を使用していることを発見しました。

論文が主張するに、その採点パターンは、正直な推測よりも自信のある推測がより良くスコアするため、モデルが不確実性を認めるのではなく推測し続けるよう促します。TechCrunchは論文を報道し、これを幸運な正しい推測と真の根拠のある回答を同じように報酬することで間違ったインセンティブを作成する評価と説明しました。

推論モデルは少なく、より多く幻覚を見ている

この傾向は古いモデルだけに限りません。OpenAIの独自のシステムカード、2025年4月にリリースされたo3およびo4-miniの推論モデル用のもので、TechCrunchによって報告され、会社の内部PersonQAベンチマークで新しい推論システムの幻覚率が上昇したことを発見しました。このベンチマークは人物に関する事実的質問をテストします。

OpenAIは、推論モデルのスケーリングに伴い幻覚がなぜ増加するのかを理解するためにはより多くの研究が必要であると述べ、これらのモデルが全体的により多くの主張をするため、より正確でより不正確なステートメントの両方が生成されることに注目しました。AI研究グループTransluceの研究者ニール・チョウドゥリは、TechCrunchに引用され、1つの仮説を提供しました。o系列推論モデルの訓練に使用される強化学習の種類は、標準的な訓練技術が通常軽減する問題を増幅する可能性があります。

OpenAIはそれを修正するために何を提案するか

2025年9月の論文は、別の幻覚テストを追加するのではなく、ベンチマークをスコアする方法を変更することを提案しています。提案された修正は、採点指示に明確な信頼度閾値を組み込むことです。例えば、モデルに75%以上の自信を持つ場合のみ質問に答えるよう指示し、間違いは棄却よりも多くのポイントをコストします。理論的には、これは、現在の採点システムで起こるより悪い結果ではなく、モデルが確信していない場合、棄却を数学的により良い選択にします。

論文は、このアプローチが幻覚を排除するのではなく軽減することを明確にしています。一部のエラーは統計的に稀な事実から、または研究者が計算不可能と説明するタスクから生じるため、著者は、現在の方法でゼロ幻覚を持つ言語モデルは達成不可能であると結論付けています。