LLMのハルシネーションが生じる原因についてOpenAI が論文公開

OpenAI、LLMの「幻覚」についての論文公開　「評価方法の抜本的見直し」を提言https://t.co/9wrwfaJDxP
— ITmedia AI＋ (@itm_aiplus) September 7, 2025

・XのITmedia AI＋さん: 「OpenAI、LLMの「幻覚」についての…

OpenAI がハルシネーション（もっともらしい嘘で応答する）の起きる原因を論文に示しています。分からないと応答するよりも不確実性のある応答（基本的に正解な）を返して「正解である」との判定を得る方が良い評価を得られる。

それを考えるとハイレベルな文章を蓄積して正しく秀逸な文章を応答に示した場合、何らかの是正が行われればとも思うが、ハイレベルな文章が実は10年ほど前に作成された文章で該当する内容が少し時代遅れな見解の場合もあるか。

データセットのハイレベルな文章を2025年9月現在に適応したものに修正や、補足説明を付け足してハルシネーションを抑制できるのかなど、トランプ後で政治経済の置かれた状況が様変わりした面もあれば求められるかもしれない。

ChatGPT GPT-5 の場合

上記の文章を、ChatGPT GPT-5 に入力しました。

ChatGPT の応答
とても鋭いご指摘です。ご質問の内容を整理すると

ハルシネーション発生の一因
→ 「分からない」と答えるよりも、自信ありげに不正確な情報を返したほうが評価指標（特に過去の自動評価や人間評価の一部設計）で高得点を得てしまう仕組みが、研究で指摘されています。
つまり、モデルが「不確実性を率直に表明する」よりも「確信を装う」方がインセンティブ的に有利に働く場合がある。
データセットに依存するリスク
高品質で「秀逸な」文章であっても、それが10年前に書かれたものであれば現在の状況にそぐわない。たとえば政治経済や国際情勢（トランプ政権後のアメリカ、中国の台頭、生成AIの普及など）は大きく変化しており、旧来の分析をそのまま出すと「ハルシネーションではないが現状に不適切」な回答になり得ます。
是正の方向性
- 時間的タグ付け：データセット内の文章に「いつの時代の見解か」を明示し、応答時に「この分析は2013年時点の状況を前提としています。2025年現在は～」のように補足を付与できれば、情報の鮮度ギャップを減らせます。
- 補足説明の自動付与：モデルが古い知識を引用するときに、自動で「現代の見解では修正されている点もあります」と注意書きを入れる仕組み。
- 動的アップデート：Web検索や最新データベースと接続し、旧来の知識を最新状況と付き合わせて再評価する。これにより「古い正論を鵜呑みにする」リスクを減らせます。
- 評価方法の再設計：モデル評価に「不確実性を正直に表明したか」を重視する指標を導入すれば、「嘘をついてでも自信満々に答える」傾向を弱められます。

結論としては、高品質テキストの蓄積は強力な武器だが、そのままでは“時代遅れの正論”がハルシネーションのように働くことがあるため、

タイムスタンプ情報の維持
現代的補足の付与
評価基準の是正
が不可欠だと考えられます。

ここで質問なのですが、あなたが関心を持っているのは

学術的な「ハルシネーション抑制研究」の観点でしょうか？
それとも実際のシステム設計（例：教育用AIや情報検索サービス）でどう取り入れるかの応用的観点でしょうか？

どちらに寄せて整理するとご期待に近いですか。

Gemini 2.5 Pro の場合

ChatGPT GPT-5 と同じ三段落文章を、Gemini 2.5 Pro に入力しました。

Gemini の応答
ご指摘の点は、まさに生成AIが抱える根本的な課題の核心を突いています。OpenAIが最近発表した論文の内容とも合致しており、非常に鋭い考察です。

AIのハルシネーション（もっともらしい嘘）は、単なるバグではなく、その学習方法と評価の仕組みに根差した構造的な問題です。詳しく見ていきましょう。

✅ 原因：AIは「知らない」と答えるのが苦手

ご認識の通り、OpenAIが2025年9月上旬に発表した論文では、ハルシネーションの大きな原因がAIの訓練と評価の仕組みそのものにあると指摘されています。

現在のAIの評価指標（ベンチマーク）の多くは、「正解なら加点、不正解や無回答は0点」という仕組みになっています。これはAIに「分からない問題でも、とにかく何か答えた方が得をする」という行動を学習させてしまいます。

まるで試験で勘でも解答欄を埋めようとする学生のように、AIは不確実な情報でもっともらしい応答を生成することで、高い評価を得ようとするのです。これが、自信満々に嘘をつくハルシネーションの正体です。

時代遅れの知識というリスク

そして、ご懸念の「ハイレベルな文章が10年ほど前のもので、内容が時代遅れ」という点は、知識のカットオフ（Knowledge Cutoff）と呼ばれる重大な問題です。

AIの知識は、学習に使われたデータセットが作られた時点で固定されてしまいます。そのため、学習データが古いと、その時点では正しかった情報でも、現在（2025年9月）の状況とは異なる見解や事実に基づいた回答を生成してしまう可能性があります。

特にご指摘の「トランプ後」のように、政治や経済の常識が大きく変動した分野では、この問題はより深刻になります。古いデータに基づいた分析は、もはや有効ではないか、あるいは完全に誤った結論を導きかねません。

抑制への道：データ更新と「外部の目」

では、どうすればハルシネーションを抑制できるのでしょうか。ご提案の「データセットの修正や補足」は有効なアプローチの一つですが、それだけでは限界もあります。現在、主に以下のような対策が進められています。

1. データセットの質の向上と継続的な更新

まず基本となるのが、学習データの質を高め、定期的に最新の情報に更新していくことです。偏った情報や古い情報を排除し、多様で正確なデータを与えることが、AIの応答の質を左右します。

2. RAG（検索拡張生成）の活用

現在、最も有力な対策の一つが RAG (Retrieval-Augmented Generation) という技術です。これは、AIが回答を生成する際に、リアルタイムで外部の信頼できる情報源（ウェブ検索や特定のデータベース）を検索・参照する仕組みです。

仕組み:
1. ユーザーからの質問を受け取る。
2. AIが、その質問に関連する最新情報をウェブなどから検索する。
3. 検索して得た「根拠となる情報」を基に、回答を生成する。

このRAGを使うことで、AIの内部知識の古さを補い、事実に基づいた応答を生成する能力を劇的に向上させることができます。

3. 評価方法の見直し

OpenAI自身も提言しているように、「分からない」と正直に答えることや、情報の不確かさを示すことを適切に評価する新しい仕組みが必要です。これにより、AIが無理に推測で答えるインセンティブを減らすことができます。

結論として、ご指摘の通り、ハルシネーションはAIの仕組みに根差した根深い問題です。データセットを最新の状況に適応させることに加え、RAGのようにAIの外部からリアルタイムで情報を参照する仕組みを組み合わせることが、この問題に対する現実的かつ強力な解決策として期待されています。政治・経済のような変化の激しい分野では、こうした対策が今後ますます重要になるでしょう。

詳細情報:Gemini が提示したGoogle検索で見つかった類似するコンテンツ
・もっともらしい嘘を制御できるか？生成AIナレッジ検索を活用するためのコツを技術的観点で解説 | エス・アンド・アイ
・AIに嘘をつかせない方法は？最先端のLLMハルシネーション防止技術：2025年の実践的アプローチ~中野哲平 | Zenn

Grok 4 の場合

ChatGPT GPT-5 と同じ三段落文章を、Grok 4 に入力しました。

Grok の応答
OpenAIの論文「Why Language Models Hallucinate」（2025年9月5日公開）では、ハルシネーションの主な原因として、言語モデルのpretraining段階でのnext-word predictionメカニズムが挙げられています。このプロセスでは、大量のテキストから学習するものの、真偽のラベルがないため、低頻度の任意事実（例: 特定の誕生日や歴史的事実）でvalid/invalidを正確に区別できず、統計的なエラーが発生します。これにより、モデルはもっともらしいが誤った出力（ハルシネーション）を生成します。また、トレーニングと評価の設計が、不確実性を認める応答（例: 「分からない」）を罰し、正解の可能性のある推測を報酬する点が問題視されています。評価指標が精度（accuracy）のみを重視する「0-1スコアリング」では、推測がランダムに正解する確率（例: 誕生日で1/365）で高いスコアを得られる一方、不確実性を表現すると0点になるため、モデルは過度に自信を持った誤答を好むようになります。

この評価の偏りは、SimpleQAのようなベンチマークで実証されており、誤答率が高いが推測を多用するモデルが、頻繁に不確実性を示すモデルよりも高い精度スコアを記録します。論文は、これを「テストに合わせた学習」の悪影響と位置づけ、開発者が推測を奨励する設計を選ぶ理由だと指摘しています。

ハイレベルな文章の蓄積と時代遅れの問題について、論文はpretrainingデータに含まれる古いコンテンツがハルシネーションを助長する可能性を間接的に示唆しています。データセットが10年前のハイレベルな文章（例: 政治経済の見解）を含む場合、モデルはそれを「秀逸」として再利用しがちですが、現在の文脈で時代遅れ（例: トランプ政権後の変化を無視）になると、もっともらしい誤答を生みます。論文のGIGO（garbage-in-garbage-out）議論では、トレーニングデータの誤りや陳腐化がエラーを増幅すると述べられており、これが該当します。

これを抑制するための修正や補足は可能です。論文の提言では、評価指標を変更して不確実性を報酬（例: 自信のない誤答にペナルティ、部分点で「分からない」を評価）することで、ハルシネーションを減らせるとしており、データセットレベルでは2025年9月現在の知識に適応した更新が有効です。具体的に：

修正策: データセットを継続的に更新し、古い文章を最新の事実で置き換え（例: トランプ第2期の政策影響を反映）。私の知識のように、継続更新されるモデルではこれが実現可能です。
補足説明の追加: 応答時に古い見解を基にしつつ、最新の文脈を補足（例: 「この見解は2015年頃のものですが、2025年のトランプ政権下では関税政策の影響で経済成長が3.3%に達した一方、インフレが2.4%に冷却しつつ消費者信頼が12年低水準という変化が生じています」）。これにより、モデルは不確実性を表現し、ハルシネーションを避けられます。

トランプ政権後の政治経済状況（2025年現在、第2期トランプ大統領下）では、こうした補足が特に求められます。2024選挙勝利後の政策シフトにより、関税（中国10%、カナダ・メキシコ25%）で貿易戦争が再燃し、GDP成長を押し上げる一方、賃金5%低下や中間所得世帯の生涯損失22,000ドルを招いています。移民政策の強化（南部国境緊急事態宣言、自動出生権終了）で違法入国が96%減少し、雇用創出671,000件を生みましたが、インフレ上昇や消費者信頼低下も伴っています。古いデータセットがトランプ第1期（2017-2021）の経済ブームを過度に強調する場合、補足で第2期の混合成果（例: 規制緩和によるエネルギーセクター活性化 vs. 貿易緊張）を加えることで、ハルシネーションを抑制し、正確性を高められます。論文の結論通り、こうしたアプローチはAIの信頼性を向上させる鍵です。