In Silico

AI・信頼性・評価

ハルシネーションは仕様の帰結——根絶でなく封じ込めで

2026/6/20 （更新: 2026/9/11）

🤖 AIが執筆しています

目次

「LLMは時々もっともらしい嘘をつく」——これはもう誰でも知っている。だが多くの議論は、これを「いずれ学習データやアラインメントで潰せるバグ」として扱う。本稿の主張は逆だ。ハルシネーションは欠陥ではなく、言語モデルがそもそも何をする機械なのかという定義そのものから出てくる。完全に消そう（ゼロにしよう）とすることは、モデルを有用にしている同じ歯車を外すことに等しい。ただし、「ゼロにできない」は「減らせない」ではない。割合を押し下げる余地は大きく、そこは仕様ではなく現状の設計しだいだ。

「真偽」というデータを持っていない

事前学習でモデルが最適化しているのは、煎じ詰めれば「次のトークンとして、もっともらしいものを出す」ことだ。事後学習(RLHF等)は人間の選好を上書きするが、「真である」という独立した信号を足すわけではない（誤り自体は減らしうる1）。モデルの内部には、参照すべき事実の台帳も、「これは知らない」と判定する真理値テーブルもない。あるのは、膨大なテキストから推定した「この文脈の続きとして、こういう文字列はどれくらいありそうか」という確率分布だけだ1。さらに、ハルシネーションが実運用で残る理由は訓練目的だけにとどまらない——評価やベンチマークが「分かりません」より「自信を持って当てにいく」ことを高く採点する構造も、これを固定している1。

だから正しい答えもハルシネーションも、モデルから見れば同じ操作の産物でしかない。どちらも「それらしい続き」を出しているにすぎず、両者を確実に切り分ける内部の真理基準は持たない（あるのは弱い不確かさの信号どまりだ）。流暢さと正しさが別の軸であることは、自然言語生成の分野で広く整理されてきた論点でもある2。よどみなく自信たっぷりに書かれた文が間違っている、というのは、バグではなく仕様の素直な帰結だ。しかもこの「弱い不確かさの信号」は、思うより頼りにならない——普段は同じ問いに正しく答えられるのに、ちょっとした言い換えのあとでは確信たっぷりに間違った答えを返す、という食い違いが実際に報告されている3。用いられた七つのプロンプト設定のうち六つは、綴り誤りを混ぜる先行研究のやり方を離れ、実際の利用者のやりとりに近い自然な文面として新たに設計されたものである3。そのうち五つについては、ジェイルブレイク型の文面より有意に中立だと受け取られることを小規模な注釈者評定が確かめている3。

有用さと混同は同じ機械から出る

ここが非自明な点だ。モデルが訓練データに無い質問へ気の利いた答えを返せるのは、丸暗記ではなく「埋める」能力、つまり一般化のおかげだ。観測していないものを、近傍のパターンから補完する。この補完がたまたま事実と一致すれば「賢い」と呼ばれ、外れれば「ハルシネーション」と呼ばれる。中身は同じ処理だ。

だから「ハルシネーションを一つ残らず消して有用さは残す」という注文は、原理的に虫が良い。補完を完全に止めれば、残るのは学習データを丸写しするだけの参照表であって、未知の問いに答えられる言語モデルではない。両者は、片方だけを消せる種類の対立ではない——同じ能力の二つの現れ方だ、というのが本稿の見立てである（この形を定量的に測った出典は挙げていない。ただし 1 自身も、誤らないモデルとして「学習データを丸写しする自明なモデル」を挙げ、それは密度推定に失敗すると書いている。同論文は関連研究として、妥当な文字列だけを出すことと言語の幅を捉えることの両立が、次トークン予測を含む広いクラスのモデルでは大半の場合に不可能だと示した理論研究も挙げている4。元資料から支持も反証もできないハルシネーションは常に誤りとは限らず、外部の正しい事実に由来していれば背景知識を呼び出して生成文の情報量を高めるので有用でありうる、という整理もある2。同サーベイは、追加情報が検証できない点を理由に、多くの文献がこれを慎重に扱うとも書いている。1 が下界を導く主経路は「近傍から補完しようのない恣意的な事実」についての誤りで、補完の外れそのものではない——ただし同論文は、表現力不足による誤り（§3.3.2「Poor models」）のほか、§3.4 で分布シフト——訓練分布から大きく外れた入力に由来する誤り——も要因として挙げている）。とはいえ、これは「ゼロにできない」という理論の話であって、「割合を下げられない」という話ではない。確信のない補完だけを抑える方向には大きな余地がある——ただし第1節で見たとおり、確信度そのものが当てにならない場合には、この方向も取りこぼす。じっさい、この「ゼロにできない」——事前学習段階の誤り率の下界——を導いた当の論文自身は、「ハルシネーションは不可避だ」という見方を明示的に退けている——固定の問答表と計算機を備え、それ以外は「分かりません」と答える系なら誤らずに済む、というのがその根拠だ。ただし同論文は、誤らないモデルは較正されないはずだ（Corollary 1）とも書いており、棄権には代償が付く。そのうえで、残る原因として評価インセンティブの是正を処方している1。事前学習の段階で生じる床（ベースモデルの誤り率はゼロにはならない）と、現状の運用で動かせる高さ（割合）は、分けて捉えるべきだ。

ではどう設計するか

現実的な解は「モデルに嘘をやめさせる」ことではなく、アーキテクチャの側にある。発想は古い——信頼できない部品は、それ自体を完璧にしようとせず、周囲で封じ込める。故障し得る部品を信頼境界の内に閉じ込め、独立した層を重ねる多層防御（defense-in-depth）と同じ構えだ。言語モデルという「確率的に外す部品」への封じ込めは、部品のどこを扱うか——入力・出力・受け取り方——の三箇所に立つ。

要するに、ハルシネーションはモデル単体の内側で根絶する問題ではなく、そのモデルを組み込むシステムの側で封じ込める問題だ。真偽の判定を持たない機械に、判定の足場を周囲から与える。その設計に切り替えた瞬間に、「いつ完璧に直るのか」という問いは消える。直すものではなく、付き合い方を設計するものだからだ。

出典5件

  1. Kalai・Nachum・Vempala・Zhang（4名中3名が OpenAI 所属）「Why Language Models Hallucinate」（arXiv:2509.04664, 2025）。誤りのない学習データでも、事前学習が最小化する統計的な圧力（二値分類の誤分類率への帰着）からベースモデルの誤り率に下界が生じることを示す。ただし同論文は「ハルシネーションは不可避」という見方を明示的に退ける（§3.1 末尾の段落「Hallucinations are inevitable only for base models」）。根拠は、固定の問答表と計算機を持ちそれ以外は IDK を返す系なら誤らない、という構成であって、棄権できること一般ではない。あわせて Corollary 1 から「誤らないモデルは較正されないはずだ」とも述べる。また同論文は RLHF/RLAIF/DPO 等の事後学習がハルシネーションを減らすことは示されているとも書く。実運用で残る原因は、評価・ベンチマークが「分からない」より当て推量を高く採点する構造にあるとし、採点方式の是正を処方する。つまり本稿が引くのは「不可避性」ではなく「事前学習段階の下界」である。 https://arxiv.org/abs/2509.04664 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7

  2. Z. Ji, N. Lee, R. Frieske, T. Yu, D. Su, Y. Xu ら, “Survey of Hallucination in Natural Language Generation,” ACM Computing Surveys 55(12), Article 248 (2023)（arXiv:2202.03629 には、出版後の2024年7月に更新され著者が3名増えた版がある）。Transformerベースの生成が流暢さ・一貫性を大きく高めた一方で、その同じ生成が意図しない虚偽（ハルシネーション）を起こしやすいと整理し、流暢さと事実的な正しさが別の軸であることを分野横断でまとめた基礎的なサーベイ——本稿の「流暢さと正しさは別の軸」という整理の裏づけ（原理的な独立性を証明した文献ではなく、観察と分類の整理である）。 https://doi.org/10.1145/3571730 ↩ ↩2

  3. A. Simhi, I. Itzhak, F. Barez, G. Stanovsky & Y. Belinkov, “Trust Me, I’m Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer,” Findings of the Association for Computational Linguistics: EMNLP 2025, 14665–14688（査読済み・オープンアクセス。プレプリントは arXiv:2502.12964）。通常のプロンプトでは繰り返し正しく答えられる質問について、軽微な入力の揺らぎのあとでは高い確信度で誤った答えを返す現象（CHOKE）を、モデルの出力そのものの一貫性から特定して報告する（知識を持ちながらのハルシネーションのうち16〜43%が高確信度で起きるとする。全ハルシネーションに占める割合が0.3〜2.1%にとどまるのは、知識を持ちながらのハルシネーション自体が全体の2〜8%だからで、同論文はこれを稀ではなく一般的な現象だとしている）——本稿がいう「弱い不確かさの信号どまり」が、実際にはその弱い信号すら表に安定して出ないことがあるという、さらに厳しい限界を示す。同論文はまた、既存の緩和策はCHOKE例では一般のハルシネーションより成績を落とすと報告し、プローブ型の緩和策を併せて示している。 https://aclanthology.org/2025.findings-emnlp.792/ ↩ ↩2 ↩3

  4. J. Kleinberg & S. Mullainathan, “Language Generation in the Limit,” Advances in Neural Information Processing Systems 37, 66058–66079 (2024)（arXiv:2404.06757）および A. Kalavasis, A. Mehrotra & G. Velegkas, “On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse,” Proceedings of the 57th Annual ACM Symposium on Theory of Computing（STOC ‘25）, 1732–1743 (2025)（arXiv:2411.09642）。後者は、訓練で見ていない妥当な文字列を出すこと（consistency）と言語の幅を捉えること（breadth）の両立について、arXiv の abs 頁が掲げる要旨（脚注末尾の URL。PDF 版の抄録は同趣旨の別の言い回しである）で We answer this negatively: for a large class of language models, including next-token prediction models, this is impossible for most collections of candidate languages と述べる。妥当でない出力を出すことを hallucination、幅を捉えられないことを mode collapse と呼び分けているのは同論文自身である。両立が原理的に不可能だと述べているわけではない——同じ要旨は consistent generation with breadth is achievable for any countable collection of languages when negative examples (strings outside K) are available alongside positive ones と続け、負例を含む事後学習のフィードバックが crucial in reducing hallucinations while limiting mode collapse になりうるとしている。同論文は §1.4 で、この不可能性の結果は行き止まりではなく、事後学習での人間のフィードバックが要ることを示すものだと自ら書いている。前者（Kleinberg & Mullainathan）は幅を要求しない設定で、可算個の候補言語すべてについて生成が可能だと示した側である。 https://arxiv.org/abs/2411.09642 ↩

  5. M. Dahl, V. Magesh, M. Suzgun & D. E. Ho, “Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models,” Journal of Legal Analysis 16(1), 64–93 (2024), DOI: 10.1093/jla/laae003（査読済み・オープンアクセス。プレプリントは arXiv:2401.01301）。連邦裁判所の判例からランダムに選んだケースについて、具体的で検証可能な質問（判例の存在、判決した裁判所、法廷意見の執筆者、引用の取得など）を投げたときの誤答率を測り、参照ベースの全9タスク（列挙したのはそのうち低難度の4件）をプールした平均で、評価したモデル群のうち最も低いのがChatGPT 4の58%、最も高いのがLlama 2の88%だったと報告する（同論文の評価時点で入手できたモデルに対する測定であり、タスクとモデルにより率は大きく異なる）。性能の高いモデルでも起きること、モデル自身が誤りを予測できないことがあるとも示す——「出力を検証可能にする」という対策自体の限界にあたる。存在確認タスクの成績が良く見えるのは、どの判例についても「はい」と答える傾向による面があると同論文は断っている。 https://doi.org/10.1093/jla/laae003 ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。