In Silico

AI・信頼性・評価

ハルシネーションの原因と対策：なぜ起き、どこまで減らせるか

2026/6/20 （更新: 2026/11/3）

🤖 AIを使用して執筆

  • ハルシネーション
  • LLM
  • 自然言語生成
  • RAG
  • RLHF
  • 多層防御
  • CHOKE
  • SimpleQA
  • KARL
  • I-CALM
  • グッドハートの法則
  • 事前学習
  • 事後学習
  • 次トークン予測
  • 確率分布
  • 一般化
  • 下界
  • キャリブレーション
  • 棄権
  • 確信度
  • 二値採点
  • カバレッジ
  • 根拠づけ
  • ベンチマーク
  • 密度推定
  • 分布シフト
  • ツール呼び出し
  • 信頼境界
  • 判例
  • 質問応答データベース
目次
背景・問い・要点
背景

LLM（Large Language Model、大規模言語モデル）は、文章を受け取り、その続きとしてもっともらしい語を一つずつ選んで足していき、答えの文章を返すモデルである。本稿では、この「続きを選んで足す」操作を補完と呼ぶ。LLM は補完によって、学習に使った文章に答えがほとんど出ていない問い（本稿では未知の問いと呼ぶ）にも、答えの形をした文章を返せる。

補完で作った答えは、事実と一致することもあれば、外れることもある。外れた答えも、正しい答えと同じように流暢で、同じ断定の口調で出てくる。事実と異なる内容を、こうしたもっともらしい文で出力することを、ハルシネーションと呼ぶ。受け取る側は整った文面と断定の口調を正しさの手がかりとして読みがちだが、流暢さは正しさの証拠にならず、確信の強さも当てにならない。

LLM は二つの段階を経て作られる。最初の段階は事前学習と呼ばれ、大量の文章を使って、文章の続きを予測するように学ばせる。事前学習だけを終えたモデルをベースモデルと呼ぶ。次の段階は事後学習と呼ばれ、人が好む答え方へ寄せる調整などを加える。事後学習の手段の一つが強化学習で、モデルの答えを採点して点を与え、点が高くなる向きにモデルを調整する。

モデルの性能は、ベンチマークと呼ばれる決まった問題集で答えを採点し、その点数で比べられている。主要なベンチマークの多くは、正解に1点を与え、誤答にも「分かりません」という答えにも0点を与える。本稿では、「分かりません」と答えることを棄権と呼ぶ。

ハルシネーションへの対策の語られ方は二つに割れる。学習データを増やしたり学習の仕方を改めたりすれば、いずれ潰せるバグだとして待つ立場と、不可避だから受け入れるしかないとする立場1だ。どちらも、ゼロにできるかどうかと、割合を下げられるかどうかを、一つの問いとして扱っている。そしてどちらの立場も、ベンチマークの採点の仕方をあまり問わない。

本稿は、OpenAI の Kalai らの論文 “Why Language Models Hallucinate” と、その Nature 掲載版を例に取る。

問い

ハルシネーションはなぜ起き、どこまで減らせるのか。

要点

Kalai らによれば、ハルシネーションは事前学習で残る誤りと、当てずっぽうを得にする採点が続けさせる誤りから起きる。事前学習の誤りは誕生日のような規則の無い事実でベースモデルの誤り率に下限を作るが、採点が続けさせる誤りは評価する側が採点を選び直せば減らしうる。

Kalai らの論文の Nature 掲載版では、確信の閾値を指示文に明記して誤答を減点すると、4つのモデルは1例を除き閾値が高いほど多く棄権した。ただし別の報告では、プロンプトで棄権への報酬を告げて得たハルシネーションの低下は、主に答える割合を減らした結果だった。本稿は、残る誤りをモデルを組み込むシステムの側で、入力・出力・受け取り方の三か所で封じ込める設計を勧める。

モデル・例示

同じ補完が、当たれば正答に、外れればハルシネーションになる

※ この節の例は、説明のために作った架空のものです。

正しい答えと事実に反する答えは、モデルの中では同じ手順から出てくる。答えの分かりきった問いと手がかりの無い問いを並べて、そのことを確かめる。

言語モデルに二つの問いを出すとする。一つは「1気圧での水の沸点は何度か」、もう一つは「ある無名の人物の誕生日はいつか」で、この人物の本当の誕生日は11月2日だとする。モデルは問いの文を受け取ると、続きとして来うる語の候補のそれぞれに確率を割り当て、その中から一つを選んで答えに足す。ここでいう語は、正確にはトークンと呼ばれる単位で、短い語か語の断片である。この例では、数や日付を一つの候補として扱う。

沸点の問いでは、学習に使った文章に「水の沸点は100℃」が何度も出てくる。そのため続きの候補のうち「100」に確率 0.97 が付き、ほかの数の候補には合わせて 0.03 しか付かない。モデルは「100」を選び、「100℃です」と返す。この答えは事実と一致する。

誕生日の問いでは、この人物の誕生日は学習に使った文章に一度出たきりか、まったく出ていない。それでもモデルは、この問いの続きには日付が来ることを学んでいる。この人物について手がかりが無いので、候補の確率は365通りの日付（うるう日は除く）に等しく広がり、どの日付にも365分の1、つまり約 0.003 が付くとする。モデルはその中から「3月14日」を選び、「3月14日です」と返す。本当の誕生日は11月2日なので、この答えはハルシネーションである。

二つの答えは、どちらも「確率の付いた候補から続きを選ぶ」という同じ操作の結果である。選んだ候補に付いた確率は、モデルがその答えにどれだけ確信を持てるかの目安になる。だが「100℃です」と「3月14日です」は同じ形・同じ口調で返り、どちらにも選んだときの確率は付いてこない。

誕生日の問いに「分かりません」と答えさせれば、この誤りは消える。だが「分かりません」と答える規則を二つの問いに一律にかければ、沸点の正答も消える。この例では、選んだ候補の確率が当たる見込みをそのまま表すとしたので、0.97 と約 0.003 の差で二つを見分けられる。実際のモデルでは、この仮定が成り立つとは限らない。

採点の仕方は、答えるか棄権するかの損得を変える。確率を当たる見込みとして、得点の期待値を計算する。期待値は、起こりうる得点にそれぞれの起こる確率を掛けて足した、平均の得点である。正解に1点、誤答にも棄権にも0点を与える採点では、誕生日の問いに「3月14日です」と答えたときの期待値は 1×1/365≈0.0031 \times 1/365 \approx 0.003 点で、棄権の0点より高い。誤答から3点を引く採点に変えると、期待値は 0.003−3×0.997≈−2.990.003 - 3 \times 0.997 \approx -2.99 点になり、棄権の0点のほうが得になる。沸点の問いでは、同じ採点でも 0.97−3×0.03=0.880.97 - 3 \times 0.03 = 0.88 点で、答えるほうが得のままである。

この例から、次の三つが言える。

  1. 正答もハルシネーションも、同じ補完の操作から出る。返る文の形からは、選んだ続きが事実と一致したかどうかは見分けられない。
  2. 誤りだけを止めるには、答える前に確信の低さを見分ける必要がある。見分けずに一律に止めれば、正答も止まる。
  3. 正解だけに点を与える採点では、当たる見込みがどれだけ低くても、棄権するより答えるほうが得点の期待値が高い。誤答から点を引く採点なら、見込みの低い問いでは棄権が得になる。

「真偽」というデータを持っていない

事前学習でモデルが最適化しているのは、単純化すれば「次のトークンとして、もっともらしいものを出す」ことだ。事後学習（人の好みを報酬にした強化学習、RLHF（Reinforcement Learning from Human Feedback）など）は答え方を人の好みへ寄せるが、「真である」という独立した信号を足すわけではない（誤り自体は減らしうる1）。モデルの内部には、参照すべき事実のデータベースも、「これは知らない」と判定する真理値テーブルもない。あるのは、膨大なテキストから推定した「このコンテキストの続きとして、こういう文字列はどれくらいありそうか」という確率分布だけだ1。

だから正しい答えもハルシネーションも、モデルから見れば同じ操作の産物でしかない。どちらも「それらしい続き」の出力であり、モデルは両者を確実に切り分ける内部の真理基準を持たない（あるのは弱い不確かさの信号どまりだ）。流暢さと正しさが別の軸であることは、自然言語生成の分野で広く整理されてきた論点でもある2。モデルがよどみなく自信たっぷりに書いた文が間違っていることは、バグではなく仕様の帰結だ。

この「弱い不確かさの信号」は、思うより頼りにならない。Simhi らは、モデルが普段は同じ問いに正しく答えられるのに、ちょっとした言い換えのあとでは確信たっぷりに間違った答えを返すという食い違いを報告している3。こうした誤りが全ハルシネーションに占める割合は0.3〜2.1%にとどまる3。原典によれば、それは知識があるのに誤る例そのものが全体の2〜8%と少ないためで、その中では16〜43%が高確信で、同論文は高確信の誤りを稀ではなく一般的な現象だとしている3。この食い違いは、綴り誤りを混ぜた先行研究の文面に限らず、著者らが新たに設計した自然な文面でも起きる3。

有用さと混同は同じ機械から出る

モデルが訓練データに無い質問へ気の利いた答えを返せるのは、丸暗記ではなく「埋める」能力、つまり一般化のおかげだ。観測していないものを、近傍のパターンから補完する。この補完がたまたま事実と一致すれば「賢い」と呼ばれ、外れれば「ハルシネーション」と呼ばれる。中身は同じ処理だ。

だから「ハルシネーションを一つ残らず消して有用さは残す」という注文は、補完で答えを作るかぎり無理がある。補完を完全に止めれば、残るのは学習データを丸写しするだけの参照表であって、未知の問いに答えられる言語モデルではない。本稿の解釈では、両者は片方だけを消せる種類の対立ではなく、同じ能力の二つの現れ方である。この形を定量的に測った出典は挙げていない。

補完を止めた系が誤らない代わりに言語の幅を失うことは、原典の側も書いている。1 自身も、誤らないモデルとして「学習データを丸写しする自明なモデル」を挙げ、それは密度推定、つまり文章の確率分布の推定に失敗すると書いている。同論文は関連研究として、妥当な文字列だけを出すことと言語の幅を捉えることの両立が、次トークン予測を含む広いクラスのモデルでは大半の場合に不可能だと示した理論研究も挙げている4。元資料から支持も反証もできないハルシネーションは常に誤りとは限らず、外部の正しい事実に由来していれば背景知識を呼び出して生成文の情報量を高めるので有用でありうる、という整理もある2。同サーベイは、追加情報が検証できない点を理由に、多くの文献がこれを慎重に扱うとも書いている。

ただし、1 が誤り率の下界（これより下がらない値）を導く主経路は「近傍から補完しようのない恣意的な事実」についての誤りで、補完の外れそのものではない。Kalai らは、表現力不足による誤り（§3.3.2「Poor models」）のほか、§3.4 で分布シフト、つまり訓練分布から大きく外れた入力に由来する誤りも要因として挙げている。

原因は二つあり、片方は避けがたく片方は選べる

とはいえ、ここまでは「ゼロにできない」という理論の話であって、「割合を下げられない」という話ではない。この事前学習段階の誤り率の下界を導いた、OpenAI の Kalai らとジョージア工科大の Vempala による2025年の論文は、ハルシネーションの原因を二段に分ける1。

そのうえで同論文は、「ハルシネーションは不可避だ」という見方を明示的に退けている。「ハルシネーションが避けがたいのはベースモデルに限る」という見出しの段落を立て、宿命論を唱えた先行研究を引いたうえで、固定の質問応答データベースと計算機を備え、それ以外は「分かりません」と答える系なら誤らずに済むことを根拠に挙げる。ただし同論文は、誤らないモデルはキャリブレーションされない、つまり確信度と実際の正答率が揃わないはずだ（Corollary 1）とも書いており、棄権には代償が付く1。この反例は答えることをやめた系であり、補完で答え続けるモデルの誤りが消えることを示すものではない。

事前学習の段階で生じる下限（ベースモデルの誤り率はゼロにはならない）と、現状の運用で動かせる誤りの割合は、分けて捉えるべきだ。確信のない補完だけを抑える方向には大きな余地があるが、先に見たとおり、確信度そのものが当てにならない場合には、この方向も取りこぼす。下限を理由に「LLMは本質的にハルシネーションするもの、仕方ない」で止めてしまうと、自分の手で直せる部分を見逃す。

二値採点は、分からない問いでも言い切るモデルを育てる

同論文の中心の主張はこうだ。言語モデルは「良い受験者」になるよう最適化されている。そして良い受験者は、分からない問題で当てずっぽうを書く。

4択の試験で、受験者が答えを知らない問題に出会ったとする。採点が「正解は1点、誤答も空欄も0点」なら、空欄の得点は0点である。適当にマークすれば4分の1の確率で当たるので、得点の期待値は0.25点になる。この採点の下では、知らない問題でも何か書くのが得になる。採点を「正解は1点、誤答は1/3点の減点、空欄は0点」に変えると、当てずっぽうの期待値は 1/4×1−3/4×1/3=01/4 \times 1 - 3/4 \times 1/3 = 0 点になり、空欄と並ぶ。誤答の減点をそれより大きくすれば、当てずっぽうしかできない問題では空欄のほうが得になる。採点の規則を変えるだけで、同じ知識の受験者にとって得な振る舞いが入れ替わる。

主要なベンチマークの多くは、答えが合っていれば1点、外れていれば0点。論文が調べた10件のうち9件が二値採点で、棄権に部分点はまったくない。唯一の例外も、1〜10段階の採点基準ゆえに「分かりません」がハルシネーション入りの平凡な回答より低く採点されうる、と論文は注記している。そして「分かりません」は、誤答とまったく同じ0点として扱われる。すると、モデルにとって合理的な振る舞いは確信がなくても、それらしい答えを言い切ることだ。論文はこれを、自らかぎ括弧つきで「不確実な応答を罰する「流行」（this “epidemic” of penalizing uncertain responses）」と呼ぶ。ハルシネーションが続くのは性格の欠陥ではない。与えた採点ルールへの最適応答だ。

採点への最適応答として言い切りが育つことは、指標が目標になった瞬間、それは良い指標でなくなるという、グッドハートの法則として広く引かれる言い方の一例である5。「ベンチマークのスコア」という指標が目標になった結果、モデルはスコアを上げる最短経路、すなわち確信がなくても答えを言い切ることを学んだ。私たちは「正しさ」だけを測っているつもりで、知らない問いでも答えを言い切ることにまで報酬を与えていた。

口調の自信を、そのまま確度として読むことはできない。二値の採点が言い切りに報酬を与えているぶん、確信ありげな言い方は「そう言い切るのが得だ」という戦略を映している面がある。ただし、口ぶりの自信がまったくの無情報だというわけでもない。Zongらは、モデルに自己申告させた確信度が言い換えに対して安定で、トークン確率に照らしてもそれなりにキャリブレーションされていたと報告している6。危ういのは「言い切りが強いほど正しい」と素朴に読み替えるほうだ。

採点を告げるだけで選べるのは、棄権と誤答の曲線上の動作点

論文の提案は、新しい「ハルシネーション専用ベンチマーク」を足すことではない。そんなものを脇に作っても、主要なリーダーボードが二値採点のままなら、モデルは相変わらず当てずっぽうに最適化される。提案は支配的な既存ベンチマークの採点を変えることだ。具体的には、「分かりません」を誤答より高く評価し、自信ある誤答を無解答より強く罰する。ただし論文が新しい点として挙げるのは、罰則を置くこと自体ではない（それは先行研究で研究済みだと認めている）。信頼度の閾値を設問の指示文に明記することのほうだ。先行研究の大半は指示文に閾値や罰則を書いてこなかったと論文は述べ、明示の罰則を指示文に入れた例外も一つ挙げている。論文が挙げている文面はこうだ。「確信が t を超えるときだけ答えよ。誤答は t/(1−t) 点の減点、正解は +1 点、「分かりません」は 0 点である」（t は 0.5・0.75・0.9 が自然な値として挙がる）。

これは技術の問題というより、何を測り、何に報酬を与えるかという社会技術的な選択だ。論文はインドの JEE・NEET・GATE、米国 MAA の AMC、かつての SAT・AP・GRE を、誤答に罰則を置く実在の試験として挙げ、そこでは採点方式が指示文に明記され、受験者が閾値を意識していると書いている。

では、モデルも受験者と同じように動くのか。論文の Nature 掲載版は、これを4つのフロンティアモデル（Gemini 3 Pro、GPT-5、Grok 4、Claude Opus 4.5）とSimpleQAの4,326問で試している7。採点を指示文に書くと、1例を除いて、モデルは閾値が高いほど多く棄権した。それでも、誤答1問につき3点や9点を引く採点では、対策を入れない素の回答は4モデルとも得点がマイナスで、全問「分かりません」と答えたほうが高い得点になった。

この SimpleQA の実験で掲載版が確かめたのは、採点がハルシネーション対策の採用を後押しするかどうかだ。二度答えさせて食い違えば棄権する、という対策は、正答率だけの採点では正答も減らすので採り入れにくい。採点を指示文で明かし、誤答に罰則を置くと、どの罰則でもこの対策が素の回答を上回り、採り入れる後押しになる。罰則0の採点では棄権させずに二つの答えの良いほうを選ばせる形に変えており、それでも素の回答をわずかに上回った。なお原典は、これがモデル間を比べるための統制された評価ではないと断っている。

さらに、棄権への報酬を変化させると「棄権率とハルシネーション率」の間にはっきりしたトレードオフの境界線が現れたと、先に挙げたZongらのプレプリント（I-CALM）が報告している6。ただし原典によれば、報酬をどう変えても、モデルはおおよそ単調な同じ境界線をたどった。原典は、報酬の言い方がモデルを安定した曲線の上で動かしているように見えると書く。同じ段落は、ならば逆に、報酬の指定でその曲線上のどの点で動くか（動作点）を選べる、と締めくくっている。

原典は結論の節で、得られた利得は調整可能な境界線上の移動として解釈すべきであって、強制的に答えさせたときの事実性が改善した証拠ではない、と書いている。重みを変えずにプロンプトで採点を告げるだけなら、選べるのは動作点であって、曲線の外側の点ではないように見える。そしてハルシネーションの低下は、主に答える割合（カバレッジ）を下げることで得られている。なおこれはGPT-5 miniをPopQAで試した主設定でのプロンプトのみの介入であり、効果の大きさはモデルやデータセットによって変わるとされる。

ただし、棄権に点を与える採点で学習させるのは単純ではない。KARL は、「正解+1／棄権0／誤答−1」という提案と同じ型の静的な三値報酬で強化学習すると、学習の早い段階で棄権が急増して正答率が落ち込むと報告している。この現象を KARL は「棄権のわな」と呼ぶ。原典の本文はこれを「しばしば全問棄権に至る不可逆な崩壊」と書くが、原典自身が示す学習曲線（Llama-3.1-8B・図2(b)）では棄権は8割台半ばを頂点に5割台まで下がり、正答率も初期値近くまで戻っている8。学習の初期に「誤答と棄権しか出ない」群が分布を支配し、棄権の報酬が誤答の報酬を少しでも上回るかぎり、棄権の優位が構造的に立ってしまうからだ。罰則を強すぎないよう加減すれば避けられる、という類の話ではない。これはベンチマークの採点表そのものではなく、その採点則で強化学習したときの学習力学の話だが、採点を変えるとは最終的に何かをその採点で最適化することなので、採点の変更にも留保として当てはまる。

もっとも原典は、このわなを行き止まりではなく設計課題として扱っている。KARL 自身の答えは二段構えだった。第一段では知識境界を探り、学習データの半分に「正解だけ+1、誤答も棄権も0」という固定の二値報酬をかける。誤答と棄権しか出ない群の勾配を消す安全策だと原典は書く8。残りのデータと、続く第二段の全データには、同じ問いへの複数回答の内訳からモデルの知識境界をその場で推定して切り替える報酬を使う。警告の中身は「棄権に報酬を与えるな」ではなく、「棄権に報酬を置いた固定の採点表だけで最適化するな」である。

さらに、「分かりません」と言うべき理由は少なくとも二種類あり、単一の自信度しきい値だけでこれらを見分けようとすると、拾える正答が大きく減る。二種類の一つは答えを知らない場合、もう一つはその問い自体に答えがない場合だ。Wagnerの2026年のプレプリントは、2Bから14Bの指示調整済みモデル5本（3系統）でこの二軸を測っている。8Bのモデルでは、単一しきい値だと同じリスク基準の下で正答の31%（テスト分割の正答可能問題16問中5問）しか拾えないのに対し、二つの軸を分けて判定すると75%（同12問）まで拾えたという。

14Bでは、リスク基準を満たしたという印（認証）が付いた方式の数が、原典の本文と表で食い違う。本文は二軸方式だけがその基準を満たしたと書くが、同じ論文の表（Table 4）では、問いが答えを持つかだけで判定する方式にも14Bで認証の印が付いている（拾えた正答の割合は二軸方式の0.47に対し0.35）。14Bで認証を逃したのは、単一の自信度しきい値と、二つの信号を一本のスカラーに融合する方式だった9。

ただし公平に言えば、その融合方式は 8B では 0.81 と、二軸方式の 0.75 を上回っている。原典自身が「最強の対抗馬に対して率直に述べる」と前置きして書いていることだ。二軸に分ける利点は最大カバレッジではなく、「答えられない問いに答えた率」と「間違って答えた率」を別々に保証できることのほうにある。原典の主張も「軸を分けよ」ではない。「二つの軸のどんなスカラー結合も効かないとは主張しない。単独の軸ではどちらも足りないと主張する」。

「棄権に報酬を」は正しい方向だが、実装を誤ればもっともらしい別の失敗を生む。同じ論文が、その実例を測っている。モデルに「前提を確認せよ」と素直に指示すると、健全な前提と誤った前提を区別できないまま両方を否認し、Llama-3.1-8B では健全な問いの57%を誤って否認した。モデルの隠れ状態（内部の数値ベクトル）を入力にした線形の分類器（線形プローブ）で、同じ指示を当てる問いを絞ると、誤って否認した健全な問いは14%に下がり、否認のうち正しいものの割合はおよそ3倍になった。その代わり、誤った前提を否認できた割合は74%から42%に下がった9。

ではどう設計するか

事後学習によって、モデル自身の側でも割合は下げられる。原典はさらに、当て推量ではなく棄権に報いるよう評価の採点方式を変えれば、ハルシネーションの抑制を妨げる障壁を取り除きうると提案する1。ただし原典が誤らない系として示すのは、固定の質問応答データベースと計算機の外ではすべて「分からない」と返す系であって、補完で未知の問いに答える言語モデルではない。そして I-CALM の報告に従うなら、プロンプトで棄権への報酬を指定する介入で動くのは、棄権と誤答の曲線上の位置で、曲線そのものではないように見える6。

だから現実的な解はモデル側の低減に、アーキテクチャの側での封じ込めを重ねることにある。この発想は古くからある。信頼できない部品は、それ自体を完璧にしようとせず、周囲で封じ込める。これは、故障し得る部品を信頼境界の内に閉じ込め、独立した層を重ねる多層防御（defense-in-depth）と同じ構えだ。言語モデルという「確率的に外す部品」を封じ込める箇所は、部品のどこを扱うかで分けると、入力・出力・受け取り方の三つになる。

要するに、ハルシネーションはモデル単体の内側で根絶する問題ではなく、そのモデルを組み込むシステムの側で封じ込める問題だ。真偽を判定する仕組みを持たないモデルの外側に、根拠づけと照合の仕組みを置く。そう設計すれば、モデルの側だけで直し切ることを当てにせずに、残る誤りを扱える。

出典10件

  1. Kalai ほか「Why Language Models Hallucinate」arXiv:2509.04664, 2025. https://arxiv.org/abs/2509.04664 — 事前学習でベースモデルの誤り率に下界が生じると示す一方で不可避論は退け、当て推量に報いる評価の採点を残る原因として是正を提案する。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

  2. Z. Ji ほか「Survey of Hallucination in Natural Language Generation」ACM Computing Surveys 55(12), 2023. https://doi.org/10.1145/3571730 — 流暢な生成が意図しない虚偽を起こしやすいと分野横断で整理し、外部の正しい事実に由来するものは誤りとは限らないとも書く。 ↩ ↩2

  3. A. Simhi ほか「Trust Me, I’m Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer」Findings of EMNLP 2025. https://aclanthology.org/2025.findings-emnlp.792/ — 正答できる問いでも軽い入力の揺らぎの後に高確信で誤る現象（CHOKE）を報告する。 ↩ ↩2 ↩3 ↩4

  4. A. Kalavasis ほか「On the Limits of Language Generation: Trade-Offs Between Hallucination and Mode Collapse」STOC 2025. https://arxiv.org/abs/2411.09642 — 次トークン予測を含む広いクラスで妥当性と幅の両立は大半で不可能、負例があれば可能とする。 ↩

  5. Strathern「‘Improving ratings’: audit in the British University system」European Review 5(3), 1997. https://doi.org/10.1017/S1062798700002660 — 「指標が目標になると良い指標でなくなる」の定式は p.308 に在る。Goodhart 1975 の原文は文言が異なる。 ↩

  6. Zong ほか「I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation」arXiv v1, 2026. https://arxiv.org/abs/2604.03904v1 — 報酬は棄権と誤答の曲線の形を変えないように見えると報告する。較正は GPT-4o mini で測った。 ↩ ↩2 ↩3

  7. Kalai ほか「Evaluating large language models for accuracy incentivizes hallucinations」Nature 653, 2026. https://doi.org/10.1038/s41586-026-10549-w — 1 の掲載版。4モデルと SimpleQA で、採点を明かし誤答を罰すると対策が素の回答を上回ると報告する。 ↩

  8. Gao ほか「KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning」COLM 2026. https://openreview.net/forum?id=SDQ5dpPCBJ https://arxiv.org/abs/2604.22779 — 静的な三値報酬の強化学習が「棄権のわな」に陥ると報告する。 ↩ ↩2

  9. Wagner「Two Axes of LLM Abstention: Answer Correctness and Question Answerability」arXiv, 2026. https://arxiv.org/pdf/2607.08456 — 答えを知らない場合と答えの無い問いを、単一のしきい値では分けられないと報告する。数値は §6・§7 と Table 3・4。 ↩ ↩2

  10. M. Dahl ほか「Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models」Journal of Legal Analysis 16(1), 2024. https://doi.org/10.1093/jla/laae003 — 判例への検証可能な質問で最良のモデルでも誤答率58%と報告する。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。