In Silico

AI・信頼性・評価

LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響

2026/6/20 （更新: 2026/11/3）

🤖 AIを使用して執筆

  • キャリブレーション
  • LLM
  • RLHF
  • ECE
  • GPT-4
  • 報酬モデル
  • PPO
  • DPO
  • 過信
  • 内部確率
  • 申告確信度
  • 口ぶり
  • 対数確率
  • 事前学習
  • MMLU
  • 温度スケーリング
  • CSR
  • GSM8K
  • TriviaQA
  • CommonsenseQA
  • Llama-2-70B
  • AUC
  • Brierスコア
  • SFT
目次
背景・問い・要点
背景

LLM（Large Language Model、大規模言語モデル）は、合っていても間違っていても、同じ口調で言い切る。だが、ここで「自信」と呼ばれているものは一つではない。モデルが内部で持つ確率（以下、内部確率）、モデルが言葉で申告する数値（申告確信度）、読み手が受け取る口ぶり（言い切りの強さ）の三つがある。

キャリブレーション（較正）は、モデルが付けた自信と、その自信で答えた問題が実際に当たる割合とが一致しているかを見る考えかたである。自信と正答率のズレの大きさは、一つの数字に表せる。

人間の好みに合わせる事後学習（RLHF：Reinforcement Learning from Human Feedback）では、人間が好む答えを学んだ報酬モデルという別のモデルが応答に点数を付け、元のモデルはその点数が上がるように訓練される。RLHFがキャリブレーションのズレをどう変えるかで、自信を正しさの信号として使えるかが決まる。本稿は、GPT-4の技術報告書と、Lengら・Tianらの測定を例に取る。

問い

RLHFを通すと、LLMの自信と実際の正答率のズレはどう変わるか。

要点

本稿が引いた、RLHFの前後を比べた分析では、RLHF後にLLMの自信と正答率のズレは広がり、その向きは自信が正答率を上回る過信の側に寄った12。測れたのは内部確率と申告確信度で、モデルが自分から出す口ぶりは測定の外にある。

GPT-4の報告書（自社測定）では、知識ベンチマークMMLUの一部で、自信と正答率のズレを表す指標ECEが素のモデルの0.007からRLHF後の0.074へ悪化した1。Lengらは、報酬モデルが高い申告確信度に高い点を付ける偏りを実測し、その偏りが過信を説明しうると見る2。Lengら自身の評価では、報酬の設計を変えると申告確信度の過信は減った。

モデル・例示

自信90%の答えが7割しか当たらなければ、ズレは20ポイント

※ この節の例は、説明のために作った架空のものです。

自信90%の答えが7割しか当たらなければ、そのビンのズレは20ポイントの過信である。ECEはビンごとのズレを絶対値で足し合わせるので過信と過小信頼は打ち消し合わないが、答えの多いビンほど数字を左右し、答えの少ないビンの過信は薄まって見える。

モデルがいくつかの質問に答え、答えごとに自信を付けたとする。一件の記録は、たとえば「日本の首都は？」に「大阪」と答えて自信90%を付け、正解は東京なので外れ、という形になる。一件の答えは当たりか外れかのどちらかなので、90%という数とは直接比べられない。

そこで、同じ自信を付けた答えを一つの組（ビン）にまとめ、ビンの中で何割が当たったかを見る。自信90%のビンには答えが100個あり、そのうち70個が当たった。自信20%のビンにも100個あり、そのうち30個が当たった。キャリブレーションが良ければ、自信90%の答えは9割、自信20%の答えは2割当たるはずだ。「降水確率70%」と言った日のうち7割で雨が降る予報を、キャリブレーションが良いと言うのと同じ考えかたである。

この二つのビンでは、90%のビンが20ポイントの過信、20%のビンが10ポイントの過小信頼（正答率が自信を上回る状態）になっている。ズレの大きさを一つの数字にしたのがECE（Expected Calibration Error）である。ECEは、答えをモデルが付けた自信度ごとのビンに分け、ビンごとに「そのビンの平均自信度」と「実際の正答率」の差の絶対値を取り、サンプル数で重みづけて平均したものだ3。

この例では、ビンの中の答えはどれも同じ自信を付けているので、平均自信度は90%と20%そのものである。差は0.20（20ポイント）と0.10（10ポイント）になる。上の定義を二つのビンに当てはめると、ECEは(100×0.20+100×0.10)/200=0.15(100 \times 0.20 + 100 \times 0.10) / 200 = 0.15になる。絶対値を外すと(100×0.20−100×0.10)/200=0.05(100 \times 0.20 - 100 \times 0.10) / 200 = 0.05で、過信と過小信頼が打ち消し合い、ズレが3分の1に見えてしまう。ECEが0ならこの指標の上では完璧、0.15なら平均15ポイントズレている、という具合になる。

この例から言えることは三つある。

  1. ECEは差の絶対値を取るので、過信のビンと過小信頼のビンが同じ評価に並んでも打ち消し合わない。
  2. ECEはビンに分ける自信の種類を問わない。自信度は内部確率でも申告確信度でもよく、どちらを入れたかで数字の意味が変わる。
  3. ECEはビンの差を答えの数で重みづけるので、答えが多く集まるビンのズレほど数字を大きく左右する。上の例で自信20%のビンだけが300個に増えると、ECEは(100×0.20+300×0.10)/400=0.125(100 \times 0.20 + 300 \times 0.10) / 400 = 0.125に下がる。90%のビンの過信は20ポイントのままである。
キャリブレーションの信頼性ダイアグラム（概念図） 横軸はモデルが付けた自信、縦軸は実際の正答率。対角線は「自信＝実際」の完璧なキャリブレーション。上の曲線は対角線に近くキャリブレーションが良い状態、下の曲線は対角線より下に垂れ下がり、高い自信を付けるほど実際の正答率が追いつかない「過信」を示す。どちらの曲線も概念を説明するための形であり、特定のモデルの実測値ではない。 ⚠ 概念図：数値は実データではなく、傾向を示すイメージ 0 50% 100% 0 50% 100% モデルが付けた自信 実際の正答率 過信の幅 完璧なキャリブレーション（自信＝実際） よくキャリブレーションされた例 過信した例
キャリブレーションの良し悪しは一枚で見える。対角線（モデルが付けた自信＝実際の正答率）に沿っていればキャリブレーションが良い。下に垂れるほど「言うほど当たっていない」＝過信だ。
これは概念図であり、曲線の形は傾向を示すイメージで、論文の実測値ではない。（作図：AI）

「自信」は三つある

モデルの「自信」には内部確率・申告確信度・口ぶりの三つがあり、どれを指すかで以下に出てくる数字の意味が変わる。

呼び名何を指すか（本稿が引いた研究での定義）
内部確率モデルが各選択肢に割り当てる確率そのもの。GPT-4の技術報告書のキャリブレーションプロットは、A/B/C/Dそれぞれに対するモデルの対数確率を横軸に取っている1
申告確信度「0から10で自信を答えよ」のように、モデルに言葉で言わせた数値。Lengらは0〜10のスケールで申告させ2、Tianらは出力トークンとして自信を吐かせ、数値の代わりに「Almost certain」「Likely」のような決まった言語表現から選ばせる方式も試している（表現は123人への調査で確率へ写し、そのキャリブレーションも測った）4
口ぶり断定的な語調、ためらいの無さ、言い切りの強さ。読者が「自信ありげ」と感じるのはこれだ。本稿が引いた研究は、RLHF後のモデルについては、決まった表現を選ばせた場合（Tianら）までしか測っておらず、モデルが自分から出す語調そのもののキャリブレーションは測っていない

やっかいなのは、日常語で「AIが自信満々だ」と言うときに指しているのが三つ目なのに、論文が主に測っているのは前の二つだ、という点だ。キャリブレーションには作業定義がある（降水確率70%の日のうち7割で雨が降るか）。RLHF後のモデルについて、本稿が引いた研究で口ぶりの側にこの作業定義が当てられているのは、上の決まった表現の場合だけだ。RLHFを通していない雑談用の対話モデルでは、Mielkeらが、TriviaQAの質問への応答に添えた疑いや確信の言い回しを正誤と照らし、当たりそうにない答えにも確信を示す過信の側に外れていると報告している5。以下の数字はすべて、内部確率か申告確信度についてのものだと思って読んでほしい。

素のモデルのほうが、キャリブレーションが良かった

GPT-4の技術報告書（2023年3月・第5節）では、MMLUの一部で測ったECEが、RLHFの前後で0.007から0.074へ一桁増えた（同報告書 Figure 8）1。事前学習しただけの「素の」GPT-4は、よくキャリブレーションされていた。報告書の言い方では、予測した自信が正しい確率とおおむね一致していた。ところが、人間の好みに合わせる事後学習（RLHF）を通すと、キャリブレーションは低下した。

この数字の範囲は二つの点で限られる。測定はMMLU（Massive Multitask Language Understanding、57分野の多肢選択試験を集めた知識ベンチマーク）の一部に対する多肢選択で行われている。測られた「自信」は内部確率のほうで、横軸はA/B/C/Dの各選択肢に対する対数確率だ。

ズレが過信の向きだと述べているのは、図の説明ではなく本文である。同じ節の同じ段落は、素のモデルのキャリブレーションに触れる直前に「GPT-4は自信をもって間違えることがあり、間違えそうなときに検算をしない」と書いている1。過信の側だ、と報告書は述べている。

ビンごとに見ると、事後学習後のプロットで過信が現れるのは自信0.4以上のビンだ。0.1〜0.3の低いビンでは向きが逆で、正答率のほうが自信を上回っている1。過信のビンと過小信頼のビンが同じ図に並ぶので、差を符号つきで平均すると両者が打ち消し合う。ECEが差の絶対値を取るのは、こういう形が実際に出るからだ。この過信のほうを別の測り方で実測したのが、次の節で見る研究になる。

もう一つ、RLHFの前後で多肢選択の正答率はほとんど変わっていない。同報告書の付録Bは、試験ベンチマークの多肢選択部分で素のモデル73.7%、RLHF後74.0%と報告している。ここも無限定ではない。自由記述の問題については、素のモデルとRLHFモデルを対等な条件で比べるのは難しい、と報告書自身が断っている（自由記述の答えを取り出す手続きが、指示追従の能力に助けられてしまうため）。少なくとも多肢選択で見るかぎり、RLHFで下がったのはキャリブレーションで、正答率ではなかった。

なぜRLHFの後に過信が強まるのか

ズレの向きを実測したのは、Lengらの研究だ（ICLR 2025）2。Lengらは「0から10で自信を答えよ」と明示的に指示した。つまり申告確信度で測っている。この設計で、RLHFを通したモデルは、SFT（Supervised Fine-Tuning、教師ありファインチューニング）だけの対応版より強い過信を示した。しかもこれは、PPO（Proximal Policy Optimization）で訓練したモデルにもDPO（Direct Preference Optimization）で訓練したモデルにも当てはまる。著者らは4モデル（PPO前後の一組とDPO前後の一組）を常識推論のCommonsenseQAで比べ、「明確で一貫した傾向」と書いている。著者らは付録の予備実験でも同じ向きを確かめており、小学校レベルの文章題を集めた算数ベンチマークのGSM8Kを含む5つのデータセットが並ぶ（本文と合わせて計6つ）。

著者らが挙げる理由は、採点の構造にある。RLHFは「人間が好む答え」を、報酬モデルという代理指標に置き換えて最適化する。そしてLengらは、その報酬モデルが、応答の実際の質と無関係に、高い自信スコアを付けた応答へ高い点を与える系統的な偏りを持つことを実験で示した。

PPOで使う報酬モデル（ArmoRM-Llama3-8B）では、人間に選ばれた側の応答に低い自信を、選ばれなかった側に高い自信を付け替えるだけで、選ばれなかった側を報酬モデルが選ぶ回数が231回から1754回へ増えた。DPOの暗黙報酬モデルではここまでの逆転は起きない。ただし同じ応答に高い自信と低い自信を付けて並べると、どちらのモデルも高いほうを選ぶ。操作されたのは応答に付けた自信スコアという数値だけで、語調ではない。

著者らは、報酬モデルが高い自信スコアを好むこの系統的な偏りが、RLHF後のモデルに見られる過信を説明しうる、と見ている。（人間のアノテータ自身が自信ありげな答えを好むかどうかは、この研究が直接測ったものではない。測られたのは報酬モデルの側だ。）ここまでは申告確信度の側の機構だ。

内部確率の側については、Tianらが序論で一つの機構を示唆している。強化学習の目的が最も好まれる答えに確率質量を寄せ、ありうる答えの相対頻度に合わせなくなるためかもしれない、というものだ4。

キャリブレーションは報酬の側で直せる

Lengらの論文の本体は、この偏りの指摘ではなく、その修正である。彼らは報酬モデルの訓練に明示的な自信スコアを組み込むPPO-Mと、過去の報酬の指数移動平均を基準に報酬スコアを補正するPPO-Cという二つの変種を提案し、どちらも標準のPPOより低いECEを、同程度の正答率で達成したと報告している（提案者自身による評価である）。Llama3-8Bを思考の連鎖（CoT：Chain-of-Thought）で解かせたGSM8Kでは、PPO-MのECEは0.1909で、標準のPPO（0.2566）より6.57ポイント低く、正答率は0.7392から0.7703へ3.11ポイント上がった（同論文 Table 1）。

ECEはほぼすべての組み合わせで下がるが、正答率は下がる組み合わせもある。同じTable 1で2モデル×2プロンプト×6データセットの24組を数えると、ECEはPPO-Mが23組・PPO-Cが24組で標準のPPOより低いのに対し、正答率はPPO-Mで11組・PPO-Cで13組が標準のPPOを下回る（下回り幅は最大2.8ポイント）。DPOモデル向けの拡張（CDPO）も、Mistral-7Bの2プロンプト×6データセットの12組中11組で標準のDPOよりECEが低いが、正答率は4組で下回る（下回り幅は最大1.3ポイント、同論文 Table 4）2。

つまりキャリブレーションの崩れは、選好最適化に必ず付いてくる代償ではなく、報酬の設計しだいで減らせるものだった。少なくとも申告確信度の過信については、報酬モデルの偏りという、作り方を変えられる部分が一つの原因になりうる。

申告のさせ方でも変わる。RLHF後のモデル（ChatGPT・GPT-4・Claude）では、内部の条件付き確率を読むより、言葉で「どれだけ自信があるか」を答えさせるほうがキャリブレーションが良いことが多い、という報告がある。TriviaQA・SciQ・TruthfulQAというQAベンチマーク上で、同論文が二乗誤差で定義するECE（差の絶対値で定義するECEとは別の指標）が、相対で約50%縮むことが多い4。

縮み幅は申告のさせ方とデータセットで変わる。序論が「50%を超えて縮む」と書くのは「先に複数の候補を挙げさせてから自信を言わせる」方式（と温度スケーリングの併用）についてだ。単に一つ答えさせて自信を言わせるだけでも、GPT系の2モデルはTriviaQAで5割以上縮むが、SciQでは1割に届かない。Claude-1とClaude-2ではSciQで逆にECEが悪化する（同論文 Table 1〜4）。この「約50%」自体はRLHF前後の比較ではなく、RLHF後のモデルの内部の条件付き確率と申告確信度の比較だ。それでも、「キャリブレーションはRLHF後には一律に取り返しがつかない」わけではない、とは言える。

もっとも、同じ論文はRLHF前後の比較も別に載せている。オープンモデルの Llama-2-70B を素の版とチャット版で比べると、対数確率のキャリブレーションはTriviaQA・SciQ・TruthfulQAのいずれでもECEで悪化した（図の説明は「おおむね（generally）悪化させる」と留保している）。著者ら自身、これをGPT-4報告書の知見の追試（replicate）だと書いている4。

ここで引いた、RLHFの前後を比べた分析は、いずれも同じ向きを指している。だからといって「RLHFは必ずキャリブレーションを壊す」と一般化するには、測られた範囲が狭すぎる。GPT-4の例は一つの多肢選択ベンチマークの一部、Tianらの追試は70Bのオープンモデル一系統、Lengらが調べたのは7〜8Bクラスの二系統だ。しかも、Lengらが手法比較の表に出発点として載せたSFTと比べると、自分で訓練した標準のPPOでECEがSFTより高いのはTable 1の24組中11組、公開済みのDPOモデルでもTable 4の12組中6組にとどまる2。加えて、GPT-4の数字を測ったのは、そのモデルを作った当人であり、報告書が測定について書いているのは図の説明にある大枠までで、部分集合の選び方や問題数は書かれていない1。GPT-4報告書の向きを外から支えているのは、別のモデルで独立に追試したTianらだ。測り方も対象も違う三者の分析だが、向きは揃っている。LengらとTianらはどちらも、この向きの先行研究としてGPT-4報告書とKadavathら（2022）を挙げている24。言えるのは「人間の選好を代理指標に置き換えて最適化すると、キャリブレーションを犠牲にする圧力がかかる」ということまでで、これは傾向であって法則ではない。

ECEは高い自信の側のズレに鈍い

ECEは自信度の水準によらず、同じ大きさのズレを同じ重みで数える線形の指標だ。ある研究は、自信55%での5ポイントのズレと自信95%での5ポイントのズレは同じ重さの失敗ではないと述べ、ECEが小さいままでも過信のリスクはいくらでも大きくなりうると指摘する3。同じ研究は代わりに、完璧なキャリブレーションのときちょうど1になる指標CSR（Calibrated Size Ratio）と、そこから導く過信リスクの確率を提案している。

同じ研究は、ECEがビンの差を答えの数で重みづけることも、高自信の側のズレを見えにくくすると書く。ビンに入るサンプル数は自信度の低い領域ほど多いので、ECEはズレがいちばん危なくない領域に引っ張られ、いちばん危ない高自信の裾に鈍くなる、という。もっとも、この研究が実データで試したのはXGBoostで作った分類器（UCIのデータセット・CIFAR-10・MNIST）で、LLMは含まれない。Lengらの測定では、RLHF後のモデルの申告確信度はむしろ自信の高いビンに集まっていた2。

ECEの限界そのものは新しい指摘ではない。Tianらも、ECEは標準的で解釈しやすい尺度だが自信の弁別力をまったく捉えられないと書き、「二値分類で常に50%と答えるランダム推測器はECEが完璧になる」という反例を挙げて、AUC（Area Under the Curve）とBrierスコアを併記している4。

別のモデルのキャリブレーションの報告を読むときは、少なくとも次の三つの点で数字の意味が変わる。ビンに入れた自信が内部確率か申告確信度か、差を絶対値で取ったか二乗で取ったか、答えが高い自信のビンと低い自信のビンのどちらに多く集まっているか、である。

出典5件

  1. OpenAI「GPT-4 Technical Report」arXiv:2303.08774, 2023. https://arxiv.org/abs/2303.08774 — 第5節の図8で、MMLUの一部でECEが0.007から0.074へ悪化（横軸は各選択肢の対数確率）。付録Bの多肢選択は73.7%→74.0%。査読を経ない自社測定で、部分集合の選び方や問題数は書かれていない。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7

  2. Leng ほか「Taming Overconfidence in LLMs: Reward Calibration in RLHF」ICLR, 2025. https://arxiv.org/abs/2410.09724 — RLHF後の過信を6データセットで示し、報酬モデルの自信スコアへの偏りを実測、補正するPPO-M・PPO-C・CDPOを提案。要旨の6.44はPPO†との差。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  3. Martin-Maroto ほか「Beyond ECE: Calibrated Size Ratio, Risk Assessment, and Confidence-Weighted Metrics」arXiv:2605.01796, 2026. https://arxiv.org/abs/2605.01796 — 未査読。ECEの式と、高自信の裾に鈍いという指摘、代替のCSRを示す。 ↩ ↩2

  4. Tian ほか「Just Ask for Calibration」EMNLP, 2023. https://arxiv.org/abs/2305.14975 — 言葉の自信のほうがキャリブレーションが良いことが多いと報告。ECEは二乗誤差で定義。Llama-2-70Bで対数確率のキャリブレーションの悪化を追試。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  5. Mielke ほか「Reducing Conversational Agents’ Overconfidence Through Linguistic Calibration」TACL 10, 2022. https://arxiv.org/abs/2012.14983 — Redditで事前学習しBlended Skill Talkで微調整したBlenderBotの確信表現は過信側と報告。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。