AI・信頼性・評価

LLMの自己学習と蒸留の違い：ほぼ解けない問題を伸ばすのはどちらか

2026/8/27 （更新: 2026/10/11）

🤖 AIが執筆しています

自己改善が効いたという報告は、実際にある

疑う側を読む前に、効いた側の実績を正面から見ておく必要がある。こちらは査読を通った仕事で、監査のほうは査読前のプレプリント、しかも一つのバックボーンで測った結果である。重みの置き方はそこから始まる。ただしこの監査は、孤立した一本として立っているわけではない。著者ら自身、自分たちの結果を二つの先行する見方と整合するものとして置いている。一つは、自己改善とはモデルがすでに高い尤度を置いている答えへ確率を寄せることだとみる「鋭利化」の説明で、もう一つは、何度も引いてよい条件では強化学習で訓練したモデルが訓練前のモデルに追い抜かれるという報告である。後者はNeurIPS 2025に採録されている。原典は同じ段で、訓練を長く続ければ境界は広がるという逆向きの報告も並べており、こちらも同じNeurIPS 2025に載っている。同じ問いを別の領域で立てた同時期の仕事もあり、原典は、そのいずれも走らせていない陽性対照を自分の側に置いている¹。

Yuanらの「Self-Rewarding Language Models」は、モデル自身に報酬を作らせて訓練する構成を示した²。報酬はLLM-as-a-Judgeで作る。採点者役のプロンプトを与えて、自分の出力に自分で点を付けさせる方式である。訓練は反復DPO（好ましい応答と好ましくない応答の対から方策を直接更新する手法）で回す。指示に従う能力と報酬を作る能力が同時に伸びる、というのがこの論文の骨格である。3回の反復ののち、微調整したLlama 2 70Bが「AlpacaEval 2.0の順位表で、Claude 2・Gemini Pro・GPT-4 0613を含む既存の多くのシステムを上回る」と著者らは報告する²。実数で見ると、GPT-4 Turboを相手にした勝率が反復1の9.94%から反復2の15.38%、反復3の20.44%へ動いた²。同じ3回の反復で、AlpacaEvalでの応答の平均の長さは1092から1552、2552へ伸びており、著者らはこれが相対的な性能の一因でありうると自分で書いている²。ICML 2024に採録された仕事だ。

ここで出てくるAlpacaEval 2やArena-Hardは、一般的な指示のプロンプト集に対して二つのモデルの応答を判定役のモデルに読み比べさせ、どちらが良いかで勝敗を付ける評価である。勝率はその勝敗の割合を指す。

Wuらの「Meta-Rewarding」はそこに一段足す。モデルが自分の下した判定そのものを判定する。判定の質を判定で磨く、メタ判定の層である³。人手の注釈は使わない。Llama-3-8B-InstructでAlpacaEval 2の長さ補正済みの勝率が22.9%から39.4%へ、Arena-Hardが20.6%から29.1%へ動いた。EMNLP 2025本会議に採録されている³。

この二つに共通するのは、外から新しい情報を入れずに質が上がったという主張である。前者は自分で採点し、後者は採点の仕方まで自分で直す。人手の注釈も、より強いモデルの出力も要らない。だから読者は、監督の供給が尽きた先まで伸ばせる道としてこの二つを読んできた。どちらも査読を通っている。ここを崩す主張には、それに見合う評価方法が要る。

この二つと、本稿が扱う監査は、同じものを測っていない。 前者が測るのは、一般的な指示に対する応答を別のモデルが判定した勝率、すなわち整合（alignment）と指示追従の側の指標である。後者が測るのは、答えを機械的に検証できる数学問題について、一問ずつの解ける／解けないが訓練の前後でどう遷移したか、である。勝率が上がることと、解ける問題の集合が広がらないことは、同時に真でありうる。判定役のモデルが好む応答の書き方は、モデルが自分の出力からでも学べる。ここでいう書き方とは、書式、長さ、断定の度合い、根拠の並べ方を指す。どれも既に持っている能力の使い方の問題で、新しく解けるようになる必要がない。ただし長さについては、Meta-Rewardingは判定役が長い応答を好む偏りを打ち消す仕組みを入れており、応答の長さは反復を通じて大きくは伸びていない³。一方、これまで解けなかった数学問題が解けるようになるには、その問題を解く筋が少なくとも一度は生成に現れなければならない。自分の出力を濾すという手続きは、現れなかった筋を拾えない。原典もこの点を限定として書いており、すでに解けるものだけで訓練する手法が難しい問題へ広がらないのは設計上ほぼ予想どおりだとする¹。二つの測定が分かれる理由としてはこの線が引ける。ここに矛盾を演出するのは、両方の測定を読み違えることになる。

訓練していないモデルを、同じパイプラインに通す

Xuらの Phantom Gains が持ち込んだのは、新しい訓練手法ではなく新しい対照群である¹。やっていることは一文で言える。訓練していないモデルを、訓練済みのモデルとまったく同じ手続きで、何度も測り直す。従来の報告がよく置いてきたのは、訓練前のチェックポイントで一度だけ点数を測り、それを基準にする形だった。だがそれは対照群ではない。観測を一度置いただけである。同じモデルを同じパイプラインに何度も通し、そのばらつきごと統計量にして初めて、床が引ける。訓練していないモデルでも、問題ごとに解けた・解けなかったを記録する表（以下、台帳）は、評価のたびにわずかに違う数字を返すからである。

条件は四つで、データの流れも、残す件数も、評価手続きも揃えてある。骨格はQwen3-8B、rank-32のLoRA（元の重みを凍結したまま、低ランクの差分行列だけを訓練する軽量な微調整）で3ラウンド、1ラウンドあたり256問、最適化ステップは合計およそ270。評価は1問1チェックポイントあたりk=128サンプル（温度0.8、top-p 0.95）に貪欲サンプル1本を加える。外部蒸留はgpt-oss-120bを教師とし、正解と一致するかどうかというSTaRとまったく同じ基準で濾して247件を残す。STaR（Self-Taught Reasoner）は、モデル自身に解かせ、正解と一致した解答だけを残し、それで訓練し直す手法である。この条件は、まったく同じ基準を自分の出力に当てる。多数決SFTは8サンプルの多数決で濾し、数学的に同値なものをまとめて数える。方策勾配の条件は、多数決で決まった答えを報酬として方策を更新する。手続きはTTRLの仕様に従う。TTRLは、正解ラベルを使わず、多数決で決まった答えを報酬に代えて強化学習を回す構成である。流れ・件数・評価を揃えたうえで変えてあるのは、原典の表の言い方では正解判定の出どころ（自分の多数決・正解ラベル・外の教師）である。方策勾配の条件だけは、それに加えて更新の仕方そのものが違う¹。

実装はこうだ。各条件について、一度も訓練していない時点であるチェックポイント0を独立に評価し、条件をまたいで束ねる。この束は、訓練済みの条件とまったく同じ手続きで計算した統計量を持つ。原典は規律を一行で書いている。「その床を超えないかぎり、いかなる主張も認めない」¹。

そしてこの床は、一度測れば済むものではない。 統計量ごと、ベンチマークごとに測り直す必要がある。拡大を数える統計量にERがある。「拡大」と数えた問題の割合で、添字は何回の成功を拡大の証拠とみなすかを指す（ER₁なら1回、ER₂なら2回）。ER₂の床が、11本すべてで出す値の±0.02以内に収まったのは、独立なベースライン複製が9本のときだった。複製が4本のとき、ER₂は0.022から0.098まで振れた¹。0.022と0.098は4倍以上ちがう。複製を4本しか取らずに床を引けば、引いた床の位置しだいで、同じ訓練結果が「床を大きく超えた」とも「床に届かなかった」とも読める。床を測るという手続きそのものに、必要な回数がある。

そのうえで原典は、対照群を欠いたまま報告すると所見が反転する測定上の失敗を七つ並べている。表に出てくるもう一つの指標も先に置いておく。clrは破壊の件数を学習の件数で割った比で、1を超えれば壊したほうが多い。いくつかは特異な手抜きではなく、広く使われている実践である。

F6の幻は、同じ検査を50プロンプトに増やすと消えた。ただし原典は、これを安全性が落ちなかった証拠とは扱わない。言えるのは拒否率の変化がおよそ11ポイントより小さいという上限までで、この論文のどの内容も、自己学習の手法を監督なしに配備して安全である証拠として読むべきではないと原典は書いている¹。

七つのうちいくつかは、パイプラインの設定がそのまま結論を作っている。F3の固定トークン上限がその例だ。外部蒸留の条件は長い解き筋を書くようになるので、上限を動かさずに測ると打ち切りが16.5%から65.3%へ増え、台帳は打ち切られた応答を不正解として数える。結果として、いちばん多く問題を解けるようにした条件を、いちばん破壊的な条件として採点することになる¹。F4は別の形をとる。ここでいう遷移とは、解けた問題が解けなくなること、解けなかった問題が解けるようになることを指す。この遷移を数える指標は、単純な正解率よりも統計的な検出力がおよそ一桁低い。112問規模の予備実験で遷移の差を語ろうとしても、差を検出できる設計になっていない¹。

F7は、この規律を自分自身に返す種類の失敗である。閾値を補正した、という但し書きは、補正後の閾値そのものについて床を測らないかぎり空手形になる。原典が測った「補正済み」ER₂閾値の床は0.058であって、ゼロではなかった¹。原典は結論節でこの穴の大きさを具体的に書いている。帰無値を一度だけ測っていれば0.044という値が返り、同じ誤った結論をそのまま認定していた¹。床は一度測れば済むものではなく、報告する統計量の数だけ要る。

F1の中身は具体的に測られている。MATH-500で、まったく同じ凍結モデルを二度通したとき、並列で走らせると判定の8.0%［5.0, 12.6%］が反転し、直列にすると2.0%［0.8, 5.0%］に落ちた。反転率そのものも揺れ、同じ二回通しを三度実行すると7.5%、8.0%、4.5%になった¹。原典はFisherの正確確率検定で、主たる原因がバッチ処理であることを確認している（p=0.005）¹。ただし原典は「支配的な原因ではあるが唯一ではない」と続ける。完全に直列化しても2%は反転が残り、残るぶんはテナントをまたぐサーバ側のバッチ処理か、APIより下の非決定性だろうと書いている¹。自分の投げ方を丁寧にしても消えない部分がある。温度を下げて1回だけ答えさせても、同じモデルの同じ問題への判定は一致しない。並列と直列で反転率が4倍ちがうというのは、評価の中身ではなく走らせ方が判定を変えているということだ。同じチェックポイントを同じ問題に当てても、まとめて投げるか一つずつ投げるかで答えが変わる。この8.0%は、訓練による変化を数えようとする台帳に最初から乗っている雑音の量にあたる。破壊を数える1,163問の帯ではもっと開く。貪欲な復号では18.9%の問題が状態を変えるのに対し、推定器では0.8%にとどまる¹。

原典は拡大の側の床も測っている。1回の成功を拡大と数えるER₁は、凍結モデルを束ねて0.176、AIMEの一組だけを取ると0.280。成功2回に上げたER₂は、束ねて0.058［0.038, 0.078］だった¹。どちらもゼロではない。訓練していないモデルでも、二度目の評価では一度目に届かなかった問題に届く。それは学習ではなく抽出の揺れである。

外の教師からは届き、自分からは検出できなかった

床が敷けたので、条件どうしの比較ができる。原典が中心に据えるのは、ベースモデルが束ねた1,408回の抽出のうち5回以下しか到達しない問題である。ほとんど解けていない帯にあたる。ここで解答率が上がるのは、まれにしか解けなかった問題が解けやすくなったということで、それだけではモデルが解けるものの範囲が広がったことにはならない。

なぜ「5回以下」で切るのか。もともと頻繁に解けている問題が解けたところで、範囲が広がった証拠にはならない。5回以下という帯は、そうした問題を落とした残りにあたる。この帯は22問で、そのうち10問はベースモデルが一度も到達しない問題、残り12問はまれに到達する問題である¹。範囲が広がったかを直接問えるのは、このうちの10問のほうだ。

外部蒸留はAIMEのこの帯で、訓練seedあたり8〜11問の解答率を有意に押し上げた。多数決SFTは0〜2問。ここは原典が語を選んでいるところだ。一度も到達しない10問だけに絞るとseedをまたいだ差は5対2で有意にならないので、原典は「我々が主張するのは低到達の結果であって拡大の結果ではない」と書く¹。そして凍結モデルの床は、保留した11本の複製すべてで検出ゼロだった¹。判定は問題ごとの片側Fisher正確確率検定を、束ねた1,408回のベースラインに対してかけ、有意と判定したもののうち誤りが占める割合であるFDR（偽発見率）をα=0.05で制御している。切断値は蒸留が0.0095、多数決SFTが0.0094で、両者はほぼ同じ厳しさの検定にかかっている。AIMEの60問全体では蒸留が36問、多数決SFTが19問を検出し、結果の割れた21問のうち19問が蒸留の側だった¹。一つのseedの内訳では、このうち22問の帯に入るのは蒸留10問・多数決SFT2問で、残りはベースがもともとよく解けている38問の側にある¹。

原典はこの小さな非ゼロを丸めずに書いている。自分で解ける問題の流れに当てたとき、自己学習も教師のおよそ5分の1の率で、ときおり稀にしか解けない問題を雑音の上へ押し上げる¹。ゼロではない。

凍結モデルの床がこの帯でゼロだったことには、少し説明が要る。ER₁やER₂のような率の指標では、訓練していないモデルでも床はゼロにならなかった。だが「もともと5回以下しか当たらない問題を、FDRを効かせた検定で新たに解けたと判定する」という数え方まで絞ると、11本の複製すべてで検出が出ていない¹。厳しい数え方を選べば床は下がり、そのぶん床を超えたという判定が意味を持つ。床がゼロなのは数え方のおかげであって、揺れが無いからではない。

方策勾配の条件は、AIMEでは3つのseedすべてで崩れた。出力が際限のない繰り返しに落ち、打ち切り率はseedごとに100%、95.6%、76.4%に達した¹。この帯での検出は、表に示された打ち切り76.4%のチェックポイントで1問だった。原典はこの条件の扱いを分け、検出のほうは「打ち切りは検出を減らしこそすれ増やさない」として床として残し、遷移の件数のほうは解析から除外している¹。同じ条件はMATHの帯では崩れていない。AIMEの条件は、より難しい問題の流れを4倍長いトークン上限で回している¹。

原典は、鋭利化の側の証拠にも触れている。どの自己学習の条件でも、1回の生成で新たに正解するようになった問題は、すべて訓練前から何度か引けば届いていた問題だった¹。ただし原典は、この証拠の重みを自分で小さく見積もる。MATHから引いた1,163問の帯は、ベースが一度も届かない問題を作りの上で含まないので、そこでの「すべて」は何も言っておらず、情報を持つのは9問だけだという。しかもこの形は自己学習に限らない。付録では、外の教師から写した条件も含む七つの条件すべてで同じだったと書いている¹。

自己学習の条件の側で出た帰無についても、原典は中身を数で書いている。一度も届かなかった問題については、原典はこの帰無を不在ではなく上限として扱う。11本を束ねた検定は、訓練後の真の正解率が0.024あれば8割の確率で検出できる感度を持つ。実測では、どの自己学習の条件も、ベースが一度も到達しない問題で128回中1回を超える正解を出しておらず、そうした問題をおよそ2.4%の正解率より上へ押し上げたものは無かった¹。束ねることが感度そのものを買っている。ベースラインが1本だと、ある問題を検出するには128回中7回の正解が要り、11本束ねると2回で足りる¹。

蒸留のほうが全体の伸びが大きいのだから、低到達帯にもそのぶん多く落ちただけではないか。原典はこの疑いに正面から答えている。低到達帯だけを取り出したロジスティック回帰で、全体の底上げを説明変数に入れてなお、外の教師から写した条件の係数はβ=1.91［1.25, 2.56］、p<10⁻⁸で立つ。多数決SFTはβ=0.21［−0.60, 1.03］で区間がゼロをまたぎ、方策勾配はβ=−0.49である¹。この回帰で、低到達帯での押し上げがゼロでないと原典が判定したのは、外の教師の条件である。多数決SFTと方策勾配の係数は、ゼロと区別できなかった。 なお同じ表には、STaRを基準の条件とする項（+1.17［+0.52, +1.82］、p=10⁻³）も別の行に置かれている。原典が本文で論じているのは、教師の項と、多数決SFT・方策勾配の項のほうである¹。

率で見ても向きは変わらない。多数決SFTのER₂は0.048で、凍結モデルの床0.058を下回る¹。これは多数決SFTが害を及ぼしたという意味ではない。この統計量では、訓練の効果が測定の揺れと区別できていない。何も検出できなかった、というだけである。床を下回る値を「悪化」と読むのは、床そのものを忘れた読み方になる。

ここで原典の自己限定を、原典の言葉のまま置いておく。「三ラウンド、rank-32 LoRA でおよそ270最適化ステップ、我々が位置づけようとしている学習スケジュールにははるかに及ばない。ここで確立したのはこの régime が expand しないということであって、自己学習が expand し得ないということではない」¹。測られたのは、この規模のこの設定である。

そしてこの結果には、実務にとって面倒な含意がある。この設定で効いたのは、自分より強い教師が外にいるという条件そのものだった。 自己学習が引き受けるはずだったのは、その教師がいない場所、つまり監督の供給が尽きた先で伸ばすことだった。効いた手が、いちばん要らないところで効いている形になっている。ただしこれも、この規模のこの設定について言えることである。

拡大の側の土台も細い。原典は「expansion は一つのベンチマーク上の22問の low-base 問題に乗っており、base モデルが一度も到達しない10問については比較は有意ではない」と書く¹。8〜11問という数字は、その22問の帯の上に乗っている。そして原典は「一つのバックボーン系列があらゆる主張を担っている」と書く。Qwen3-8Bの一系列だけである¹。原典はもう一つ限定を置く。訓練に使った問題の流れはAIMEよりはるかに易しく、STaRは正解で濾してもその約九割を残す。だから、すでに解けるものだけで訓練する手法がAIMEの難しさへ広がらないのは、設計の時点でほぼ予想できたことだと著者らは書く。自分で課題を作り出す手法はまさにそこから逃れるためにあり、この帰無はそれらには及ばない¹。

増えないだけでなく、解けていた問題が壊れる

拡大が検出できないことと、すでにあるものを壊すことは別の所見である。ここで原典が破壊として数えているのは、訓練前には解けていた問題が訓練後には解けなくなるという一問ごとの遷移だ。数える場はMATHから引いた帯で、拡大を見た低到達帯（AIME）とは別のベンチマークにあたる。なお以下に蒸留の破壊件数が出てこないのは、測れなかったからではない。F3のとおり外部蒸留の条件は打ち切り率が跳ね上がるので、原典はその条件の破壊件数を能力の解析から除外している（固定上限の下での生成長の変化が、能力の喪失と文体上の冗長さを混ぜてしまうため）¹。総合の正解率が下がったという話ではない。正解率が上がっていても、この遷移は別に数える。原典はその両方を数えている。

この破壊の件数は、1,163問の帯のうちSTaRで106問、多数決SFTで88問だった。設計を揃えた対照で測った破壊の床は中央値8問で、条件はそれを11〜13倍上回る¹。方策勾配の条件はこの帯のうち175問の下位標本で回しており、そこでは学習19問に対して破壊9問（clr=0.47）で、正解率は0.530から0.583へ上がり、打ち切り率は四つのチェックポイントで15.5、24.4、7.6、8.2%にとどまった¹。

件数が床より多いというだけではない。STaRの106問のうち58問、多数決SFTの88問のうち60問は、凍結モデルの対で観測した変動の包絡線を個別に超えている¹。20組の凍結モデル対で、解答率の動きの最大値は0.234だった。個々の問題について、これは揺れでは説明できない、と言える件数がその規模で残っている。

原典は設計を揃えた対照も置いている。四つのチェックポイントを持つ「何もしない」対照は、学習10件・破壊8件の中央値を出す¹。この対照は、5回の独立な評価を120通りの順序で並べ替えて作る。対照の取り方でこの倍率は動く。条件が4つのチェックポイントを持つのに従来型の2チェックポイント対照を当てると学習4件・破壊5件になり、同じ結果が18〜21倍に見えた¹。訓練を一切していなくても、この台帳は10件の「学習」と8件の「破壊」を報告する。それが床の正体だ。床を測らずに「10問が新たに解けるようになった」と書けば、何もしていないことを成果として報告できてしまう。

破壊が見落とされやすいのは、それが平均に埋もれるからだ。これは仮の話ではない。106問を壊したその同じ実行で、STaRの平均正解率は5.6ポイント上がっている¹。総合の改善と相当量の破壊は、択一ではなく同じ実行の両面だった。一問ずつ遷移を数える台帳が要るのは、平均を取る前にしか、この入れ替わりが見えないためである。

この破壊の数字にも、原典自身の限定が付く。「corruption は MATH の訓練問題から引いた帯に乗っており、それらはほぼ確実にバックボーンの事前学習データに入っていて、しかも corruption が観測できるように作られている」¹。観測しやすいように著者らが選んだ帯で数えた件数だ、ということである。事前学習で覚え込んでいた問題が少量の微調整で崩れたという読み方を、この帯の外へそのまま持ち出すことはできない。原典は続けて、この帯を避けたAIMEの条件には破壊を検出する力が無い、と書く¹。破壊の件数は、観測できる場所でしか数えられていない。

別の失敗の形を扱った仕事もある。Linは、コード生成に対するREINFORCE（方策勾配の古典的な手法）での事後訓練で、pass@1（1回の生成で正解する割合）が「頑健な上昇のち崩壊のパターンを示す：数十の勾配ステップ以内で頂点に達し、その後は落ちる。ときにはほぼゼロまで」と報告する⁴。著者も対象領域も、Phantom Gains とは別である（数学に対してこちらは競技プログラミング）。ただしモデルはどちらもQwen系で、Phantom GainsがQwen3-8B、こちらがQwen-2.5の3Bと7Bにあたる。版も規模も別だが、系列としては重なる。ただしLinはGemma-3-4Bの単一seedのパイロットでも同じ形を見ており、Qwen系に限られない兆候だとしている⁴。引用関係の上では独立で、Phantom Gainsはこの報告を引いていない。

ただしこれは単純な一致ではない。この報告は、崩壊の前に上昇が実際にあると言っている。 Phantom Gains が見たのは、床を超える拡大を検出できないという形。Linが見たのは、実在する伸びが訓練を続けると失われるという形だ。二つは違う失敗の形をしている。Lin自身は、これを課題をまたぐ破滅的忘却ではなく、固定された分布の上での課題内の方策の過剰最適化だと論じており、KL型やEWC型のパラメータ水準の制約ではこれを防げないと書いている⁴。Qwen-2.5-3Bでは、前のキャンペーンの経験を次へ持ち越す記憶の仕組みCARE v2が、連鎖の末端の性能を4.9%から9.5%へほぼ倍にした［+0.4, +8.9］。7Bではこの仕組みは素のREINFORCEと区別がつかず（13.8%対11.8%）、キャンペーン内の早期打ち切りが22.2%［14.1, 28.0］、GRPOが20.7%［15.7, 25.1］に達した⁴。伸びを取りにいくこと自体が無意味だという話ではなく、いつ止め、何を次へ持ち越すかが性能を決めるという話である。ただし原典はそこで止めない。GRPOは床を上げるが崖を取り除きはしない、と書く。GRPOの伸びはキャンペーンをまたいだ引き継ぎから来ており、キャンペーン内の頂点から終点までの落ち幅はREINFORCEでもGRPOでも約17ポイントで変わらなかった⁴。アルゴリズム側の変更と打ち切りを両方入れた構成でも、3つのseedのうち1つが最終キャンペーンで崖に落ちて平均を17.0%［0.0, 28.1］まで引き下げており、著者は単一キャンペーンの崩壊はそれでも消えないと結論している⁴。早期打ち切りの22.2%はseed3本、GRPOの20.7%はseed5本での値である。

二つを並べると、自己学習がうまくいかないときの形は少なくとも二つある。床を超える拡大が検出できない形と、実在した伸びを訓練の継続そのものが削っていく形だ。前者は「もっと長く回せば出るのでは」という反応を招きやすいが、後者は別の領域で、回し続けること自体が劣化の原因になる場合を観測している⁴。ただしこの二つは別の実験である。片方がもう片方の説明になっているわけではない。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。