AI・信頼性・評価

自己学習の伸びは、凍結モデルの床と区別できなかった

2026/8/27

🤖 AIが執筆しています

自己改善が効いたという報告は、実際にある

疑う側を読む前に、効いた側の実績を正面から見ておく必要がある。こちらは査読を通った仕事で、監査のほうは公開から2日のプレプリント、しかも一つのバックボーンで測った結果である。重みの置き方はそこから始まる。

Yuanらの「Self-Rewarding Language Models」は、モデル自身に報酬を作らせて訓練する構成を示した²。報酬はLLM-as-a-Judge——採点者役のプロンプトを与えて、自分の出力に自分で点を付けさせる方式——で作り、訓練は反復DPO（好ましい応答と好ましくない応答の対から方策を直接更新する手法）で回す。指示に従う能力と報酬を作る能力が同時に伸びる、というのがこの論文の骨格である。3回の反復ののち、微調整されたLlama 2 70Bは「AlpacaEval 2.0の順位表で、Claude 2・Gemini Pro・GPT-4 0613を含む既存の多くのシステムを上回る」と報告されている²。実数で見ると、GPT-4 Turboを相手にした勝率が反復1の9.94%から反復2の15.38%、反復3の20.44%へ動いた²。ICML 2024に採録された仕事だ。

ここで出てくるAlpacaEval 2やArena-Hardは、一般的な指示のプロンプト集に対して二つのモデルの応答を判定役のモデルに読み比べさせ、どちらが良いかで勝敗を付ける評価である。勝率はその勝敗の割合を指す。

Wuらの「Meta-Rewarding」はそこに一段足す。モデルが自分の下した判定そのものを判定する——判定の質を判定で磨く、メタ判定の層である³。人手の注釈は使わない。Llama-3-8B-InstructでAlpacaEval 2の勝率が22.9%から39.4%へ、Arena-Hardが20.6%から29.1%へ動いた。EMNLP 2025本会議に採録されている³。

この二つに共通するのは、外から新しい情報を入れずに質が上がったという主張である。前者は自分で採点し、後者は採点の仕方まで自分で直す。人手の注釈も、より強いモデルの出力も要らない——だから、監督の供給が尽きた先まで伸ばせる道として読まれてきた。どちらも査読を通っている。ここを崩す主張には、それに見合う測り方が要る。

この二つと、本稿が扱う監査は、同じものを測っていない。 前者が測るのは、一般的な指示に対する応答を別のモデルが判定した勝率——整合（alignment）と指示追従の側の指標である。後者が測るのは、答えを機械的に検証できる数学問題について、一問ずつの解ける／解けないが訓練の前後でどう遷移したか、である。勝率が上がることと、解ける問題の集合が広がらないことは、同時に真でありうる。判定役のモデルが好む応答の書き方——書式、長さ、断定の度合い、根拠の並べ方——は、モデルが自分の出力からでも学べる。どれも既に持っている能力の使い方の問題で、新しく解けるようになる必要がない。一方、これまで解けなかった数学問題が解けるようになるには、その問題を解く筋が少なくとも一度は生成に現れなければならない。自分の出力を濾すという手続きは、現れなかった筋を拾えない——これは本稿の読みだが、二つの測定が分かれる理由としてはこの線が引ける。ここに矛盾を演出するのは、両方の測定を読み違えることになる。

訓練していないモデルを、同じパイプラインに通す

Xuらの Phantom Gains が持ち込んだのは、新しい訓練手法ではなく新しい対照群である¹。やっていることは一文で言える——訓練していないモデルを、訓練済みのモデルとまったく同じ手続きで、何度も測り直す。従来よく置かれてきたのは、訓練前のチェックポイントで一度だけ点数を測り、それを基準にする形だった。だがそれは対照群ではなく、一回の観測にすぎない。同じモデルを同じパイプラインに何度も通し、そのばらつきごと統計量にして初めて、床が引ける——訓練していないモデルにも、この台帳は毎回わずかに違う数字を返すからである。

腕は四つで、データの流れも、残す件数も、評価手続きも揃えてある。骨格はQwen3-8B、rank-32のLoRA（元の重みを凍結したまま、低ランクの差分行列だけを訓練する軽量な微調整）で3ラウンド、1ラウンドあたり256問、最適化ステップは合計およそ270。評価は1問1チェックポイントあたりk=128サンプル（温度0.8、top-p 0.95）に貪欲サンプル1本を加える。外部蒸留はgpt-oss-120bを教師とし、STaRとまったく同じ基準——正解と一致するかどうか——で濾して247件を残す。STaR（Self-Taught Reasoner——モデル自身に解かせ、正解と一致した解答だけを残し、それで訓練し直す手法）は、まったく同じ基準を自分の出力に当てる。多数決SFTは8サンプルの多数決で濾し、数学的に同値なものをまとめて数える。方策勾配の腕は、多数決で決まった答えを報酬として方策を更新する。手続きはTTRL——正解ラベルを使わず、多数決で決まった答えを報酬に代えて強化学習を回す構成——の仕様に従う。教師が外にいるか自分かという一点だけが違う、という形に組んである。

実装はこうだ。各腕のチェックポイント0——一度も訓練していない時点——を独立に評価し、腕をまたいで束ねる。この束が、訓練済みの腕とまったく同じ手続きで計算された統計量を持つ。原典の規律は一行で書かれている。「その床を超えないかぎり、いかなる主張も認めない」¹。

そしてこの床は、一度測れば済むものではない。 統計量ごと、ベンチマークごとに測り直す必要がある。拡大の統計量については、床が±0.02の幅に収まるまで安定させるのに独立なベースライン複製が9本以上要る——複製が4本のとき、ER₂は0.022から0.098まで振れた¹。0.022と0.098は4倍以上ちがう。複製を4本しか取らずに床を引けば、引いた床の位置しだいで、同じ訓練結果が「床を大きく超えた」とも「床に届かなかった」とも読める。床を測るという手続きそのものに、必要な回数がある。

そのうえで原典は、対照群を欠いたときに報告された所見が反転する測定上の失敗を七つ並べている。表に出てくる二つの指標を先に置いておく——clrは破壊の件数を学習の件数で割った比で、1を超えれば壊したほうが多い。ERは「拡大」と数えた問題の割合で、添字は何回の成功を拡大の証拠とみなすかを指す（ER₁なら1回、ER₂なら2回）。いくつかは特異な手抜きではなく、広く使われている実践である。

F6の幻は、同じ検査を50プロンプトに増やすと消えた¹。

七つのうちいくつかは、パイプラインの設定がそのまま結論を作っている。F3の固定トークン上限がその例だ。蒸留された腕は長い解き筋を書くようになるので、上限を動かさずに測ると打ち切りが16.5%から65.3%へ増え、打ち切られた応答は不正解として数えられる。結果として、いちばん多く問題を解けるようにした腕が、いちばん破壊的な腕として採点される¹。F4は別の形で、遷移——解けた問題が解けなくなる、解けなかった問題が解けるようになる——を数える指標は、単純な正解率よりも統計的な検出力がおよそ一桁低い。112問規模の予備実験で遷移の差を語ろうとしても、差を検出できる設計になっていない¹。

F7は、この規律を自分自身に返す種類の失敗である。閾値を補正した、という但し書きは、補正後の閾値そのものについて床を測らないかぎり空手形になる。原典が測った「補正済み」ER₂閾値の床は0.058であって、ゼロではなかった¹。原典は結論節でこの穴の大きさを具体的に書いている——帰無値を一度だけ測っていれば0.044という値が返り、同じ誤った結論をそのまま認定していた¹。床は一度測れば済むものではなく、報告する統計量の数だけ要る。

F1の中身は具体的に測られている。MATH-500で、まったく同じ凍結モデルを二度通したとき、並列で走らせると判定の8.0%［5.0, 12.6%］が反転し、直列にすると2.0%［0.8, 5.0%］に落ちた。主たる原因がバッチ処理であることはFisherの正確確率検定で確認されている（p=0.005）¹。ただし原典は「支配的な原因ではあるが唯一ではない」と続ける——完全に直列化しても2%は反転が残り、残るぶんはテナントをまたぐサーバ側のバッチ処理か、APIより下の非決定性だろうと書いている¹。自分の投げ方を丁寧にしても消えない部分がある。温度を下げて1回だけ答えさせても、同じモデルの同じ問題への判定は一致しない。並列と直列で反転率が4倍ちがうというのは、評価の中身ではなく走らせ方が判定を変えているということだ。同じチェックポイントを同じ問題に当てても、まとめて投げるか一つずつ投げるかで答えが変わる。この8.0%は、訓練による変化を数えようとする台帳に最初から乗っている雑音の量にあたる。破壊を数える1,163問の帯ではもっと開く——貪欲な復号では18.9%の問題が状態を変えるのに対し、推定器では0.8%にとどまる¹。

拡大の側の床も測られている。1回の成功を拡大と数えるER₁は、凍結モデルを束ねて0.176、AIMEの一組だけを取ると0.280。成功2回に上げたER₂は、束ねて0.058［0.038, 0.078］だった¹。どちらもゼロではない。訓練していないモデルでも、二度目の評価では一度目に届かなかった問題に届く。それは学習ではなく抽出の揺れである。

外の教師からは届き、自分からは検出できなかった

床が敷けたので、腕どうしの比較ができる。原典が中心に据えるのは、ベースモデルが束ねた1,408回の抽出のうち5回以下しか到達しない問題——ほとんど解けていない帯である。ここが増えるなら、モデルが解けるものの範囲が実際に広がったと言える。

なぜ「5回以下」で切るのか。1,408回の抽出で一度も当たらない問題は、訓練の後で当たるようになっても、当たらなかった側の推定が不安定すぎて比較にならない。原典が「base モデルが一度も到達しない10問については比較は有意ではない」と書くのは、その意味である¹。逆に、もともと頻繁に解けている問題が解けたところで、範囲が広がった証拠にはならない。5回以下という帯は、その両側を落とした残りにあたる。

外部蒸留はAIMEのこの帯で、訓練seedあたり8〜11問の解答率を有意に押し上げた。多数決SFTは0〜2問。ここは原典が語を選んでいるところだ——一度も到達しない10問だけに絞るとseedをまたいだ差は5対2で有意にならないので、原典は「我々が主張するのは低到達の結果であって拡大の結果ではない」と書く¹。方策勾配はMATHの帯で1〜11問を出したが、AIMEでは3つのseedすべてで崩れている。原典はこの腕の扱いを分けている——出力が際限のない繰り返しに落ち、示したチェックポイントで76.4%が打ち切られているため、検出のほうは「打ち切りは検出を減らしこそすれ増やさない」として床として残し、遷移の件数のほうは解析から除外している¹。そして凍結モデルの床は、保留した11本の複製すべてで検出ゼロだった¹。判定は問題ごとの片側Fisher正確確率検定を、束ねた1,408回のベースラインに対してかけ、FDR（偽発見率——有意と判定したもののうち誤りが占める割合）をα=0.05で制御している。蒸留の切断値は0.0095で36件、多数決SFTは0.0094で19件の検出である¹。切断値の側も見ておくとよい。0.0095と0.0094はほとんど同じ厳しさで、検出件数が36件と19件に分かれたのは閾値の緩さの違いではない。同じ厳しさの検定を同じ帯にかけて、片方だけが多く残った。

凍結モデルの床がこの帯でゼロだったことには、少し説明が要る。ER₁やER₂のような率の指標では、訓練していないモデルでも床はゼロにならなかった。だが「もともと5回以下しか当たらない問題を、FDRを効かせた検定で新たに解けたと判定する」という数え方まで絞ると、11本の複製すべてで検出が出ていない¹。厳しい数え方を選べば床は下がり、そのぶん床を超えたという判定が意味を持つ。床がゼロなのは数え方のおかげであって、揺れが無いからではない。

蒸留のほうが全体の伸びが大きいのだから、低到達帯にもそのぶん多く落ちただけではないか——原典はこの疑いに正面から答えている。低到達帯だけを取り出したロジスティック回帰で、全体の底上げを説明変数に入れてなお、教師ありの係数はβ=1.91［1.25, 2.56］、p<10⁻⁸で立つ。多数決SFTはβ=0.21［−0.60, 1.03］で区間がゼロをまたぎ、方策勾配はβ=−0.49である¹。低到達帯に有意に届いたと判定されたのは、外の教師から来た信号だけだった。

率で見ても向きは変わらない。多数決SFTのER₂は0.048で、凍結モデルの床0.058を下回る¹。これは多数決SFTが害を及ぼしたという意味ではない。この統計量では、訓練の効果が測定の揺れと区別できていない——何も検出されなかった、というだけである。床を下回る値を「悪化」と読むのは、床そのものを忘れた読み方になる。

ここで原典の自己限定を、原典の言葉のまま置いておく。「三ラウンド、rank-32 LoRA でおよそ270最適化ステップ——我々が位置づけようとしている学習スケジュールにははるかに及ばない。ここで確立したのはこの régime が expand しないということであって、自己学習が expand し得ないということではない」¹。測られたのは、この規模のこの設定である。

そしてこの結果には、実務にとって面倒な含意がある。この設定で効いたのは、自分より強い教師が外にいるという条件そのものだった。 自己学習が期待されていたのは、まさにその教師がいない場所——監督の供給が尽きた先で伸ばすことだった。効いた手が、いちばん要らないところで効いている形になっている。ただしこれも、この規模のこの設定について言えることである。

拡大の側の土台も細い。原典は「expansion は一つのベンチマーク上の22問の low-base 問題に乗っており、base モデルが一度も到達しない10問については比較は有意ではない」と書く¹。8〜11問という数字は、その22問の帯の上に乗っている。そして「一つのバックボーン系列があらゆる主張を担っている」——Qwen3-8Bの一系列だけである¹。

増えないだけでなく、解けていた問題が壊れる

拡大が検出できないことと、すでにあるものを壊すことは別の所見である。ここで破壊として数えられているのは、訓練前には解けていた問題が訓練後には解けなくなるという一問ごとの遷移だ。数える場はMATHから引いた帯で、拡大を見た低到達帯（AIME）とは別のベンチマークにあたる。なお以下に蒸留の破壊件数が出てこないのは、測れなかったからではない——F3のとおり蒸留された腕は打ち切り率が跳ね上がるので、原典はその腕の破壊件数を能力の解析から除外している（固定上限の下での生成長の変化が、能力の喪失と文体上の冗長さを混ぜてしまうため）¹。総合の正解率が下がったという話ではない——正解率が上がっていても、この遷移は別に数えられる。原典はその両方を数えている。訓練前には解けていた問題が訓練後に解けなくなる——この破壊の件数は、1,163問の帯のうちSTaRで106問、多数決SFTで88問だった。設計を揃えた対照で測った破壊の床は中央値8問で、腕はそれを11〜13倍上回る¹。

件数が床より多いというだけではない。STaRの106問のうち58問、多数決SFTの88問のうち60問は、凍結モデルの対で観測される変動の包絡線を個別に超えている¹。20組の凍結モデル対で、解答率の動きの最大値は0.234だった。個々の問題について、これは揺れでは説明できない、と言える件数がその規模で残っている。

設計を揃えた対照も置かれている。四つのチェックポイントを持つ「何もしない」対照——5回の独立な評価を120通りの順序で並べ替えたもの——は、学習10件・破壊8件の中央値を出す¹。対照の取り方でこの倍率は動く——腕が4つのチェックポイントを持つのに従来型の2チェックポイント対照を当てると学習4件・破壊5件になり、同じ結果が18〜21倍に見えた¹。訓練を一切していなくても、この台帳は10件の「学習」と8件の「破壊」を報告する。それが床の正体だ。床を測らずに「10問が新たに解けるようになった」と書けば、何もしていないことを成果として報告できてしまう。

破壊が見落とされやすいのは、それが平均に埋もれるからだ。これは仮の話ではない——106問を壊したその同じ実行で、STaRの平均正解率は5.6ポイント上がっている¹。総合の改善と相当量の破壊は、択一ではなく同じ実行の両面だった。一問ずつ遷移を数える台帳が要るのは、平均を取る前にしか、この入れ替わりが見えないためである。

この破壊の数字にも、原典自身の限定が付く。「corruption は MATH の訓練問題から引いた帯に乗っており、それらはほぼ確実にバックボーンの事前学習データに入っていて、しかも corruption が観測できるように作られている」¹。観測しやすいように選ばれた帯で数えた件数だ、ということである。事前学習で覚え込んでいた問題が少量の微調整で崩れたという読み方を、この帯の外へそのまま持ち出すことはできない。

別の失敗の形も報告されている。Linは、コード生成に対するREINFORCE（方策勾配の古典的な手法）での事後訓練で、pass@1（1回の生成で正解する割合）が「頑健な上昇のち崩壊のパターンを示す——数十の勾配ステップ以内で頂点に達し、その後は落ちる。ときにはほぼゼロまで」と報告する⁴。著者も対象領域も、Phantom Gains とは別である（数学に対してこちらは競技プログラミング）。ただしモデルはどちらもQwen系で、Phantom GainsがQwen3-8B、こちらがQwen-2.5の3Bと7Bにあたる——版も規模も別だが、系列としては重なる。引用関係の上では独立で、Phantom Gainsはこの報告を引いていない。

ただしこれは単純な一致ではない——この報告は、崩壊の前に上昇が実際にあると言っている。 Phantom Gains が見たのは、床を超える拡大を検出できないという形。Linが見たのは、実在する伸びが訓練を続けると失われるという形だ。二つは違う失敗の形をしている。Lin自身は、これを課題をまたぐ破滅的忘却ではなく、固定された分布の上での課題内の方策の過剰最適化だと論じており、KL型やEWC型のパラメータ水準の制約ではこれを防げないと書いている⁴。Qwen-2.5-3Bでは、CARE v2という機構が連鎖の末端の性能を4.9%から9.5%へほぼ倍にした［+0.4, +8.9］。Qwen-2.5-7Bでは早期打ち切りが22.2%［14.1, 28.0］、GRPOが20.7%［15.7, 25.1］で、キャンペーン内の劣化幅は17パーセントポイント前後にとどまり続けた⁴。伸びを取りにいくこと自体が無意味だという話ではなく、どこで止めるかが性能を決めるという話である。ただし原典はそこで止めない——GRPOは床を上げるが崖を取り除きはしない、と書く。アルゴリズム側の変更と打ち切りを両方入れた構成でも、3つのseedのうち1つが最終キャンペーンで崖に落ちて平均を17.0%［0.0, 28.1］まで引き下げており、著者は単一キャンペーンの崩壊はそれでも消えないと結論している⁴。早期打ち切りの22.2%はseed3本、GRPOの20.7%はseed5本での値である。

二つを並べると、自己学習がうまくいかないときの形は少なくとも二つある。床を超える拡大が検出できない形と、実在した伸びを訓練の継続そのものが削っていく形だ。前者は「もっと長く回せば出るのでは」という反応を招きやすいが、後者は別の領域で、回し続けること自体が劣化の原因になる場合を観測している⁴。ただしこの二つは別の実験である。片方がもう片方の説明になっているわけではない。

自己改善の主張を、どう読むか

以上を、報告を受け取る側の手順に落とす。

• 帰無値が測ってあるか、統計量ごとに探す。 訓練していないモデルを同じパイプラインに通した数字が本文にないなら、伸びの大きさを判定する材料が揃っていない。しかも床はベンチマークごと・統計量ごとに違う。ER₁の床0.176とER₂の床0.058は同じ実験の中の別の数字だ¹。「補正した」と書いてある閾値も、それ自体の床を測らなければ意味を持たない。
• 貪欲な単発の判定を根拠にしていないか見る。 同じ凍結モデルを二度通すだけで判定の8.0%が反転する¹。温度を下げれば決定的になるという前提は、バッチ処理の下では成り立たなかった。1問1回の台帳で遷移を数えた報告は、遷移そのものを測れていない可能性がある。
• 訓練seedがいくつ回っているか確かめる。 単一seedでは、多数決SFTのclrが0.55／1.53／1.33、正解率が+4.0／−2.8／−1.0ポイントと開く（同じ不安定さは、別ベンチマークで揃えた比較でも+3.3／−1.5／+0.7として再現している）¹。1本だけ回して符号を報告すれば、どちらの結論でも書ける。ただしこれは手法一般の話ではない——同じ実験でSTaRは3つのseedすべて安定しており（clr 0.70／0.74／0.45、正解率は+5.6〜+6.9ポイント）、原典が弁護できるとする読みは「多数決系の手法の結果は、その設計だけでは決まらない」という狭いほうである¹。
• 「拡大」の定義がどれかを確かめる。 1回の成功を拡大と数えるか、2回以上を要求するかで、床そのものが0.176と0.058に分かれる¹。緩い定義を使うこと自体は誤りではない——緩ければ床も高くなるだけだ。問題になるのは、同じ定義で測った床と比べているかどうかである。
• 教師がどこから来たかを分ける。 本稿が引いた監査で分かれたのはそこである。外の強いモデルから来た信号は、ほとんど解けていなかった帯に届いた。自分から来た信号は、この設定では0〜2問にとどまった¹。原典はこの小さな非ゼロを丸めずに書いている——自分で解ける問題の流れに当てたとき、自己学習も教師のおよそ5分の1の率で、ときおり稀にしか解けない問題を雑音の上へ押し上げる¹。ゼロではない。自己改善という一語で両方を指すと、この区別が消える。
• 勝率の改善と、解ける問題の拡大を混ぜない。 自己報酬・メタ報酬の側が示したのは、判定モデルが付ける勝率の改善である²³。それは実在する成果である。ただし検証可能な問題が新たに解けるようになったことの証拠としては、別の測定が要る。

最後に、Phantom Gains 自身が置いている一文を引いておく。「本稿のいかなる内容も、自己学習手法が監督なしに配備して安全である証拠として読まれるべきではない」¹。破壊の件数が床を超えたことは、自己学習が危険だという証明ではないし、この監査は安全性についての免罪符でもない。原典は自分の結果の射程を、そこまで狭く切っている。F6が示したのも同じ向きだ。10プロンプトの拒否検査で見えた10ポイントの安全性低下は、50プロンプトに増やすと消えた¹。安全性の側の主張も、床と検出力を抜きにしては立たない。

報告する側にとって、床を測ることは余分な仕事に見える。腕の数だけチェックポイント0を独立に評価し、統計量ごとに複製を9本以上取り、訓練seedを3本回す——原典が実際にやったのはそういう手続きで、訓練そのものより重くなりうる¹。だが省いた場合に手元に残るのは、伸びたかどうかを判定できない数字のほうだ。七つ並んだ失敗のうちいくつかが標準的な実践だというのは、そういう数字が現に流通しているという意味になる。

自己改善の報告を読むとき、最初に探すべきは訓練後の点数ではなく、訓練していないモデルが同じパイプラインで何を出したかのほうだ。この監査の貢献は、自己学習が効かないと言ったことではなく、効いたと言うための床を実際に測って見せたことにある——そしてその床の上では、外の教師から学ぶことと自分から学ぶことが、いまのところ別のものとして分かれている。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。