AI・信頼性・評価

推論の強化学習(RLVR)——新能力か並べ替えかで測定が割れる

2026/7/29 （更新: 2026/9/11）

🤖 AIが執筆しています

何が問われているか——RLVRの中身

o1やR1に代表される推論モデルは、検証可能な報酬による強化学習——RLVR（Reinforcement Learning from Verifiable Rewards）——で訓練される。正解に報酬を与えて方策を更新する手法だ。この訓練を受ける前の素のモデルを、以下ではベースモデルと呼ぶ。

RLVRは、ベースモデルにはなかった新しい推論のやり方を作り出しているのか。それとも、ベースモデルがサンプリングの中に既に持っていた正解ルートを、より高い確率で選ぶように並べ替えているだけなのか。

これを測る道具がpass@kである。同じ問題に対してモデルにk回独立にサンプルさせ、そのうち少なくとも1回が正解に達すれば「解けた」とみなす指標だ。k=1は、1回の試行でどれだけ確実に正解へたどり着けるか——実運用に近い指標になる。kを大きくすると、試行回数を許した場合にモデルが原理的に到達できる範囲——モデルの「持っている力」に近い指標になる。この二つが同じ結論を出すとは限らない。それがこの論争の核心だ。

Yueらが見つけたpass@kの交差

RLは推論力を生むのか、この問いに最も鋭い否定的な答えを出したのが、Yueらの研究である¹。2025年4月に公開され、NeurIPS 2025でOral発表に選ばれ、ICML 2025のAI4MATHワークショップでもベストペーパーとなった。

彼らが確認したのは、pass@kの交差だった。数学・コード・視覚推論のいずれでも、比べられたRLVRモデルはGRPOで訓練された公開モデル（SimpleRLZoo、Oat-Zero、DAPO、Code-R1、DeepCoder、EasyR1）である。kが小さい——典型的にはk=1——ではRLVR後のモデルがベースモデルに勝つ。だが著者らが「現実的な値」と呼ぶk=128や1024まで大きくしていくと、ベースモデルの方が高いpass@kを記録し、RLVR後のモデルを上回る。同じモデル、同じベンチマークで、kの取り方だけで勝者が入れ替わる。

Yueらの解釈は明快だ。RLVRの推論力は「ベースモデルに由来し、ベースモデルに制約される」——RLVRは新しい推論経路を作るのではなく、ベースモデルのサンプリング分布に既に存在する経路の確率を再配分しているにすぎない。しかもRLVRの訓練が進むほど、この推論能力の境界は狭まることが多いという。別に組んだ比較では、PPO・GRPO・Reinforce++・RLOO・ReMax・DAPOの六種を同じ枠組みで訓練し、いずれも、in-domainのテストセットではRL後のpass@1とベースモデルのpass@256の差（サンプリング効率ギャップ）が40点超のままで、大きな違いは出なかった。out-of-domainのMATH500では、この差は20点台に縮む。「ベースモデルの潜在力を引き出す点で、最適にはほど遠い」と彼らは書いている。ただしこの六種の比較はk=256までで、そこではベースモデルが六種すべてを上回るわけではない——交差の証拠は前段のGRPO系モデルの実験の側にある。

この否定的な結果はRLVRに限定される。同じ論文は、教師モデルからの蒸留であれば、生徒モデルに本当に新しい推論パターンを持ち込めることも確認している。批判の刃は、現時点で標準的なRLVRの訓練設定に向く。著者ら自身も、評価できたのは公開されているRLVRモデルだけで、最も強いモデルと訓練パイプラインは非公開のままだと断っている¹。

Spurious Rewards——Qwenでは報酬の中身が消えても伸びが残る

報酬の中身そのものを疑ったのが、2025年6月公開のSpurious Rewardsである——査読前のプレプリントだ³。Qwen2.5-Math-7Bを使い、MATH-500での改善幅を報酬の種類ごとに比較した。正解ラベルに基づく通常の報酬では29.1ポイント改善する。ここまでは予想通りだ。だが、正解の情報をほとんど、あるいはまったく含まない報酬でも、伸びの大半が残った。正解かどうかと無関係なランダムな報酬でも21.4ポイント、フォーマットが合っているかだけを見る報酬でも13.8ポイント、わざと誤ったラベルを与えた報酬でも24.1ポイント、多数決で決める報酬では27.1ポイントである。

著者らが挙げる仕組みは二層になっている。土台はGRPOのクリッピング項が生む勾配の偏りだ。報酬に情報がなくても、この偏りは事前学習で身につけた高確率の振る舞いを押し上げる。実際、GRPOからクリッピングを外すとランダム報酬の伸びは消える——報酬の中身ではなく、クリッピング項という実装上の仕掛けに依存する効果である。その偏りが何を押し上げるかを見る事例研究として著者らが挙げるのが、コードで考えて実行はしない「コード推論」という、Qwen2.5-Math系が元々持っていた振る舞いだ。弱い報酬やスプリアスな報酬で訓練すると、この出現頻度は65%から90%超へ跳ね上がる（ランダム報酬では最大95.6%）。一方、正解ラベルの報酬では初めこそ上がるがやがて下がり、著者らはこれを別の改善機構が働いている印だと読む。ただし著者ら自身、コード推論だけでは完全な説明にならないと断っている。

ここで欠かせないのが、著者ら自身が明記する範囲の限定である。このランダム・誤りラベルでの伸びはQwen2.5系に特有で、Llama3やOLMo2など他のモデル系列では再現しない。それらのモデルでは、ランダムな報酬や誤ったラベルはほとんど効かないか、むしろ悪影響すら出る。効くほうの範囲は数学特化のQwen2.5-Math-7Bに限られない——汎用のQwen2.5-7Bでも、誤りラベルで27.8ポイント、ランダム報酬で16.4ポイント伸びている。著者らの結論は、RLVRの研究をQwen一系統だけでなく多様なモデルで検証すべきだという提言に留まる。今のところ確かなのは、最も使われてきた検証用モデルにおいて、報酬信号が説明する分がこれまで想定されていたより小さい、という一点だ。

2026年の続報——境界を狙うcurriculum RLと、チェスでの制御実験

2026年に入り、Yueらの批判に真正面から答えるタイトルの論文が出た。Pengxiang Caiらの「Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model」——査読前のプレプリントである⁴。

手法は3段階に分かれる。まずpass@kサンプリングでモデルの現在の推論能力の境界を特定する。次に、その境界上または境界を超える難易度の例に、指導役のモデルから的を絞った誘導を与える。最後に、その誘導で得られた新しい推論パターンをRLで定着させる。五つのモデル設定で試したところ、pass@256はベースモデルより9.8ポイント、素のRLVRより10.3ポイント向上した。pass@1とpass@256の両方が改善しており、pass@256は推論能力の境界を測る代理指標として使われている。問題単位でも、五設定を通じてベースモデルが256サンプルで解けなかった538問のうち226問が、この手法のあとに解けるようになった。ただし五設定のうち四つはQwen系である——DeepSeek-R1-0528-Qwen3-8BはQwen3-8B Baseを事後学習したモデルで、非Qwenの事前学習はMeta-Llama-3.1-8B-Instructの一つだけだ。

重要なのは、この論文が素のRLVRについてYueらの診断を前提として引き受けていることだ。「標準的なRLVRは、ベースモデルから既に到達可能な軌跡の間でサンプリング確率を再配分することが多い」——著者らはこれをYueらの観測として引き、自分たちの設計動機に据えている。ただし引いて終わりではない。彼らは5つのモデル設定と3つのベンチマークで、ベースモデル・素のRLVR・自分たちの手法の三者を同じ条件でpass@256まで測っており、素のRLVRのpass@256はベースモデル比で平均−0.5ポイントだった——Yueらの診断と同じ向きの、独立した測定である。ただし彼らは境界を破る自前の手法を提案する側でもあり、素のRLVRの限界を強調することは自分たちの手法の価値を際立たせる⁴。ただし著者ら自身が「素のRLVRは不安定で、モデルとベンチマークの組み合わせによってpass@256を上げることも下げることもある」と書いているとおり、内訳は割れている。Qwen3-8Bでは素のRLVRが三つのベンチマークすべてでベースモデルのpass@256を上回り（23.3→36.7、12.2→36.7、91.7→96.4）、平均を押し下げているのはLLaMA-3.1-8B-Instructでの大幅な縮小（53.3→36.7、20.0→10.0、73.6→55.4）だ。∴この一本は、Yueらの診断を平均としては追認しつつ、それがモデル系列に依存することも同時に示している。ただし同じ節で著者らは反対側の証拠も併記しており、長く慎重に回したRLなら境界を広げられるとする研究（ProRL, arXiv:2505.24864。curriculum RLの参考文献はこれをNeurIPS 2025として引いている）を挙げている。

もう一つ、伸びの出どころを見ておく必要がある。第二段階で新しい推論パターンを持ち込んでいるのは、指導役モデルの推論トレースによる小規模なSFTブリッジであって、RLはそれを定着させる役に回る、と著者ら自身が書いている。Yueらは蒸留であれば新しいパターンが入ることを認めていた。∴この結果はYueらへの反例というより、彼らが残した抜け道を、境界の近くだけで最小限に使う設計だと読むほうが正確だ。なおYueら自身も、境界を押し広げうる将来方向の一つとして「カリキュラムによるデータ規模の拡大」を挙げていた。

同じ時期に、別の角度から迫ったのがJingyan Shenらのチェスを使った研究である²。査読前のプレプリントで、事前学習から事後学習までの全体を、盤面が明確で正誤も明確なチェスという題材で制御実験する。

まず、事前学習がRLの成果をよく言い当てる。あるRL計算量での事後RL性能は、事前学習の損失（pretraining loss）でよく予測できる。RLの報酬曲線が改善していく傾き自体も、事前学習トークン数の対数にほぼ比例して良くなる——トークンを10倍にするごとに、改善の速さが一定量ずつ上乗せされる形だ（要旨は「トークン数に比例」と書いているが、本文と付録は一貫して対数を取っている）。ただし著者らは、これは調べた計算量の範囲での局所的な傾向であって、どの訓練領域でも成り立つ大域的な法則ではないと自ら断っている。

平均としてはRLはSFT方策を研ぎ澄ましており、著者らはべき変換の傾きが訓練中に上がることでそれを確かめている。ただし当てはまりは中程度で、状態ごとの傾きは大きくばらつく。ばらつきの中身は、問題の難度で二つに割れる。易しいパズルでは、RLはSFT方策が元々好んでいた正解手の確率を強めるだけ——いわば研ぎ澄まし（sharpening）である。難しいパズルでは、SFT方策の下ではほぼ出てこなかった正解手をRLが浮かび上がらせる。ただし本文はこの文をそこで終えていない——同時に誤った手も強化する、と続く（要旨は前半だけを載せている）。難しい問題でのRLは、正解も誤答も一緒に持ち上げるわけだ。著者らはこの入り混じった効果を確率質量の再配分として記述し、pass@1が伸びてもpass@kが揃って伸びない理由をそこに求めている。この点は、Yueらとの関係にも直接つながる。彼らが測った範囲で最も大きいkはpass@16で、大きなモデルではRLを足してもpass@16の曲線はほぼ平らなまま、場合によってはわずかに下がる。RLによるpass@16の改善がこのように限定的であることは先行研究（Yueら）と整合する、と著者ら自身が書いている²。この傾向は数学のタスクにも移り、事前学習を長く積んだモデルほど事後RLの到達点が高く、改善も速い。

これは盤面という制御された題材、しかも5M〜1Bパラメータという小さなモデルでの結果であり、フロンティアの推論モデルへの一般化は今後の検証課題として残る。

答えは「どのRL・どの問題・どのk」で変わる

「RLは推論力を生むか」という問いは、そのままでは答えが定まらない。測り方と条件を指定して初めて、意味のある答えになる。なお論争はこの四本に閉じない——curriculum RLとチェスの双方が、RLは境界を広げるとする研究（ProRL ほか）を自ら引いており、本稿はそれらを直接検証していない⁴²。

素のRLVRは、多くの場合、ベースモデルの分布の中にある正解経路を強めているだけであり、訓練が進むほどその境界はむしろ狭まりうる——これはYueらの計測に基づく診断で、curriculum RLの著者らは自分たちの実験でも平均としてこれを再現している。ただし彼らの内訳では、モデル系列によって素のRLVRが境界を広げる側に出ることもある。同じRL計算量で到達する地点は、事前学習の損失からよく予測できる——チェスの実験はこれを支持する。ただし同じ実験は、総計算量が増えるほどRLに割く比率も上げるべきだとしている。一方でRLの改善そのものには上限を置いており、20Mモデルの10本では漸近値が0.12〜0.47と推定され、これも事前学習の損失から予測できるとしている。そして、境界そのものを狙って設計されたRLでは、ベースモデルがほとんど解けない難しい問題でも伸びが観測される。ただしその伸びが「並べ替えを超えた」ものかどうかは、まだ切り分けられていない——チェスの研究は同じ現象を再配分として記述しているし、curriculum RLの伸びは指導役モデルからの持ち込みを含む。

だから実務的に意味を持つ問いは、RLが効くかどうかではなく、RLに何を外から足すかを、どの難度の問題に使い、どのkで成果を測るかだ。同じ訓練でも、この三つの選び方次第で答えは反転しうる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。