AI・信頼性・評価

RLVRは新しい推論能力を生むか：賛否の論文を測定結果で読み比べる

2026/7/29 （更新: 2026/11/1）

🤖 AIを使用して執筆

試行を重ねると、ベースモデルが先に届いている

RL（Reinforcement Learning、強化学習）は推論力を生むのか、この問いに最も鋭い否定的な答えを出したのが、Yueらの研究である¹。2025年4月に公開され、NeurIPS 2025でOral発表に選ばれ、ICML 2025のAI4MATHワークショップでもベストペーパーとなった。

彼らが確認したのは、pass@kの交差だった。数学・コード・視覚推論のいずれでも、比べられたRLVRモデルはGRPO（Group Relative Policy Optimization）という強化学習アルゴリズムで訓練された公開モデル（SimpleRLZoo、Oat-Zero、DAPO、Code-R1、DeepCoder、EasyR1）である。典型的な$k = 1$のように$k$が小さい設定では、RLVR後のモデルがベースモデルに勝つ。だが著者らが「現実的な値」と呼ぶ$k = 128$や1024まで大きくしていくと、ベースモデルの方が高いpass@kを記録し、RLVR後のモデルを上回る。同じモデル、同じベンチマークで、$k$の取り方だけで勝者が入れ替わる。

Yueらは、RLVRの推論力は「ベースモデルに由来し、ベースモデルに制約される」と解釈する。RLVRは新しい推論経路を作るのではなく、ベースモデルが書きうる経路の中で、既に在る経路の確率を再配分しているだけだ、という読みである。

この読みを支えるのが、どの問題が解けているかを問題ごとに比べた結果である。SimpleRLZooのRLVRモデルとそのベースモデルで解ける問題を比べると、RLVR版だけが解いた問題はAIME24で0%、MATH500で1%（約5問）だった。その5問も、ベースモデルに1024回解かせると全部解けた、と著者らは書いている¹。SimpleRLZooのこの2つのベンチマークでは、ベースモデルが1024回解いても解けない問題を、RLVR版が解いた例は無かったことになる。しかもRLVRの訓練が進むほど、この推論能力の境界は狭まることが多いという。

RLのアルゴリズムを替えても、結果に大きな違いは出なかった。別に組んだ比較では、六種のアルゴリズムを同じ枠組みで訓練した。PPO（Proximal Policy Optimization）・GRPO・Reinforce++・RLOO（REINFORCE Leave-One-Out）・ReMax・DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization）である。六種とも、訓練データと同じ出どころのテストセット（in-domain）ではRL後のpass@1とベースモデルのpass@256の差（サンプリング効率ギャップ）が40点超のままだった。訓練データと出どころの違うMATH500（out-of-domain）では、この差は20点台に縮む。「ベースモデルの潜在力を引き出す点で、最適にはほど遠い」と彼らは書いている。ただしこの六種の比較は$k = 256$までで、そこではベースモデルが六種すべてを上回るわけではない。交差の証拠は、先に挙げたGRPO系の公開モデルの実験の側にある。

この否定的な結果はRLVRに限定される。同じ論文は、教師モデルからの蒸留であれば、生徒モデルに本当に新しい推論パターンを持ち込めることも確認している。批判の対象は、現時点で標準的なRLVRの訓練設定である。著者らは予備実験として、純粋なRLで訓練され、推論能力が最前線に近いとされるMagistral-Mediumも測っている。$k = 1$ではベースモデルより多く解くが、$k$を上げるとその差は縮んでいった¹。それでも著者らは、最も強いモデルと訓練パイプラインの多くが非公開であることを分析の制約として断り、RLの手法は急速に進んでいるので、新しい手法がここで見つけた限界の一部を和らげうるとも書いている¹。

Qwen系では、報酬の中身を消しても伸びが残る

報酬の中身そのものを疑ったのが、2025年6月公開のSpurious Rewardsである。この論文はICML 2026 に採録された³。Qwen2.5-Math-7Bを使い、MATH-500での改善幅を報酬の種類ごとに比較した。正解ラベルに基づく通常の報酬では29.1ポイント改善する。ここまでは予想通りだ。だが、正解の情報をほとんど、あるいはまったく含まない報酬でも、伸びの大半が残った。正解かどうかと無関係なランダムな報酬でも21.4ポイント、フォーマットが合っているかだけを見る報酬でも13.8ポイント、わざと誤ったラベルを与えた報酬でも24.1ポイント、多数決で決める報酬では27.1ポイントである。

著者らが挙げる仕組みは二層になっている。一層目は、GRPOのクリッピング項が生む勾配の偏りである。クリッピング項は、1回の更新で各書き方の確率が変わる幅に上限を設ける項だ。報酬に情報がなくても、この偏りは事前学習で身につけた高確率の振る舞いを押し上げる。実際、GRPOからクリッピングを外すとランダム報酬の伸びは消える。この効果は、報酬の中身ではなく、クリッピング項という実装上の仕掛けに依存する。

二層目は、その偏りが何を押し上げるかである。その事例研究として著者らが挙げるのが、コードで考えて実行はしない「コード推論」という、Qwen2.5-Math系が元々持っていた振る舞いだ。弱い報酬やスプリアスな報酬で訓練すると、この出現頻度は65%から90%超へ跳ね上がる（ランダム報酬では最大95.6%）。一方、正解ラベルの報酬では初めこそ上がるがやがて下がり、著者らはこれを別の改善機構が働いている印だと読む。Qwen2.5-Math-7Bでは、訓練前にコードを書いた応答の正答率が60.9%、書かない応答では35.0%である。著者らは、偏りが点数を上げるのは、押し上げた振る舞いが正答と結びついているときだけだと説明する。ただし著者ら自身、コード推論だけでは完全な説明にならないと断っている。

このランダム・誤りラベルでの伸びはQwen2.5系に特有だと、著者ら自身が明記している。Llama3やOLMo2など他のモデル系列では再現しない。それらのモデルでは、ランダムな報酬や誤ったラベルはほとんど効かないか、むしろ悪影響すら出る。著者らは、LlamaやOLMo2-7Bはコード推論をそもそも出さないので、偏りが押し上げても点数に効く振る舞いが無いと説明している。同じ系列のOLMo2-7B-SFTは逆に応答の98%でコードを書くが、コードを書いた応答の正答率は21%で、自然言語の40%を下回る。

伸びる範囲は数学特化のQwen2.5-Math-7Bに限られず、汎用のQwen2.5-7Bでも誤りラベルで27.8ポイント、ランダム報酬で16.4ポイント伸びている。ただし著者らはQwen2.5-7BもOLMo2-7B-SFTと同じくコードで正答率が下がる側に分類しており、誤りラベルの訓練ではコード推論がむしろ減っている。

著者らの結論は、RLVRの研究をQwen一系統だけでなく多様なモデルで検証すべきだという提言に留まる。ただし、どのモデルの知識の締め切りよりも後に作られたAIME2025では正解ラベルの報酬がはっきり勝ち、他の報酬の伸びは−0.4〜4.5ポイントだった、と著者らは書いている³。今のところ確かなのは、最も使われてきた検証用モデルをMATH-500で測った範囲では、報酬信号が説明する分がこれまで想定されていたより小さい、という一点だ。

反論する側の測定でも、素のRLVRのpass@256は平均でベースモデルをわずかに下回った

2026年に入り、Yueらの批判に直接答えるタイトルの論文が出た。Pengxiang Caiらの「Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model」で、査読前のプレプリントである²。

著者らが手法の出発点に置くのは、素のRLVRの学び方である。RLVRはサンプルした試行から学ぶので、正解の試行が一度も出ない問題には、強めるべき推論の跡がそもそも無い。二値の報酬で全部の試行が不正解だと、グループ内で比べた有利さ（アドバンテージ）がすべて0になり、その問題からは学習信号が出ない、と著者らは書く。境界を狙う設計は、こうした問題を報酬の届く例へ変えるためのものだ。

手法は3段階に分かれる。まずpass@kサンプリングでモデルの現在の推論能力の境界を特定する。次に、その境界上または境界を超える難易度の例に、教師モデルから的を絞った誘導を与える。最後に、その誘導で得られた新しい推論パターンをRLで定着させる。五つのモデル設定で試したところ、pass@256はベースモデルより9.8ポイント、素のRLVRより10.3ポイント向上した。pass@1とpass@256の両方が改善しており、pass@256は推論能力の境界を測る代理指標として使われている。問題単位でも、五設定を通じてベースモデルが256サンプルで解けなかった538問のうち226問が、この手法のあとに解けるようになった。ただし五設定のうち四つはQwen系である。DeepSeek-R1-0528-Qwen3-8BはQwen3-8B Baseを事後学習したモデルで、非Qwenの事前学習はMeta-Llama-3.1-8B-Instructの一つだけだ。

重要なのは、この論文が素のRLVRについてYueらの診断を前提として受け入れていることだ。著者らは「標準的なRLVRは、ベースモデルから既に到達可能な軌跡の間でサンプリング確率を再配分することが多い」と書き、これをYueらの観測として引いて、自分たちの設計動機に据えている。ただし引いて終わりではない。彼らは5つのモデル設定と3つのベンチマークで、ベースモデル・素のRLVR・自分たちの手法の三者を同じ条件でpass@256まで測っており、素のRLVRのpass@256はベースモデル比で平均−0.5ポイントだった。これはYueらの診断と同じ向きの、独立した測定である。彼らは境界を広げる自前の手法を提案する側でもあり、素のRLVRの限界を強調することは自分たちの手法の価値を際立たせる²。

著者ら自身が「素のRLVRは不安定で、モデルとベンチマークの組み合わせによってpass@256を上げることも下げることもある」と書いているとおり、内訳は割れている。Qwen3-8Bでは素のRLVRが三つのベンチマークすべてでベースモデルのpass@256を上回り（23.3→36.7、12.2→36.7、91.7→96.4）、平均を最も大きく押し下げているのはLLaMA-3.1-8B-Instructでの大幅な縮小（53.3→36.7、20.0→10.0、73.6→55.4）だ。同じQwen系でも、Qwen2.5-7Bでは素のRLVRのpass@256が三つの平均で5.0ポイント縮んでいる（40.0→26.7、26.7→26.7、94.1→92.4）。したがってこの一本は、Yueらの診断を平均としては追認しつつ、素のRLVRの効果が同じ系列の中でもモデルによって逆向きに出ることを示している。関連研究の節で著者らは反対側の証拠も挙げており、長く慎重に回したRLなら境界を広げられるとする研究（ProRL, arXiv:2505.24864。curriculum RLの参考文献はこれをNeurIPS 2025として引いている）を引いている。

この手法の伸びは、RLだけから出たものではない。第二段階で新しい推論パターンを持ち込んでいるのは、教師モデルの推論トレースを使い、RLの前に挟む小規模な教師あり微調整（SFT）であって、RLはそれを定着させる役に回る、と著者ら自身が書いている。Yueらは蒸留であれば新しいパターンが入ることを認めていた。したがってこの結果はYueらへの反例というより、Yueらが新しいパターンの入る道として認めた蒸留を、境界の近くの問題だけで最小限に使う設計だと読むほうが正確だ。なおYueら自身も、境界を押し広げうる将来方向の一つとして「カリキュラムによるデータ規模の拡大」を挙げていた。

チェスの制御実験では、難しい問題でRLが正解手と誤った手をともに強めた

同じ時期に、別の角度から調べたのがJingyan Shenらのチェスを使った研究である⁴。査読前のプレプリントで、事前学習から事後学習までの全体を、盤面が明確で正誤も明確なチェスという題材で制御実験する。以下の方策は、モデルが各盤面でどの手をどの確率で選ぶかを指す。

平均としてはRLはSFT方策を研ぎ澄ましており、著者らは、RL後の方策をSFT方策の確率の累乗で近似したときの指数（1より大きいほど確率の差を強めている）が訓練中に上がることでそれを確かめている。ただし当てはまりは中程度で、状態ごとの指数は大きくばらつく。ばらつきの中身は、問題の難度で二つに割れる。易しいパズルでは、RLはSFT方策が元々好んでいた正解手の確率を強めるだけである。これは研ぎ澄まし（sharpening）にあたる。難しいパズルでは、SFT方策の下ではほぼ出てこなかった正解手をRLが浮かび上がらせる。ただし本文はこの文をそこで終えておらず、同時に誤った手も強化する、と続く（要旨は前半だけを載せている）。

難しい問題でのRLは、正解も誤答も一緒に確率を上げる。著者らはこの入り混じった効果を確率質量の再配分として記述し、pass@1が伸びてもpass@kが揃って伸びない理由をそこに求めている。彼らが測った範囲で最も大きい$k$はpass@16で、大きなモデルではRLを足してもpass@16の曲線はほぼ平らなまま、場合によってはわずかに下がる。RLによるpass@16の改善がこのように限定的であることは先行研究（Yueら）と整合する、と著者ら自身が書いている⁴。

同じ研究は、RLの成果を事前学習の側からよく予測できることも示している。あるRL計算量での事後RL性能は、事前学習の損失（pretraining loss）でよく予測できる。RLの報酬曲線が改善していく傾き自体も、事前学習トークン数の対数にほぼ比例して良くなる。トークンを10倍にするごとに、改善の速さが一定量ずつ上乗せされる、という形である（要旨と数学への移植の節は「トークン数に比例」と略しているが、当てはめた式は対数を取っている）。ただし著者らは、これは調べた計算量の範囲での局所的な傾向であって、どの訓練領域でも成り立つ大域的な法則ではないと自ら断っている。

著者らはRLの改善そのものに上限も置いており、20Mモデルの10本では漸近値が0.12〜0.47と推定され、これも事前学習の損失から予測できるとしている。ただし同じ実験は、pass@1については総計算量が増えるほどRLに割く比率も上げるべきだとしている。一方でpass@kは事前学習の規模により敏感で、大きなモデルでは同じ計算量をRLより事前学習に回したほうがpass@16が高くなりうる、と著者らは書いている⁴。この傾向は数学のタスクにも移り、事前学習を長く積んだモデルほど事後RLの到達点が高く、改善も速い。

これは盤面という制御された題材、しかも5M〜1Bパラメータという小さなモデルでの結果であり、フロンティアの推論モデルへの一般化は今後の検証課題として残る。

curriculum RLの実験で平均の境界を広げたのは、教師の推論を持ち込んだ設計だった

Yueら・Spurious Rewards・curriculum RL・チェスの四本を並べる。Yueらは、境界が訓練の進行とともに狭まることが多いと書いた。curriculum RLの実験で平均としてベースモデルより境界を広げたのは、教師モデルの推論トレースを少量のSFTで持ち込んでからRLで定着させる設計だけだった¹²。ただしその伸びが「並べ替えを超えた」ものかどうかは、まだ切り分けられていない。チェスの研究は難しい問題での伸びを再配分として記述しているし、curriculum RLの伸びは教師モデルからの持ち込みを含む。

この向きに乗らない結果も、四本の中に在る。curriculum RLの内訳では、Qwen3-8Bで素のRLVRが三つのベンチマークすべてでベースモデルのpass@256を上回っており、著者らは素のRLVRが境界を広げる側に出ることもあると併記している²。同じ著者らは、推論の軌跡まで見る指標で測ればRLVRは正しい推論を促すとする研究と、長く慎重に回したRLなら境界を広げられるとする研究（ProRL）を、楽観的な見方として自ら引いている²。チェスの研究は、RLが既存の技能を組み合わせて新しい技能を作るとするYuanらと、問題によって両方の挙動が出るとするSunらを、Yueらと対立する見方として並べている⁴。本稿はそれらを直接検証していない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。