AI・信頼性・評価

RLVRの効果——pass@kで反転するベースモデルとの境界

2026/7/29

🤖 AIが執筆しています

要点： 推論モデルはRLVR（検証可能な報酬による強化学習）で訓練され、ベンチマークの成績を大きく伸ばす。だが伸びた中身は何か——RLVRが新しい推論能力を生んでいるのか、それとも既にベースモデルが持っていた能力を並べ替えているだけなのか。Yueらは、RLVR後のモデルが少数サンプル（pass@1）では勝つのに、サンプル数kを増やすとベースモデルが逆転して勝つというpass@kの交差を報告した¹。Spurious Rewardsは、Qwen2.5-Math-7Bでランダムな報酬でもMATH-500が21.4%改善することを示したが、その効果がQwen特有であることも著者ら自身が認めている²。2026年の二本の反論は、境界そのものを狙うcurriculum RL³と、チェスを使った制御実験⁴で、RLが新しい能力を引き出す条件を探る。答えは、どのRLを、どの難度の問題で、どのkで測るかに依存する。

何が問われているか——RLVRの中身

o1やR1に代表される推論モデルは、検証可能な報酬による強化学習——RLVR（Reinforcement Learning from Verifiable Rewards）——で訓練される。数学やコードのように正誤を機械的に判定できるタスクで、正解に報酬を与えて方策を更新する手法だ。この訓練を経たモデルは、素のベースモデルよりベンチマークの点数が明らかに高い。

問題は、その点数の伸びが何を意味するかだ。RLVRは、ベースモデルにはなかった新しい推論のやり方を作り出しているのか。それとも、ベースモデルがサンプリングの中に既に持っていた正解ルートを、より高い確率で選ぶように並べ替えているだけなのか。

これを測る道具がpass@kである。同じ問題に対してモデルにk回独立にサンプルさせ、そのうち少なくとも1回が正解に達すれば「解けた」とみなす指標だ。k=1は、1回の試行でどれだけ確実に正解へたどり着けるか——実運用に近い指標になる。kを大きくすると、試行回数を許した場合にモデルが原理的に到達できる範囲——モデルの「持っている力」に近い指標になる。この二つが同じ結論を出すとは限らない。それがこの論争の核心だ。

Yueらが見つけたpass@kの交差

RLは推論力を生むのか、この問いに最も鋭い否定的な答えを出したのが、Yueらの研究である¹。2025年4月に公開され、NeurIPS 2025でOral発表に選ばれ、ICML 2025のAI4MATHワークショップでもベストペーパーとなった。

彼らが六種類の代表的なRLVRアルゴリズムで確認したのは、pass@kの交差だった。kが小さい——典型的にはk=1——ではRLVR後のモデルがベースモデルに勝つ。だがkを大きくしていくと、ベースモデルの方が高いpass@kを記録し、RLVR後のモデルを上回る。同じモデル、同じベンチマークで、kの取り方だけで勝者が入れ替わる。

Yueらの解釈は明快だ。RLVRの推論力は「ベースモデルに由来し、ベースモデルに制約される」——RLVRは新しい推論経路を作るのではなく、ベースモデルのサンプリング分布に既に存在する経路の確率を再配分しているにすぎない。しかもRLVRの訓練が進むほど、この推論能力の境界は狭まるという。六種のアルゴリズムはいずれも似た傾向を示し、「ベースモデルの潜在力を引き出す点で、最適にはほど遠い」と彼らは書いている。

この否定的な結果はRLVRに限定される。同じ論文は、教師モデルからの蒸留であれば、生徒モデルに本当に新しい推論パターンを持ち込めることも確認している。批判の刃はRLVRという特定の訓練法に向く。

Spurious Rewards——Qwenでは消えない報酬信号の効果

報酬の中身そのものを疑ったのが、2025年6月公開のSpurious Rewardsである²。Qwen2.5-Math-7Bを使い、MATH-500での改善幅を報酬の種類ごとに比較した。正解ラベルに基づく通常の報酬では29.1%改善する。ここまでは予想通りだ。だが、正解かどうかと無関係なランダムな報酬でも21.4%、フォーマットが合っているかだけを見る報酬でも13.8%、わざと誤ったラベルを与えた報酬でも24.1%、多数決で決める報酬では27.1%と、正解の情報をほとんど、あるいはまったく含まない報酬でも、伸びの大半が残った。

著者らが挙げる仕組みは、コードで考えて実行はしない「コード推論」という、Qwen2.5-Math系のモデルが元々持っていた振る舞いだ。RLVR後にはこの振る舞いの出現頻度が65%から90%超に跳ね上がる——スプリアスな報酬の下でも同じように跳ね上がる。報酬の中身によらず、訓練は元々あった振る舞いを前面に押し出している、と読める。

ここで欠かせないのが、著者ら自身が明記する範囲の限定である。このランダム・誤りラベルでの伸びはQwen2.5-Math-7Bに特有で、Llama3やOLMo2など他のモデル系列では再現しない。それらのモデルでは、ランダムな報酬や誤ったラベルはほとんど効かないか、むしろ悪影響すら出る。著者らの結論は、RLVRの研究をQwen一系統だけでなく多様なモデルで検証すべきだという提言に留まる。今のところ確かなのは、最も使われてきた検証用モデルにおいて、報酬信号が説明する分がこれまで想定されていたより小さい、という一点だ。

2026年の反論——境界を狙うcurriculum RLと、チェスでの検証

2026年に入り、Yueらの批判に真正面から答えるタイトルの論文が出た。Pengxiang Caiらの「Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model」——査読前のプレプリントである³。

手法は3段階に分かれる。まずpass@kサンプリングでモデルの現在の推論能力の境界を特定する。次に、その境界上または境界を超える難易度の例に、指導役のモデルから的を絞った誘導を与える。最後に、その誘導で得られた新しい推論パターンをRLで定着させる。Qwen・Llama・DeepSeekの複数のベースモデルで試したところ、pass@256はベースモデルより9.8ポイント、素のRLVRより10.3ポイント向上した。pass@1とpass@256の両方が改善しており、pass@256は推論能力の境界を測る代理指標として使われている。

重要なのは、この論文が素のRLVRについてはYueらの批判を認めていることだ。標準的なRLVRは「ベースモデルに既に存在する軌跡の間で、サンプリング確率を再配分しているにすぎない」と、著者ら自身が明言する。彼らが主張するのは、境界を狙う修正版の手法であれば、その先へ踏み出せるという一点に絞られる。

同じ時期に、別の角度から迫ったのがJingyan Shenらのチェスを使った研究である⁴。査読前のプレプリントで、事前学習から事後学習までの全体を、盤面が明確で正誤も明確なチェスという題材で制御実験する。

まず、事前学習がRLの成果の上限を決める。あるRL計算量での事後RL性能は、事前学習の損失（pretraining loss）でよく予測できる。RLの報酬曲線が改善していく傾き自体も、事前学習トークン数にほぼ線形に比例して良くなる。

RLが何をしているかは、問題の難度で二つに割れる。易しいパズルでは、RLはSFT方策が元々好んでいた正解手の確率を強めるだけ——いわば研ぎ澄まし（sharpening）である。難しいパズルでは、SFT方策の下ではほぼ出てこなかった正解手をRLが新たに浮かび上がらせる——ここは単なる並べ替えでは説明しにくい。この傾向は数学のタスクにも移り、事前学習を長く積んだモデルほど事後RLの到達点が高く、改善も速い。

これは盤面という制御された題材での結果であり、フロンティアの推論モデルへの一般化は今後の検証課題として残る。

答えは「どのRL・どの問題・どのk」で変わる

「RLは推論力を生むか」という問いは、そのままでは答えが定まらない。測り方と条件を指定して初めて、意味のある答えになる。

素のRLVRは、多くの場合、ベースモデルの分布の中にある正解経路を強めているだけであり、訓練が進むほどその境界はむしろ狭まりうる——ここはYueらの計測と、curriculum RLの著者らの自己認識が一致する。RLで到達できる上限は、事前学習によって決まっている部分が大きい——チェスの実験はこれを支持する。そして、境界そのものを狙って設計されたRLや、ベースモデルがほとんど解けない難しい問題では、単なる並べ替えでは説明しにくい伸びが観測される。

だから実務的に意味を持つ問いは、RLが効くかどうかではなく、どのRLを、どの難度の問題に使い、どのkで成果を測るかだ。同じ訓練でも、この三つの選び方次第で答えは反転しうる。

この報告を、どう割り引くか

四本の重みは同じではない。Yueらの研究はNeurIPS 2025のOralに選ばれ、ICML 2025のワークショップでもベストペーパーを取っている——本稿で参照した中で最も査読を経ている一本だ¹。対する2026年の二本の反論、curriculum RLとチェスの研究は、いずれも査読前のプレプリントである³⁴。

Spurious Rewardsの結果は、著者ら自身の言明どおりQwen2.5-Math-7Bに特有で、Llama3やOLMo2には広がらない²。チェスの研究は、盤面という制御された題材での結果であり、フロンティアの推論モデルに直接一般化できるとは述べていない⁴。curriculum RLは、Yueらが示した境界を破れると主張する自前の手法を提案しており、素のRLVRの限界を強調することには、その手法の価値を際立たせるという利害が伴う³。

これらを踏まえると、現時点で最も揺るがないのは「pass@1とpass@kで結論が入れ替わる」という測定上の事実そのものだ。その先の因果の説明——なぜ入れ替わるのか、どこまで克服できるのか——は、まだ決着していない。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。