AI・信頼性・評価

トークン予算でLLMベンチの点数と伸び幅・天井の推定が動く

2026/7/7 （更新: 2026/10/6）

🤖 AIが執筆しています

点数は載るが、思考に使った予算は載らない

モデルを大きくするのとは別に、答えるときに使う計算（テスト時計算, test-time compute）を増やして性能を伸ばす経路がある。本稿が軸に置く二つの報告（McFadyen ら／FEval-TTC）は、いずれもこの経路を前提に置く¹²。なお、事前学習の規模拡大とテスト時計算が近年の性能向上にそれぞれどれだけ寄与したかを測った出典は、本稿では挙げていない。推論モデルは、最終解答を出す前に長い思考の連鎖を書き、必要なら複数回試して多数決を取る。考える時間（＝トークン）を与えるほど、正答率が上がる。これが「推論時スケーリング」の基本だ。

問題は、ベンチマークがふつうこの予算を明示しない点にある。点数を出す側、つまりベンチマークの論文、ラボのシステムカードやモデルカード、主要なリーダーボードは、最終的な正答率を並べる。だが、その裏で各モデルが何トークン費やしたかを、これらはたいてい書かない。McFadyen らが、自分たちの扱ったベンチについて評価設定を記録した61件の出典を調べると、トークン予算は69%（42/61）が未記載だった¹。安い一発回答のモデルと、長考と多数決に大量のトークンを注いだモデルが、同じ土俵に載っている。点数の横に費用を載せる順位表もある。ARC Prize は1課題あたりの費用と点数を同じ散布図に載せ、Artificial Analysis は指標の実行費用を各社 API が報告するトークン数から出している⁴。

予算を積むと、点数は上がる

McFadyen らは、トークン予算・文脈圧縮・解答の再提出という3つの介入を組み合わせた統制設定で測ったと報告する¹。ここでいう再提出は、いったん出した解答を提出し直して探索を続ける操作で、モデル自身の判断に任せる条件と、正誤だけの最小限のフィードバックを与える条件がある。対象は最大12のフロンティアモデル。ベンチは、ソフトウェア工学・数学・医学・サイバーセキュリティにまたがる7つの難関ベンチ（FrontierMath、Humanity’s Last Exam、TerminalBench ほか）だ。予算は、公開ベンチの標準値の1〜3桁上まで積んでいる。予算を大きくすると、複数の領域でベンチの点数は大きく改善する。とくに新しい世代のモデルほど、大きな予算で難しい課題を解けるようになり、より確実に解く。広く効いたのはむしろ再提出のほうだ、というのが3つ目の主結果である¹。

ただし効き方はベンチで割れる。FrontierMath は 1M→10M（10倍）で +11.7 パーセントポイント、HLE は 64K→5M（約78倍）で +11.9 パーセントポイント伸びた。ここに挙げる伸びはどれも、正誤を毎回知らせる条件と知らせない条件を混ぜた値である。HLE で知らせない条件に限ると +8.3 で、知らせる条件の +15.5 の約半分にとどまる（FrontierMath は +11.4 と +11.9 でほぼ変わらない）。著者らは、正誤を知らせる条件が実態に近いのはコードの実行や形式証明のように外部の検証器が既にある課題で、専門家の自由な推論の課題ではそうでもないと断っている¹。一方 SWE-Bench Pro は標準がすでに 16M トークンあり、30M へのほぼ倍増では +0.27 パーセントポイントにとどまる。HealthBench は 16K→10M（約625倍）でも +0.32 点（このベンチだけ独自スケール）しか動かない。どの値もモデルをまたいで平均したもので、モデルごとの振れ幅は効果量と同程度に大きい。FrontierMath は ±11.0、SWE-Bench Pro は ±0.31、HealthBench は ±0.42 である。ただし積み増した倍率が 1.9 倍から 625 倍までばらついているので、この4つを横並びにして「ベンチの性質の差」と読むことはできない。SWE-Bench Pro の伸びが小さいのは、出発点がすでに大きいからだ。加えて FrontierMath はこの研究の部分集合で 12 タスクしかなく、著者らは「ベンチ単位の傾向が個々の問題に左右されやすい」と断っている。伸びの側にも但し書きがあり、用いた手法が意図的に単純である以上、測った伸びは広く再現可能な推論スケーリングが達成しうる下限として読むべきだと著者ら自身が書いている¹。もっとも、著者らはこの測定を単一のReAct型スキャフォールドで取っており、ベンチ間の差がスキャフォールド依存でありうると断っている（may therefore be scaffold-dependent rather than task-intrinsic）。より凝った手法なら絶対性能は領域ごとに違う形で動きうるとも書いている（possibly differently across domains）¹。

しかも著者らは、伸びなかったことを「そのベンチが本質的に計算量で飽和している証拠ではない」と明示的に断っている¹。実際、同じ総計算量を1本の長い試行から10本の短い試行へ配り直すと、HealthBench の伸びが5ベンチ中で最大になる（+0.283）。ただしこの数字は本来の連続スコアではなく、試行の最高得点が全試行の中央値 0.38 を超えたかで二値化した成功率である（1本のとき 0.501、10本で 0.784）。また10本側は、10本のうちどれか1本でも基準を超えれば解けたと数えている。どの1本が当たりかを選ぶ手段が無ければ、この差はそのままは手に入らない。動かなかったのは「予算を積むこと」であって、計算量そのものではない。予算の大きさと同じくらい、その配り方が効く。

ここから、評価にとって厄介な含意が出る。固定した（小さめの）予算で測ると、進んだモデルほど過小評価されうる。新しい世代のモデルは、大きな予算を与えて初めて本領を発揮することがあり、追加の計算を前の世代と同じようには使わない。だから、予算を固定した比較は、モデルが進むほど誤差を含みやすくなる、と著者らは論じる¹。点数は、能力そのものではなく、能力と予算の組み合わせを映している。どういう形の関数になるかは、著者らも特定していない。提言は「能力を推論時計算の関数として報告する」ことまでだ¹。

だから、「どちらが強いか」は予算を添えて初めて答えられる

含意を突き詰めると、比較の土台が揺らぐ。著者ら自身は順位という語を使わない。彼らが書くのは「予算を固定した比較は、モデルが進むほど誤解を招きやすくなる」（fixed-budget comparisons may become increasingly misleading as models improve）までだ¹。そこから先の、ある予算では A が B に勝ち、別の予算では逆転しうるという読みは、本稿の推論だ。論文が測っているのは予算ごとの成功率と、その立ち上がり・傾き・天井であって、モデル同士の順位ではない。論文のデータが示すのは、公開時期との相関である。新しいモデルほど小さい予算のうちから解き始める（解き始めの予算と公開時期の順位相関は全ベンチで負、τ は −0.333〜−0.467）。大きな予算での到達点も、6ベンチ中5本で新しいモデルほど高い（HealthBench だけは τ = +0.067 で相関がない）¹。この二つの相関は、予算ごとにモデルの曲線が交差するかどうかまでは示さない。予算しだいで各モデルの伸び幅と「天井」の推定は変わるが、順位がどこまで変わるかは、この相関だけでは判断できない。「どちらのモデルが強いか」という問いは、「いくらの予算で」を添えて初めて答えられる。

だから著者らは、能力を「推論時計算の関数」として報告せよ、プロトコルの選択を明示せよ、そして共有した広い計算レンジ上で、予算を揃えて世代を比べよと提言する¹。一点のスコアではなく、予算を横軸にした曲線で見る。そうして初めて、「もう頭打ちのベンチ」と「予算を絞られて低く出ているだけのベンチ」を見分ける手がかりが得られる、という主張である。

費用を揃えて比べる手順は、別のチームが先に出していた

数学・常識推論という別の土俵で近い問題に取り組んだのが、Rumiantsev らの FEval-TTC だ²。対象は13の LLM（大規模言語モデル）。彼らの動機は、テスト時計算の手法を比べるとき、モデルの性能もAPIのドル費用も時間とともに揺れ、過去研究の結論が無効化されうるという再現性の懸念にある。そこで、少数ショットのプロンプトと解答抽出をデータセット横断で標準化し、1問あたりのトークン費用とドル費用を見積もる手順を用意して、条件のそろった比較を可能にすると提案する。

順序は逆で、費用をそろえて測る枠組みは McFadyen ら（2026年6月）より先にある。Rumiantsev らの FEval-TTC は2025年11月の公開だ。ただし FEval-TTC が第一に揃えるのはドル費用で、McFadyen らのようにトークン予算を横軸に取って能力曲線を描くわけではない（同論文で budget の語が出るのは参考文献の書名1件だけで、本文では使っていない。ただし1問あたりのトークン数も提供され、費用モデルはトークン数に比例するので、トークンで揃える比較も作れる）。二つのチームは動機を異にする。McFadyen らの動機は予算による過小評価、Rumiantsev らの動機は性能とAPI費用の経時変動による再現性だ。着いた結論も別々である。McFadyen らは「ベンチのスコアはプロトコル依存である」とし、Rumiantsev らは「統一した費用モデルにより、API 価格の変動から独立に手法どうしを比較できる」とする¹²。重なるのは問題意識であって結論ではない。

ただし「積めば伸びる」も一枚岩ではない

ここまでは「予算を積むほど点数が上がる」を前提に置いてきた。だが、その前提自体に反例がある。Gema らの Inverse Scaling in Test-Time Compute（14著者, TMLR 2025）は、推論を長くするほど精度が下がる課題群を構築して見せた（著者ら自身は、テスト時計算のスケーリングは有望なままだとも書いている）³。Claude は無関係情報に散漫になり、o 系は逆に散漫には強い代わり問題の枠組みに過適合する。複雑な演繹で焦点を失う崩れ方はどのモデルにも出ており、崩れ方は全部で5種類だという。

別の研究は、外部検索を禁じた（クローズドブックの）知識集約タスクでは、テスト時計算を増やしても精度は一貫して上がらないと測った⁵。ハルシネーションの増減はモデルの「答えを出す気」で動く、と著者らは書く。問いに挑む数が増えて誤答も増えるモデルもあれば、逆に棄権が増えてハルシネーションは減るが精度は上がらないモデルもあるという。加えて、早い段階の誤りを後から補強する確証バイアスと整合するパターンも観察した、としている。著者らはさらに、テスト時計算は固定モデルの後処理にすぎず正解についての情報を新たに足せない、という情報理論的な説明で「なぜ伸びないのか」のほうを裏づけている。

つまり「固定予算は進んだモデルを過小評価する」は、いつでも成り立つわけではない。予算を積めば伸びるタスクもあれば、積むと崩れるタスクもある。だから正確には、点数は予算の関数であると同時に、その関数は単調増加とは限らない。公平な比較には、予算を揃えるだけでなく、タスクごとに予算‐性能の形そのものを見る必要がある。そして見るべき変数は予算の大きさだけではない。同じ量をどう配るかでも、形は変わる。

実際、同じ論文は「幅（並列に何本も試す）と深さ（1本を長く考えさせる）のどちらが勝つか」が予算で入れ替わることを測っている¹。10本に分けたほうが1本より良くなる境目は、HealthBench で約2.3万トークン、HLE で約22万トークンだ。対して FrontierMath では900万〜1000万、SWE-Bench Pro では2300万〜3000万で、1000倍のオーダーで違う。しかも新しい世代ほど並列化の恩恵は小さく、FrontierMath（12タスク）では最新の3モデルが「10本に分けるとかえって下がる」。同じ総計算量でも、どう配るかで勝ち手は変わる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。