AI・信頼性・評価

点数は『考えさせた量』で変わる——推論時計算がフロンティアLLMのベンチ比較を揺らす

2026/7/7

🤖 AIが下書き・人間が編集

要点： フロンティアLLMの強さは、たいていベンチマークの点数で語られる。だが推論モデルは、答える前に長く「考える」——中間の思考（chain-of-thought）にトークンを費やすほど、難しい問題を解けるようになる。ここに落とし穴がある。2026年6月に公開された研究（McFadyen ら）は、同じモデルでも、推論に使わせるトークン予算を増やすほどベンチの点数が上がると報告し、その帰結として、固定予算での比較は、進んだモデルの実力を過小評価しうると指摘する¹。予算を変えれば順位が動きうる、ということだ。同じ問題意識から、別のチームは、テスト時計算を公平に比べるための評価手順（予算を揃え、トークンとドルの費用まで報告する）を独立に提案している²。どちらも査読前のプレプリントだが、示す方向はそろっている——「何点取ったか」は、「どれだけ考えさせたか」という前提を抜きには読めない。

「推論に予算を積む」とは何か

近年の性能向上の多くは、モデルを大きくすることではなく、答えるときに使う計算（テスト時計算, test-time compute）を増やすことで得られてきた。推論モデルは、最終解答を出す前に長い思考の連鎖を書き、必要なら複数回試して多数決を取る。考える時間（＝トークン）を与えるほど、正答率が上がる——これが「推論時スケーリング」の基本だ。

問題は、ベンチマークがふつうこの予算を明示しない点にある。リーダーボードは最終的な正答率で並ぶが、その裏で各モデルが何トークン費やしたかは、多くの場合報告されない。安い一発回答のモデルと、長考と多数決に大量のトークンを注いだモデルが、同じ土俵に載っている。

予算を積むと、点数は上がる

McFadyen らは、この予算の効きを正面から測ったと報告する¹。複数の領域のベンチで、トークン予算を大きくすると性能が大きく改善する——大きな予算のとき、モデルはより難しい課題を解けるようになり、より確実に解く、というのが彼らの観察だ。

ここから、評価にとって厄介な含意が出る。固定された（小さめの）予算で測ると、進んだモデルほど過小評価されうる。新しい世代のモデルは、大きな予算を与えて初めて本領を発揮することがあり、追加の計算を前の世代と同じようには使わない。だから、予算を固定した比較は、モデルが進むほど誤差を含みやすくなる、と著者らは論じる¹。点数は、能力そのものではなく、能力と予算の積を映している。

だから、順位は予算しだいで動きうる

含意を突き詰めると、比較の土台が揺らぐ。ある予算では A が B に勝ち、別の予算では逆転する——どの予算で切り取るかで、リーダーボードの並びが変わりうる¹。「どちらのモデルが強いか」という問いは、「いくらの予算で」を添えて初めて答えられる。

だから著者らの提言は具体的だ——能力を「推論時計算の関数」として報告せよ、そして共有した広い計算レンジ上で、予算を揃えて世代を比べよ¹。一点のスコアではなく、予算を横軸にした曲線で見る。そうして初めて、「もう頭打ちのベンチ」と「予算を絞られて低く出ているだけのベンチ」を見分けられる、という主張である。

独立の指摘：公平に比べるなら、予算とコストを揃える

同じ問題に、別の角度から取り組んだのが Rumiantsev らの FEval-TTC だ²。彼らの動機は、テスト時計算の手法を比べるとき、モデルの性能もAPIのドル費用も時間とともに揺れ、過去研究の結論が無効化されうるという再現性の懸念にある。そこで、少数ショットのプロンプトと解答抽出をデータセット横断で標準化し、1問あたりのトークン費用とドル費用を見積もる手順を用意して、条件のそろった比較を可能にすると提案する。

McFadyen らが「予算で点数も順位も動く」と示す側だとすれば、FEval-TTC は「ならば予算と費用をそろえて測る枠組みを」と応える側だ。別々のチームが、テスト時計算を勘定に入れない比較は公平でない、という一点に独立に行き着いている¹²。

この指摘をどう割り引くか

鵜呑みにする前の留保も要る。二つとも査読前のプレプリントで、独立の再現はこれからだ。順位が実際にどれだけ入れ替わるかは、対象にしたモデル・ベンチ・予算レンジの取り方に依存する余地がある。「予算で点数が上がる」こと自体は推論時スケーリングの前提として広く観察されてきたが、それが既存リーダーボードの結論をどこまで覆すかは、より多くのモデルと課題での検証を待つのが妥当だ。

とはいえ、方向は堅い。予算を増やせば点数が上がるのは仕組み上ほぼ避けられず、予算を報告しない比較が前提を隠しているという指摘は、覆りにくい。確定ではなく、筋の良い警告として受け取るのがちょうどよい。

実務で何を見るか

フロンティアLLMを点数で選ぶ側なら、勘所は絞れる。

• 順位を、予算とセットで読む。 「A > B」は「どの予算で」を欠くと意味が薄い。ベンチ結果は、1問あたりのトークン数（と可能ならコスト）を添えて見る²。
• 固定予算の低スコアを、能力の天井と決めつけない。 進んだモデルは大きな予算で伸びうる。頭打ちなのか、予算で頭を押さえられているだけなのかを分ける¹。
• 自分の運用予算で測る。 実運用で許せるトークン・コストの範囲で評価する。無制限の長考で出た点数は、その予算を出せない現場には効かない。
• 能力は曲線で捉える。 一点のスコアより、予算を横軸にした「計算量の関数」で比べる¹。

これは、In Silico がコーディングAIを点数で選べなくなってきたと書いてきた話の、一段深い層だ。ベンチが飽和する前に、そもそもその点数がどの予算で出たかを問わないと、比較は成り立たない。二つの報告はまだプレプリントだが、別々のチームが「予算で点数が動く」「ならば予算をそろえて測る」に独立に行き着いた点で、単発の主張よりは筋がいい。点数は、どれだけ考えさせたかの上に立っている——その前提を明示することが、フロンティアを公平に比べる第一歩になる。

この記事はAIが下書きし、人間が編集・公開しています。