AI・信頼性・評価

ベンチマーク最適化が指標を壊す——グッドハートの法則

2026/6/20 （更新: 2026/7/26）

🤖 AIが執筆しています

「測定が目標になると、それは良い測定でなくなる」。グッドハートの法則は、いまのML分野を言い当てている。リーダーボードのスコアは、本当に測りたい能力そのものではなく、その代理(プロキシ)にすぎない。そして分野がひとつの固定ベンチマークに全力で最適化を始めると、スコアの上昇が何に由来するのかを確かめられなくなる。以下で見る出典が示すのは、汚染・入力側の漏洩・評価フォーマットへの感度だけでもスコアは動くという点までで、現実の能力が横ばいや劣化に転じたことを直接測ったものではない。

数字が能力と切り離される、その仕組み

なぜこうなるのか。具体的なメカニズムはいくつもある。

学習・テストの汚染(contamination)。ベンチマークの問題と答えが、知らぬ間に事前学習コーパスに混入する。モデルは「解いて」いるのではなく「思い出して」いる。Web規模のスクレイピングをしている以上、これは事故ではなく既定値だと考えたほうがいい。ただし「答えが漏れる」経路は事前学習汚染だけではない。コーディング系の代表格 SWE-bench では、ある監査が、合格パッチの約33%で課題文(issue text)の側に解法や正解パッチの手がかりが含まれていたと報告している¹——入力に答えが混ざっていたケースで、事前学習コーパスへの混入とは別種の漏洩だ。事前学習汚染そのものも抽象論ではない——より深刻なのは、モデルがタスクIDだけから正解パッチや課題文を逐語的に再現できてしまう汚染だ。OpenAI はこれを検出したと公表し、2026年2月、SWE-bench Verified の報告自体を取りやめた²。

代理指標そのものの脆さ。MMLUのような4択形式のスコアは、推論能力そのものの代理としては弱い。少なくとも、評価フォーマットの隙を突くだけでスコアは動く。選択肢の並び順を入れ替えるだけで、正答率の最大と最小の差は13〜85%に達する——CSQA、MMLUの3科目、Big-Benchの論理推論という5つの多肢選択課題で、GPT-4 と InstructGPT を測った結果だ³。著者らはこれを推論力ではなく位置バイアスに帰している。プロンプトの言い回しや採点方法といった些細な違いだけで、MMLUで11モデルを比べたリーダーボードの順位は最大8つ入れ替わる⁴。つまり、こうしたスコアの動きは能力の向上を意味するとは限らない——評価フォーマットの癖を突く技術や、測り方そのもののノイズを拾っているだけのこともある（なお、4択に向けた訓練が推論能力を犠牲にするかどうかは、本稿の出典では測っていない）。

ベンチマークの陳腐化。固定された問題集は、公開された瞬間から賞味期限が始まる。みなが同じテストに向かってチューニングすれば、テストは飽和し、上位陣の差は誤差とノイズの中に溶ける。残るのは「我々のモデルが0.3ポイント高い」という、現実の何も保証しない宣伝文句だ。

スコアは、能力そのものではない

ではどうするか。誠実な姿勢はひとつ。ベンチマークの伸びは、まず疑ってかかる。

リークしていない held-out 評価を持つこと。問題が更新され続ける moving な評価を好むこと。そして最終的には、実際のデプロイ環境での挙動を見ること。「テストで強い」と「現場で役に立つ」のあいだには、しばしば谷がある。

これは理想論ではない。問題を継続的に更新して汚染を構造的に抑える設計の評価は実在する——LiveBench は2024年の論文時点で、数学・コーディング・推論の問題を毎月更新すると公表していた（本稿執筆時点の更新継続状況は未確認）⁵。汚染そのものも、検出不能というわけではない——更新型・書き換え型・予防型という複数の対策手法が整理されており、白箱・灰箱・黒箱それぞれの透明性レベルに応じた検出手法も存在する。ある調査は、汚染は「検出可能かつ緩和可能」であり、課題は技術の有無でなく、より厳密な評価プロトコルをどこまで徹底できるかだと結論づけている⁶。少なくとも汚染については、測定を鍛え続ける道筋がある——位置バイアスやプロンプト感度のような、指標の解き方そのものを突く手口まで自動的に塞いでくれるわけではないが。

結局のところ、本当のボトルネックはモデルではなく、あなたの測定が現実を映しているかどうかだ。スコアは、測りたい能力そのものではなく、その代理にすぎない。だから数字が上がって安心したときこそ、上がったのが「本当の能力」なのか「そのテストの解き方」なのかを、一度立ち止まって問うべきだ。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。