AI・信頼性・評価

モデル移行前に何を再テストするか——総和が隠す増減

2026/8/26

🤖 AIが執筆しています

総合点は、改善と後退の差し引きである

XuとWuは、ある提供元のGPT製品系列に絞って、3つの移行を項目単位で測った¹。GPT-5.4→GPT-5.5、GPT-5.5→GPT-5.6 Sol、そして版を一つ飛ばすGPT-5.4→GPT-5.6 Solの3辺である。実務で起きるのはまさにこの形だ——使っていた版が止まり、指定された版へ移る。

使ったベンチマークは3つ、合計900項目。SuperGPQAは大学院水準の専門知識を問う多肢選択で500項目、Omni-MATHのhard分割はオリンピック級の数学問題で100項目、IFBenchは「箇条書きにするな」「三文以内で答えよ」といった指示にどれだけ従えるかを検証可能な形で採点する指示追従ベンチで300項目にあたる。知識・推論・書式追従という、業務のプロンプトが実際にまたぐ三方向を薄く覆う構成になっている。

肝心なのは測り方だ。各項目を、各モデルに対してK=50回、独立した単発の呼び出しで問い合わせる。 1回の正誤ではなく、その項目の通過確率を推定するためである。そのうえで項目ごとに、確実に改善／確実に後退／実用上同等／判定不能の4つに分類する。分類はFisherの正確確率検定に、Benjamini–Hochberg法による偽発見率（複数の検定を並べたとき、有意と判定したもののうち誤りが占める割合）の5%制御を移行×ベンチマークの各セル内でかけたうえ、実質的な差として通過確率が20パーセントポイント動いたことを要求する。

結果が下の表である。Δは総合スコアの変化幅（パーセントポイント）、続く二つは項目の割合（%）で、単位が違う。

読み方は二つある。ひとつは、9組のどこにも改善と後退が同居していること。総合点が最も伸びた5.4→5.5のOmni-MATH（+7.3ポイント）でも、確実に後退した項目は6.0%残る。伸びた辺で後退割合が最も大きかったのは5.4→5.5のIFBenchの8.3%で、こちらの総合Δは+1.9ポイントにすぎない。この二つは別のセルの話であって、7.3ポイント伸びた辺に8.3%の後退があったのではない。逆向きも同じで、総合点が4.1ポイント下がった5.5→SolのOmni-MATHでも、9.0%の項目は確実に改善している。総合点の符号は、その辺で何も後退していない／何も改善していないことを意味しない。

もうひとつは、確実に後退した項目の割合が4.4%から15.0%の帯に収まっていることだ。一見小さい。だが自分の製品が投げる問い合わせが、たまたまその帯に集中していない保証はどこにもない。総合点は全項目を平均した数字なので、平均の下でどの項目が入れ替わったかは定義上そこに残らない。項目単位の増減は、平均を取る前にしか見えない。

別のモデル系列でも、同じ形が出た

一社の製品系列で見えた形が、その社に固有の事情でないかは別に確かめる必要がある。Cacioliの研究は、著者も対象のモデル系列も別のところで同じ問いを立てている²。臨床心理学で個人の変化が測定誤差を超えたかを判定するために使われる信頼性変化指標（Reliable Change Index）を、モデルの版差に持ち込んだものだ。対象はMMLU-Proの2,000項目、版の組はLlama 3→3.1とQwen 2.5→3の2つである。ただしこの二つの研究は完全に独立ではない——XuとWuはCacioliを引用し、自分たちの実験を「反復サンプリングの線をフロンティア商用APIの移行へ延長したもの」だと書いている¹。検定はRCIとFisher／BHで別だが、反復サンプリングと1,000回の並べ替え帰無較正という骨格は共通する。それでも、別の著者が別のモデル系列で先に同じ形を見ていたことは、一社に固有の事情ではないことの手がかりにはなる。

結果はまず安定側から読むべきだ。ベンチマーク全体で見ると、確実な変化を示さなかった項目がLlamaで79%、Qwenで72%を占める。 版を上げても、大多数の項目の振る舞いは統計的に区別できるほど動かない。移行のたびに全面的な作り直しが要るという話ではない。ただしこの数字の出どころには但し書きが要る。Cacioliは、この結果が「版によらず決定的に正解または不正解になる床・天井の項目に支配されている」ものだと書いている——7〜8B規模ではMMLU-Proの大半が、自明に正解か、まったく歯が立たないかのどちらかに寄るためである²。79%・72%が主に映しているのは、動きうる項目の安定度ではなく、そもそも動きようのない項目の多さのほうだ。

そのうえで、動いた側の内訳が効いてくる。ここでいう解析可能な項目とは、どちらの版でも通過率がちょうど0か1だった項目——常に不正解か、常に正解かのどちらかだった項目——を除いた残りで、分母が全体とは違う。落ちたのはLlamaで1,048項目（52.4%）、Qwenで1,348項目（67.4%）にのぼり、情報が足りずに落ちた項目は原典によれば1件もない。その残りで見ると、Llamaでは34%が改善し28%が悪化、Qwenでは47%が改善し39%が悪化した。改善と悪化はここでも同居する。 ただし原典の帰無較正を通ったのは、Llamaでは改善（321件）と悪化（270件）の両方だが、Qwenでは改善（306件）だけだ。Qwenの悪化にあたる254件は、版のラベルを入れ替えただけでも生じうる範囲——帰無分布の95パーセンタイルにあたる299件——の内側にあると原典は書いている²。悪化側が雑音の上にはっきり立っているのは、2組のうちLlamaの1組である。

全体の79%・72%と、この34%・28%を混ぜて読んではいけない。前者はベンチマーク全体に対する割合、後者は解析可能な部分集合に対する割合である。ただしこの読み替えが算術的に閉じるのはQwenの側だけだ——全体の72.0%（2,000項目のうち1,440件）から除外1,348件を引くと、解析可能652項目の14.1%にちょうど一致する。Llamaでは合わない。全体の78.7%（1,574件）から除外1,048件を引いた526件は解析可能952項目の55.3%にあたり、原典の表が載せる37.9%と165項目ぶん食い違う。原典のLlamaの数値は、改善・悪化を321件／270件とする系と、220件／206件とする系に割れている（前者は原典が書く純増51件と、後者は原典が書く全体の入れ替わり率21.3%と、それぞれ整合する）。Llamaの内訳を細かい判断の根拠にしないほうがよい——ここは本稿の判断である。

この研究には、測り方そのものについての所見もある。貪欲な単発評価——温度を下げて1回だけ答えさせ、その正誤を採る、いちばんよく使われるやり方——は、確実に変化した項目の42%を取り逃がし、変化していない項目の25%を誤って変化ありと報告した。 この比較は原典がLlamaの対で回したもので、温度0の貪欲データ1,997項目との突き合わせである²。見落としと空振りが同時に出るということは、1回だけの比較は差の有無を判定する道具として成立していない、という意味になる。項目単位で見ようと決めた時点で、繰り返し回数は削れない部分になる。

変化の向きにも偏りがある。もともと正解率の低かった項目は版を上げると改善しやすく、逆に正解率の高かった項目のほうが劣化しやすい。ただし原典は、この極値での向きの非対称を説明するのは「平均への回帰」だとしている——床に近い項目は上がるしかなく、天井に近い項目は下がるしかない²。版そのものの効果として原典が切り分けているのは、回帰では説明できない分野ごとの反転のほうである。失った領域は系列ごとに違い、Llamaは物理を落とし、Qwenは法律を落としている。原典はこれを利用者の側から書いている——総合点が上がったことを理由にLlama 3.1を選んだ利用者は、物理でLlama 3より悪い性能を経験することになり、Qwen 3を選んだ利用者は法律で悪化を経験する。どちらも総合点からはそれを知りえない²。分野の偏りは統計的にも支持されている（2組ともχ²検定でp < .001）。どの分野が弱くなるかは提供元の都合で決まるので、外から予測できるものではない。著者は、総合的な性能値の横に項目の入れ替わり率（churn）を併記せよと勧めている。

「確実に変わった」の敷居は、かなり高い

ここまでの数字を実務に持ち込む前に、何を「変わった」と数えたのかを見ておく必要がある。XuとWuの実質的有意水準はε=0.2、つまりその項目の通過確率が20パーセントポイント動いていなければ、確実な変化として数えない¹。50回中25回通っていた項目が35回通るようになる、くらいの幅である。かなり大きい。

これは両側に効く。片側は保守的な方向だ。報告された4.4〜15.0%という後退割合は、この大きな敷居を越えた項目だけを数えた値なので、後退の量としては下限に近い読み方になる。統計的な有意性はFisher検定と偽発見率制御で担保され、ラベルを1,000回入れ替えた並べ替え帰無分布に対して較正されている。その較正では、9つのセルすべてで確実な変化割合の95パーセンタイルが0.0%だった。真の変化がゼロのとき、この手続きは偽の「確実な変化」を1件も出していない¹。

もう片側は、これらの数字が実務上の安全側にならない方向だ。原典自身が、εと試行回数の組み合わせが検出できる変化の大きさを決めており、それより小さい真の変化は「判定不能」の側に残ると書いている。判定不能の割合は——上の表では割愛したが原典の同じ表にあり——7.6%から24.7%まで開き、IFBenchでは3つの辺すべてで20%を超える。つまり「実用上同等」と「判定不能」を足した大きな塊は、変化がないことの証明ではない。20パーセントポイントに届かない後退は、そこに紛れている。ただし原典は敷居をε=0.10まで下げた感度分析も載せており、そこでも後退割合の増分は9つのセルのどこでも最大1.0ポイントにとどまる（この差分は原典の付録の表から読み取れる）¹。敷居を下げてもこの塊はほとんど薄くならない。ここで効いているのは敷居の高さではなく、試行回数の側である。

原典が明示する限界はほかに二つある。ひとつはベンチマークの選定で、著者らは調べるモデルがまだ伸びしろを残しているベンチマークを選んでいる。天井に張り付いたベンチマークでは項目単位の変化がそもそも観測できないからだが、その代償として、報告された割合は「情報量のあるベンチマークについての推定値であって、任意のワークロードに対する母集団の比率ではない」と著者自身が書いている。この4.4〜15.0%を、そのまま自分の業務データの期待値に置き換えることはできない。 ただし著者ら自身は、同じ割合を「自社のワークロード向けの受け入れ試験を設計するときの参照率」としてなら使えると書いている。期待値そのものに据えるのではなく、桁の当たりを付ける参照として扱う、という距離の取り方である。もうひとつは対象の狭さで、一社の製品系列と公開ベンチマーク3本にとどまる。別系列で同じ形が出たことは前節のCacioliが先に示しているが²、それも2系列にすぎない。

採点の締め方でも数字は動く。IFBenchの最新の移行（5.5→Sol）は、厳格な採点で3.9ポイントの後退だが、緩い採点に切り替えると後退幅は0.04ポイントまで縮む——厳格と緩和の差が、この移行で3.9パーセントポイント開いた¹。指示追従を厳格に採点するとは、要求された書式や字数の条件をすべて満たして初めて通過と数えることだ。緩い採点なら、大筋が合っていれば通る。自分の後段が出力を機械で解析しているなら、見るべきは厳格側である。緩い採点の数字だけを見て「ほぼ変わらない」と判断すると、パーサが落ちる形の後退を丸ごと見逃す。原典の応答分類でも、IFBenchの書式失敗は15,000応答あたりGPT-5.5の771件からSolの1,352件へ増えている¹。

測り直しの値段は、思ったより低い

ここまでを額面どおりに受け取ると、移行のたびに900項目×50回のような測定を回す話になり、現場では通らない。だが「何を測るか」を分ければ、支払う額は下がる。

総合的な位置づけを知るだけなら、測定は安い。PoloらのtinyBenchmarksは、その点を正面から示した研究だ³。要旨はこう書いている——「MMLUというよく使われる14,000問の多肢選択QAベンチマークについて、あるLLMの性能を正確に推定するには、厳選した100問で評価すれば十分であることを示す」。著者らはOpen LLM Leaderboard、MMLU、HELM、AlpacaEval 2.0の縮小版を公開し、これらが「元の評価結果を信頼できる形で効率的に再現するのに十分」だと報告している。総合点を出し直すだけなら、桁が二つ落ちる。

ただし、この安さは項目単位の増減には効かない。tinyBenchmarksが安く推定しているのは総合的な水準であって、どの項目が入れ替わったかではない。 縮小版は元の平均を再現するように厳選されており、平均を再現する100問は、後退した項目を見つけるための100問ではない。二つは測っている対象が違う。

安さには精度の限界も付いてくる。原典が報告している推定誤差は平均で約2%、最悪でも4%以下という水準だ³。上の表に並んだ9つの移行のうち7つは、総合Δの絶対値がその4%を下回る。8つめ（4.1ポイント）もほぼ同じ大きさで、明確に外側にあるのは+7.3ポイントの1つだけだ。しかも新旧2つのモデルをそれぞれ推定して差を取るので、誤差は片側だけでは済まない。原典が示しているのは水準の推定精度であって、二つの版の差を判定できるかどうかではない。それでも実務上の意味は小さくない——移行判断のうち「新しい版が桁違いに劣ってはいないか」の部分は既存の安い道具で片づき、追加で買う必要があるのは項目単位の側だけになる。

項目単位の側にも、費用を下げる方向の研究はある。Pacchiardiらは、新しいモデルを100問程度の参照集合で試し、その結果と問題の特徴量から、未見の問題ごとの成否を予測する汎用の評価器（assessor）を訓練する構成を示した⁴。HELM-LiteとKindsOfReasoningで、2024年1月時点までのOpenAIの指示調整済みモデル群を対象に検証している。報告された結果は、汎用評価器の訓練に使ったのと同じ分布の問題を予測するかぎり、この汎用評価器が、全問題で訓練したモデル固有の評価器に匹敵する性能を出すというものだ——原典の結論節の言い方では「わずかに劣るだけ」である。しかも参照問題をランダムに選んでも、試された高度な選択手法と同等だった——選び方に凝る必要がない、というのは実装側にとって大きい。

ただしPacchiardiら自身が断る限界がそのまま効いてくる。分布外の問題に対しては、全体として性能が落ちる。 原典はそこで止めていない。分布外では試したどの手法も明確には勝たず、項目単位の予測可能性そのものが総じて低いと書き、著者らは自分たちの仕事の意義を「LLMの内在的な予測可能性の低さへの注意喚起」だとまで述べている⁴。本番の移行は、まさにその分布外だ。自社の問い合わせは公開ベンチマークの分布から外れているからこそ、公開ベンチマークの総合点で判断できないという話をしている。参照集合の予測を自社データに外挿する構成は、tinyBenchmarksとPacchiardiらのどちらも支持していない領域に入る。

そもそもPacchiardiらの構成は、参照集合さえ自社データから取れば回せるものではない。原典の手順は三段である——(1) 既に評価済みの複数のLLMについて項目単位の結果を集め、そこから参照集合を切り出す、(2) その上で汎用評価器を訓練する、(3) 新しいモデルを参照集合で試して当てはめる⁴。自社データでこれを回すには、自社の項目を複数のモデル版で先に一通り評価しておかなければならない。それはこの節が下げようとしている費用そのものだ。原典が「あるLLMファミリーの全版についての項目単位の結果としては、知る限り初の公開だ」と書いているのは、その一式がそう簡単には揃わないことの裏返しでもある。

移行前に何を測り、何を省くか

以上を、期限までに実際に回せる手順に落とす。

• 総合点の測り直しに人日を使わない。 新しい版の一般的な水準は提供元の公表値と公開ベンチマークで足りるし、自分で出し直すとしても厳選100問規模で総合的な位置づけは推定できる³。ただしその推定の誤差は平均で約2%、最悪でも4%以下という水準で、上の表に並んだ9つの総合Δのうち7つはその幅を下回る³。ここで安く確かめられるのは水準であって、移行が総合点をどちらへ動かしたかではない。
• 代わりに、自社の項目を数十件から数百件、実データから固定して用意する（この規模は本稿の判断で、出典が推奨する数ではない）。 過去の問い合わせログから、書式・領域・難度が偏らないように抜く。この集合が測定の全体になる。公開ベンチマークの項目割合を、そのまま自分の期待値に置き換えない。XuとWuは報告値を「情報量のあるベンチマークについての推定値」と限定したうえで、受け入れ試験を設計するときの参照率としてなら使えると書いている¹。
• 1項目1回では足りない。同じ項目を新旧それぞれで繰り返し呼ぶ。 貪欲な単発評価は確実に変化した項目の42%を見落とし、変化していない項目の25%を誤検出した²。商用APIの側でも同じで、XuとWuがK=50の記録から1回ぶんを無作為に抜いて同じ判定手順にかけたところ、9つのセル合計457件の確実な変化は1件も回収できなかった¹。彼らの実験は1項目50回で、実際に試した低回数の構成は1項目1回だけである¹。回数は検出したい変化の大きさとの取引だが、削れる下限は自分で確かめることになる。回数を削れば、小さな変化はそのぶん判定不能側に落ちる¹。
• 平均ではなく、増えた項目数と減った項目数を並べて出す。 見るべきは平均の差ではなく入れ替わり率だ²。減った項目が一件でもあるなら、その一件が自社の主要な用途かどうかを人が読む。判断はそこで行う。
• 書式と指示追従は、厳格な採点で見る。 同じ移行が、緩い採点では0.04ポイント、厳格な採点では3.9ポイントの後退に見える¹。後段が出力を機械で解析しているなら、緩い側の数字には意味がない。
• 上の項目集合を、移行のときだけ手で回すものにしない。 期限が来てから走らせるのでは、後退が見つかっても直す時間が残らない。用意した自社項目セットを継続的インテグレーションに固定して置き、版が変わったら自動で新旧の対を回し、後退が出たら移行を止める——という形にしておく。Chishtiらが提案する三層（期待する振る舞いを明示的に書き下した契約、配備上のリスク領域ごとに束ねたテスト、非互換な更新を止める関門）は、この置き方の設計図にあたる⁵。提供元が版番号を変えずに更新を入れる状況（silent update）では、そもそも移行の日付が事前に分からないので、常時回っていること自体が要件になる。著者らの探索的検証でも、同じSonnet 4に対して前日は全テストを通ったバックエンドのSQL関数が、翌日は安全なエンコーディングのテストで落ちている——版の表記は変わっていない⁵。ただしこれは枠組みの提案と探索的な検証であって、測定された効果ではない——著者ら自身、結論節で未解決の課題を五つ挙げている（回帰テスト集合の設計、非決定的な評価、閾値の較正、変化の原因帰属、そして計算コスト）。最後の一つは、この箇条書きが勧めている置き方に直接かかる。原典は、カテゴリ単位の継続的評価がCI/CDに計算上・運用上の負荷を持ち込むため、組織は回帰テストの費用を配備速度とリスク露出と天秤にかける必要がある、と書いている⁵。枠組みとして借りられるのは並べ方までで、閾値も、どこまで常時回すかも、自分で決めることになる。

省けるものと省けないものの線は、はっきりしている。総合的な水準の確認は既に安く、そこに時間をかける理由はもうない。省けないのは、自分の項目を、繰り返して、新旧の対で測ることだけだ。それは提供元が代わりに測ってくれる種類の数字ではない——彼らの問題集に自社の問い合わせは入っていないのだから。期限が来る前に用意しておくべきものは、移行の判断そのものではなく、判断に使える自分の項目集合のほうである。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。