AI・信頼性・評価

GDPvalとは：AIと熟練者の実務比較で、勝率が測るもの・測らないもの

2026/7/26 （更新: 2026/11/3）

🤖 AIを使用して執筆

実務の成果物で、熟練者に迫った

これまでのAI評価は、選択式や短い正解のあるベンチマークが中心だった。GDPval はそこを大きく変えた。不動産・政府・製造・金融・医療など9業種、弁護士や会計士を含む44職種の現実の仕事を課題にする。スライド、文書、表計算、図面といった実際の成果物を作らせ、その職で平均14年の経験を持つプロの成果物と、専門家がどちらが良いかで比べる¹。人工的な課題ではなく、報酬の発生する仕事に寄せた設計だ。

OpenAI の報告では、最上位モデルは熟練者の質に迫り、性能は時間とともにほぼ直線的に伸びている¹。

独立に測る集計として、Artificial Analysis の GDPval-AA がある。モデルにシェル操作とWeb閲覧を与え、匿名のペア比較の勝ち負けをEloに換算する。Elo は、対戦の勝ち負けから各参加者の強さを一つの点数にする方式である。ただし判定するのは人ではない。v2の判定者は主要ラボの3体のフロンティアの大規模言語モデル（LLM、Large Language Model）からなるパネルで、1件の対戦ごとに、パネルから抽出した1体が単独で裁く（A judge sampled from a panel of three frontier LLM judges）。複数の判定者を合わせれば偏りが減ると自己選好の研究は見込んでいるが（one possible approach is ensemble evaluation）⁴、この方式はその合わせ方をとらない。

2026年8月の版は人間の基準を1000に置いており、そこでは上位モデルが1700前後から1800超に達していた。2026年8月16日に確認した時点では Claude Opus 5（最大努力）が 1848.8 で首位で、同じモデルの別の設定（Xhigh）が約1817で続いた。別のモデルでは Grok 4.6 が 1746.4、Opus 4.8 へのフォールバック付きの Claude Fable 5 が 1738.9、Qwen3.8 Max が 1737.0、GPT-5.6 Sol が 1725.2 である⁵。

ただし、上の2つの間と、Grok 4.6 以下の4つの間では、並び順は読まないほうがいい。リーダーボードは各値に95%信頼区間を添えており、ここに挙げた6つの値では幅が上下16〜22点ある。首位と2位の約30点差でも両者の区間は重なり、Grok 4.6 以下の4つも互いに重なる。上の2つと下の4つの区間は重ならない。

速度とコストについて、提供元 OpenAI の発表は、GDPval の課題を熟練者より約100倍速く、約100倍安くこなせるとしている³。この「100倍」は、額面どおりには受け取れない。

まず出どころが論文ではない。「約100倍」は OpenAI の発表記事の言い方で、GDPval 論文にこの数字は無い。その発表記事自身が、同じ段落で断っている。この数字は推論時間と API（Application Programming Interface）の料金だけのもので、職場で要る人の監督や反復、組み込みの手順は捉えていない（do not capture the human oversight, iteration, and integration steps）³。続けて、モデルが特に強い課題に限っては、人より先にモデルに試させれば時間と費用の節約になるという見込みも述べている（giving a task to a model before trying it with a human would save time and money）³。

論文で同じ種類の指標は、Table 2 の naive ratio（素朴な比）である。論文はこれを、品質の差も実装にかかる時間も一切考慮せず、人の平均所要時間をモデルの平均サンプリング時間で割っただけの数字だと明記している¹。GPT-5 の値は90倍で、モデル間では90〜327倍に散らばる¹。同じ表の費用の側の素朴な比は GPT-5 で474倍（モデル間では474〜5172倍）で、発表記事の「約100倍安く」はどのモデルの値とも合わない¹。

人が確かめる時間を入れると、比は1倍台に縮む。同じ論文が、人がレビューし必要なら直す現実的な運用（「まず1回モデルに試させ、駄目なら人が直す」）で試算した値は、GPT-5 で約1.12倍速・約1.18倍安にとどまる。駄目なら再サンプルする運用でも、約1.39倍速・約1.63倍安だ。どちらも人の平均404分・約361ドルに対し、レビューに約109分を見込んだ場合の値である¹。

偏りの向きは、論文が両方挙げている。再サンプルの試算について、論文は We are over-penalizing the model here と断っている。やり直すたびに勝率は上がるはずで、慣れればレビュー時間も縮むからだという¹。一方で論文は、人の成果物をレビューする時間を勘定に入れていないことと並べて、壊滅的な誤りのコスト（the cost of catastrophic mistakes）を捉えていないことも限界に挙げる¹。それでも、同じ論文の同じ表の中で、素朴な比の90倍と運用込みの1.12倍は二桁違う。

GDPval 本体が論文公開時点で報告した最高勝率は Claude Opus 4.1 の47.6%で、引き分けを含めてもパリティ（50%）に届かなかった。論文が「並ぶ」ではなく「迫る（approaching）」と書くのは、この水準と整合する¹。同じ論文の地の文にはその直後に「半数強の課題で専門家に並ぶか上回った」という一文もあり、47.6% とは揃っていないが、本稿は数値のほうに従う¹。その後の OpenAI のモデル発表では、2026年4月の GPT-5.5 が84.9%、その前の GPT-5.4 が83.0%と、引き分け込みで半分を大きく超えた（GDPval (wins or ties)）²。これは提供元のモデル発表の値で、論文の版ではない。見出しは論文と同じ「勝ちか引き分け」だが、発表は誰がどの課題で採点したかを書いておらず、体裁の好みが混ざるという次の節の論がこの値にどこまで及ぶかは、発表からは確かめられない。

GDPval-AA の Elo は、この勝率とは別の量である。GDPval-AA の首位は約1850（2026年8月時点）だった。この版（v2）は尺度を人間の専門家＝1000に固定しており、800点以上の差は勝率に直せば圧倒的優位を意味する。9月の改版（v2.1）で尺度は別のモデル（DeepSeek V4.1 Flash）を1600に置く形へ改められ、人間の基準は表から外れている⁵。

両者が解いた課題は同じで、どちらも OpenAI が gold subset として公開した220課題である。違うのは解かせ方と採り方のほうだ。GDPval 本体は、課題文と参照ファイルを与えて出てきた成果物を、職種を同じくする人の専門家3人が採点する。AA は同じ課題を Stirrup というエージェント用のハーネスに載せ、シェル操作とWeb閲覧を与えて最大250ターン走らせたうえで、勝敗を、3体のLLM判定者から抽出した1体に決めさせる⁵。課題が同じでも、測っている量が違う。片方をもう片方の裏づけとして足し合わせることはできない。

だが「勝率」は、正しさだけを測る指標ではない

GDPval の指標は勝率（win rate）で、AIと人の成果物を並べ、判定者がどちらを好むかを数える。そのため、正しさと、構成・体裁・見栄えが同じ一票に混ざる。論文自身が In addition to correctness, expert graders often consider subjective factors such as structure, style, format, aesthetics, and relevance と書いている¹。

論文は、モデルごとに強かった側も書き分けている。公開時点で首位の Claude Opus 4.1 は見栄え（書式やスライドのレイアウト）で、GPT-5 は正確さ（指示に沿うことや計算の正しさ）で特に強かった（excelling in particular on aesthetics）¹。だから高い勝率は「より正確だった」とは限らず、「より好まれた」までしか言わない。

任せてよいかは、勝率の外にある。どちらの意味の勝ちであれ、勝率は「そのまま実運用に耐えるか」を測っていない。これは論文の断りではなく、勝率という指標の定義から出る帰結だ。論文が明示的に断っているのは全職務の遂行の評価ではないという点のほうだ（a limited, initial cut of knowledge work tasks, not a comprehensive evaluation of all possible occupational tasks）¹。

判定そのものも揺れる。同じ成果物の組を採点した専門家どうしの一致度は約71%だと、論文自身が報告している（human expert inter-rating agreement of 71%）¹。

「実運用に耐えるか」の一部には、論文が別の採点で触れている。GPT-5 が人に負けた成果物を別の専門家に見せ、実際に使えるかを分類させたところ、評定の約29%が「使えない」か「壊滅的」で、壊滅的は約3%だった（roughly 29% of ratings were for bad or catastrophic）。いちばん多かった評定は「使えるが、人のほうが良い」で（acceptable but subpar）、人に負けたことは使えないことと同じではない。ただし対象は負けた成果物だけで、勝った成果物が安全かは測っていない¹。単発の成果物の見栄えが良いことと、その仕事を任せられることは、別だ。

任せられるかのほうを測ろうとする評価もある。Remote Labor Index は、フリーランスの実案件をAIエージェントに端から端まで任せ、依頼主が納品として受け入れる水準で人と同等以上に仕上げたと評価者が判定した割合を数え、最上位のエージェントでも2.5%だった⁶。ただし案件は人の作業で平均28.9時間と長く、課題の集め方も違うので、この割合は GDPval の勝率とは比べられない⁶。

問題は、選好による採点に既知の癖があることだ。判定者としてのLLMを調べた研究は、判定者が低パープレキシティ＝流暢で予測しやすい出力を、人間の評価より高く採点すると示した⁴。

研究の射程は限られる。素材は対話ログ3.3万件で、専門職の成果物ではない。主な対象は Vicuna・Koala など2023年世代の判定モデル6種で、Llama-2/Llama-3 についても同方向の結果を報告している。論文は GPT-4 を、パープレキシティが取得できないとしてこの分析から除外している。原文は we excluded GPT-4 and GPT-3.5-Turbo, as perplexity values could not be obtained for these models と書く⁴。人間より傾きが強いと論文が個別に確認したのは、6つの判定モデル中4つで、vicuna-13b・vicuna-7b・koala-13b・oasst-pythia-12b がこれにあたる。効果は評価モデルによって散らばる⁴。

流暢さへの甘さと自己選好の関係は、確定していない。論文は、判定者が見慣れた（低パープレキシティの）言い回しに甘いことを、判定者自身が書いた出力かどうかにかかわらず報告している。もっとも、自己選好がこの甘さから生じるのかという機構そのものについて、原典は self-preference bias may be a phenomenon where the model’s own output inherently exhibits lower perplexity と、推定の語で書く⁴。

別の角度の観察もある。論文は、パープレキシティを測れなかった GPT-4 が自分の応答を贔屓した事例も調べている。そこでのバイアスは明白な事実誤りより、専門領域の扱い方や答える前に前提を述べるかどうかといった話しぶりの差に結びついていた（often not related to clear factual errors but rather to differences in response styles）。論文はこの事例をパープレキシティの説明と一見矛盾するものとして挙げ（may seem contradicted）、GPT-4 が自分の方針への合い方で判定している可能性（alignment with these policies）で説明している⁴。

注意すべきは、人間の評価者が同じ癖と無縁だと示されたわけではないことだ。むしろ人間側の傾きも、図にはっきり出ている。図3では6パネルすべて、Llama系を扱う図6では7パネルすべてで、人間判定者の勝率もパープレキシティ差に応じて0.2〜0.5変わる。dolly-v2-12b と stablelm-tuned-alpha-7b の2モデルでは、振れ幅は人間のほうが大きい。論文が本文で数値化しているのは「LLMのほうが人間より大きく評価を変える」という向きのほうで、人間側の傾きは図の系列として示されている⁴。ただし論文は人間の判定を比べる基準として使っており（the focus is on whether the evaluations by LLMs align with human preferences）、人間側の傾きをバイアスとは呼んでいない。GDPval 本体の判定は職種を同じくする人の専門家（1サンプルにつき3人）だが、それで無縁になるとは言えない。人間なら効かない、という結果は出ていない。

GDPval-AA の首位の 1848.8 は、人ではなくLLM判定者が決めた勝敗から作られている。しかも合議ではなく1対戦につき1体が裁く。整ったスライドは、中身が薄くても「好ましい」と判定されやすい。そこがどれだけ効いたかは、GDPval の報告からは確かめられない。本稿が数値を確かめた8月の時点で、判定パネルは GPT-5.5・Gemini 3.1 Pro Preview・Claude Opus 4.8 の3体で、首位のモデルと同じ会社のモデルが1体入っていた⁵。上で挙げた Claude Fable 5 の 1738.9 は、このパネルにいる Opus 4.8 へのフォールバックを含む構成のもので、フォールバックがどれだけ働いたかは本稿が見た断面からは分からない⁵。このパネルの構成が8月の結果に効いたかどうかは、本稿の引く資料の射程の外にある。

GDPval 論文は、自前の自動採点についても自己選好と整合する結果を書いている。GPT-5 をもとにした自前の自動採点が OpenAI の有力モデルの出力で人の専門家と一致しにくく、モデルが自分の応答を好む傾向と整合するという（models often favor their own responses）¹。同じ箇所で論文は、能力の低いモデルほど出力が人の成果物と見分けやすく好まれにくいので、自動採点と人、人どうしの一致度がともに高く出るとも書いている¹。

ベンチマークの好成績と、実地の効果は別に測られる

もう一つの留保は、ベンチマークの好成績が実地の効果をそのまま約束しないことだ。METR（Model Evaluation & Threat Research）の無作為化比較試験では、熟練の開発者が2025年初めのAIツールを使うと、課題の完了時間は短くならず19%長くなった⁷。開発者自身も、経済学や機械学習の専門家も、時間が縮むと予想していた⁷。論文はこの遅れを、実地でのAIの能力についてのいくらかの証拠と位置づける。その能力は、よく使われるベンチマークの結果から想像されるより低いかもしれない（AI capabilities in the wild may be lower than results on commonly used benchmarks may suggest）⁷。

ただしこの試験はソフトウェア開発の16人・246課題で、論文自身もソフトウェア開発以外の領域については証拠を示さないと断っている⁷。人の専門家が成果物の良否を採点するGDPvalとは、測っている対象そのものが違う。それでも「ベンチマーク上位＝現場で使える」が自明でないことは示す。

そしてGDPvalには、それとは別系統の、課題設計そのものに由来する限界がある。実際の知識労働は、コンテキストを探り、何を作るべきかを見極め、反復して仕上げる過程である。仕様が細かく定められた単発の成果物を静的な条件で作らせる形式は、それとはずれる。論文自身もこれを限界として挙げ、Tasks are precisely-specified and one-shot, not interactive と明記し、より対話的でコンテキストを踏まえた改訂に取り組んでいるとも述べる。論文が「人の監督とセット」で論じているのは、この課題設計の話ではなく速度とコストの試算のほうだ¹。

論文はこの限界を実験でも確かめている。付録 A.2.7 は、プロンプトを元の42%の長さまで削った低コンテキスト版を作っている。「参照ファイルのどこにデータがあるか」「どう進めるか」「どんな体裁にするか」を落とした課題を専門家に採点させると、GPT-5 の成績は実際に落ちた（the model’s performance was worse on under-specified prompts）。コンテキストを自分で見つける仕事は、この評価が測っていない部分であるだけでなく、測れば実際に苦手な部分だった。ただしこの実験は初期版の gold subset で走っており、勝率の絶対値は本文の数字と接続しない¹。

課題の長さでも差が出ている。論文は、人が0〜2時間で終える短い課題で勝率が最も高く、所要時間が長いほど下がり続けると報告している（decline steadily as completion time increases）¹。スライドを1枚仕上げる勝負と、その案件を前に進める仕事は、同じではない。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。