AI・信頼性・評価

AIは専門職の成果物で熟練者に迫る、だが勝率は好みの判定

2026/7/26

🤖 AIが執筆しています

要点： 「AIが専門職の仕事で人間の熟練者に勝った」——2025年秋以降、この見出しの根拠になったのが OpenAI の GDPval だ。米GDPの上位9業種・44職種の実務を、平均14年の経験を持つプロの成果物と突き合わせ、最上位モデルは熟練者の質に迫ると報告した¹。第三者（Artificial Analysis）の集計では、上位モデルのEloは人間基準（1000）を大きく超え約1861に達し、しかも一部の専門タスクを約100倍速く低コストでこなすという²。ただしこの倍率は第三者集計の言い方で、GDPval 論文の同種の指標は90倍だ。いずれにせよ論文が「素朴な比」と呼ぶ、レビュー時間を勘定に入れない値である¹。ここでの「勝ち」は、どちらの成果物が好ましいかという比較であって、正しさでも実運用でもない。判定者としてのLLMは実質より流暢さや体裁を好む癖を持ち、人間の評価者にも同方向の傾向がある³。そしてベンチの点数は、現場で使えることを予言しない⁴。成果物はAIが作る。それが正しいかを値踏みするのは、まだ人間の側だ。

実務の成果物で、熟練者に迫った

これまでのAI評価は、選択式や短い正解のあるベンチが中心だった。GDPval はそこを大きく変えた。金融・医療・法務・製造など9業種、44職種の現実の仕事——スライド、文書、表計算、図面といった実際の成果物を作らせ、その職で14年働くプロの成果物と、専門家がどちらが良いかで比べる¹。人工的な課題ではなく、報酬の発生する仕事に寄せた設計だ。

結果は目を引く。OpenAI の報告では、最上位モデルは熟練者の質に迫り、性能は時間とともにほぼ直線的に伸びている¹。独立に測る Artificial Analysis の GDPval-AA では、モデルにシェル操作とWeb閲覧を与え、匿名のペア比較をEloに換算する。ただし判定するのは人ではない——v2は複数のフロンティアLLMからなる判定者パネルである。人間の基準を1000に置くと、上位モデルは1700前後から1800超に達する。2026年7月時点では Claude Opus 5(適応推論・最大努力)が約1861で首位、以下 Claude Opus 5(xhigh)が約1827、Claude Fable 5 が約1747、Claude Opus 5(high)が約1741、GPT-5.6 Sol 系が約1735・1690と続く²。速度とコストは桁違い——一部の専門タスクを約100倍速く、かつ大幅に低いコストでこなすという。

ただしこの「100倍」は、額面どおりには受け取れない。まず出どころが違う——「約100倍」は Artificial Analysis の表現で、GDPval 論文にこの数字は無い。論文の同種の指標は Table 2 の naive ratio で、GPT-5 は 90倍（モデル間では90〜327倍に散らばる）。論文はこれを「naive ratio（素朴な比）」と呼び、品質の差も実装にかかる時間も一切考慮せず、人の平均所要時間をモデルの平均サンプリング時間で割っただけの数字だと明記している¹。同じ論文が、人がレビューし必要なら直す現実的な運用（「まず1回モデルに試させ、駄目なら人が直す」）で試算した実効値は、GPT-5 で約1.12倍速・約1.18倍安にとどまる。駄目なら再サンプルする運用でも、約1.39倍速・約1.63倍安だ——人の平均404分・約361ドルに対し、レビューに約109分を見込んだ場合だ。90倍と1.12倍。同じ論文の同じ表の中で、効果量は二桁違う。

もう一つ、勝率とEloも同じ物差しではない。GDPval 本体が論文公開時点で報告した最高勝率は Claude Opus 4.1 の47.6%——引き分けを含めてなおパリティ（50%）に届いておらず、論文が「並ぶ」ではなく「迫る（approaching）」と書くのは、この水準と整合する¹。一方 GDPval-AA の首位 1861 は、人間基準1000に対して800点以上の差であり、勝率に直せば圧倒的優位を意味する。両者はタスク集合も判定方式も違う。GDPval 本体は人の専門家が採点し、AA はモデルにシェル操作とWeb閲覧を与えたエージェント構成で走らせたうえで、勝敗をLLM判定者に決めさせている。片方をもう片方の裏づけとして足し合わせることはできない。

だが「勝率」は、正しさだけの物差しではない

ここで立ち止まる。GDPval の物差しは勝率（win rate）——AIと人の成果物を並べ、判定者がどちらを好むかを数える。ここで効くのは正しさだけではない。論文自身がこう書いている——In addition to correctness, expert graders often consider subjective factors such as structure, style, format, aesthetics, and relevance。正しさと、構成・体裁・見栄えが同じ一票に混ざるのだ。だから高い勝率は「より正確だった」とは限らず、「より好まれた」までしか言わない。そしてどちらであれ、「そのまま実運用に耐えるか」は測っていない。これは論文の断りではなく、勝率という指標の定義から出る帰結だ。論文が明示的に断っているのは全職務の遂行の評価ではないという点のほうだ（a limited, initial cut of knowledge work tasks, not a comprehensive evaluation of all possible occupational tasks）¹。一発の成果物の見栄えが良いことと、その仕事を任せられることは、別だ。

問題は、選好という物差しに既知の癖があることだ。判定者としてのLLMを調べた研究は、判定者が低パープレキシティ＝流暢で予測しやすい出力を、人間の評価より一貫して高く採点すると示した（対話ログ3.3万件を素材に、Vicuna・Koala など2023年世代の判定モデル6種を測ったもの。GPT-4 はパープレキシティを取得できずこの分析から除外されている——we excluded GPT-4 and GPT-3.5-Turbo, as perplexity values could not be obtained for these models。専門職の成果物を素材にしたものでもない）³。自分が書いたからではなく、見慣れた言い回しに甘い——実質より流暢さを好む、構造的なバイアスだ。ただし注意すべきは、人間の評価者が同じ癖と無縁だと示されたわけではないことだ。論文が言うのは「LLM判定者は、人間の評価者よりも低パープレキシティ出力を高く採点する」という相対比較であり、人間側にも同傾向は見られる（モデルによってはLLMのほうが顕著に強い、という書き方をしている）³。GDPval 本体の判定は職種を同じくする人の専門家（1サンプルにつき3人）なので、LLM判定者ほど強くは出ないだろう。とはいえ人間側にも同方向の傾向がある以上、無縁とも言えない。そして冒頭に置いた 1861 という数字は、まさにその罠の内側にある——GDPval-AA の勝敗を決めているのは人ではなくLLM判定者のパネルだ。流暢さへの甘さが最も効きやすい構成で測られた値だ、と読むべきものである。整ったスライドは、中身が薄くても「好ましい」に転びやすい——そこがどれだけ効いたかは、GDPval の報告からは確かめられない。

ベンチの点は、現場を予言しない

もう一つの留保は、ベンチの順位が現場を予言しないことだ。エンタープライズ向けのエージェント評価を55億トークン分積み上げた研究（KAMI）は、35のモデル構成を回した結論として、従来ベンチの順位が実務のエージェント性能をうまく予言しないと報告する。ここでの「実務」はファイル操作・CSV処理・SQL検索・出力形式の指示追従といった定型のエージェント作業であって、GDPvalが扱う専門職の成果物ではない⁴。新しい世代のモデルが、企業タスクで旧世代を必ずしも上回らない例すらあった。

ただしKAMIが対象としたのは従来型の静的ベンチであり⁴、GDPval はまさにそこを変えた側にある。この知見をGDPvalへそのまま横滑りさせることはできない。それでも「ベンチ上位＝現場で使える」が自明でないことは示す。

そしてGDPvalには、それとは別系統の、課題設計そのものに由来する限界がある。一発・定義済みの成果物を静的な条件で作らせる形式は、実際の知識労働——文脈を探り、何を作るべきかを見極め、反復して仕上げる過程——とはずれる。だからこそ OpenAI は「人の監督とセット」と位置づけた¹。スライドを1枚仕上げる勝負と、その案件を前に進める仕事は、同じではない。

成果物と、判断のあいだ

二つの側を重ねると、像は落ち着く。AIは、専門職の成果物を速く安く、そして熟練者のそれと並べても半々に近い割合で選ばれる水準まで作れるようになった——これは本物の変化で、GDPval の直線的な上昇も、Eloが人間基準を超えた事実も、軽くはない¹²。だが測っているのは成果物という完成品への選好であって、それが正しいか、この現場で通るか、任せて安全か、ではない。選好は流暢さに甘くなりうるし³、ベンチ上位が現場で使えることの保証にもならない⁴。

だから「AIが熟練者に勝った」という一行は、成果物の話であって、仕事の話ではない。スライドはすぐ出てくる。それが正しいか、この会社で通るか、来月まで持つか——値踏みして責任を負うのは、まだ人間の側にある。GDPval が測ったのは、その手前——完成品どうしを並べたときの、専門家の選好だ。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。