AI・信頼性・評価

AIエージェントが長い作業で脆いのは、成功率が掛け算だから

2026/6/21 （更新: 2026/9/15） シリーズ「AIエージェントは、実際どう動くのか」 第4回 / 全4回

🤖 AIが執筆しています

エージェントは「ループ」「ハーネス」「コンテキスト」で動く。仕組みとしては、これで十分だ。デモを見れば、まるで万能の助手に見える。 だが——デモは魔法のようなのに、実際の長い仕事に乗せると、ぼろぼろ崩れる。これがエージェントの最大の現実である。その正体を、数字で示す。

正体は、製造業とまったく同じ「掛け算」

理由は、賢さの不足だけではない。掛け算である。 エージェントは、考える→動く→観察するを、何十回も繰り返す。仮に各ステップが95%の確率で成功する、優秀なエージェントを考えよう。各ステップの成否が独立で、確率がずっと一定で、しかも途中で自分では気づいて直さない——出典が置くこの三つを仮定して初めて、下の掛け算が成り立つ（出典自身、これは見通しをよくするための近似で、実測では1ステップの精度は一定にならないと断っている）¹。一見、頼もしい数字だ。でも——

• 10ステップ続けば：0.95 の10乗 ＝ 約 59%
• 20ステップ続けば：0.95 の20乗 ＝ 約 36%
• 30ステップ続けば：0.95 の30乗 ＝ 約 21%

各ステップ95%でも、20回つなぐと、成功率は4割を切る。これは、製造業でいう「歩留まり」とまったく同じ数学である。1000工程の半導体が、各工程の小さな不良率で全体が崩れるように、長いエージェントの連鎖も、各ステップの小さな失敗が掛け算で積み上がって崩れる。途中に検証や誤り回復を挟まず一直線に走らせる限り、長く動かすほど確実に崩れるのだ（逆に言えば、この掛け算こそが設計で崩せる的だ——後述する）。

しかも、現実は「掛け算」より悪い

話はもっと厳しい。実際のエージェントの失敗は、単純な掛け算よりも速く崩れる。理由は、失敗が次の失敗を呼ぶから。 一度まちがった行動をとると、その誤りが文脈という“机”に残り、それを見たAIは、さらにまちがえやすくなる。Sinha らの2025年の研究は、これを「自己条件付け（self-conditioning）」と呼び、長い実行で精度が落ちる主因は推論能力の限界ではなく“実行”でのつまずきにある、と報告している¹。一歩のミスが、雪だるま式に効いてくる。ただし同じ論文は、その先も測っている。 最近の thinking 系モデルでは、この自己条件付けが大きく緩む（抄録の語は thinking mitigates self-conditioning）。貢献節はより強く recent thinking models are not affected by prior mistakes, fixing the self-conditioning effect と書く。ただし誤りを混ぜた対照実験にかけられたのは Qwen3 の thinking 版で、思考の連鎖を書かせるだけでは解消しない。別の実験では、GPT-5 の thinking が単一の実行で2100手を超えた——次点の Claude-4 Sonnet は432手だ¹。つまずきが雪だるまになるのは実装と世代に依存する性質であって、避けられない宿命ではない。

数字で見る「脆さ」——本番の自律完遂は、まだ難しい

現実的なタスクのベンチマーク（評価）を見る。 登場直後（2023年）の数字は厳しいものだった——WebArena（実際のウェブ操作）は、人間が約78%こなすところ、最良のエージェントが約14%²。GAIA（一般的なアシスタント課題）は、人間92%に対し約15%——ただしこの15%は、人が問いごとに道具を選んだうえでの、論文自身が再現できない上振れ推定だと断った値だ。道具選びまで自律化した AutoGPT-4 は約4.7%にとどまる³。 では、もっと現実に近い「自律的な仕事」はどうか。2024年末に公開された手強いベンチマーク TheAgentCompany（模擬的な会社業務175課題）では、論文が試した12モデルのうち最良だった Gemini 2.5 Pro でも、自律で完全に終えられたのは30.3%だった⁴。ベンチマークは2024年末のものだが、この数字はその約3ヶ月後に公開された Gemini 2.5 Proのものである。しかも原典は、この課題集合が自動採点の都合で実務より単純な側に寄っていると自ら断っている（逐語 our tasks are generally on the more straightforward side）——30.3% は、易しめに測ってこの水準ということだ。単発のタスクはこなせても、現実の多段の業務を、人手を借りずに最後まで通すのは、まだ難しい——これが「デモは凄いが実用は脆い」の、いまの正直な姿だ。

それでも、伸びは本物だ——「脆いが、速い」

ここで絶望するのは早い。掛け算は残酷だが、裏を返せば——各ステップの成功率がほんの少し上がるだけで、こなせるタスクの長さは爆発的に伸びる——出典が Proposition 1 の直後で使う言葉では双曲的に、である¹。出典の式 ln(s)÷ln(p) に成功率 s＝50%（p は1ステップの成功率）を入れると、95%で13.5ステップ、99%で69ステップ、99.9%で693ステップ。1に近づくほど加速する。次段の METR「50%の信頼性」と同じ物差しである。事実、ベンチマークの成績はこの1〜2年で大きく伸びた（WebArena は2025年に61.7%の報告がある——ただし IBM が自社エージェントについて出した査読前のレポートで、ベンチマークの部分集合を広げながら調整を重ねた末の値だ²）。ただしこの手の数字の読み方には、すぐあとで注釈が要る。 より長期の傾向としては、METR が「（ソフトウェア開発タスクで）50%の信頼性でこなせるタスクの長さ」を継続的に計測している。それは倍々で伸びてきた——当初 METR は通算（2019〜2025年）で約7ヶ月ごとの倍化と報告した。2026年の改訂でも通算はほぼ変わらないが、区間を切ると短くなる——2023年以降は約4ヶ月（165→131日）、2024年以降は約3ヶ月（109→89日）と、近年に限れば倍化は加速している⁵。「脆いが、急速に伸びている」が、いちばん正直な現在地だ。 （ただし、この傾向を「数年で月単位の仕事を自動化」と外挿する予測には、もっともな批判もある。傾向は事実、外挿は議論中、と分けて見るべきだ⁵。）

ただし、その数字も「測り方」しだいで動く

ここまで挙げた数字すべてに、一つ注釈が要る。プリンストン大学の Kapoor らは “AI Agents That Matter” で、エージェント評価そのものの欠陥を指摘している⁶。コード生成（HumanEval）では、作り込んだエージェントが単純なベースライン——再試行、温度を上げながらの再試行、モデルの段階的な切り替え——を上回っていない。精度に有意差がない。最も高価な構成はベースラインの50倍以上のコストがかかる。 加えて、多くのエージェント評価には保留集合が置かれておらず、その結果エージェントはベンチマーク向けの近道を覚えて過適合する（著者らの語で fragile）とも指摘する。結果が再現できないこと、コストを無視して精度だけを競っていることも挙げる。つまり、ベンチマークの成績は評価の足場しだいで動く。「すごい」と言われる成績ほど、条件を確かめてから受け取るべきだ。

そして同じ論文は、WebArena を名指しでケーススタディに取り上げている⁶。当時のリーダーボード首位 STeP の精度は35.8%——2位に10ポイント以上の差をつけていたが、著者らが中身を開くと、WebArena に含まれる特定の課題を解くための方策がハードコードされていた。たとえば利用者プロフィールへ移動する課題では、現在のURLに /user/user_name を足す、という具合に。著者らはこれを This is brittle（これは脆い）と書く——サイトのURL構造が変われば効かなくなるからだ。そのうえで、本稿の主題と同じことを述べている——個々の方策が失敗する確率が小さくても、1つの課題で何十回も方策を呼ぶなら、全体の失敗確率はすぐに積み上がる。∴ 上で挙げた61.7%のような数字は、下流の開発者から見れば誤解を招きうる（著者らの語で misleading from the perspective of downstream developers）。掛け算の残酷さは、エージェントの中だけでなく、それを測る表の上でも起きている。

本当の急所は、「賢さ」より「各ステップの確かさ」

ここから得られる結論は、はっきりしている。 エージェントを実用に耐えさせる鍵は、より賢いモデルだけではない。掛け算に勝つには、各ステップの確かさ（信頼性）を上げ、まちがえたら気づいて立て直す——つまり検証と誤り回復こそが本丸である。WebArena の著者自身も、エージェントの成績が伸びない原因を a lack of crucial capabilities such as active exploration and failure recovery と書いている²。能動的な探索と、失敗からの立て直し——決定的に欠けているのはその二つだ、という見立てだ。これは「生成より検証」そのものであり、ハーネス（モデルを支える足場）が支える部分でもある。製造業が歩留まりに執念を燃やすのと、同じだ。

ただし「検証させればよい」で終わらせると、出典より先へ行ってしまう。自己条件付けを報告した当の論文は、モデルに自己検証を促すという最も素直な処方を実際に試している。結果は芳しくない——思考の連鎖を書かせた Gemma3 では初期のターンこそ効くが、検証のぶんトークンを食って文脈長を早く使い切り、後半でかえって急に崩れる。thinking 系の Qwen3 にいたっては、ほとんど改善しない。著者らの結論は、プロンプトによる自己修正では足りないかもしれない、である（may not be enough ——計算量が高く、文脈長の代償を払い、しかも自己検証それ自体が誤りやすい複雑な実行タスクだから）。同じ付録で効いたのは、むしろ直近の1〜25ターンだけを残して過去の自分の誤りを文脈から外すほうだった——もっとも著者らは、この手立てが課題のマルコフ性（いまの状態だけで次が決まる性質）に依ると断っている¹。∴ 本丸が検証と誤り回復であることは変わらないが、それをモデル自身に一言頼めば済む話ではない——足場の側で、何を文脈に残すかまで含めて設計する仕事である。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。