AIエージェント

AIコーディングの成果は何で決まる？Claude Code約40万件の分析と限界

2026/7/15 （更新: 2026/10/10）

🤖 AIを使用して執筆

1つの指示あたり、熟練者はAIを倍以上働かせている

一番はっきり出たのは、1つの指示が動かす仕事量の差だ¹。

• 初心者のセッションでは、1つの指示がおよそ5アクション・約600語の出力を動かす。
• その分野に詳しい人のセッションでは、1つの指示が約12アクション（2倍超）・約3,200語（5倍）の連鎖を動かす。

ただしこれは「詳しい人ほど短く指示すれば済む」という話ではない。分析が熟練度の判定に使ったのは、指示をどれだけ精密に枠づけるか・Claude に何を検証させるか・人が Claude を訂正するのか逆かの3点である¹。この熟練度は職種や一般的な能力ではなく、その課題についての熟練度で、Rust を初めて書く上級エンジニアは Rust の課題では初心者と判定される¹。精密に枠づけた指示ほど、1回で長く走る。この差を生むのはプログラミングの訓練ではなく、扱っている領域の理解の深さだった、というのがこの分析の主張である¹。

成功率そのものにも差がある。初心者と判定されたセッションが検証済み成功に達するのは15%、中級以上と判定されたセッションでは28〜33%で、この値は仕事の種類・推定価値・月・主題・職業群を揃えて比べた調整後のものである¹。同じ分析は、詰まったセッションの終わり方にも差を見ている。失敗と判定されコードが1行も残らない「放棄」で終わるのは、詰まったセッションのうち初心者では19%、それ以外では5〜7%だった¹。ただし熟練者が詰まるのは難しい問題であることが多く、この差の一部は問題の難しさの違いかもしれない、と報告自身が注で断っている¹。

役割分担も数字で出ている。人間は計画上の意思決定（何を作るか）の約70%を担い、実行上の意思決定（どう作るか）は約20%を担う。裏を返せば、AI が実行判断の約80%を引き受けている¹。人が「解くべき問題」を定め、AI が「その解き方」を埋める、という分担だ。

エンジニア以外でも成功率はほぼ変わらない

では「コードを書いた経験がない職種」はどうか。分析は米労働統計局（BLS）の23の職業大分類でセッションを見ている。コードを生むセッションの検証済み成功率は、ソフトウェア系が34%、それ以外の職種が29%で、差はわずか5ポイントだった¹。部分的な成功まで含む緩い定義では両群とも89%対88%とほぼ並び、この5ポイント差は7か月間で広がりも縮まりもしていない（その間、両群とも成功率自体は上がっている）¹。

しかも、データ内で最も大きい10の職業群すべて（コンピュータ・数学／経営・財務／アート・デザイン・メディア／マネジメント／生命・自然・社会科学など）が、成功率でソフトウェアエンジニアの7ポイント以内に収まっていた。むしろマネジメント系がエンジニアをわずかに上回って最上位だった¹。ただしこの一点について、研究チーム自身は二つの説明を並べている。一つはエージェントを指揮する技能が転移した可能性、もう一つは、検証済み成功がトランスクリプト上の明示的な確認に一部依存しており、マネージャーは要求どおりの結果が出たときに明言しやすい可能性である。プログラマかどうかより、その分野を分かっているかが効く。そう読める根拠は、順位そのものよりも、10職業群が7ポイント以内に収まるという幅の狭さにある。

Anthropic 以外の独立した実験も、この「プログラマでなくても作れる」という方向を部分的に裏づけている。Web の知識がほとんど無い非プログラマが LLM（大規模言語モデル）の助けで動く Web アプリを作れたと報告した割合は33人中24人（約73%）だった。最も多く挙がった困難は、回答の保存先にした Google Sheets との連携で、HTML と Web 開発、プロンプトの書き方が続いた²。この数字は著者が成果物を検証した率ではなく本人の申告である。対象も、多くが入門の授業でコードの基礎を学んだ産業工学の大学生33名で、単一のケーススタディだ²。後述の METR に当てる割り引きは、こちらにも同じだけ要る。過信は禁物だ。別の研究は、業務ユーザーが AI 生成コードの重大な欠陥を見逃しやすいことを示している。対象の欠陥は意思決定を損ないかねないもので、その多くは技術の知識なしに、分野知識や批判的思考で気づけるはずのものだった（参加者は10人と18人の二つの小さな調査）³。「作れる」と「正しいと見抜ける」は別の能力だ。 ただしこの研究を「だから分野理解を積め」の根拠にはできない。参加者は自分の分野の業務専門家であり、それでも見逃した。著者らの結論は、懐疑的な業務専門家でも AI が生成したデータ分析を批判的に評価するのに苦労し、それは欠陥が技術的でない場合でも変わらない、というものだった。処方も分野理解の増強ではなく、モデル側の信頼性向上と、批判的な関与を促す説明の設計である。分野理解があっても、それだけでは検証は保証されない。

報告が明記する限界と、独立した検証の慎重な結果

研究チーム自身が、この分析の限界をいくつか明記している¹。

• 実世界の成果までは測れていない。 測っているのはセッション内の振る舞い（アクション数・出力量・検証済みか）であって、「そのコードが本番で価値を生んだか」ではない。
• 測っているのは対話セッションだけ。 この分析は自動実行（非対話）の利用を除外しており、報告自身がその除外分を「活動のかなりの割合」だと書いている。約40万件という規模は、あくまで対話分の規模である。
• 分類はモデル頼み。 職種や熟練度の推定はトランスクリプトの自動分類に依存し、その精度をスケールで確かめきるのは難しい。

限界の申告とは別に、報告は本稿の主題そのものにも限定を付けている。伸びの大半は「極める」前に出ている。 上がり幅の多くは初心者→中級の移行で生じ、中級と熟練の差は小さい。原文は the gains come mostly from competence, not mastery で、deep specialization adds only a bit more beyond that と続く。

加えて、これは Anthropic が自社ツールの利用ログを分析したもので、この「熟練度で差がつく」という所見そのものの独立追試はまだない。むしろ独立で厳密な検証は、別の角度からより慎重な結果を出している。METR のランダム化比較試験では、熟練したオープンソース開発者が AI ツールを使うと、タスク完了がむしろ約19%遅くなった。一方で本人たちは、事前に約24%速くなると予想し、事後も速くなったと感じていた。対象は2025年初頭のモデル（Cursor Pro と Claude 3.5/3.7 Sonnet）である⁴。同じ METR は2026年2月の更新で、継続参加者について加速側の推定（所要時間で−18%、信頼区間は−38%〜+9%）を報告した。AI なしで働きたくない開発者や課題が実験から抜けるので、真の効果はこれより大きいだろうとも書いている⁴。METR は新しいデータを今の効果の信号としては信頼できないとし、今の開発者は2025年初頭より加速している可能性が高いと見ている⁴。METR の結果が示すのは、本人の体感による速さの見積もりを額面どおり受け取れないことである。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。