In Silico

AI・信頼性・評価

AIエージェントとは？LLMとの違い・仕組み・落とし穴

2026/6/21 （更新: 2026/11/4） シリーズ「AIエージェント入門」 第1回 / 全4回

🤖 AIを使用して執筆

シリーズAIエージェント入門全4回
  1. 第1回AIエージェントとは？LLMとの違い・仕組み・落とし穴
  2. 第2回AIエージェントのハーネスとは？同じモデルで成績が変わる仕組み
  3. 第3回コンテキストエンジニアリングとは？プロンプトとの違いと圧縮の判断
  4. 第4回AIエージェントはなぜ長い作業で失敗する？成功率の掛け算と評価方法

このシリーズの紹介へシリーズ一覧へ

  • AIエージェント
  • LLM
  • ReAct
  • Toolformer
  • METR
  • Chain-of-Thought
  • HotpotQA
  • ALFWorld
  • FEVER
  • WebShop
  • ループ
  • ツール
  • ハルシネーション
  • 推論エラー
  • 成功率
  • ウェブ検索
  • 計算機
  • コードの実行
  • RE-Bench
  • HCAST
  • workflow
目次
背景・問い・要点
背景

「AIエージェント」という言葉を、最近よく聞くようになった。チャットAIの中身は LLM（Large Language Model、大規模言語モデル：大量の文章で訓練され、次に来る言葉を確率で予測するAI） である。LLM は文章を流暢に続けられるが、自分では検索も計算もできず、書いたコードを走らせて結果を確かめることもできない。知識も、学習した時点で止まっている。

LLM を、考える・外部の機能（ツール）を呼んで行動する・返った結果を見てまた考える、という繰り返し（ループ）の中に置き、目的を達するまで回させる仕組みが、AIエージェントである。ツールには、ウェブ検索、計算機、コードの実行などがある12。

本シリーズは、エージェントの中身を実践と研究の両面から批判的に検討する。本稿はその出発点として、思考と行動を交互に出力させる研究 ReAct と、長いタスクでの成功率を測った METR の測定を例に取る。

問い

AIエージェントは、LLM単体と何が違うのか。

要点

AIエージェントは、LLM をループの中に置いてツールを持たせ、返った結果を見て次の一手を考え直させる仕組みである。記憶だけで答える LLM 単体と違ってエージェントが外に問い合わせて確かめられるのは、モデルの賢さではなくこの構成による。

ReAct の研究が質問応答の失敗例を人手で分類すると、事実のでっち上げ（ハルシネーション）に起因する失敗は、頭の中だけで推論する方式で56%、ReAct で0%だった。代わりに ReAct の失敗では、推論エラーが47%を占めた。ただし、METR がソフトウェアや機械学習の研究の課題で成功率を測ると、人間なら長くかかるタスクほど、エージェントがやり遂げられる割合は下がった。

モデル・例示

二段の質問を、検索を挟んで解く

※ この節の例は、説明のために作った架空のものです。

次の例は、検索を挟んで解くと記憶違いを次の段へ持ち越しにくくなる代わりに、手順の数が増えることを示す。「Aさんが受賞した賞の、前年の受賞者は誰？」という質問を考える。答えるには、Aさんの受賞した賞を知り、次にその賞の前年の受賞者を知る、の二段が要る。

LLM（Large Language Model）が一度に答えを書き下す場合、二段とも学習した時点の記憶から書くしかない。一段目で賞の名前を取り違えると、二段目はその誤りの上に組み立てられ、もっともらしい誤答になる。

エージェントとして解く場合も、LLM 自身は文章を出すだけである。行動は「どのツールを、どんな入力で呼ぶか」を書いた文章として出し、周りのプログラムがそれを実行して、返った結果を次の入力として LLM に戻す3。手順は次のようになる。

  • 思考（LLM が書く）：まずAさんの受賞した賞を調べる必要がある
  • 行動（LLM が書き、プログラムが検索を実行する）：検索「Aさん 受賞 賞」
  • 観察（プログラムが検索結果を LLM に戻す）：検索結果に「Aさんは2024年にX賞を受賞」とある
  • 思考：次にX賞の2023年の受賞者を調べる
  • 行動：検索「X賞 2023年 受賞者」
  • 観察：検索結果に「2023年のX賞はBさん」とある
  • 思考：答えはBさんである

一度に書き下す場合と比べると、次の二点が違う。

  1. 一段目の答え（X賞）は検索結果から得てから二段目の検索に使うので、記憶違いは二段目へ持ち越されにくい。
  2. その代わり、手順の数は増える。LLM が文章を書く回数は、一度に書き下す場合の1回から、思考3回と行動2回の計5回になる（観察はプログラムが戻す結果なので数えない）。

エージェントは、LLMをループに置いてツールを持たせた仕組みである

Anthropic も、エージェントの多くは「環境から返る結果を見ながら、ループの中でツールを使うLLM」にすぎないと書いている4。ループは次の繰り返しである。

考える → ツールを使う（行動）→ 結果を観察する → また考える → …（目的を達するまで繰り返す）

ツールとは、LLMの外にある機能を指す。ウェブ検索、計算機、コードの実行、データベース、ファイルの読み書きがこれに当たる。

Lilian Weng の解説2は「エージェント＝LLM＋計画＋記憶＋ツール」と整理している。ただし LLM を使ったエージェントの定義は一つに定まっておらず、Anthropic も「エージェント」は複数の仕方で定義できると書いている4。

ReAct：思考と行動を交互に出力させる

ReAct（Yao ら、2022年公開・ICLR 2023採択）は、LLMに思考（Thought）→ 行動（Action）→ 観察（Observation） を交互に出力させる研究である3。著者らは、質問応答（HotpotQA）・事実検証（FEVER）と、行動を長く続ける必要がある2つの課題（ALFWorld・WebShop）で評価した。

ReActが示した重要な点は、「考えるだけ」より「考えながら動く」方が、嘘（ハルシネーション）や誤りの積み重なりが減ることだった3。HotpotQAでは、ReActとCoT（Chain-of-Thought：外部に問い合わせず、頭の中だけで推論を書き下す方式）のそれぞれから、正解・不正解の軌跡を50本ずつ（計200例）抽出して人手で分類している。その結果、失敗のうちハルシネーションに起因するものは、CoTで56%を占めたのに対しReActでは0%だった。頭の中だけで推論を続けると、AIは事実をでっち上げがちである。途中で外の世界に問い合わせて答え合わせをすれば、エージェントは検索結果に合わせて推論を直せる。

ただし、ReActが総合スコアでいつも上回るわけではない。HotpotQAの正答率（答えが正解と完全に一致した割合）では、CoT単独（29.4%）も、思考もツールも使わない素の方式（28.7%）もReAct（27.4%）を上回った。両課題とも最良は両者を組み合わせた手法で、FEVERでは単独の手法の中でReActが最も高かった3。一方、家の中で物を探して操作する文章ゲーム（ALFWorld）では、最良の試行どうしで比べてReActの成功率は71%で、思考を挟まず行動だけを出力させる手法の45%を大きく上回った3。

なぜツールが効くのか

ツールが効くのは、LLMが自分だけではできないことを、外の機能に任せられるからである1。 モデルの知識は訓練時点で固定され、あとから簡単には変えられない2。しかし、検索というツールがあれば今の情報にアクセスでき、計算機があれば正確な計算ができ、コード実行があれば本当に動くか確かめられる。ツールは、LLM自体を賢くするのではなく、LLMにできることの種類を増やす。

長いタスクほど、成功率は下がる

ループの構造が生む失敗は、ReAct論文自身も数字にしている。思考と行動を交互に挟む構造は推論の柔軟さを削り、同じ思考・行動を繰り返して抜け出せなくなる失敗を含む推論エラーが、失敗した軌跡の47%を占めた（CoTでは16%）。検索が有用な情報を返さず、推論が脱線する失敗も23%あった3。

考える→動く→観察するを何十回も繰り返すと、各ステップの失敗が積み重なるおそれがある。Anthropic も、エージェントは自律的に動くぶん費用がかさみ、誤りが積み重なるおそれがあると書いている4。

METR もブログ記事で、これに近い見方を述べている。つまずく原因は、個々のステップを解く技能や知識よりも、長い行動の列をつなぎ切ることにあるようだ、というのが METR の見方である5。これは「〜のようだ（seem to）」付きの定性的な見方で、論文本文ではなくブログ記事の記述である。METR はこの見方を測り方を選んだ動機づけとして書いており、ステップごとの失敗率を実測していない。誤りが積み重なるという機構そのものを METR が述べているわけではない。

METR が実際に測ったのは人間なら何分かかるタスクかと成功率の関係で、人間換算で長いタスクほど成功率が下がると報告している5。測定対象は、ソフトウェアや機械学習の研究の課題を集めたベンチマーク（RE-Bench、HCASTなど）であり、METR の論文自身、この結果を実務の仕事へそのまま外挿できるかには限界があると論じている。

同じ論文は、成功率5割でやり遂げられるタスクの長さが、2019年以降およそ7か月ごとに倍になってきたとも報告している5。METR はこの伸びを、主に信頼性、誤りから立て直す力、論理的推論、ツールを使う力の向上によるものとみている5。

したがって、数回の検索で答えが出る質問で成功しても、人間なら何時間もかかるタスクを最後までやり遂げられるとは限らない。

出典5件

  1. Schick ほか「Toolformer: Language Models Can Teach Themselves to Use Tools」NeurIPS, 2023. https://arxiv.org/abs/2302.04761 — 最新情報に届かない・事実をでっち上げる・正確に計算できない、を規模拡大では部分的にしか解けない限界とし、外部APIの呼び出しを学ばせて補う。 ↩ ↩2

  2. Lilian Weng「LLM Powered Autonomous Agents」Lil’Log, 2023. https://lilianweng.github.io/posts/2023-06-23-agent/ — エージェントを計画・記憶・ツールで整理し、ツールを、訓練後に変えにくいモデルの重みに無い情報を補うものとする。個人の技術ブログだが、言語エージェントの論文（CoALA）が先行の概観として引いている。 https://arxiv.org/abs/2309.02427 ↩ ↩2 ↩3

  3. Yao ほか「ReAct: Synergizing Reasoning and Acting in Language Models」ICLR, 2023. https://arxiv.org/abs/2210.03629 — PaLM-540Bで思考と行動を交互に出力させ、HotpotQA・FEVER・ALFWorld・WebShopで評価し、失敗の内訳も分類した。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  4. Anthropic「Building effective agents」2024. https://www.anthropic.com/engineering/building-effective-agents — エージェントを、環境から返る結果を見ながらループの中でツールを使うLLMと書き、手順を決めておく workflow と区別し、自律的に動くぶん誤りが積み重なるおそれにも触れる。LLMの開発企業の文書。 ↩ ↩2 ↩3

  5. Kwa ほか「Measuring AI Ability to Complete Long Software Tasks」NeurIPS, 2025. https://arxiv.org/abs/2503.14499 https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/ — 人間換算で長いタスクほど成功率が下がり、成功率5割で解けるタスクの長さが約7か月ごとに倍になってきたと報告する。「長い行動の列」の一文はブログ側にある。 ↩ ↩2 ↩3 ↩4

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。