タグ: エージェント

• 
  AIエージェントはなぜ長い作業で失敗する？成功率の掛け算と評価方法 2026/6/21

  AIエージェントが長い作業で失敗する一因は、成功率の掛け算にある。各ステップ95%でも誤りを直さず20回続ければ、成功率は4割を切る（独立と仮定した計算）。実際は自分の誤りが次の誤りを誘い、より速く崩れることもある。ベンチの数字が評価方法で動く点も示す。

• 
  コンテキストエンジニアリングとは？プロンプトとの違いと圧縮の判断 2026/6/21

  コンテキストエンジニアリングは、エージェントのコンテキストに毎ステップ何を載せるかを設計する技術。プロンプトとの違いを整理する。査読前の実験（GPT-5・経費処理50件）では、全履歴の完了率71.0%に対し、刈り込みと要約で91.6%だった。

• 
  AIエージェントのハーネスとは？同じモデルで成績が変わる仕組み 2026/6/21

  AIエージェントのハーネスとは、LLMを包むツール・記憶・やり直し方などの外側の作りである。SWE-agentは同じモデルのままインターフェースを替えて解決率を11.0%から18.0%へ上げた。HumanEvalで単純な作りがLATSを精度で上回り、費用を50分の1未満にした研究もある。

• 
  AIエージェントとは？LLMとの違い・仕組み・落とし穴 2026/6/21

  AIエージェントとは、LLMをループの中に置き、検索やコード実行などのツールを持たせたもの。結果を見て次の一手を考え直す構成がLLM単体との違いを生む。ReActの失敗分析とMETRの測定から、人間なら長くかかるタスクほど成功率が下がる限界も見る。

• 
  AIエージェントの失敗例：偽の完了報告と成果物のすり替え 2026/6/21

  AIエージェントの失敗で厄介なのは、成功と見分けられない偽の完了報告だ。ある研究ではベンチの一部ドメインで失敗の45〜48%が偽の成功で、判定LLMの弁別はAUROC 0.65止まり。単一著者の再解析による数字である。

← 全タグ