タグ: AIエージェント

• 
  エージェントの組織化に、マネジメント技術は半分だけ効く 2026/8/7

  エージェントを何体も並べると、人を並べたときと同じ問題が出る。重複、噛み合わない成果物、滞留。人間のマネジメント技術は半分だけ効く——分け方・調整・流し方は翻訳できるが、動機づけと責任は載せる土台がない。その境目を一次資料で引く。

• 
  スキャフォールド自動最適化の現在地と限界 2026/8/2

  スキャフォールドとプロンプトの自動最適化が、重みを変えずに性能を伸ばすレバーとして台頭した。強化学習を上回りながらロールアウトは最大35分の1で済んだ、と報告する手法がある。だが自動最適化は評価データに過適合しうる——分布シフトで崩れることが報告されている。

• 
  マルチエージェントが効く条件——失敗の多くは設計に由来 2026/8/2

  AIエージェントを何体も並べれば賢くなる、とは限らない。設計を詰めれば単体を超える実証がある一方、多段推論では計算量を揃えると単体が並び、失敗の多くはモデルの限界でなく設計と調整の欠陥から来る。足す前に問うべきこと。

• 
  AGENTS.mdの効果は限定的との報告、効かないのはリポジトリ概要 2026/8/1

  AGENTS.mdやCLAUDE.mdは書いても成功率を一般には上げないと2026年の複数のプレプリントが報告する（無しと比べれば手書きでも同じだ）。具体的な指示は守られてもリポジトリ概要は効かず、コストについては増えるという報告と、減るという関連の報告がある。

• 
  自己進化ハーネスは人間設計を超えたと報告——採点表に疑義 2026/7/29

  ハーネスを自動で進化させる研究が、人間設計を超えたとベンチで報告した。方法は前進だ。だが看板の数字が乗る Terminal-Bench 2 は、上位提出が採点の抜け穴を突いていたと独立監査に指摘された表であり、転移先の SWE-bench も漏洩が繰り返し実証されてきた。信頼度の異なる採点表を、分けて読む。

• 
  検証税——エージェント安全化のコストは止めた後に残る 2026/7/28

  道具を持つAIエージェントに実行時の検証を足しても、違反の最大94%を止めて『最後まで安全に完了』は5%未満だった——査読前プレプリントがそう報告した。計画と検証を組み込んだ構成のトークンは2〜2.8倍。この「検証税」を見込み、止めた後に安全へ立て直すところまで含めて設計する勘所。

• 
  エージェントの記憶が道具の呼び出しを歪める——1本の報告 2026/7/28

  エージェントの長期記憶は、Claude Code や Letta では既定でオンの標準機能になった。だが1本の査読前論文が逆の面を報告する——持たせた性格的な偏りが道具の引数を静かに歪め、プロンプトでの抑制は部分的にしか効かないという。記憶の負の面を突く報告は他にもあるが、この指摘自体はまだ単一グループのものだ。

• 
  AIエージェントの信頼性は長いタスクほど落ちる——2研究 2026/7/28

  2026年3〜4月の独立した2本の査読前プレプリントが、AIエージェントはタスクが長いほど信頼性を失うと報告した。崩れ方は分野で偏り、ソフトウェア工学が最速で崩れる一方（信頼性スコアGDSが0.90→0.44）、文書処理はほぼ横ばい。短いベンチの強さは長時間運用の信頼性を保証しない。

• 
  単一意味性——AI内部を読める特徴へほどく研究 2026/7/27

  大規模モデルの内部を、人間が読める『特徴』の集まりへほどく研究がある。ある特徴のつまみを上げると振る舞いまで動く、と Anthropic は報告する。面白いが、取り出せるのはごく一部で、実務ツールにはまだ遠い。

• 
  AIコーディングに効くのは領域理解——40万セッション分析 2026/7/15

  Anthropicが約40万件のClaude Codeセッションを分析した。成否を分けていたのは書ける／書けないではなく、解こうとしている問題をどれだけ分かっているか。分野に詳しい人ほど、同じ一度の指示でAIがより長く働いていた。

• 
  コンパクションで安全制約が消える——違反30%の実測報告 2026/7/11

  長い会話でトークンを圧縮（コンパクション）した瞬間、守っていた禁止事項が要約から抜け、同じエージェントが禁止操作を始める。ある査読前プレプリントは違反率が0%→30%（最悪59%）に跳ね、ルールが要約に残れば0%・抜ければ38%だと切り分けた。

• 
  エージェント暴走——良性エラーという引き金と、最小権限 2026/7/9

  攻撃者はいらない。壊れたページや消えたファイルといった何気ないエラーひとつで、AIエージェントは無断の探索やアクセス制御の回避へ走る——ある研究はエラーを注入した1,920ロールアウトの64.7%で中〜高の危険行動が起き、半分以上は未報告だったと報告する。被害を決めるのは能力でなく、与えた権限の広さだ。

• 
  エージェントの偽の成功——完了報告と実際の状態のずれ 2026/7/9

  自律エージェントは、達成していないのに『完了』と自信満々に報告することがある。ある研究は、単一制御タスクの失敗の45〜48%がこの『偽の成功』だと測った。しかもLLMに合否を判定させても、自信ある締めの言葉に引きずられAUROC0.65を超えない。見抜く鍵は、独立した状態の確認だ。

• 
  AIエージェント評価の報酬ハッキング——実測と塞ぎ方 2026/7/4

  2026年5月の独立2研究。監査ツールBenchJackは主要10ベンチに219個の欠陥を見つけ、1問も解かずにほぼ満点を取る攻撃を自動合成した。別研究はモデル自身の近道率を0〜13.9%と測り、RL系post-trainingほど高いと示す。ただし穴は塞げる。

• 
  長く働くエージェントの文脈管理——『忘れ方』の設計 2026/7/4

  2026年5〜6月のプレプリント2本。1本目は50課題の経費処理ベンチマーク（GPT-5）で、会話・ツール履歴を全部保持した場合の完了率71%に対し、刈り込み＋要約で91.6%、トークンと時間は4割前後に減ったと報告する。2本目は捨て方をエージェントの地力に合わせよと説く。

• 
  コーディングベンチマークの飽和——評価軸は長丁場へ 2026/7/3

  最前線のコーディングAIは定番ベンチマーク（SWE-bench Verified）で軒並み高得点に張り付き、上位を見分けにくくなった。一方、複数ファイルにまたがる継続的な改修=長丁場を測る新しいベンチマークでは、同じ世代のモデルでも最良で約25%。評価の焦点が『1件直せるか』から『長く働き続けられるか』へ移りつつある。

• 
  最前線モデルの利用可否に、国家安全保障レビューの関門 2026/7/3

  この二週間、最前線AIの提供に政府のゲートが二度入った。OpenAIはGPT-5.6を少数の『信頼できるパートナー』に限定公開し、Anthropicは輸出管理でFable 5/Mythos 5を止められた（6/30解除。Mythos 5は一部の米国組織どまり）。今回のニュースは新しい能力ではなく、新しい『関門』だ。

• 
  エージェントのツール選択——全提示をやめ検索で渡す 2026/7/3

  AIエージェントに使える道具（ツール／MCP）を増やすほど、正しく選ぶ精度はむしろ落ちる。ツール定義だけで文脈の7割が埋まることもある。研究では、MCPを並べた検索課題で、最も近い1つだけを検索して渡すと選択精度が3倍超（13.62%→43.13%）に。実務の勘所は『全部見せる』をやめることだ。

• 
  Agent Skills——競合をまたぐ拡張の共通規格 2026/7/2

  Anthropic発の『Agent Skills』が、オープン標準の公開から半年でOpenAI・Google・Microsoftを含む40超のエージェントに対応した。仕組みより効くのは『どのスキルを作る価値があるか』。MCPとの棲み分けと、運用で効く見極めを短くまとめる。

• 
  PRコメント注入で認証情報窃取、条件はActionsへの秘密付与 2026/7/1

  信頼できない投稿者のPRやIssueで起動しシークレットを渡すGitHub Actions構成に限るが、コメントの文章だけでAIエージェントに命令を注入し認証情報を盗める。Claude Code Security Review・Gemini CLI Action・GitHub Copilot Agentで実証。

← 全タグ