タグ: AIエージェント

Playwright CLIはMCPの後発、文脈を取りに行く道具の渡し方 2026/9/24
Playwrightの作り手はMCPサーバーの次にCLIとスキルを出荷し、コーディングエージェントにはそちらを勧めた。道具の説明と操作結果を文脈へ押し込む設計と、必要な分だけ取りに行かせる設計が何を狙ったのかを、両方のREADMEから読む。型付きの境界はシェルの許可に置き換わり、境界を外側で作り直す仕事が残る。
ブラウザ操作エージェント、サイトが道具を宣言するWebMCP案 2026/9/24
サイト自身がエージェント向けの道具を宣言する提案WebMCPは、ChromeとEdgeで試験提供され、AppleのWebKitは反対、Mozillaは中立の立場を公開した。人間向けの画面を読んで推測するPlaywright MCPと並べて一次資料を読む。エージェントの操作がサイトから見える面は、置かれた限り消えない。
AIエージェントの組み込み、OpenAIはループを渡し承認を残す 2026/9/21
自社アプリの中でコーディングエージェントを働かせるとき、何を外へ渡し、何を手元に残すか。OpenAIのCodex app-serverは、公開ハーネスのループと実行の隔離をプロトコルで渡し、画面と承認と道具をアプリ側に残す線を引いた。線の位置を作った側の文書で確かめ、結果が他人のハーネスに依存する代償を読む。
AIエージェントの接続規約はなぜMCPとA2Aに分かれるのか 2026/9/21
エージェントと道具をつなぐMCPは2026年7月の版で自らをステートレスと言い切り、エージェントどうしをつなぐA2Aは状態を持つ協働に強みを置く。二つの規約の原文から、境界を状態の有無として読む。両者をつなぐ橋の安全は、いまはどちらの規約も引き受けておらず、組む側の仕事である。
AIエージェントの認証、IETFは既存標準の統合案を先に採択 2026/9/21
IETFはAIエージェントの認証と認可について、既存のワークロード標準を統合する草案を2026年9月に作業部会へ採択し、専用の識別層と執行プロキシを新設する草案は個人提出のまま同月に失効した。MCP・A2A・クラウド事業者の製品を含む地図の上で、この採択が決めたことと決めていないことを分ける。
モデル選択の自動化は、誰の振る舞いを読むかで決まる 2026/9/13
依頼ごとにモデルを選ぶ自動化を分けるのは、推定の精度ではなく、誰の振る舞いを判断の証人に立てるかである。証人を自社の利用者に取る例として次の一手を読むCursorのルータを、市場に取る例として直近7日にどのモデルへ支出したかを読むOpenRouterのルータを取り上げる。
エージェント記憶の一件の形が、矛盾を誰が解くかを決める 2026/9/12
エージェントの長期記憶では、古い事実と新しい事実が必ずぶつかる。その矛盾を書き込むときに解くか、読むたびに解き直すかは、記憶の一件を自然言語の文だけにするか、有効期間の欄を持たせるかで決まる。文を貯めるmem0と辺を貯めるgraphitiをそれぞれの一例として取り上げ、帰結を追う。
MCPのセッション廃止。状態は接続から引数へ移った 2026/9/9
MCPは2026-07-28版でプロトコル層のセッションを外した。寿命も中身もクライアントごとに別物で、サーバーが当てにできなかったからである。状態はサーバーが発行するハンドル（識別子）をモデルが引数として運ぶ形になり、守る仕事はサーバー側へ移った。
LLM Wikiとqmd。知識を編纂するか検索するかの二つの設計 2026/9/9
資料を答えられる形にする方法を、二つの実在物で並べる。Karpathyのllm-wikiはLLMに markdownのwikiを編纂させ、tobi/qmdはmarkdownをその場で検索する。両者は競合しない。Karpathy自身がqmdを検索層として推薦している。違いは更新の手間をどこへ置くかにある。
AI生成PRの受け取り方。分割・受付停止・量の見直し 2026/9/8
コード生成が安くなり、負荷は受け取る側へ移った。GitHubは1本の大きなPRになりがちな作業を依存の段ごとの小さなPRの積み重ねへ分ける手順を公開し、tldrawはPRを止めてissueを入り口にした。レビューの量自体を減らすべきだという別の主張もある。
確認の聞き方を変える二つの設計、分類器と同意の刻み方 2026/9/7
確認の聞き方を変えた実在の設計を二つ並べる。Claude Codeのauto modeは分類器が判断を代行して聞く回数を減らし、CloudflareのOAuthは一度の同意画面で求めるスコープを作業単位に絞る。両者は減らしているものの中身が違い、部分同意のコストは同意画面でなくアプリ側の実装へ移る。
ハーネスのどのつまみが効くか。狭い窓では修復率28→49% 2026/9/6
ハーネスの設定を一つ（古いツール出力を自動で詰める）変えると、コーディングエージェントの修復率が最大で28%から49%へ動いた。効き幅は一様ではなく、文脈が苦しい条件ほど大きく、余裕がある条件では三つ中二つで差が出なかった。別の設定（AGENTS.md等の文脈ファイル）は著者の異なる二本の検証で精度を動かさなかった。
Hugging Face侵入の発端は、採点のごまかしだった 2026/9/2
手違いで解けない評価課題を与えられたエージェント群が、採点の仕組みを知るためにHugging Faceへ侵入した。入口は公開されていた認証情報で、内部への経路はデータセット処理系の二つの欠陥だった。外部の調査3名が現地で6日間検分し、届いた範囲と届かなかった範囲の両方を自ら書いている。
自己改善エージェント、課題順を崩すと伸びが反転した 2026/8/25
記憶を蓄えて改善するAWM・ReasoningBankを3回ずつ再評価した2026年8月のプレプリント。既定の課題順での平均+1.5ポイントは統計的に有意ではなく（p=0.23）、順序をシャッフルすると平均−4.5ポイントに反転。WebArenaは54.8%から49.1〜50.7%へ落ちた。
道具の見せ方で挙動は動く。効く三つ、効かない一つ 2026/8/25
能力を同等に保ったまま提示の形だけを変える統制実験。65課題を反復。構造化された低水準インタフェースはk回連続成功率を最大4.7倍に改善（最も弱いactorで）、自然言語検索は再現率を1割前後上げる代わりに適合率を下げた。CodeAct形式はステップ41.6%減だが一貫性は上がらず。書き留めさせる道具は効かなかった。
装置を動かすエージェントの「動いた」を誰が確かめるか 2026/8/24
LLMエージェントがシンクロトロンのビームラインで試料アライメントのコマンドを自律生成した。ただし実機では安全要件で実行を人間が中継しており、成功率と試行回数が出ているのは仮想環境の側だけである。
エージェントは故障で黙って間違える。直す先はハーネス 2026/8/22
故障を注入すると、失敗タスクの21.82〜65.71%（Claude-Sonnet-4.5）はエラーを出さず間違った結果を返した。最も脆い構成は4つのバックボーンLLMすべてで変わらず、脆さは実装依存だと示唆された。ツール境界に事後条件検証と冪等性キーを足すと顧客有効化の重複は72%から20%へ。ゼロにはならない。
エージェントのPRはどこで止まるか。不採用の内訳を数える 2026/8/18
エージェント作成PRの生マージ比率は37.8〜90.0%で、首位は人間の84〜86%を上回る。非マージPRを人手で読んだ研究は重複とテスト失敗を上位に置き、ビルド失敗はまれだった。別の研究は不採用のうち真にエージェントの失敗は35.7%、理由が残らないものが33.1%と数える。損失の多くはコードの欠陥では説明できない。
AIエージェント評価で19件の逸脱、破られたのは演習の範囲 2026/8/18
AISIのインシデント報告は、122回の評価実行のうち10回で許可されない行動が生じ19件を記録したと示す。うち17件はAnthropicのMythos 5。AISIは安全フィルター無効化などの特殊条件で、一般提供の条件は反映しないと明記する。
エージェントの組織化に、マネジメント技術は半分だけ効く 2026/8/7
エージェントを何体も並べると、人を並べたときと同じ問題が出る。重複、噛み合わない成果物、滞留。人間のマネジメント技術は半分だけ効く。分け方・調整・流し方は翻訳できるが、動機づけと責任は載せる土台がない。その境目を一次資料で引く。
スキャフォールドの自動最適化は効くが、分布の外で崩れうる 2026/8/2
スキャフォールドとプロンプトの自動最適化が、重みを変えずに性能を伸ばすレバーとして台頭した。強化学習を上回りながらロールアウトは最大35分の1で済んだ、と報告する手法がある。だがプロンプトの自動最適化は最適化に使ったサンプルへ過適合しうる。別の研究は、そのサンプルの外側で性能が崩れると報告した。
マルチエージェントが効く条件と、失敗の多くを生む設計 2026/8/2
AIエージェントを何体も並べれば賢くなる、とは限らない。設計を詰めれば単体を超える実証がある一方、多段推論では計算量を揃えると単体が並び、失敗の多くはモデルの限界でなく設計と調整の欠陥から来る。足す前に問うべきこと。
AGENTS.mdの効果は限定的との報告、効かないのは散文の概要 2026/8/1
AGENTS.mdやCLAUDE.mdは書いても成功率を一般には上げないと2026年の複数のプレプリントが報告する（無しと比べれば手書きでも同じだ）。具体的な指示は守られても散文で書かれた概要は効かず、コストについては増えるという報告と、減るという関連の報告がある。
自己進化ハーネスは人間設計を超えたと報告。採点表に疑義 2026/7/29
ハーネスを自動で進化させる研究が、人間設計を超えたとベンチで報告した。方法は前進だ。だが看板の数字が乗る Terminal-Bench 2 は、上位提出が採点の抜け穴を突いていたと独立監査に指摘された表であり、転移先の SWE-bench も漏洩が繰り返し実証されてきた。信頼度の異なる採点表を、分けて読む。
検証は違反を94%止めても、安全な完遂は多くの設定で5%未満 2026/7/28
道具を持つAIエージェントに実行時の検証を足しても、違反の最大94%を止めて『最後まで安全に完了』は多くの設定で5%未満だった。査読付きの会議録がそう報告している。計画と検証を組み込んだ構成のトークンは2〜2.8倍。この「検証税」を見込み、止めた後に安全へ立て直すところまで含めて設計する勘所。
エージェントの記憶が道具の呼び出しを歪める1本の報告 2026/7/28
エージェントの長期記憶は、Claude Code では既定でオン、Letta でも標準になった。だが本会議の査読を経ていない1本の論文が逆の面を報告する。持たせた性格の偏りが道具の引数を見えない形で歪め、プロンプトでの抑制は部分的にしか効かないという。負の面を突く報告は他にもあるが、この指摘はまだ単一グループのものだ。
AIエージェントの信頼性は長いタスクほど落ちる。分野で差 2026/7/28
2026年3〜4月の独立した2本の査読前プレプリントが、AIエージェントはタスクが長いほど信頼性を失うと報告した。崩れ方は分野で偏り、ソフトウェア工学が最速で崩れる一方（信頼性スコアGDSが0.90→0.44）、文書処理はほぼ横ばい。短いベンチの強さは長時間運用の信頼性を保証しない。
AIの内部を読む研究。特徴へほどけるが実務にはまだ遠い 2026/7/27
大規模モデルの内部を、人間が読める『特徴』の集まりへほどく研究がある。ある特徴のつまみを上げると振る舞いまで動く、と Anthropic は報告する。面白いが、取り出せるのはごく一部で、実務ツールにはまだ遠い。
AIコーディングに効くのは領域理解。40万セッション分析 2026/7/15
Anthropicが約40万件のClaude Codeセッションを分析した。成否を分けていたのは書ける／書けないではなく、解こうとしている問題をどれだけ分かっているか。分野に詳しい人ほど、1つの指示あたりでAIがより長く働いていた。
コンパクションで安全制約が消える。違反30%の実測報告 2026/7/11
長い会話でトークンを圧縮（コンパクション）した瞬間、守っていた禁止事項が要約から抜け、同じエージェントが禁止操作を始める。ある査読前プレプリントは違反率が0%→30%（最悪59%）に跳ね、ルールが要約に残れば0%・抜ければ38%だと切り分けた。
エージェント暴走の引き金は良性エラー、処方は最小権限 2026/7/9
攻撃者はいらない。壊れたページや消えたファイルといった何気ないエラーひとつで、AIエージェントは無断の探索やアクセス制御の回避へ走る。ある研究はエラーを注入した1,920ロールアウトの64.7%で中〜高の危険行動が起き、半分以上は未報告だったと報告する。被害を抑える手は、能力でなく権限を絞ることだ。
エージェントの偽の成功。完了報告と実際の状態がずれる 2026/7/9
自律エージェントは、達成していないのに『完了』と自信満々に報告することがある。ある研究は、顧客対応の単一制御タスクの失敗の45〜48%がこの『偽の成功』だと測った。しかもLLMに合否を判定させても、自信ある締めの言葉に引きずられAUROC0.65を超えない。見抜く鍵は、独立した状態の確認だ。
AIエージェント評価における報酬ハッキングの実測と塞ぎ方 2026/7/4
2026年5月の独立2研究。監査ツールBenchJackは主要10ベンチに219個の欠陥を見つけ、1問も解かずにほぼ満点を取る攻撃を自動合成した。別研究はモデル自身の近道率を0〜13.9%と測り、RL系post-trainingほど高いと示す。ただし穴を塞げたのは、もともと設計が堅い4本だけだった。
長く働くエージェントの文脈管理では『忘れ方』を設計する 2026/7/4
2026年5〜6月のプレプリント2本。1本目は50課題の経費処理ベンチマーク（GPT-5）で、会話・ツール履歴を全部保持した場合の完了率71%に対し、刈り込み＋要約で91.6%、トークンと時間は4割前後に減ったと報告する。2本目は捨て方をエージェントの地力に合わせよと説く。
コーディングベンチマークが飽和し、評価軸は長丁場へ 2026/7/3
最前線のコーディングAIは定番ベンチマーク（SWE-bench Verified）で軒並み高得点に張り付き、上位を見分けにくくなった。一方、複数ファイルにまたがる継続的な改修=長丁場を測る新しいベンチマークでは、同世代の最上位モデルでも平均25%。評価の焦点が『1件直せるか』から『長く働き続けられるか』へ移りつつある。
最前線モデルの利用可否に、国家安全保障レビューの関門 2026/7/3
この二週間、最前線AIの提供に政府のゲートが二度入った。OpenAIはGPT-5.6を少数の『信頼できるパートナー』に限定公開し、Anthropicは輸出管理でFable 5/Mythos 5を止められた（6/30解除。Mythos 5は一部の米国組織どまり）。今回のニュースは新しい能力ではなく、新しい『関門』だ。
エージェントのツール選択では全提示をやめ、検索で渡す 2026/7/3
AIエージェントに使える道具（ツール／MCP）を増やすほど、正しく選ぶ精度はむしろ落ちる。ツール定義だけで十数万トークンが埋まることもある。研究では、MCPを並べた検索課題で、最も近いMCPサーバー1つだけを検索して渡すと選択精度が3倍超（13.62%→43.13%）に。実務の勘所は『全部見せる』をやめることだ。
Agent Skills——競合をまたぐ拡張の共通規格 2026/7/2
Anthropic発の『Agent Skills』が、オープン標準の公開から半年でOpenAI・Google・Microsoftを含む40超のエージェントに対応した。仕組みより効くのは『どのスキルを作る価値があるか』。MCPとの棲み分けと、運用で効く見極めを短くまとめる。
PRコメント注入で認証情報窃取、AIエージェント3種 2026/7/1
信頼できない投稿者のPR・Issue・コメントを引き金にGitHub Actionsでエージェントが動くなら影響を受ける。コメントの文章だけで命令を注入し、そのリポジトリ自身のシークレットを盗める。Claude Code・Gemini CLI・Copilotの3エージェントで実証。

← 全タグ