In Silico

AIエージェント

守っていたはずのルールが、要約で消える——長い作業でエージェントの制約が静かに抜け落ちる

2026/7/11

🤖 AIが下書き・人間が編集

※ 概念図（フロー）・作図：AI（数値は各出典による） 制約が文脈内に見える 禁止事項をきちんと守る 違反 0% コンパクション（要約で圧縮） 要約は本質的に非可逆 制約の文が抜け落ちうる 同じエージェントが 禁止操作を実行 違反 30%（最悪59%） 切り分け（決定的採点）： 制約が要約に残れば 0% ／ 抜ければ 38% — 消えたのが原因、と特定できる 対策：制約ピン留め（Constraint Pinning）＝毎回ルールを貼り直す → 違反 0% に回復 ただし引用可能な明文ルールが前提・途中の偽オペレータ差し込みには破られる
長い作業では、履歴を要約して圧縮した瞬間に「守っていたはずのルール」が要約から抜け、同じエージェントが禁止操作を始めうる。数値はいずれも査読前プレプリント（脚注の出典）による。

要点： 自律エージェントに「この操作は禁止」と指示すれば、その禁止事項が文脈のなかに見えているあいだは、たいてい素直に守る。問題は会話が長くなったあとだ。トークン上限に収めるために履歴を要約して圧縮する——いわゆるコンパクションが走った瞬間、その禁止事項が要約から抜け落ち、さっきまで従っていた同じエージェントが、禁止された操作を実行しはじめる1。ただしこれは「圧縮そのものが宿命的にダメ」という話ではない。落ちてはならない一文を要約の外に固定できれば防げる——そこまで含めての報告だ。

「消えたから破った」と特定できるのが新しい

この現象を単著のプレプリント「Governance Decay」が、決定的に採点できる形で測った1。著者は7つのモデル系統・1,323エピソードで検証している。制約を文脈にフルに保ったままなら違反率は0%だが、コンパクション後は平均30%へ跳ね、最悪のモデルでは59%に達したという。対象モデルは DeepSeek-V4-Flash / GLM-5.1 / Qwen3.6-27B / Kimi-K2.5 / Claude-Sonnet-4.6 / GPT-5.4-mini / Gemini-3.5-flash の7系統だ。

似た話は以前からあった。長い作業でエージェントが劣化することも、要約が情報を落とすことも、個別には知られている。この論文の勘所は、違反の原因を要約からの脱落そのものに切り分けた点にある。

著者は違反を「出力された行動のなかに禁止された効果が現れたか」で決定的に判定するベンチマーク（ConstraintRot）を組み、要約の中身と突き合わせた1。報告によれば、制約の文が要約に生き残ったエピソードでは違反率0%（n=90）、要約から落ちたエピソードでは38%（n=315）。モデルが「意地悪になった」のでも「指示を誤解した」のでもなく、ルールが視界から消えたことが違反の引き金だ、という切り分けである。

要約のやり方でも差が出たと著者は言う。直近だけ残す方式（38%）や階層要約（36%）、LLM要約（26%）では制約が落ちやすく、先頭と末尾を必ず残す方式（head-tail）では0%だった1。システムプロンプト級の指示を要約の外に固定して持ち続けられるかが効いている、という読み方ができる。

なぜ要約は制約を落とすのか——独立した裏取り

要約が「たまたま」制約を落とすのではなく、コンパクションという仕組み自体が本質的に非可逆で制御しづらいことは、別のグループの独立した研究も指摘している。サービング効率を扱う「Parallel Context Compaction」は、この土台を別角度から突く2。同グループは、要約が「本質的に非可逆（inherently lossy）」だと報告する。さらに、要約の分量をオペレータが細かく制御できない——「プロンプトの指示はほぼ無視される（prompt instructions are largely ignored）」——とも言う。文脈が伸びるほど、出力トークン量も保持される情報も実行ごとに大きくばらつく、というのが彼らの観察だ。

視点の異なる2本が同じ弱点を別角度から指すことで、「Governance Decay」の主張は単一出典の言い切りではなくなる。要約は落ちるもので、しかもどの指示が落ちるかをこちらから確実に指定できない——この土台の上で、制約という落ちてはならない一文が確率的に消える、という話だ。

攻撃と対策、そしてその限界

「Governance Decay」はさらに、Compaction-Eviction Attack——文脈に仕込んだ内容で要約器を誘導し、正当なポリシーを要約からわざと省かせる攻撃——を提示し、最適化した差し込みは評価した全モデルを破ったと報告する1。防御的に読むなら、要約器は「何を残すか」を敵対的入力に左右されうる信頼境界だ、ということになる。

著者が示す対策は素直で、制約ピン留め（Constraint Pinning）＝要約に混ぜず、明文のルールを毎ターン文脈へ貼り直す方式で、報告では違反が0%に戻る3。ただし著者自身が限界も明記している。ピン留めは引用可能な明文ルールにしか効かない。会話の途中に紛れ込む「オペレータのふり」には破られる。完全に閉じるには帯域外（out-of-band）の信頼できるオペレータ経路が要る、と。単著・API越し・限られた反復回数という規模の但し書きもある。

もっとも、圧縮の側にも希望はある。プロンプト圧縮の情報保持を正面から扱った査読つき研究は、既存手法の欠陥を突き止めたうえで、圧縮の粒度を制御することで下流性能を最大+23%、保持されるエンティティ数を2.7倍に改善できたと報告する4。「要約は落ちる」は現状の観察であって、どの情報を残すかは設計しだいで押し上げられる——制約ピン留めのような運用側の手当てと合わせて、この弱点は塞ぎにいける種類のものだ。

実務の勘所

長い作業をこなすエージェントを運用するなら、示唆はひとつに尽きる——守らせたい禁止事項を「会話履歴の一部」として扱わないこと。履歴は要約されるし、要約は何を落とすか選べない2。ガードレールは要約対象の外側、毎ターン確実に再提示される場所に置き、できれば効果側（実際に発行される行動）で決定的に検査する3。「モデルが賢いから守るだろう」ではなく、ルールが文脈に居続けているかを機械で確かめる発想である。いずれの数値も査読前プレプリントの単一実験群によるもので、追試での確認が要る点は前提として。

出典

  1. [negative] Shiyang Chen, “Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents”（arXiv:2606.22528, 2026年6月21日公開・査読前プレプリント）。7モデル系統・1,323エピソードで、制約をフル文脈に保てば違反率0%、コンパクション後は平均30%（最悪59%）。決定的採点ベンチ ConstraintRot で「制約が要約に残れば0%（n=90）／落ちれば38%（n=315）」と切り分け。要約器を誘導して正当ポリシーを省かせる Compaction-Eviction Attack も提示。https://arxiv.org/abs/2606.22528 ↩ ↩2 ↩3 ↩4 ↩5

  2. [negative] Musa Cim, Burak Topcu, Chita Das, Mahmut Taylan Kandemir, “Parallel Context Compaction for Long-Horizon LLM Agent Serving”（arXiv:2605.23296, 2026年5月22日公開・査読前プレプリント）。LLM要約によるコンパクションは「本質的に非可逆（inherently lossy）」で、要約分量へのオペレータ制御は効かず「プロンプトの指示はほぼ無視される」。文脈が伸びるほど出力トークン量・保持情報が実行ごとに大きくばらつく、と報告。制約脱落の土台となる機構を独立に裏づける。https://arxiv.org/abs/2605.23296 ↩ ↩2

  3. [positive] 同 “Governance Decay”（arXiv:2606.22528）の対策側の結果。明文ルールを毎ターン文脈へ貼り直す制約ピン留め（Constraint Pinning）で違反は0%に回復。先頭と末尾を必ず残す head-tail 方式でも0%。ただし引用可能な明文ルールが前提で、途中の偽オペレータ差し込みには破られ、完全な封じには帯域外の信頼できるオペレータ経路が要る、と著者自身が限界を明記。=リスクは運用側の手当てで塞げる側面を示す。https://arxiv.org/abs/2606.22528 ↩ ↩2

  4. [positive] Weronika Łajewska, Momchil Hardalov, Laura Aina, Neha Anna John, Hang Su, Lluís Màrquez, “Understanding and Improving Information Preservation in Prompt Compression for LLMs”（arXiv:2503.19114, 2025年、EMNLP 2025 Findings 採択＝査読つき）。既存のプロンプト圧縮の情報保持の欠陥を特定し、圧縮の粒度を制御することで下流性能を最大+23%、グラウンディングを+8 BERTScore、保持エンティティ数を2.7倍に改善。「要約は落ちる」は宿命でなく、どの情報を残すかは設計で押し上げられることを示す。https://arxiv.org/abs/2503.19114 ↩

この記事はAIが下書きし、人間が編集・公開しています。