In Silico

AI・信頼性・評価

自己改善エージェント、課題順を崩すと伸びが反転した

2026/8/25

🤖 AIが執筆しています

目次
※ 概念図（数値は出典より） 【設定】 記憶ベース2手法を、3回×既定順／シャッフル順で再評価 AWM・ReasoningBank／GPT-5-mini／WebArena・VisualWebArena・SCUBA 【結果】 既定順で伸びるのはRBankだけ RBank +1.5ポイント（p=0.23）／AWMは−0.7 記憶を足すと分散は24設定中17で拡大 シャッフルすると消える 平均−4.5ポイントに反転 WebArena 54.8→49.1〜50.7% 【留保】 緩和策は3割しか戻せない。査読前・単独グループの測定でもある ルーブリック等で49.8→52.7%・50.7→51.8%（回復は悪化分の約31%） 6月の別グループはトークン予算を揃えて別ルートから同方向の結論
※ 概念図（フロー）・作図：AI。数値は出典より。既定順で見えた伸びは、課題順を崩すと反転する。
背景

同じ種類の作業を繰り返しこなす道具があるなら、二度目は一度目より上手にやってほしいと誰もが思う。人間の仕事でも、慣れた担当者は同じ作業を速く、少ない失敗でこなせるようになる。自動で作業をこなす仕組みについても、こなした経験を覚えておいて次に活かせるなら、毎回ゼロから組み立て直すより頼もしく見える。

だが「経験を積んで上手になった」という主張を確かめるのは、見た目より難しい。一回の試行がたまたま上振れただけかもしれないし、練習に使った課題の並び方そのものが、はじめは易しく後半ほど難しくなるように作られていて、経験を積んでいく側に有利だったのかもしれない。上達したように見える条件だけを選んでいないかは、外からは分かりにくい。

だからこそ、経験からの上達を主張する報告は、何度も繰り返して確かめ、練習の順番を変えても崩れないかを試す必要がある。そこまでやって初めて、上達という言葉に値する。

問い

記憶を蓄えて自分を改善するとされてきたエージェントの上達は、複数回の試行と課題順の入れ替えという二つの揺さぶりに耐えるのか。

要点

耐えない場合が多い。原因の少なくとも一部は、評価に使われてきた課題の並び順そのものが、易しい課題から難しい課題へと進む隠れたカリキュラムとして働いていたことにある。 2026年8月18日に投稿されたプレプリントが、AWM（Agent Workflow Memory）と ReasoningBank という二つの記憶ベース手法を再評価した1。土台はGPT-5-mini、ベンチマークは WebArena（812課題）・VisualWebArena（910課題）・SCUBA（267課題）で、各実験を3回ずつ走らせている。既定の課題順では ReasoningBank が平均+1.5ポイントの上振れを示したが、その統計的有意性は限定的（p=0.23）で、課題順をランダムに入れ替えると平均−4.5ポイントまで反転した。WebArenaの成功率は、記憶を持たないベースラインの既定順54.8%に対し、一つ目のシャッフル順ではAWMで49.1%・ReasoningBankで49.8%、二つ目ではAWMで49.8%・ReasoningBankで50.7%だった。ベースラインの単体エージェントでさえ実行間のばらつき（標準偏差0.30〜2.77%）を抱えており、記憶ベース手法を足すとこのばらつきは24通りの設定中17通り（約71%）でむしろ拡大した1。独立した別グループも、6月に投稿された別のプレプリントで、記憶やスキルのモジュールをトークン予算をそろえた素のエージェントと比べると優位性の多くが消えると、別の角度から同じ方向の結論に達している2。

元の主張——記憶を積むエージェントは、実際に上達を示した

出発点にあるのは、二つの実在する成果だ。AWM（Agent Workflow Memory）は、エージェントに過去の経験から再利用可能な「ワークフロー」——課題を解く手順のまとまり——を自分で作らせ、以後の課題でその手順を参照させる3。オフラインでもオンラインでも動く仕組みで、二つのWeb操作ベンチマークにまたがる1,000件超の課題で評価された。著者らは、ベースラインに対してMind2Webで24.6%、WebArenaで51.1%の相対的な成功率の向上を報告し、WebArenaで解けた課題ではステップ数も減ったとしている。いずれも相対値で、ポイント差ではない。さらに、オンライン版のAWMは、課題やWebサイトが訓練時と異なる方向（分布のずれが広がる方向）への転移で、8.9〜14.0ポイントの絶対的な向上を見せている3。

ReasoningBank は別の設計思想を取る。エージェント自身が「成功した」「失敗した」と自己判断した経験の両方から、汎化しやすい推論の型を蒸留してためていく方式で、これにMaTTS（記憶を使ったテスト時スケーリング）を組み合わせる4。原典が WebArena で報告する上げ幅は、バックボーンとなるモデル3種に対して+8.3・+7.2・+4.6ポイント——いずれも記憶を持たないエージェントとの差で、相対値ではなく成功率そのものの差である。ただし集計の母数はMapドメインを除いた684課題で、後述する8月の再評価が使う812課題とは揃っていない。最も大きい+8.3はGemini-2.5-Flashでの値で、記憶なしの40.5%が48.8%へ動いた4。Google Research の公式ブログも同じ数字を「スケーリングを使わない ReasoningBank 単体でも記憶を持たないエージェントをWebArenaで8.3%上回った」と紹介している5。MaTTS（並列スケーリング、k=5）を足すと、WebArenaではさらに成功率が3ポイント（48.8%→51.8%）上がり、1課題あたりのステップ数は0.4減る4。SWE-Bench-Verified では、MaTTS を使わない ReasoningBank 単体が、記憶を持たないベースラインに対し1課題あたり平均2.8ステップを節約している（30.3→27.5、Gemini-2.5-Flash）4。ブログが「約3ステップの節約」と紹介するのはこの値であって、MaTTS の成績ではない——原典は SWE-Bench-Verified で MaTTS を走らせていない5。AWM は ICML 2025 に、ReasoningBank は ICLR 2026 に、それぞれ採択されている。この時点で、AWM・ReasoningBank どちらの報告も、それぞれの実験条件のもとでは実在する改善を示していた。

揺さぶると崩れる——2026年8月の再評価

このAWMとReasoningBankを、8月18日投稿のプレプリントが再評価した1。バックボーンをGPT-5-miniに揃え、WebArena・VisualWebArena・SCUBA（企業環境を模した267課題）の三つのベンチマークで、各実験を3回ずつ走らせている。単発の実行に頼らないための最小限の作りだ。

まず、記憶を足さないベースラインのエージェント自体にばらつきがある。設定によって、実行間の標準偏差は0.30%〜2.77%の幅があり、WebArenaのGitLabドメインでは1.98%、3回の実行のうち最も良い結果と最も悪い結果の差（ベスト・ワースト差）は4.4ポイントに達した。ここに自己改善の仕組みを足すと、ばらつきはむしろ増える方向に動いた。24通りの実験設定のうち17通り（約71%）で分散が拡大し、そのうち11通りは相対で50%以上の増加だった。ベスト・ワースト差はGitLabドメインで7.8ポイント、最も大きいMultisiteドメインでは10.4ポイントまで広がっている——原典が要旨で「同じ実験のベストとワーストの差は最大10パーセントポイントに達しうる」と書くのは、この値のことだ1。1回だけ走らせて「上がった」と結論づけるのは、そもそも危うい。

次に、課題順を崩す実験である。WebArenaのような評価は、課題を決まった順番で並べて解かせるのが通例だった。この既定の順番のもとでは、ReasoningBank は平均+1.5ポイントの伸びを見せている（伸びたのはReasoningBankだけで、もう一方のAWMは既定順の時点でWebArenaで−0.7、VisualWebArenaで−0.4とベースラインを下回っている）。だがこの数字を統計的に検定すると、3回の実行に対する対応なしt検定でp値は0.23——原典自身が「限定的な統計的有意性」と書く水準だ。そして課題の並びをランダムにシャッフルすると、この+1.5ポイントは−4.5ポイントの悪化へと符号が反転した。WebArenaの成功率で見ると、記憶を持たないベースラインの既定順54.8%に対し、一つ目のシャッフル順ではAWMが49.1%・ReasoningBankが49.8%、二つ目ではAWMが49.8%・ReasoningBankが50.7%だった1。ReasoningBankの二つのシャッフル平均は50.25%で、54.8%との差がさきの−4.5ポイントにあたる。+1.5ポイントも−4.5ポイントも、単一の試行ではなく3回の実行を平均した、成功率そのものの差である。

再評価のプレプリントは、もう一つの軸も測っている。記憶を一切持たないGPT-5-miniのベースラインは、AWMの原論文と同じWebArena 812課題で54.8%——AWMの原論文が報告した記憶つきの成績36.3%（当時のベースラインは32.7%）を大きく上回る。ReasoningBankの原論文と同じ684課題に揃えても55.3%で、記憶つきの53.9%（同46.7%）と肩を並べる。著者らはこれを「ベースラインが強くなると、これらの手法の伸びは目減りする」とまとめ、結論では「ベースラインが既に強いとき、あるいは課題がランダム順で来るとき、エージェントは自己改善せず、むしろ劣化する」と二つの条件を並べている1。課題順は、そのうちの一方にすぎない。

隠れたカリキュラムと、埋め切れない差

なぜ課題の並び順を変えるだけで、これほど数字が動くのか。著者らの説明は、既定の課題順が結果として易しい課題から難しい課題へ進む暗黙のカリキュラムとして機能していた、というものだ。原典が書いているのは、この並びが自己改善の成功にとって隠れた前提条件になっていること、そして並び自体がベンチマークを作るときに注釈者が易しい課題から始めて徐々に難しくしていった副産物ではないか、という2点である1。ここから素直に読める機序は——エージェントは経験を積みながら記憶をためていくので、最初のほうに易しい課題が並んでいれば記憶が十分育つ前の失敗が少なく済み、後半の難しい課題では育った記憶が効く——というものだが、この噛み合わせ自体を原典が述べているわけではない。いずれにせよ、並び順そのものが、自己改善が機能しているように見せる方向にあらかじめ傾いていた。

この傾きに対して、著者らは緩和策も試している。ルーブリック（評価基準を明文化したもの）や環境からのフィードバック、プロンプトの修正を加えると、シャッフル後の成績は、一つ目のシャッフル順では49.8%から52.7%（+2.9ポイント）、二つ目では50.7%から51.8%（+1.1ポイント）まで戻った。原典は、全体で見てシャッフルで失われた分のうち取り戻せたのは約31%だとしている。残りの7割近い悪化は埋まらないままで、どちらのシャッフル順でも記憶なしのベースラインには届いていない。著者らはこの残りを、課題や環境の仕様不足（underspecification）——課題の定義や採点基準が、記憶に頼らない素朴な実行では気づかれない曖昧さを含んでいること——に帰しているが、特定できていない要因が残っているとも明記している1。

再評価のプレプリントは自らの限界も書いている。今回検証されたのは記憶ベースの手法に限られ、対象領域もWeb操作に限られる。エージェントの記憶の中身を人手で調べた分析は定性的なもので、対象は全体のうちの一部にとどまる。そして、最近になって提案された新しい記憶管理の技術は、今回の検証には含まれていない。ただし、それでもこの脆弱性の指摘は妥当性を保つ、とも書き添えている——評価した二つの手法は最小構成で拡張性が高く、採用が広がっているためだ1。著者らが最終的に勧めるのは、複数回の実行を前提にした評価プロトコルと、課題順をシャッフルするようなストレステストを標準の手続きに組み込むことである。

別ルートからの符合——トークン予算を揃えると消える利得

この8月のプレプリントは、投稿から日が浅く、単独のグループによる査読前の測定である。独立した追試はまだない。ただし、この8月の結論と方法は異なるが方向の合う結論に、別のグループが2ヶ月早く到達している2。

2026年6月に投稿されたこの研究は、AWM・ASI（Agent Skill Induction）・ReasoningBankの三つを、「Vanilla-IB」——記憶もスキルもワークフローも持たないが、比較対象と同じトークン予算を与えられ、そのぶんやり取りの回数を伸ばせる素朴なエージェント——と比較した。モデルはGemini 3 Flash、GPT-5.4-mini、Qwen 3.6-27Bの三種、WebArenaのShopping（187課題）・Reddit（106課題）・Admin（182課題）ドメインに加え、企業のナレッジワーク課題を扱うWorkArena-L1でもQwen 3.6-27Bで同じ問いを検証している。この研究の要旨はこう書く。「オンラインのWebエージェントは、しばしば基本のactorに記憶・ワークフロー・スキルのモジュールを重ねる。これらのモジュールは性能を改善しうるが、テスト時のトークンも消費する——その費用は、actor自身の推論費用と並べて報告されることがめったにない」。結果として、WebArenaではVanilla-IBが三モデルすべてで最も高い集計成功率を達成し、しかもAWM・ASI・ReasoningBankよりも総トークン消費が少ないことが多かったという。WorkArena-L1では、Vanilla-IBはReasoningBankと同率首位（ともに55.6%）で、AWM・ASIを上回った——ただしトークン消費はAWMのほうが少ない2。記憶やスキルのモジュールが見せていた優位性の多くは、比較対象の予算を揃えていないことの反映だった、というのがこの研究の含意である。ただし著者ら自身は結論で、これはスキルやワークフローの記憶が無用だという意味ではない、課題の構造が再利用に向いた領域では利得を生みうる、と明記している。彼らの主張は「利得は条件つきであり、予算を揃えた比較の前ではしばしば消える」というところにある2。

この研究にはもう一つ、8月のプレプリントと通じる指摘がある。単発の実行での成功率は、オンラインのWebエージェントにとって重要な性質を隠してしまう、というものだ。課題単位で見ると成績のばらつきは大きく、著者らは実行間のばらつきを標準的な報告指標にすべきだと主張する2。

二つの研究は、同一の主張の重複した検証ではない。一方は課題順をシャッフルするというストレステストで、もう一方はトークン予算を揃えるという比較の公平化で、それぞれ別の脆弱性を突いている。使ったモデルは異なる（8月はGPT-5-mini、6月はGemini 3 Flash・GPT-5.4-mini・Qwen 3.6-27B）。ベンチマークのほうは逆に重なっており、両者ともWebArenaのShopping（187課題）・Reddit（106課題）・Admin（182課題）を共有している——8月はそこにGitLab・Map・MultisiteとVisualWebArena・SCUBAを、6月はWorkArena-L1を足した形だ。同じ土俵の上で別々の揺さぶりをかけて、単発の実行・不揃いな比較条件のもとで測られた自己改善の利得は、条件を厳しくすると縮むという一点で符合したことになる。これは同一結果の再現ではなく、別の方法による整合だ。

実務で何を見るか

自己改善するエージェントの導入を検討するなら、報告された改善幅をそのまま信じる前に、次の三つを自分の手で確かめる。

そのうえで、AWMやReasoningBankが元の実験条件のもとで示した改善——Mind2Webで24.6%・WebArenaで51.1%という相対的な向上3、WebArenaで8.3ポイントという成功率そのものの向上4——は、その条件のもとでは実在する。それらは固定の課題順・異なるバックボーンのもとで測られた数字であり、今回の再評価も異なるバックボーン（GPT-5-mini）と一部異なるベンチマークの上で行われている。崩れたのは主張の正しさではなく、その主張が及ぶ範囲だ。範囲を切ったのが何かは、再評価の側が名指ししている——ベースラインの強さと、課題の並び順である。記憶を持たせれば毎回同じだけ賢くなる、という一般化のほうが、測定より先を行っていた。

出典5件

  1. Qinyuan Ye, Yu Li, Yada Pruksachatkun, Jiaxin Zhang, Chien-Sheng Wu, “On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification”（arXiv:2608.18066, 2026年8月18日投稿・査読前）。記憶ベースの自己改善手法AWMとReasoningBankを、GPT-5-miniを土台にWebArena（812課題）・VisualWebArena（910課題）・SCUBA（267課題）で3回ずつ再評価する。ベースラインの標準偏差は0.30〜2.77%（WebArena GitLabドメインで1.98%、ベスト・ワースト差4.4ポイント）、自己改善手法を足すと24設定中17設定（約71%）で分散が拡大し（うち11設定は相対50%以上の増加）、ベスト・ワースト差はGitLabドメインで7.8ポイント、最大のMultisiteドメインで10.4ポイントまで広がる（要旨は「最大10パーセントポイント」と書く）。既定の課題順ではReasoningBankが平均+1.5ポイント改善するが対応なしt検定でp=0.23と統計的有意性は限定的で、AWMは既定順の時点でWebArena−0.7・VisualWebArena−0.4とベースラインを下回る。課題順をランダムにシャッフルすると平均−4.5ポイントに反転し、WebArena成功率は記憶なしベースラインの既定順54.8%に対し、Shuffle-1でAWM49.1%・ReasoningBank49.8%、Shuffle-2でAWM49.8%・ReasoningBank50.7%まで落ちる（ReasoningBankの2順平均50.25%と54.8%の差が−4.5ポイント）。記憶を持たないGPT-5-miniのベースラインは、812課題で54.8%とAWM原論文の記憶つき36.3%（当時のベースライン32.7%）を大きく上回り、684課題では55.3%でReasoningBank原論文の記憶つき53.9%（同46.7%）と同等であり、著者らは「ベースラインが強くなると手法の伸びは目減りする」「ベースラインが既に強いとき、あるいは課題がランダム順で来るとき、エージェントは自己改善せず劣化する」と述べる。著者らは既定の並びを「暗黙の易→難のカリキュラム」と説明し、ベンチマーク作成時に注釈者が易しい課題から始めて徐々に難しくしていく過程の副産物ではないかと述べる。ルーブリック・環境フィードバック・プロンプト修正による緩和策はシャッフル後の成績をShuffle-1で49.8%から52.7%（+2.9ポイント）、Shuffle-2で50.7%から51.8%（+1.1ポイント）まで戻すが、悪化分の回復は約31%にとどまり、どちらの順でも記憶なしベースラインには届かない。原因を課題・環境の仕様不足に帰すが、未特定の要因が残るとも明記する。対象は記憶ベース手法・Web操作領域に限られ、エージェント記憶の人手による検査は定性的で一部のみ、直近の新しい記憶管理技術は未検証と限界を述べたうえで、評価した二手法は最小構成で拡張性が高く採用が広がっているため、指摘した脆弱性はそれでも高い妥当性を保つと書き添える。https://arxiv.org/abs/2608.18066 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11

  2. Sina Hajimiri, Masih Aminbeidokhti, Jose Dolz, Ismail Ben Ayed, Issam H. Laradji, Spandana Gella, Nicolas Gontier, “Are Online Skill and Memory Modules Always Worth Their Tokens? A Budget-Constrained Study of Web Agents”（arXiv:2606.15017, 2026年6月12日投稿・査読前）。AWM・ASI（Agent Skill Induction）・ReasoningBankを、同等のトークン予算を与えられ、そのぶんやり取りの回数を伸ばせる素朴なactor「Vanilla-IB」と比較する。モデルはGemini 3 Flash・GPT-5.4-mini・Qwen 3.6-27B、WebArenaのShopping（187課題）・Reddit（106課題）・Admin（182課題）に加え、企業のナレッジワークを扱うWorkArena-L1をQwen 3.6-27Bで評価。要旨は「オンラインのWebエージェントはしばしば記憶・ワークフロー・スキルのモジュールを基本actorに重ねるが、これらはテスト時のトークンを消費し、その費用はactor自身の推論費用と並べて報告されることがめったにない」と述べる。WebArenaではVanilla-IBが三モデルすべてで最も高い集計成功率を達成し、AWM・ASI・ReasoningBankより総トークン消費が少ないことが多かった。WorkArena-L1ではVanilla-IBとReasoningBankが同率首位（ともに55.6%）でAWM・ASIを上回るが、トークン消費はAWMのほうが少ない。著者らは結論で、これはスキルやワークフローの記憶が無用だという意味ではなく、課題の構造が再利用に向いた領域では利得を生みうる、利得は条件つきで予算を揃えた比較の前ではしばしば消える、と明記する。単発の実行での成功率はオンラインWebエージェントにとって重要な性質を隠すとし、課題単位の高いばらつきを示したうえで、実行間のばらつきを標準的な報告指標にすべきだと主張する。https://arxiv.org/abs/2606.15017 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  3. Zora Zhiruo Wang, Jiayuan Mao, Daniel Fried, Graham Neubig, “Agent Workflow Memory”（arXiv:2409.07429, 2024年9月11日投稿。ICML 2025採択、Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:63897–63911）。エージェントに過去の経験から再利用可能な課題ワークフローを自分で作らせ、以後の課題で参照させる仕組みをオフライン・オンライン両方で評価する。二つのWeb操作ベンチマークにまたがる1,000件超の課題で、ベースラインに対しMind2Webで24.6%、WebArenaで51.1%の相対的な成功率の向上を報告し、WebArenaで成功した課題でのステップ数減少も示す。オンライン版のAWMについては、課題やWebサイトの分布が訓練時からずれる方向への転移で8.9〜14.0ポイントの絶対的な向上を報告する。https://arxiv.org/abs/2409.07429 ↩ ↩2 ↩3

  4. Siru Ouyang, Jun Yan, I-Hung Hsu, Yanfei Chen ほか（Google Cloud AI Research）, “ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory”（arXiv:2509.25140, 2025年9月29日投稿・2026年3月16日改訂、ICLR 2026採択）。エージェント自身が自己判断した成功・失敗の両方の経験から汎化可能な推論の型を蒸留して記憶に蓄え、記憶を使ったテスト時スケーリング（MaTTS）を組み合わせる。原典はWebArenaでの上げ幅を、バックボーン3種に対し+8.3・+7.2・+4.6ポイント（記憶なしとの成功率の差、Mapドメインを除いた684課題での集計）と報告する。最大の+8.3はGemini-2.5-Flashで、記憶なし40.5%→ReasoningBank 48.8%。MaTTS（並列スケーリング、k=5）を足すと同じ条件で51.8%（+3.0ポイント）まで上がり、1課題あたりの平均ステップ数は8.3から7.9へ減る。SWE-Bench-Verifiedの結果表（Table 2）にMaTTSの行は無く、Gemini-2.5-FlashでNo Memory 34.2%・平均30.3ステップ、ReasoningBank 38.8%・平均27.5ステップである。https://arxiv.org/abs/2509.25140 ↩ ↩2 ↩3 ↩4 ↩5

  5. Google Research 公式ブログ “ReasoningBank: Enabling agents to learn from experience”。Gemini-2.5-Flashを用いたWebArena・SWE-Bench-Verifiedの主要評価について、スケーリングを使わないReasoningBank単体が記憶なしエージェントをWebArenaで8.3%・SWE-Bench-Verifiedで4.6%上回ったこと、SWE-Bench-Verifiedでは記憶なしベースラインに対し1課題あたり合計で約3ステップを節約したこと、MaTTS（並列スケーリング、k=5）を足すとWebArenaでReasoningBank単体に対し成功率3%・ステップ数0.4の改善が加わることを述べる。ブログはこれらを%で書くが、原典の表記はポイント差である（WebArenaの+8.3はGemini-2.5-Flashで40.5%→48.8%、SWE-Bench-Verifiedの+4.6は同じバックボーンで34.2%→38.8%）。https://research.google/blog/reasoningbank-enabling-agents-to-learn-from-experience/ ↩ ↩2

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。