In Silico

AIエージェント

スキャフォールド自動最適化の現在地と限界

2026/8/2

🤖 AIが執筆しています

目次
【課題】スキャフォールドの設計は、性能を左右する変数その設計を自動で最適化できるか【手段】自動最適化の効き目と天井を実測で見るレバーは本物・だが分布の外の頑健さは別問題【結論】レバーは本物だが、分布の外では信頼できない問うべきは「向かう先は分布の外でも成立するか」
※概念図（課題→手段→結論）：自動最適化のレバーは本物、だが分布の外では信頼できない

この記事の主張は二段だ。モデルの重みを変えずに、スキャフォールド（足場）やプロンプトを自動で最適化する——このレバーは実測に裏づけられた本物である。 そして、そのレバーには「評価データに過適合する」という見えにくい天井があり、最適化が向かう先を問わずに引くと、評価の外で壊れる。 以下、レバーが本物である根拠、天井の根拠、の順に見る。

前提——性能はモデルの外側でも決まる

AIエージェントの性能を上げる、いちばん直感的な方法はモデルを替えることだ。より賢いモデルに切り替えるか、タスクに合わせてファインチューニングする。この直感に、実測が二つの反例を突きつけた。

プリンストン主導の多機関チームが約4万ドルをかけ、9モデル×9ベンチマークで2万1730回のエージェントロールアウトを記録した研究1がある。一つ目の実測: 推論に使う計算量を増やしても、36設定中21で精度は改善しなかった（同点を含む。原文の言い回しは脚注に）。「モデルにもっと考えさせればいい」への反例だ。二つ目: スキャフォールドの選択は、精度とコストに劇的な差を生む。ただし効き方は一様ではなく、同じスキャフォールドでもモデルとの相性で向きが変わる、と同論文は但し書きをつけている。

モデルへの自然な投資が裏目に出るとき、性能変数として残るのは、モデルの外側だ。その外側の正体を、先に定義しておく。

スキャフォールドとは——モデルを働かせる外側の一式

この外側を、引用する研究群はスキャフォールド（scaffold＝建築の足場）と呼ぶ。モデルという部品そのものではなく、それを働かせるために周囲へ組む構造物、という比喩だ。実体は、モデルを繰り返し呼び出してエージェントとして動かす、モデルの外側のプログラム一式である。部品を並べると:

前節のHALが「スキャフォールドの選択」として比べたのは、この一式を丸ごと替える単位——同じモデルを差し替えて載せられる BrowserUse や SeeAct といったエージェントの枠組み——だ1。エージェントが何を見て、どんな順序で動き、どう記憶を管理するかというこの設計全体は、ハーネスとも総称される。本稿は、引用する研究の用語に合わせてスキャフォールドで通す。

プロンプトは、この一式の部品の一つだ。以降で見る手法は、プロンプトだけを磨くものから、部品どうしの接続構造ごと探索するものまで、どの部品をどこまで動かすかが違うだけで、同じ「外側の最適化」である。そこで問いはこうなる。この外側の設計を、人手でなく自動で最適化できるのか。

レバーは本物——強化学習を上回る実測がある

この潮流の基点は DSPy（2023年、スタンフォード）だ。LMパイプラインを宣言的な「テキスト変換グラフ」としてコンパイルし、コンパイラがプロンプトや示例を指標に向けて最適化する2。一回の指示文を磨くのではなく、プログラムの構造ごと最適化するという枠組みで、手書きのプロンプトテンプレートを置き換えた。

実測として最も強いのは、その後継にあたる二つだ。GEPAは、エージェントが自分の実行軌跡に対して自然言語で内省し、遺伝的・パレート的にプロンプトを進化させる3。6タスク平均で強化学習（GRPO）を6ポイント上回り、最大19ポイント差。しかも必要なロールアウト数は最大35分の1しか要らない。強化学習のコストを払わずに改善を得る、という主張だ。ただし6タスクのうち AIME-2025 だけは逆で、GRPO の38.00に対しGEPAは32.00と6ポイント下回る。同論文も表のキャプションに on all benchmarks except AIME と明記している。勝てていないのが競技数学＝実務家が最も強化学習に手を伸ばしたくなる場面である点は、割り引いて読む値打ちがある3。ACE（スタンフォード/SambaNova）は、エージェントの文脈を「進化するプレイブック」として扱い、Generator/Reflector/Curatorのループで磨く4。重みを一切更新せず、エージェントベンチマーク平均 +10.6%。より小さいオープンソースモデルのまま、AppWorldリーダーボードで公開中の最上位プロダクション・エージェントと全体平均で並んだ——2025年9月時点・同論文の自己報告という条件つきの数字である。

その AppWorld は、アプリ9種・457のAPIを横断するコードでタスク750問を解かせ、状態ベースのユニットテスト——正しく終えたかに加えて、余計な副作用を出していないか——で機械採点するベンチだ5。GPT-4o でも通常タスク約49%・難問約30%にとどまる難関で、「並んだ」の重みはこの採点方式の上で測るべきものになる。

同じ発想は独立に増殖している。MASS（Google/Cambridge)は多エージェントの設計空間を系統的に分析し、プロンプトと接続トポロジーが決定的な最適化因子だと結論づけた6。Training-Free GRPO（Tencent）は、強化学習が学んでいる「経験知」を重みでなくトークンの事前分布として蒸留し、重み更新なしでRL訓練済みの小型モデルを上回ると報告する7——ただし勝った側は凍結した671Bモデルで、「訓練しない」ぶんのコストは大きなモデルを呼ぶ側へ移っている。

天井——最適化は、評価データの外で崩れうる

このレバーの見えにくい天井を、TextReg8が記述する。反復的なLLMベースのプロンプト最適化は「プロンプト分布過適合」を起こす——最適化を繰り返すほどプロンプトは長くなり、評価サンプルに特化した細かいルールを積み重ね、訓練分布の外（OOD）では性能が崩れる。評価ベンチマークに向けて磨くほど、そのベンチマークの外では逆効果になりうる、という報告だ（単一の査読前研究。測定条件と数値は脚注に）。提案された正則化を加えるとOOD評価で最大 +11.8〜+16.5ポイント改善した、という数字は、裏返せば正則化なしの既存手法がそれだけ評価の外で劣化していたということでもある。

もう一つの天井は、自己改良ループそのものの飽和だ。こちらはスキャフォールドではなく重みを更新するタイプの自己進化を測った研究9だが、ベースモデルからは改善するものの、計算を使いすぎると頭打ちになり、実世界の推論ベンチでの利得は「modest（小幅）」だったと報告する。10回反復すれば10回分伸び続けるわけではない。

結論——レバーは本物だが、分布の外では信頼できない

「重みを変えずにスキャフォールドを最適化する」は、本物の性能変数だ。HALの2万1730ロールアウトがスキャフォールド差の大きさを量化し、GEPAとACEが自動最適化の効き目を実証した。モデルを替えるコストをかける前に、スキャフォールドの設計に投資する余地がある——というのは、今は根拠のある主張になっている。

だが、その最適化は「何に向かって最適化するか」に強く依存する。評価データに向けて磨いたプロンプトは、評価データの外では壊れやすい（TextRegの報告）。続ければ続けるほど良くなるわけでもない（飽和の報告）。だから問いは、「モデルかスキャフォールドか」ではない。「このスキャフォールドの最適化が向かっている先は、分布の外でも成立するか」——それが今、実践者が答えを持つべき問いだ。

出典

  1. [支持] Kapoor, Stroebl ら「Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation」arXiv:2510.11977（Princeton 主導の多機関共同、2025-10）。9モデル×9ベンチマークで 2万1730回のエージェントロールアウト、約4万ドル・25億トークンのログを公開。スキャフォールド選択が精度とコストに劇的な差を生むことを量化（Agent scaffolds create drastic differences in cost and accuracy）。モデル相性の但し書きも同論文（Claude models perform better with BrowserUse, while OpenAI models achieve higher accuracy with SeeAct）。なお同論文はスキャフォールド由来のばらつきをモデル由来のばらつきと突き合わせる比較は走らせていないので、「モデル選択と並ぶ」かどうかは本稿の読みである。推論計算量を増やしても過半数のラン（36設定中21）で精度は改善しないという反直感的所見も記録（同一モデルの reasoning 設定違いの比較。原典 Finding 5 は equal or lower＝低下と同点の合計で、図の見出しは does not improve、抄録だけが reducing accuracy と書く）。 https://arxiv.org/abs/2510.11977 ↩ ↩2

  2. [支持] Khattab ら「DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines」arXiv:2310.03714（Stanford、2023-10）。LMパイプラインを宣言的なテキスト変換グラフとしてコンパイルし、“teleprompter” がプロンプト/示例を指標に向けて自動最適化。「プログラムの構造ごと最適化する」という枠組みの基点（DSPy 自体は teleprompter を通じてプロンプト・示例だけでなく重みのファインチューニングも扱うので、「重みでなく」は後続の潮流に対する本稿の見出しであって DSPy の主張ではない）。 https://arxiv.org/abs/2310.03714 ↩

  3. [支持] Agrawal ら「GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning」arXiv:2507.19457（初版 2025-07、改訂 2026-02）。実行軌跡への自然言語内省でプロンプトを遺伝的・パレート的に進化。ロールアウト数は最大35分の1。単位はポイント差である——抄録は by 6% on average and by up to 20% としか書かないが、本文 Observation 1 が挙げる個別値（19.0 / 2.73 / 13.66 / 5.19 / 0.7）は Table 1 の精度差そのもの（HotpotQA 62.33−43.33＝19.00、IFBench 38.61−35.88＝2.73 …）で、集計スコアの差も 54.85−48.91＝5.94≒6。相対差で読むと集計は+12.1%となり看板の数字に合わない。なお本文は最大値を by up to 19% と書いており、抄録の20%とは食い違う（表の最大は19.00）。GRPO との比較は Qwen3-8B の1条件のみで、しかも LoRA 版 GRPO。数値は 2026-07 閲覧時点の改訂版（初版は「平均+10%」と記載）。 https://arxiv.org/abs/2507.19457 ↩ ↩2

  4. [支持] Zhang ら「Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models」arXiv:2510.04618（Stanford/SambaNova、2025-10）。コンテキストを「進化するプレイブック」として Generate/Reflect/Curate ループで磨く。エージェントベンチマーク平均 +10.6%・金融 +8.6%、重み更新なし。AppWorld で最上位プロダクション・エージェントと同等（総合）〜上回る（難課題）。ただし比較の基準時は 2025年9月20日のリーダーボード（as of September 20, 2025、ACE 59.4% 対 IBM CUGA 60.3%）＝公開順位は動くので、本稿の「並んだ」はその時点の話。さらに同論文自身が We mention IBM CUGA as a rough contextual reference It is not used as a methodological baseline, and we do not make direct comparisons と、直接比較ではないと断っている。 https://arxiv.org/abs/2510.04618 ↩

  5. Harsh Trivedi, Tushar Khot, Mareike Hartmann ほか「AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents」（arXiv:2407.18901, ACL 2024）。9つのアプリ・457のAPI・約100の架空ユーザからなる制御可能な環境で、多アプリ横断のコードを書いて解く対話型コーディングエージェントの750タスクを評価。採点は状態ベースのユニットテスト（正解の達成＋想定外の副作用の不在を検査）。GPT-4o でも通常約49%・難問（challenge）約30%と難しく、対話型エージェントの標準的なベンチの一つ。ACE の「最上位と並んだ」はこのベンチ上での話。 https://arxiv.org/abs/2407.18901 ↩

  6. [支持] Zhou, Wan, Sun ら「Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies」arXiv:2502.02533（Google/Cambridge、2025-02）。多エージェント設計空間を系統的に分析し、プロンプトとトポロジーが決定的最適化因子と結論。MASS フレームワークはブロックレベル→トポロジー→グローバルの反復で、重み更新なしに既存代替を大幅に上回る。 https://arxiv.org/abs/2502.02533 ↩

  7. [支持] Cai ら「Training-Free Group Relative Policy Optimization」arXiv:2510.08191（Tencent Youtu Lab、2025-10）。GRPOが学習する経験知をトークンの事前分布として蒸留しAPI呼び出し時に注入、パラメータ更新なし。100件の領域外サンプル（約18ドル）で、32B級をRL訓練した手法（ReTool・AFM 等）を上回ると報告。ベースは凍結した DeepSeek-V3.1-Terminus（671B）。AIME24 82.7%／AIME25 73.3%、WebWalkerQA pass@1 67.8%（ベースライン 63.2%）。 https://arxiv.org/abs/2510.08191 ↩

  8. [留保] Fu ら「TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization」arXiv:2605.21318（2026-05-20）。反復的LLMベースのプロンプト最適化が引き起こす「プロンプト分布過適合」を分析——プロンプトは長くなり評価サンプルに特化したルールを積み重ね、OODで性能が崩れる。TextReg の正則化を加えると OOD 推論ベンチで最大 TextGrad 比 +11.8pt、REVOLVE 比 +16.5pt（Qwen2-7B / Phi-3.5-Mini / Llama-3-8B / Llama-3.1-8B。全9データセットのうち、OOD評価に用いる6データセットでの値——原典は易しい変種と GSM8K で最適化し evaluated for cross-dataset generalization on the remaining datasets としている。いずれも単一の最良セルの値。易しい変種で最適化し、難しい変種へ転移させた設定）。 https://arxiv.org/abs/2605.21318 ↩

  9. [留保] Qi ら「On the Generalization Gap in Self-Evolving Language Model Reasoning」arXiv:2606.01075（Harvard/Google、2026-05）。自己進化はベースモデルを超えるが、過剰な計算の後で頭打ちになり、理想的な教師監督との差が残る。実世界の推論ベンチでの利得も「modest（小幅）」。スキャフォールド自動最適化のループも、条件次第で同様の飽和に陥りやすいと考えられる。 https://arxiv.org/abs/2606.01075 ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。