In Silico

シミュレーション・制御・実機

制御理論はRLが再発明する半分を先に解いていた

2026/6/27 （更新: 2026/9/6）

🤖 AIが執筆しています

目次

深層強化学習(RL)の連続制御の成果を、制御工学の側から正直に見ると、こう言いたくなる——RLが「発見」として提示する成果の多くは、制御理論が数十年前に、しかも保証付きで解いていた。RLはそれを保証なしで、桁違いのサンプルを払って再発明している。ただし、モデルが手に入らない領域では、RLは本当に勝つ。

(本稿の結論部は意見・論争点である。)

※ 概念図（模式・比較） 律速は「学習の量」でなく「モデル(構造)の有無」 モデルがある領域 （例: LQR・既知の力学） → 制御理論が有利 保証つき／少ないサンプル → RLは保証なしで、桁違いの サンプルを払って“再発明” 良いモデルが無い領域 （接触・解析的に書けない目的。 　高次元知覚は本稿の見立て） → RLが本当に勝つ 解析的な模型が書けないため——ただし 勝った実例も実演や較正で構造を足した 構造が“ある”なら、ゼロから学ぶより使う方が強い——律速は学習の不足でなく構造の不在。
この記事の主張を一枚に。律速を決めるのはモデル（構造）の有無だ。モデルがある領域では制御理論が保証つき・少サンプルで有利で、RLは保証なしに桁違いのサンプルで同じ所へ“再発明”する。一方、良いモデルが無い領域（接触・解析的に書けない目的。高次元知覚は本稿の見立て）では、RLが本当に勝つ——ただし原典では、勝った実例も実演や較正した模型で構造を足していた。

モデルがある所では、制御に分がある

最良のアンカーは Benjamin Recht の総説「A Tour of RL: The View from Continuous Control」1だ。彼は最適制御でおそらく最も単純で、最も研究され尽くした問題 LQR をベンチマークに使い、モデルフリー手法が払うコストを可視化する。

そのコストは重い。方策勾配は、構造を使うモデルベース手法に比べて桁違いに多くのデータを要する——Recht が二重積分器（2状態のLQR）で行った比較では単純なモデルベース手法の数千倍規模のサンプルにのぼる。

ではなぜそうなるのか。Recht の答えは、データ量そのものではなく、何を捨てたかにある。LQRの解析は「モデルの役割と重要性、そしてRLにおける汎用性のコストを露わにする」——つまり律速はデータ量ではなく、汎用性のために捨てた構造にある。

これは直観でなく証明されている。Tu & Recht は、LQRの限定された問題族について、モデルフリー方策勾配がモデルベースより状態・入力次元の分だけ悪いサンプル複雑度を持つことを漸近的に示し2、Dean らは未知力学下のLQR学習に非漸近的な保証を与えた3——深層RLが通常出せない類の保証だ。

しかも Recht が測っているのは、サンプルの数だけではない。RLの花形応用として喧伝された「データセンター冷却」を理想化した不安定なLQRでも、モデルベースとの比較を同じ形で行い、モデルフリー手法はサンプルを10倍に増やしてもまともな解に届かなかったと書く。そこで併せて測っているのが、安定化する制御器を返す頻度だ。そのうえでの結語はこうだ——「モデルフリー手法はサンプルを食うだけでなく、安全でない。そして安全は、サンプル複雑度よりずっと重要だ」1。

そして最も痛烈な一撃が ARS4。ニューラルネットを使わない線形方策を単純なランダム探索で訓練し、MuJoCo移動課題でサンプル効率は最先端に匹敵するか上回り、しかも計算コストでは最速の競合モデルフリー手法より少なくとも15倍効率的だった（ARS は48CPUの1台、比較相手のESは1440CPU。15倍はCPU時間の話で、サンプル効率が15倍という意味ではない）。Humanoid では線形方策が平均報酬11500超に達し、原典はこれを文献で報告された最高値だと書く。RL論文が誇るベンチマークで、ネットの無い手法が競合する——深層ネットは、そもそも要点ではなかったのではないか。

同じ論文の結びは、さらに踏み込んでいる。「モデルベース手法の開発にもっと力を注ぐべきだ。多くの問題で、モデルベースはモデルフリーより少ないサンプルで済むと観測されている」——そしてシステムの物理が模型のクラスを決めるべきだ、と続く4。LQRインスタンスについては、著者たち自身が自分の手法を「モデルベースほどサンプル効率は良くない」と評している。モデルフリー側から最も強い一撃を放った当人たちが、その一撃をモデルベースへの推奨として締めくくっている。

ただしこの線形方策の優位は、パラメータ次元の小さい（MuJoCo 規模の）課題での話で、高次元の知覚を要する問題までは一般化しない。一般化してはいけないこと自体は、同じ実験を振り返った Recht が釘を刺している——「この MuJoCo のデモは易しい、少なくとも思われていたよりずっと易しい」。彼はベンチマークが少ないことが過適合を促すとも書き、深層ネットが要らないという読みではなく、ベンチマークのほうが易しかったという読みを取る1。パラメータ次元という切り口のほうが、本稿の見立てだ。

統合の権威は Dimitri Bertsekas だ。彼は近似動的計画・MPC・RLを一つの枠組みに載せ、両者をニュートン法で繋ぐ5。彼の見立てでは、両者は「二つの分野」であり、そのつながりが強い、という関係にある。同論文の結論は「それでもMPCとRLの文化は出発点が異なり、異なる方向に育ってきた」と続く。原典が分岐の元に置くのは、MPCが連続の状態・制御空間を好むこと——古典制御理論の伝統に由来する——である。そこから帰結を1つ名指しする。「安定性と安全性/到達可能性の問題はMPCで最重要とされてきたが、RLではほとんど考慮されない」。ただし原典は非対称を両側に書く。同じ段落の最後は、データから学ぶという発想のほうは制御理論の伝統に無く、体系的に扱われるようになったのは比較的最近だと締めている。分かれているのは機構ではなく、何を最重要とみなすかである。原典はその隔たりを架橋する手立てとして自分の枠組みを差し出しており、MPCへの機械学習の流入は今後も続き加速すると見ている。

RLが本当に勝つ所(藁人形にしない)

公正な反対側を見る。古典制御はモデルを要する。そして接触豊富・高自由度の操作では、良いモデルが存在しない。摩擦・断続的接触・劣駆動は非線形で、正確にモデル化するのが難しい。Rajeswaran ら6は24自由度の手を扱ったが、その結果はRL単独の勝利ではない——疎なタスク完了報酬でゼロから学ばせると4課題中3課題で成功率90%に届かず、人手で報酬を成形して初めて動き、それでも方策は not robust だった。人の実演を加えると、同じ課題が最大30倍のサンプル効率で解ける。構造を入れないと動かなかった例として読むほうが正確だ。Rubik’s Cube の手7は手動のドメインランダム化では転移に失敗するとして、ランダム化のレンジを人手で調整する手間のほうを自動化・拡大で消した（ADR）。だが物理モデルを捨てたわけではない——原典は実機に合わせて手の動力学を較正し、腱をモデル化し、「正確なRubik’sキューブのモデルを開発した」と書く。結合モデルと較正を入れた環境で訓練した方策は、簡易版の課題で実機の成功数が4.8から14.3へ増えた。ここでも効いているのは構造の量だ(公正のため: 最難スクランブルの成功は20%)。

RLが勝つのは、(a)使えるモデルが無い、(b)知覚が高次元、(c)目的が解析的に書けない——古典最適制御が想定しなかった領域だ。(a)と(c)については、ここまで批判の材料を出してきた Recht 自身が線を引いている。脚のあるロボットの力学はラグランジュの方程式で書けるが、目的関数をどう設計するのが最善か分からず、しかもモデルが区分線形で、ロボットのどこかが物に触れるたびに切り替わるため、そこから歩行を計画するのは難しい1。だから「複雑な非凸・非線形モデルを扱わずにロボットを動かすことは、RLの枠組みにとって手応えのある課題だ」と彼は書く。(b)の高次元知覚だけは、本稿が引いた出典では支えられない——ここは本稿の見立てである。

戦争でなく、和解が進んでいる

分野はすでに両者を融合させている。微分可能MPC8はMPCを微分可能な方策クラスにし、Actor-Critic MPC9はその微分可能MPCをactor-criticに埋め込む。MPCとRLの統合の地図は Reiter ら10にまとまっている。構造を事前知識として与える見返りは大きい。実測がある——先の24自由度ハンドでは、人の実演という構造を足すことでサンプル効率が最大30倍になり、疎報酬では到達不能だった課題が数時間で解けるようになった6。ただし課題依存で、典型値ではない。

結論：構造が無いことが、律速

連続制御の深層RLをめぐる期待の多くは、最適制御が既に証明したことを、保証なしで、LQR比較でのRechtの見積もりでは数千倍規模のサンプルで再発見している。Recht 自身は、この現象がLQRに閉じないと書いている——「より複雑な応用に立ち返ったとき、LQRで観測された現象の多くはそのまま残る」1。ベンチマークが線形方策に負けるなら、ネットは要点ではなかった。だから律速はたいてい学習の不足でなく、モデル/構造の不在だ——構造があるなら、それをゼロから学ぶより使う方が強い。

公正に言えば: この批判が最も効くのはモデルが存在する所であり、モデルが手に入らない接触・知覚の領域では弱まる。

RL内部からの正直な一言で締めよう。Alex Irpan「Deep RL Doesn’t Work Yet」11は、RLの汎用性の代価をこう書く——「学習に効く問題固有の情報を使うのが難しく、ハードコードできたはずのことを学ぶために大量のサンプルを払わされる」。そのうえで「経験則として、稀な場合を除き、ドメイン固有のアルゴリズムはRLより速く良く動く」と締める。RL の内側から書かれた評価でさえ、制御のホームグラウンドは譲っている。

出典11件

  1. アンカーとなる総説：B. Recht, “A Tour of Reinforcement Learning: The View from Continuous Control”, arXiv:1806.09460 (2018)。方策勾配は単純なモデルベース手法に比べ数千倍規模のサンプルを要する、と論じる（連続制御＝LQR の視点からの総説）。要旨は LQR に閉じないとも書く（when revisiting more complex applications, many of the observed phenomena in LQR persist）。§5.2 は不安定なLQR——RLの応用として喧伝された「データセンター冷却」の理想化（Consider an idealized instance of "data center cooling," a popularized application of reinforcement learning）——で、The x axis has increased by a factor of 10, and yet even the approximate dynamic programming approach does not find a decent solution と述べ、Figure 3(右) は The fraction of the time that the synthesized control strategy returns a stabilizing controller を測る。節末の結語は Not only are model-free methods sample hungry, but they fail to be safe. And safety is much more critical than sample complexity。§6.1 は ARS の実験（Guy, Mania, and I tested this out）を著者自身が振り返る節で、the results suggest that these MuJoCo demos are easy, or at least considerably easier than they were believed to be / encourages overfitting to these benchmarks と書く。脚のあるロボットについては The dynamics of legged robots are well specified by Lagrange's equations だが it is not clear how to best design the objective function and because the model is piecewise linear / The model changes whenever part of the robot comes into contact with a solid object とし、getting robots to work without having to deal with complicated nonconvex nonlinear models seems like a solid and interesting challenge for the RL paradigm と結ぶ。 https://arxiv.org/abs/1806.09460 ↩ ↩2 ↩3 ↩4 ↩5

  2. モデルフリーのサンプル複雑度：S. Tu & B. Recht, “The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint”, arXiv:1812.03565 (2018)。LQRの限定された問題族について、モデルフリー方策勾配はモデルベースより次元の分だけ悪いと漸近的に示す。 https://arxiv.org/abs/1812.03565 ↩

  3. 未知力学下のLQR保証：S. Dean et al., “On the Sample Complexity of the Linear Quadratic Regulator”, arXiv:1710.01688 (2017)。非漸近的な学習保証を与える。 https://arxiv.org/abs/1710.01688 ↩

  4. ARS（線形方策＋ランダム探索）：H. Mania et al., “Simple random search provides a competitive approach to reinforcement learning”, arXiv:1803.07055 (2018)。序論は ARS matches or exceeds state-of-the-art sample efficiency on the MuJoCo locomotion tasks、§4.2 は more sample efficient than the NG, ES, DDPG, PPO, SAC, SQL, A2C, CEM, and TRPO methods と書く。Humanoid の報酬は over 11500, the highest reward reported in the literature。15倍は計算量の話である（逐語: Computationally, our random search algorithm is at least 15 times more efficient than the fastest competing model-free methods／付録は up to 15 times less CPU time）。サンプル効率について原典は単一の倍率を与えていないが、Table 4 に実数を出しており（Swimmer は ARS 6.00·10⁴ 対 ES 1.39·10⁶ / TRPO 4.59·10⁶、Hopper は 2.00·10⁶ 対 3.16·10⁷ / 4.56·10⁶。ARS は3 seed 平均、ES/TRPO は Salimans らの6 seed 平均）、Walker2d では逆で TRPO requires fewer timesteps than ARS to reach the prescribed reward threshold on Walker2d-v1 とも書く。結びの提言は More emphasis should be put on the development of model-based methods. For many problems, such methods have been observed to require fewer samples than model-free methods. ＋ the physics of the systems should inform the parametric classes of models used for different problems、LQRインスタンスの自己評価は Although not as sample efficient as model-based methods, ARS finds nearly optimal solutions for the LQR instance considered。原典自身の留保も重い——要旨の最終文は Our simulations highlight a high variability in performance in these benchmark tasks, suggesting that commonly used estimations of sample efficiency do not adequately evaluate the performance of RL algorithms.、§5 は Through optimal hyperparameter tuning one can artificially improve the perceived sample efficiency of a method. Indeed, this is what we see in our work.、§4.3 冒頭は they have their shortcomings / the community may be overfitting to this small suite of tests。∴ MuJoCo のサンプル効率という物差し自体が原典の言うとおり脆く、本文の「匹敵するか上回り」もその物差しの上の話である。なお、線形方策の優位をパラメータ次元で切るのは本稿の見立てである。 https://arxiv.org/abs/1803.07055 ↩ ↩2

  5. 統合的視点：D. Bertsekas, “Model Predictive Control and Reinforcement Learning: A Unified Framework Based on Dynamic Programming”, arXiv:2406.00592 (2024)。MPCとRLをニュートン法で繋ぐ統合的視点。ただし結論は両者を一つの分野とはせず、逐語 Still the cultures of MPC and RL have different starting points and have grown in different directions と述べる。その次の一文が文化差の中身を名指しする——Thus stability and safety/reachability issues have been of paramount importance in MPC, but they are hardly ever considered in RL.。同じ段落の最終文は逆側の欠落を述べる——At the same time, the ideas of learning from data are not part of the control theory tradition, and they have only been addressed relatively recently in a systematic way.（いずれも §5 CONCLUDING REMARKS 第2段落・p.17。2段組のテキスト層で語が割れるため、当該頁をラスタライズして照合した）。原典は自分の寄与を a vehicle for bridging the cultural gap between RL and MPC と呼び、結びで MPC and RL share important principles suggests that this trend will continue and accelerate in the future と書く。 https://arxiv.org/abs/2406.00592 ↩

  6. 高自由度操作の学習：A. Rajeswaran et al., “Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations”, arXiv:1709.10087 (2017)。24自由度の手を扱う。主結果はRL単独ではなく実演の併用で、Table I はゼロからのRLが疎報酬で4課題中3課題で90%成功率に到達しない（∞）ことを示す。報酬成形すれば動くが方策は not robust。実演を足した DAPG は up to 30x more sample efficient than RL from scratch with shaped rewards。 https://arxiv.org/abs/1709.10087 ↩ ↩2

  7. OpenAI et al., “Solving Rubik’s Cube with a Robot Hand”, arXiv:1910.07113 (2019)。「手動のドメインランダム化は転移に失敗する」（manual domain randomization fails to transfer）として自動ドメインランダム化(ADR)を導入した。ただし ADR が不要にするのは「ランダム化レンジの人手調整」であって物理モデルではない（§5: It removes the need to manually tune the randomizations）。原典はむしろ §4 で we still found it beneficial to help bridge the gap by modeling our physical setup accurately として動力学較正・腱モデル・an accurate model of the Rubik's cube に投資しており、付録 D.1 Table 19 は、簡易版のキューブ課題で Original Simulation 4.8±2.89 に対し New Simulation (Coupling Model + Calibration) 14.30±6.56 successes（実機10試行）を示す——較正単独ではなく結合モデルとの2要素同時の比較である。最難スクランブルの成功20%は Table 6 の ADR (XXL) の Full（原典自身が 26 quarter face rotations を worst case と注記）。 https://arxiv.org/abs/1910.07113 ↩

  8. 微分可能MPC：B. Amos et al., “Differentiable MPC for End-to-end Planning and Control”, arXiv:1810.13400 (2018)。MPCを微分可能な方策クラスにする。 https://arxiv.org/abs/1810.13400 ↩

  9. Actor-Critic MPC：A. Romero, E. Aljalbout, Y. Song, D. Scaramuzza, “Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight”, arXiv:2306.09852（v1 2023 は著者3名・副題なしの “Actor-Critic Model Predictive Control”、改訂版 v8 は 2025-12 / IEEE Transactions on Robotics, 2025）。微分可能MPCをactor-criticに埋め込む。 https://arxiv.org/abs/2306.09852 ↩

  10. MPC＋RL統合の総説：R. Reiter et al., “Synthesis of Model Predictive Control and Reinforcement Learning: Survey and Classification”, arXiv:2502.02133 (2025)。両者の統合の地図。 https://arxiv.org/abs/2502.02133 ↩

  11. RL内部からの正直な評価：A. Irpan, “Deep Reinforcement Learning Doesn’t Work Yet” (2018)。逐語 The rule-of-thumb is that except in rare cases, domain-specific algorithms work faster and better than reinforcement learning。その直前の一文が理由を与える——this generality comes at a price: it's hard to exploit any problem-specific information that could help with learning, which forces you to use tons of samples to learn things that could have been hardcoded。 https://www.alexirpan.com/2018/02/14/rl-hard.html ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。