In Silico

シミュレーション・制御・実機

強化学習と制御理論の違い：モデルと目的が書けるかで使い分ける

2026/6/27 （更新: 2026/11/3）

🤖 AIを使用して執筆

  • 制御理論
  • 強化学習
  • 連続制御
  • LQR
  • MPC
  • ARS
  • MuJoCo
  • 方策勾配
  • LSPI
  • ADR
  • モデルベース
  • モデルフリー
  • サンプル複雑度
  • 最適制御
  • 近似動的計画
  • 線形方策
  • 安定性
  • ニュートン法
  • 微分可能MPC
  • 二重積分器
  • データセンター冷却
  • ドメインランダム化
  • ドローンレース
  • Rubik's Cube
  • ランダム探索
目次
背景・問い・要点
背景

ロボットやドローンのように、位置や速度などの状態が連続に変わる系を思いどおりに動かす問題を、連続制御と呼ぶ。状態を見て、次に加える入力（モーターの力など）を決める規則を、制御器と呼ぶ。

制御理論は、系の運動を表す式を受け取る。今の状態と加えた入力から次の状態を返すこの式を、モデルと呼ぶ。制御理論はモデルの上で制御器を設計し、その制御器で状態が目標へ戻るかどうか、つまり系が安定かどうかを、動かす前に数学で確かめる。こうして示した裏づけを保証と呼ぶ。制御工学はこの方法を数十年かけて整えてきた。

強化学習（RL、Reinforcement Learning）は、モデルを受け取らない。RL では制御器に当たる規則を方策と呼ぶ。RL は方策を実際に試し、その結果に付く点数（報酬）だけを受け取って、報酬が大きくなる向きへ方策を直すことを繰り返す。RL には観測からモデルを学んで使う手法もあるが、ここでまず比べるのは、モデルを作らずに方策を直接探す RL である。

試しの中で得た状態と報酬の一回分の観測を、サンプルと呼ぶ。方策をニューラルネットで表す RL を深層 RL と呼ぶ。深層 RL が連続制御で挙げた成果に対して、制御の側からは、深層 RL で広く使われるモデルを作らない手法は、基本的な制御問題に当てると、理論でも実際でも単純なモデルを使う手法にかなり劣る、という批判が出ている1。

本稿は、連続制御の側から RL を見た Benjamin Recht の総説を主に引く。Recht は RL の手法を、線形二次レギュレータ（LQR、Linear Quadratic Regulator）という問題で比べる。LQR は、次の状態が今の状態と入力の一次式で決まる系について、目標からのずれと入力の二乗の和を小さくする制御器を求める問題である。モデルが分かっていれば答えは計算で出るので、RL の手法がその答えにどれだけのサンプルで届くかを測れる。

問い

連続制御では、強化学習と制御理論をどんな条件で使い分ければよいか。

要点

モデルと目的を式で書ける問題では制御理論に分があり、方策を直接探す RL より少ないサンプルで、設計によっては保証付きの解が得られる。RL に分があると本稿が見るのは、接触のように良いモデルが書けない場合や、目的を解析的に書けない場合である。

2状態の LQR では、方策を報酬の増える向きへ少しずつ動かす方策勾配が、観測からモデルを推定する単純なモデルベース手法の数千倍規模のサンプルを要した。接触の多い操作で RL が動いた実例も、人の実演や、実機に合わせて校正したモデルを足していた。差を決めるのはたいてい学習の量ではなく、こうした学習前に与える系の知識（構造）の有無だ、と本稿は見る。

モデル・例示

ずれを 1 歩で 0 に戻す制御器を、係数から計算する側と試して直す側

※ この節の例は、説明のために作った架空のものです。

制御理論はモデルの係数を測って制御器を計算で決め、RL は試した結果の報酬を比べて制御器を少しずつ直す。同じ 2 回の観測で、前者は答えの制御器に届き、後者は答えの方へ一歩近づくだけである。

系は、目標からのずれ xx を 0 へ戻したい 1 次元のものとする。次の時刻のずれ x′x' は、いまのずれ xx と加えた入力 uu から x′=1.2x+0.5ux' = 1.2x + 0.5u で決まる。制御器は、ずれに比例して逆向きの入力を加える u=−kxu = -kx とし、決めるのは数 kk だけである。kk を入れると 1 歩でずれは 1.2−0.5k1.2 - 0.5k 倍になり、k=2.4k = 2.4 ならずれは 1 歩で 0 に戻る。どちらの側も、係数 1.2 と 0.5 を知らないところから始める。系に入力を加えて次のずれを 1 回見ることが、背景で言うサンプル 1 つに当たる。

制御理論の側は、まず係数を測り、そこから kk を計算する。

  1. 制御理論の側系1. ずれ1の状態で、入力0を加える
  2. 系制御理論の側2. 次のずれ1.2を返す
  3. 制御理論の側系3. ずれ0の状態で、入力1を加える
  4. 系制御理論の側4. 次のずれ0.5を返す
  5. 制御理論の側5. 係数1.2と0.5から、k ＝ 1.2 ÷ 0.5 ＝ 2.4 を計算する

1 回目は入力が 0 なので、返った 1.2 がそのまま xx の係数になり、2 回目はずれが 0 なので、返った 0.5 がそのまま uu の係数になる。観測に雑音が無ければ、2 回で答えの kk に届く。k=2.4k = 2.4 ではずれが 1 歩で 0 に戻るので、系を安定にすることも、制御器を一度も走らせずに分かる。

RL の側は、モデルを作らずに kk を直接直す。k=1.0k = 1.0 から始め、上下に 0.2 ずつ動かした二つを試して、報酬の良かった側へ kk を進める。1 回の試しは、ずれ 1 の状態から 1 歩進めて次のずれ x′x' を見るもので、報酬は −x′2-x'^2 とし、ずれが 0 に近いほど大きい。

  1. RL の側系1. ずれ1の状態で、k ＝ 1.2 の方策の入力 −1.2 を加える
  2. 系RL の側2. 次のずれ0.6を返す
  3. RL の側系3. ずれ1の状態で、k ＝ 0.8 の方策の入力 −0.8 を加える
  4. 系RL の側4. 次のずれ0.8を返す
  5. RL の側5. 報酬 −0.36 と −0.64 を比べ、k を1.0から1.2へ進める

同じ 2 回の観測で、RL の側は kk を答えの 2.4 の方へ 0.2 だけ進めた。2.4 に着くには、この更新を繰り返し、そのたびに観測を払う。

始める kk が小さいと、RL の側は不安定な方策を走らせる。k=0.2k = 0.2 から始めると、最初に試す k=0.4k = 0.4 と k=0k = 0 では、1 歩後のずれが 1.0 と 1.2 で、どちらもずれは減らない。それが分かるのは、走らせた後である。

この例から言えること

  1. モデルの形が分かっていて観測に雑音が無ければ、要る観測の数は未知の係数の数で決まり、この例では 2 回で答えに届く。試して直す側は、更新のたびに観測を払う。
  2. モデルがあれば、制御器がそのモデルの上で系を安定にするかを、走らせる前に計算で確かめられる。観測に雑音があれば推定したモデルは真の系とずれうるので、この確認は真の系の安定までは保証しない。試して直す側は、不安定な方策を走らせて初めてそれを知る。
  3. この例の系は式が一つで、2 回の観測で係数が決まった。物に触れるたびに式が切り替わるなど、モデルの形そのものが分からない系では、少ない観測で係数は決まらず、モデルを使う側の利点は小さくなる。

モデルがある所では、制御に分がある

LQR のようにモデルの形が分かる問題では、モデルを使う手法のほうが、方策を直接探す手法より少ないサンプルで制御器に届く。Benjamin Recht の総説「A Tour of RL: The View from Continuous Control」1は、最適制御でおそらく最も単純で、最も研究され尽くした問題 LQR をベンチマークに使い、モデルを使わない手法（モデルフリー手法）が払うコストを測った。

方策勾配は、構造を使うモデルベース手法に比べて桁違いに多くのデータを要する。Recht が二重積分器（2状態のLQR）で行った比較では単純なモデルベース手法の数千倍規模のサンプルにのぼる。Recht は、LQRの解析が「モデルの役割と重要性、そしてRLにおける汎用性のコストを露わにする」と書く。

ただし、この代価を重く払ったのはモデルフリー手法の全部ではなく、方策を直接探す手法である。前段の数千倍も、方策勾配で測った値である。同じ二重積分器の実験では、近似動的計画（方策の良し悪しを表す価値を、観測から近似して方策を決める手法）の一つで、モデルを使わない LSPI（Least Squares Policy Iteration）が、単純なモデルベース手法と同じ10観測で質の高い制御器に届いている。

この差は、LQR の限定された問題族では証明もされている。Tu & Recht は、LQRの限定された問題族について、モデルフリー方策勾配がモデルベースより状態・入力次元の分だけ悪いサンプル複雑度を持つことを漸近的に示し2、Dean らは未知力学下のLQR学習に非漸近的な保証（サンプルが有限の数のときにも成り立つ保証）を与えた3。これは深層RLが通常出せない類の保証だ。Recht 自身は、こうした差が LQR に閉じないとし、「より複雑な応用に立ち返ったとき、LQRで観測された現象の多くはそのまま残る」と書いている1。

RLの応用として広く知られた「データセンター冷却」を理想化した不安定なLQRでも、Recht はモデルベースとの比較を同じ形で行い、モデルフリー手法はサンプルを10倍に増やしてもまともな解に届かなかったと書く。二重積分器でうまく働いた LSPI も、この系ではランダム探索より悪くなった。原典はその理由を、LSPI がどの反復でも系を安定にする制御器を要し、割引率（先の報酬をどれだけ軽く見るかの係数）の慎重な調整も要するためだろう、と見ている1。

Recht はサンプルの数とは別に、安定化する制御器を返す頻度も測っている。ここで比べるモデルベースの設計は二つある。推定したモデルをそのまま真の系とみなして設計する nominal と、推定の誤差を見込んで設計する robust である。保証を持つのは Dean らの robust な設計のほうで、単純なモデルベース（nominal）も真のシステムを安定化できない制御器を頻繁に返す、と原典は注記している1。同じ段落で原典は、産業の実務では nominal がよく働いているように見えるとも書き、それが安定化する妥当な条件を見つけることを大きな未解決問題に挙げている1。そのうえで Recht は「モデルフリー手法はサンプルを食うだけでなく、安全でない。そして安全は、サンプル複雑度よりずっと重要だ」と結んでいる1。

MuJoCo の移動課題では、ニューラルネットを使わない方策でも深層 RL に並んだ。ARS（Augmented Random Search）4は、方策を一次式に限ってランダムに探す RL の手法である。ニューラルネットを使わない線形方策を単純なランダム探索で訓練し、MuJoCo移動課題でサンプル効率は最先端に匹敵するか上回り、しかも計算コストでは最速の競合モデルフリー手法より少なくとも15倍効率的だった。ARS は48CPUの1台、比較相手のES（Evolution Strategies、進化戦略）は1440CPUを使った。15倍はCPU時間の話で、サンプル効率が15倍という意味ではない。ただし原典自身が、これらの課題では性能のばらつきが大きく、よく使われるサンプル効率の見積もりは RL の手法の性能を十分に評価しないことを示唆する、と書いている4。Humanoid では線形方策が平均報酬11500超に達し、原典はこれを文献で報告された最高値だと書く。RL の論文がよく使うベンチマークで、ネットを持たない手法が深層 RL と競合したことになる。

同じ論文の結びは、さらに踏み込んでいる。「モデルベース手法の開発にもっと力を注ぐべきだ。多くの問題で、モデルベースはモデルフリーより少ないサンプルで済むと観測されている」。そしてシステムの物理がモデルのクラスを決めるべきだ、と続く4。LQRインスタンスについては、著者たち自身が自分の手法を「モデルベースほどサンプル効率は良くない」と評している。モデルフリー側から最も強い結果を出した当人たちが、その論文をモデルベースへの推奨で締めくくっている。

ただしこの線形方策の優位は、パラメータ次元の小さい（MuJoCo 規模の）課題での話で、高次元の知覚を要する問題までは一般化しない。同じ実験を振り返った Recht も、結果は「この MuJoCo のデモは易しい、少なくとも思われていたよりずっと易しい」ことを示唆すると書く。彼はベンチマークが少ないことが過適合を促すとも書き、これらの課題は歩く妥当な方策を学ぶことより、MuJoCo のシミュレーションの近似を突くことに寄っているように見える、と続ける1。易しさをパラメータ次元の小ささに結びつけるのは、本稿の解釈である。

制御の側の手法と RL を、一つの枠組みで扱う議論もある。モデルで数歩先を予測して入力を決める手法を、MPC（Model Predictive Control、モデル予測制御）と呼ぶ。Dimitri Bertsekas は近似動的計画・MPC・RLを一つの枠組みに載せ、両者をニュートン法で繋ぐ5。彼は両者を「二つの分野」とし、そのつながりが強いと見る。同論文の結論は「それでもMPCとRLの文化は出発点が異なり、異なる方向に育ってきた」と続く。

原典が分岐の元に置くのは、MPCが連続の状態・制御空間を好むことである。この選好は古典制御理論の伝統に由来する。そこから帰結を1つ挙げる。「安定性と安全性/到達可能性の問題はMPCで最重要とされてきたが、RLではほとんど考慮されない」。原典はその主な理由を、RL が好んで扱うゲームやマルコフ決定問題、近年では大規模言語モデルのような離散の状態と制御では、安定性が数学的にも実際上も問題にならないことに置く。ただし原典は非対称を両側に書く。同じ段落の最後は、データから学ぶという発想のほうは制御理論の伝統に無く、体系的に扱われるようになったのは比較的最近だと締めている。分かれているのは機構ではなく、出発点に選んだ問題の種類と、そこから来る優先順位である。原典はその隔たりを埋める枠組みを提案しており、MPCへの機械学習の流入は今後も続き加速すると見ている。

ドメイン固有の手法に分があるという評価は、RL の内側からも出ている。Alex Irpan は、RL の汎用性の代価を「学習に効く問題固有の情報を使うのが難しく、ハードコードできたはずのことを学ぶために大量のサンプルを払わされる」と書く6。そのうえで「経験則として、稀な場合を除き、ドメイン固有のアルゴリズムはRLより速く良く動く」と述べている6。

RLに分がある所

古典制御はモデルを要する。そして接触の多い操作では、特に実機で、良いモデルが得にくいことが多い。摩擦・断続的接触・劣駆動は非線形で、正確にモデル化するのが難しい。Rajeswaran ら7は24自由度の手を扱ったが、その結果はRL単独の勝利ではない。疎なタスク完了報酬でゼロから学ばせると4課題中3課題で成功率90%に届かず、人手で報酬を成形して初めて動き、それでも方策は not robust だった。人の実演を加えると、同じ課題が最大30倍のサンプル効率で解ける。構造を入れないと動かなかった例として読むほうが正確だ。

Rubik’s Cube を解いたロボットの手8の研究も、物理モデルを捨ててはいない。シミュレーションの物理の係数を訓練中にランダムに変え、実機との違いに備える手法を、ドメインランダム化と呼ぶ。原典は手動のドメインランダム化では転移に失敗する（転移は、シミュレーションで訓練した方策を実機へ移すこと）として、ランダム化のレンジを人手で調整する手間のほうを、自動ドメインランダム化（ADR、Automatic Domain Randomization）で消した。そのうえで原典は実機に合わせて手の動力学を校正し、腱をモデル化し、「正確なRubik’sキューブのモデルを開発した」と書く。結合モデルと校正を入れた環境で訓練した方策は、簡易版の課題で実機の成功数が4.8から14.3へ増えた。ここでも成功数を上げたのは構造の量だ（ただし、最も難しいスクランブルでの成功は20%）。

RLが勝つのは、(a)使えるモデルが無い、(b)知覚が高次元、(c)目的が解析的に書けない領域だ。(a)の前提について、Rajeswaran らは序論で、多指の手の器用な操作はモデルベースの軌道最適化で先に得られていたと書いたうえで、その手法がふつう頼る正確な動力学モデルと状態推定は、接触の多い課題、特に実機では得にくいと述べる7。ただし前の2段の2例はどちらも古典制御と勝敗を比べた実験ではなく、実演や校正したモデルという構造を足して動いた例なので、(a)の領域で RL が勝つことの実測にはならない。

(c)と、接触でモデルが切り替わる難しさについては、ここまで批判の材料を出してきた Recht 自身が触れている。脚のあるロボットの力学はラグランジュの方程式で書けるが、目的関数をどう設計するのが最善か分からず、しかもモデルが区分線形で、ロボットのどこかが物に触れるたびに切り替わるため、そこから歩行を計画するのは難しい1。だから「複雑な非凸・非線形モデルを扱わずにロボットを動かすことは、RLの枠組みにとって手応えのある課題だ」と彼は書く。ただし勝ちを譲ったのではない。続く節で 2018 年時点の彼は、同じ MuJoCo の課題がもともと非線形 MPC の力を試すために設計されたもので、モデルの指定が粗くても MPC はロボットを立たせ、その歩容は一般的な RL 手法で得られるものよりかなり良く見える、と書いている1。

(c)に近い形の実測の例がある。Song らはドローンレースで、RL で訓練した制御器が最適制御の手法を上回ったと報告し、原因を「目的をよりよく最適化するからではなく、よりよい目的を最適化するから」に置く9。原典によれば、最適制御はふつう目的に連続性、さらには凸性を求めるので、本当のタスク目標を直接は表さない凸の（多くは二次の）目的と、軌道のような中間表現に置き換えて解く。RL は非線形・非凸で、微分できない目的でも最適化できる。この計画と制御の分解が表現できる挙動を狭め、モデルに無い効果に直面したときに性能を落とす。対して RL は、タスクの目的をそのまま最適化できることに加え、ドメインランダム化でモデルの不確かさに備えられる、というのが彼らの説明だ。

RL が周回時間で上回ったのは、設計と訓練に使う標準のモデル（公称のモデル）と食い違う条件である。目的の違いの効果は、ランダム化を外した RL 同士で目的だけを変えて比べている。比較では最適制御の2手法と RL がどれも同じ公称のモデルを使っており、RL はそのモデルのシミュレーションで訓練され、その際に推力の写像や抗力の係数をランダムに変える形でドメインランダム化を組み込める（実機へ移すために、機体を丁寧に同定してもいる）。公称のモデルの上で周回が最も速かったのは最適制御の軌道追従（4.92秒、ただし成功率44%）で、RL が周回時間でも上回ったのは、現実寄りのモデルと実機という、公称のモデルと食い違う条件だった。

(b)の高次元知覚については、2018年時点の Recht は、画素から直接学ぶ RL の初期成果に見込みを認めつつ「状態から学んだ同じ手法よりさらに悪いサンプル複雑度」だと評し、有望なのは状態フィードバックを足場にする Guided Policy Search の系統だと書く1。(b)を RL の勝ち領域に数えるのは、したがって本稿の判断で、引いた出典はそこでも構造（状態推定）を足す側を推している。

制御とRLを組み合わせる手法

制御と RL を組み合わせる研究は、すでに進んでいる。微分可能MPC10はMPCを微分可能な方策クラスにし、Actor-Critic MPC11はその微分可能MPCを、方策と方策の価値を並行して学ぶ actor-critic の枠組みに埋め込む。MPCとRLを統合する手法の分類は Reiter ら12にまとまっている。構造を事前知識として与えると、RL が要るサンプルが大きく減った実測もある。先の24自由度ハンドでは、人の実演という構造を足すことでサンプル効率が最大30倍になり、疎報酬では到達不能だった課題がロボット時間換算で数時間分のサンプルで解けるようになった（シミュレーション上の値で、実機での成功は未実証だと原典は断る）7。ただし課題依存で、典型値ではない。

出典12件

  1. B. Recht「A Tour of Reinforcement Learning: The View from Continuous Control」Annu. Rev. Control Robot. Auton. Syst. 2, 2019. https://arxiv.org/abs/1806.09460 — LQR を基準に、モデルフリー手法の代価を測った総説。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11

  2. S. Tu, B. Recht「The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint」COLT, 2019. https://arxiv.org/abs/1812.03565 — LQR で方策勾配の不利を漸近的に示した。 ↩

  3. S. Dean ほか「On the Sample Complexity of the Linear Quadratic Regulator」Foundations of Computational Mathematics 20, 2020. https://arxiv.org/abs/1710.01688 — 未知の力学から LQR を学ぶ手順に、非漸近的な保証を与えた。 ↩

  4. H. Mania ほか「Simple random search provides a competitive approach to reinforcement learning」arXiv, 2018（NeurIPS 2018 は別題）. https://arxiv.org/abs/1803.07055 — 線形方策のランダム探索が MuJoCo で深層RLに匹敵した。 ↩ ↩2 ↩3

  5. D. Bertsekas「Model Predictive Control and Reinforcement Learning: A Unified Framework Based on Dynamic Programming」IFAC-PapersOnLine, 2024. https://arxiv.org/abs/2406.00592 — MPC と RL をニュートン法で繋ぐ。 ↩

  6. A. Irpan「Deep Reinforcement Learning Doesn’t Work Yet」2018. https://www.alexirpan.com/2018/02/14/rl-hard.html — RL の汎用性の代価と、ドメイン固有の手法が速いという経験則を書く。 ↩ ↩2

  7. A. Rajeswaran ほか「Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations」RSS, 2018. https://arxiv.org/abs/1709.10087 — 24自由度の手のシミュレーションで、実演を足すとサンプル効率が最大30倍になった。 ↩ ↩2 ↩3

  8. OpenAI ほか「Solving Rubik’s Cube with a Robot Hand」2019. https://arxiv.org/abs/1910.07113 — ランダム化の範囲を自動で広げる ADR を導入し、手の動力学の校正とキューブのモデルにも投資した。 ↩

  9. Y. Song ほか「Reaching the limit in autonomous racing: Optimal control versus reinforcement learning」Science Robotics 8, 2023. https://arxiv.org/abs/2310.10943 — 同じ公称モデルで最適制御と RL を比べ、モデルずれでは RL が速かった。 ↩

  10. B. Amos ほか「Differentiable MPC for End-to-end Planning and Control」NeurIPS, 2018. https://arxiv.org/abs/1810.13400 — MPC を微分可能な方策クラスにした。 ↩

  11. A. Romero ほか「Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight」IEEE T-RO, 2025. https://arxiv.org/abs/2306.09852 — 微分可能MPCを組み込む。 ↩

  12. R. Reiter ほか「Synthesis of Model Predictive Control and Reinforcement Learning: Survey and Classification」Annual Reviews in Control 61, 2026. https://arxiv.org/abs/2502.02133 — MPC と RL の統合手法の総説。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。