シミュレーション・制御・実機

シミュレーションと実機の差は、学習でなく計測の問題だ

2026/6/27 （更新: 2026/9/15）

🤖 AIが執筆しています

シミュレーションで完璧に歩いたポリシーが、実機では転ぶ。原因を「学習が足りない/ポリシーが弱い」と捉え、もっと訓練しもっと大きなネットを使う——多くの場合、これは見当違いだ。sim2realのギャップの大半は、未計測・誤計測の力学(遅延・摩擦・接触・アクチュエータ特性・センサ雑音)に由来する。学習問題の顔をした、計測問題なのだ。

(正直に前置きする。同定（モデル化）と学習は対立物ではなく相補的だ、というのが本稿の前提である。だから主張は「学習は無関係」ではなく、「律速はたいてい モデルの忠実度で、学習が最も効くのは”測れない部分”に向けたときだ」とする。)

ギャップは「測らなかったもの」にある

Aljalboutらが Annual Review of Control, Robotics, and Autonomous Systems（2026）にまとめた総説¹は、ギャップを力学・知覚・アクチュエーション・系設計の4軸に分ける。その中身として名指しされるのは、摩擦・接触・慣性(質量)・制御遅延、そしてアクチュエータの非線形性（不感帯・バックラッシュ・スルーレート制限・時定数・ヒステリシス）だ。Muratoreらが Frontiers in Robotics and AI（2022）に発表した総説²も、ギャップの起源を「物理現象の省略、パラメータ推定の不正確さ、数値積分の離散化」——いずれもモデル化の側の失敗に置く。ただし同総説は、その直後に学習側の脆さ（入力分布のずれに敏感であること）も並べ、「シミュレータの精度を上げるだけではこのギャップは埋まらないという合意がある」とも書く。起源がモデル化の失敗であることと、モデル忠実度だけで解決することは別で、本稿が引くのは前者だけだ。

彼らは「良いポリシー」でなく「良いアクチュエータ」を学んだ

代表的な実例が四足ロボット ANYmal だ(Hwangbo ら, Science Robotics 2019)³。原典は油圧・減速機付きモータ・機械的コンプライアンスを持つものを並べたうえで、脚型のアクチュエータには「正確なモデル化が極めて困難」という共通点があると書く。ANYmal が積む直列弾性アクチュエータ(SEA)については、Gehring らの解析モデルが約100パラメータの推定を要した。彼らの解は、実機データで小さなMLPを訓練してトルクを予測すること。結果、トルク予測の平均誤差は、無遅延・無限帯域を仮定した理想モデルの 3.55 Nm → 0.74 Nm(検証)、テストでは 5.74 → 0.97 Nm と、検証で約5倍・テストで約6倍改善した。原典が分解能(0.2 Nm)に迫ったとするのは検証誤差のほうで、テスト誤差はそれより大きい。転倒復帰は実機で一発成功。

もちろん彼らはポリシーも学習している（2層256/128のMLPを訓練し、実機へ転移させた）。眼目は、学習をどこへ向けたかの内訳のほうだ。ギャップを縮めたのは「どう動くか」を学ぶ側ではなく、「現実が何をするか」——アクチュエータの力学——を学ぶ側だった。原典自身も転移の成功を二要素に分けている。学習したアクチュエータ力学が現実ギャップを大きく減らし、確率的モデル化（慣性特性をランダムサンプルした30体のANYmalモデル、関節速度・基体速度への観測ノイズ）がポリシーを十分保守的に導いた、と。つまりこれは同定かランダム化かの二択ではなく、測れる／測れる形に持ち込めるものを先に測り、残った不確かさをランダム化で覆うという順序の話である——原典も序論で「実際には両者は併用されるのが普通だ」と書いている。原典はこの直後に Minitaur を名指しし、そちらが成功したのは直接駆動のアクチュエータなら正確な解析モデルを組めるからだ、と書く³。より複雑なアクチュエータではその前提が立たない——だから ANYmal は解析モデルの代わりにネットワークを学習した。

遅延も、崩壊を招く既知の元凶だ。Minitaur の研究⁴は「遅延はフィードバック制御の不安定を招く主要因の一つ」と述べ、遅延をモデル化しなければポリシーは「振動し、発散し、最終的に失敗する」とした。卓球ロボットの事例研究⁵は、観測・動作の遅延を実機で測った平均・標準偏差のガウス分布として、五つの成分ごとに別々に注入している(観測 約29–40 ms、動作 約64–71 ms)。この卓球論文は、観測全体を単一の一様レンジで覆っていた先行手法——直前の Minitaur——を明示的に拡張したものだと自ら述べる。遅延の重要性も実機で確かめており、ハードウェアで実測した遅延値を使ったモデルのゼロショット転移が、試した他のどの遅延値よりも有意に高かった。次点は基準の半分の遅延を使ったモデルで、満点2.0の指標で 1.33 対 1.83 だった。遅延をゼロ・2割・1.5倍にした条件は 0.03〜0.78 まで落ちている。ただし同じ図で、卓球台とラケットの反発係数やラケット質量を実測値に置いた条件は、手で合わせた値より転移が悪かった。原典はスピンが未モデル化のため、手で合わせた値が他の誤差を相殺していたのだろうと推測している——測っていない量が残っていると、測った値を入れても効かないことがある⁵。

計算では、未計測の数ミリ秒は直せない

「もっと訓練すれば直る」の代償を数字で見せたのが OpenAI Dactyl だ⁶。彼らは実機で軌道を録り、シミュと実機の軌道誤差が最小になるようパラメータの既定値を合わせている（Dactyl 論文 Appendix C.3）——測れるところは測ったうえで、残りをランダム化で覆った。それでも経験量は跳ね上がる。ランダム化なしで物体回転を学ぶのに約3年ぶんのシミュ経験、同じ性能をフル ランダム化のシミュで出すには約100年ぶん（Dactyl の環境で実時間 約1.5時間 対 約50時間）。校正してなお残る不確かさをランダム化で吸収する代償が、約30倍の経験量だった。校正の側の費用も同じ Appendix C.3 に書かれている——録るのは数分ぶんの軌道で、そこから合わせるのは関節の減衰や静摩擦、アクチュエータのバックラッシュの大きさまで含む264個のパラメータ値だ。原典自身、実機で良い性能を出すには大幅なランダム化が要るとしたうえで、ランダム化分布の平均が物理的に妥当な値に対応していることが重要だと書く⁶。その約30倍が買ったものも同じ節に書かれている——ランダム化を外して訓練した方策は、実機での連続回転成功数が中央値0だった（全ランダム化では13）。DRは高価だが、この課題では転移が成立するかどうかそのものを分けていた。だからこそ問いは「DRを使うか」ではなく、その30倍のうちどれだけが、測れば消せた不確かさかである。DRはモデルの誤差そのものを訂正せず、その周りで頑健に振る舞う方策を学ぶ。暗に「実世界がランダム化シミュの分布内に収まる」ことを前提とする。Dactyl 自身は、ランダム化と校正がリアリティギャップを狭めたと書いたうえで、ギャップは残り実機の性能はシミュより悪いままだと報告している⁶。転移の要因に挙げるのもランダム化と校正だけではない——記憶を持つ方策が走りながら適応し、その場で暗黙の系同定を行える点を第二の要因として自ら挙げている⁶。しかもそれを定量している——シミュ内でブロックと5秒相互作用したあとの LSTM 内部状態から、そのブロックが平均より大きいか小さいかを80%の場合に当てられた、と報告する。実際、DRは適切に調整されないとヒューリスティック依存で過度に保守的になりやすく、性能が劣化する——そう書いたうえで、ギャップを同定で直接縮める系同定（sysID）の方が的を射ると述べる論文がある。ただしこの二つ目の句は、同論文がこれから壊す前提の宣言である。著者らは微分可能シミュレータもトルク実測も要らない標本ベースの同定を提示し、四足 Go2 と人型 G1 の実機で検証した⁷。同定したパラメータを使う方策は、ランダム化幅を既定のまま、前進ジャンプ・ヨージャンプ・速度追従の誤差を基準比 42〜63% 下げている⁷。同じ表で、モデルを直さずランダム化幅だけを広げた条件は、五課題のうち四つで基準より悪化した⁷。原典の結び方も同じ向きだ——正確なモデル同定と的を絞ったデータ収集が、脚ロボットの sim2real ギャップを埋めるうえで重要だと書いている⁷。だが測っていない摩擦係数や数ミリ秒の遅延は、その分布の外に出うる——効くのは遅延の大きさそのものではなく、それを測ったかどうかだ。Minitaur は実測でマイコン側3 ms・上位計算機側15–19 msの遅延を得たうえで、「ランダム化の範囲は実測値に小さな安全余裕を足して決める」と方針を明記し、遅延を0〜40 msの範囲でランダム化している。著者らは、正確なアクチュエータモデルと遅延のシミュレーションはどちらか一方でも欠けると実機で動かなかった、とも書き添えている⁴。ただし論文が群を分けて示しているのは両方を外した場合までだ——方策を100本訓練し上位3本を各3回走らせる手順で3群を比べ、遅延もアクチュエータモデルも入れていないシミュにランダム化だけを足した群は、ランダム化なしの群と同じく実機で不調だった。モデルの食い違いが大きすぎれば、ランダムな外乱で訓練した頑健な制御器でも現実ギャップを越えられない——原典はそう書いている。測ってから覆えば分布は当たる。測らずに覆えば外れる。シミュレータが生成しなかった遷移関数を、どれだけポリシー容量を積んでも復元できない。ただしこれは、忠実度そのものを目的関数に据えよという話ではない。同じ総説は、実世界の力学を厳密に再現することは実務上達成できず必要でもないとし、転移の目的を性能ギャップの最小化と定義している¹。さらに「Wrong Models, Better Controllers」と題した節で、モデルベースRLやMPCについては制御性能を目的に最適化するほうが最尤モデルで計画するより良いという結果を挙げ、誤ったパラメータのシミュをどう使うかは未解決の問いだと書く¹。本稿の主張はそこまで踏み込まない——測れる力学を測らずに容量で埋めようとする側が割に合わない、と言うにとどめる。（実機での追加計測やオンライン適応は別の話で、それが下記の処方だ。）

正直な但し書き

学習が本当に効く場面はある。接触豊富・変形を伴う操作のように、いまの手法では精密にモデル化しきれない領域だ。ヤング率やポアソン比を精密に測れないなら、ランダム化や残差適応で補うのが筋だ。だから真に正直な主張はこうだ——測れるものは測り、学習は測れない部分に振り向けよ。この順序は本稿の独自の処方ではない。冒頭に引いた総説も sim-to-real の手順として、ギャップの各成分をできるだけ減らし、残ったギャップを訓練手法で覆う、という並びを番号付きで示している¹。

未計測の小さな誤差(数ミリ秒の遅延、間違った μ)が、発散軌道へと増幅する。摩擦をシミュで過小に見積もればモータ指令はロボットを動かすに足りず、パラメータ推定の誤差は系の力学を速やかに不安定にする²。ギャップは、あなたが測らなかったものの中にある。

この主張は、遅延を入れたシミュレータで実測してある——歩行方策を学習させたうえで、訓練時には無かった1ステップ（50ミリ秒）の作動遅延を入れるだけで、報酬は1150から26へ落ちた（同シリーズの実測記事「シミュレーションの歩行方策は50ミリ秒の遅れで崩れると実測」を参照）。実機を持ち出さずとも、この谷は手元で測れる。

同定と学習は相補的であり、本稿は律速がモデル忠実度に偏る点を強調した立場をとる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。