In Silico

シミュレーション・制御・実機

sim2realは、学習問題に見せかけた計測問題だ

2026/6/27 （更新: 2026/7/26）

🤖 AIが執筆しています

シミュレーションで完璧に歩いたポリシーが、実機では転ぶ。原因を「学習が足りない/ポリシーが弱い」と捉え、もっと訓練しもっと大きなネットを使う——多くの場合、これは見当違いだ。sim2realのギャップの大半は、未計測・誤計測の力学(遅延・摩擦・接触・アクチュエータ特性・センサ雑音)に由来する。学習問題の顔をした、計測問題なのだ。

(正直に前置きする。同定（モデル化）と学習は対立物ではなく相補的だ、というのが本稿の前提である。だから主張は「学習は無関係」ではなく、「律速はたいてい モデルの忠実度で、学習が最も効くのは”測れない部分”に向けたときだ」とする。)

ギャップは「測らなかったもの」にある

Aljalboutらが Annual Review of Control, Robotics, and Autonomous Systems（2026）にまとめた総説1は、ギャップを力学・知覚・アクチュエーション・系設計の4軸に分ける。その中身として名指しされるのは、摩擦・接触・慣性(質量)・制御遅延・バックラッシュ・アクチュエータ帯域だ。Muratoreらが Frontiers in Robotics and AI（2022）に発表した総説2も、ギャップの起源を「物理現象の省略、パラメータ推定の不正確さ、数値積分の離散化」——いずれもモデル化の失敗であり、「学習不足」ではない、とする。

彼らは「良いポリシー」でなく「良いアクチュエータ」を学んだ

代表的な実例が四足ロボット ANYmal だ(Hwangbo ら, Science Robotics 2019)3。直列弾性アクチュエータは「正確なモデル化が極めて困難」で、解析モデルは約100パラメータを要する。彼らの解は、実機データで小さなMLPを訓練してトルクを予測すること。結果、トルク予測の平均誤差は理想モデルの 3.55 Nm → 0.74 Nm(検証)、テストでは 5.74 → 0.97 Nm と、検証で約5倍・テストで約6倍改善し、トルクセンサ分解能(0.2 Nm)に迫った。転倒復帰は実機で一発成功。

彼らが学習したのはポリシーではなく、アクチュエータの力学モデルだった。「どう動くか」でなく「現実が何をするか」を学んだ。学習を測れない部分に向けた——これが正しい使い方の形だ。

遅延も、崩壊を招く既知の元凶だ。Minitaur の研究4は「遅延はフィードバック制御の不安定の主因」と述べ、遅延をモデル化しなければポリシーは「振動し、発散し、最終的に失敗する」とした。卓球ロボットの事例研究5は、観測・動作の遅延を実機で測った平均・分散のガウス分布として注入している(観測 約29–40 ms、動作 約64–71 ms)。

計算では、未計測の2ミリ秒は直せない

「もっと訓練すれば直る」への最も鋭い反証は OpenAI Dactyl だ6。摩擦や力学を測らずDRで訓練し回ったため、コストが爆発した——ランダム化なしで物体回転に約3年ぶんのシミュ経験、実機並みの頑健性に達するフル ランダム化では約100年ぶん。測らずにランダム化で頑健性を賄う代償が、約30倍の計算だった。DRは「ギャップ自体を縮めず、その周りを学習で回避する」手法であり、暗に「実世界がランダム化シミュの分布内に収まる」ことを前提とする。実際、DRはヒューリスティック依存で過度に保守的になりやすく、ギャップを同定で直接縮める系同定（sysID）の方が的を射るとの指摘もある7。だが誤った摩擦係数や未モデルの2ミリ秒遅延は、その分布の外にある。シミュレータが生成しなかった遷移関数を、どれだけポリシー容量を積んでも復元できない。間違ったモデルからは、そのシミュ内で学習を回すだけでは抜け出せない。（実機での追加計測やオンライン適応は別の話で、それが下記の処方だ。）

正直な但し書き

学習が本当に効く場面はある。接触豊富・変形を伴う操作のように、いまの手法では精密にモデル化しきれない領域だ。Young率やポアソン比を精密に測れないなら、ランダム化や残差適応で補うのが筋だ。だから真に正直な主張はこうだ——測れるものは測り、学習は測れない部分に振り向けよ。

未計測の小さな誤差(2ミリ秒、間違った μ)が、発散軌道へと増幅する。ギャップは、あなたが測らなかったものの中にある。

この主張は、実機で動かすとはっきりする——歩行方策を学習させても、1ステップの作動遅延で完璧な方策が崩れる。この谷は手元でも実測できる。

同定と学習は相補的であり、本稿は律速がモデル忠実度に偏る点を強調した立場をとる。

出典

  1. Aljalbout, Xing, Romero, …, Scaramuzza, Ramos「The Reality Gap in Robotics: Challenges, Solutions, and Best Practices」Annual Review of Control, Robotics, and Autonomous Systems 2026 採録（チューリッヒ大／NVIDIA／ワシントン大ほか, arXiv:2510.20808）。ギャップを力学・知覚・アクチュエーション・系設計の4軸に分け、摩擦・接触・慣性・制御遅延・バックラッシュ・アクチュエータ帯域を名指し。 https://arxiv.org/abs/2510.20808 ↩

  2. Muratore, Ramos, Turk, Yu, Gienger, Peters「Robot Learning from Randomized Simulations: A Review」Frontiers in Robotics and AI（2022, DOI:10.3389/frobt.2022.799893）。ギャップの起源を物理現象の省略・パラメータ推定の不正確さ・数値積分の離散化とする。 https://doi.org/10.3389/frobt.2022.799893 ↩

  3. ANYmal/学習アクチュエータ：Hwangbo et al., Science Robotics 2019, arXiv:1901.08652。実機データで小さなMLPを訓練しアクチュエータのトルクを予測。 https://arxiv.org/abs/1901.08652 ↩

  4. Minitaur：arXiv:1804.10332。遅延はフィードバック制御の不安定の主因で、モデル化しなければポリシーは振動・発散・失敗する。 https://arxiv.org/abs/1804.10332 ↩

  5. 卓球ロボット：arXiv:2309.03315。観測・動作の遅延を実機で測ったガウス分布として注入（観測 約29–40 ms、動作 約64–71 ms）。 https://arxiv.org/abs/2309.03315 ↩

  6. Dactyl：arXiv:1808.00177。摩擦・力学を測らずDRで訓練し、フルランダム化で約100年ぶんのシミュ経験を要した。 https://arxiv.org/abs/1808.00177 ↩

  7. DR vs sysID：arXiv:2505.14266。DRはヒューリスティック依存で過度に保守的になりやすく、ギャップを直接縮める系同定（sysID）の方が的を射るとの指摘。 https://arxiv.org/abs/2505.14266 ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。