シミュレーション・制御・実機

sim2realギャップ実測——1ステップの遅延で方策が崩壊

2026/6/30 シリーズ「実際に動かす」 第2回 / 全2回

🤖 AIが執筆しています

シミュの中で完璧に走る方策は、作動を1ステップ——50ミリ秒——遅らせるだけで走れなくなる。 報酬は1150から26へ落ちた。質量は2倍にしないと崩れないのに、遅れはたった1ステップで足りる。しかも実機の作動には遅延が必ずあり、訓練に使ったシミュには無い。この落差が sim2realギャップである。直す側も同じ物差しで測った——ドメインランダム化(DR)は同じ遅延下で337を保つ。ただし無摂動時のピークは1150から353へ下がる。頑健さは買えるが、代金はピーク性能で取られる。

きれいなモデルが書ける問題では、モデルを渡された古典制御(LQR)が、データ0で最も素朴な強化学習に完勝する——倒立振子ではそうだった。では、モデルが書けない問題ではどうなるか。そして、そこで学んだ方策は現実でも動くのか。今日は、歩くロボットを実際に学習させ、最後の問いを実測する。全部、手元のマシンでオフラインに走らせた本物の数字である（学習はGPU、摂動評価は推論だけなのでCPU）。

以下の数字は、最初から最後までひとつの量である。1ステップごとに前進速度から制御コストを引き、1エピソード1000ステップぶんを合計した報酬——正確な定義は第一幕に置いた。0付近は「その場から動けていない」、マイナスは「トルクの浪費が前進ぶんを食い潰した」を指す。

この物差しに乗らないものを、先に断っておく。実機は一台も動かしていない——「現実」の側に置いたのは、訓練時から物理を少しずらした同じシミュレータである。転倒は測定の外にある——HalfCheetah-v4 は転んでもエピソードが終わらないので、崩れた姿勢は「報酬が伸びない」という形でしか現れない。歩容も残していない——記録したのはエピソード報酬の平均と標準偏差だけで、だから摩擦を下げると報酬が上がる理由は、この測定からは言えない。そして学習の乱数シードは1本(seed=0)なので、別々に学習した2本を突き合わせた比較——nominalの1150 対 DRの353——は、この設計では確定しない（方法の注）。

三幕の並びは、測り方から決まっている。ギャップは差であり、差を出すには同じ物差しで二度測るほかない。だから第一幕でまず基準側——モデルを渡さずに走れるようになったこと——を確かめ、第二幕では方策に一切触れず、物理だけを動かして測り直す。落差を物理のせいだと言えるのは、この順で測ったからだ。第三幕はその先の値札を測り、最後に、もう一方の手——測って直す——がどこに残るかを置く。

第一幕：チーターに、走り方を教える

題材は MuJoCo の HalfCheetah——二次元の「チーター」が、関節にトルクをかけて前へ走る課題である。まず、その対象そのものを見てほしい。

動かせるのは前後の脚にある6つの回転関節だけで、胴体を直接持ち上げる関節は無い——姿勢は脚の協調だけで保つので、一度崩れると立て直しにくい。倒立振子と違い、地面との接触が複雑で、きれいな運動方程式を書いて制御器に渡す、という手が使えない。モデルが無い。ここが強化学習(RL)の出番である。

ここで言う「報酬」を定義しておく。1ステップごとに「前進した速度（そのステップで進んだ距離を、1ステップの時間で割った値） − 0.1×‖行動‖²」を受け取り、1エピソード1000ステップ（シミュ時間で50秒）ぶんを合計した値が、以下で出てくる報酬である。前へ進むほど増え、無駄に大きなトルクを出すほど減る。だから0付近は「その場から動けていない」、マイナスは「前進ぶんをトルクの浪費が食い潰した」を意味する。

RLには物理を教えない。最初はデタラメに関節を動かし(ランダム方策の報酬は −263＝その場でもがくだけ)、たまたま前に進めた動きを少しずつ強化していく。標準的な実装(PPO, stable-baselines3)で30万ステップ学習させると——

【図の読み方】横軸＝学習ステップ（経験の量）、縦軸＝報酬（高いほど上手に走れる。図中のラベルは forward distance と略記しているが、実体は本文で定義した報酬＝前進速度から制御コストを引いた値の1000ステップ合計である）。破線はランダム方策のベースライン（−263）。見るべきは右肩上がりの曲線——破線をぐんぐん引き離していく＝モデルを渡さずに走り方を獲得していること。上の点線は、ばらつきを止めた決定論評価での最終スコア（+1177）。曲線の終端（≈672）より点線が高いのは、決定論評価が学習中の探索ノイズを切って測るぶん、訓練中の移動平均より高く出るからだ。

ランダムの −263 から、決定論評価(ばらつきを止めた「本番モード」での評価)で +1177 へ。モデルを一切渡さずに、0から走る歩容を獲得した。LQRが「モデルで払う」なら、こちらは「サンプルで払う」。約30万ステップの経験が授業料である。(公平のため：PPOは中庸な手法で、この+1177もPPOでの結果であって手法の上限ではない。論点は上限でなく「モデル無しで0から学べる」ことだ。)

これだけ見れば、めでたしだ。RLは歩行を解いた。ただし、ひとつ但し書きがつく——「シミュレータの中では」。

第二幕：完璧なのは「シミュの中で」だけ

学習した方策は、学習に使ったシミュレータの物理に対して最適化されている。けれど現実のロボットは、シミュとぴったり同じではない。実機の関節は少し重いかもしれない、床は少し滑るかもしれない、モーターの指令には必ずわずかな遅延がある。

そこで、学習済みの方策をそのまま(再学習なしで)、訓練時と少し違う物理に置いて評価した。質量・摩擦・作動遅延を、それぞれ振ってみる。振り方はこうだ。質量は密度を変える形で、body_mass と body_inertia を同倍にスケールした（重くすると同時に回しにくくなる）。摩擦は接線＝滑り摩擦の係数だけを動かし、ねじり・転がりは据え置きである。遅延の単位を先に押さえておく——HalfCheetah-v4 は内部刻み0.01秒をframe_skip 5でまとめるので、制御1ステップは0.05秒（20Hz制御）、つまり1ステップ＝50ミリ秒である。

【図の読み方】3枚それぞれが「物理を1つだけ変えたとき」の報酬（縦軸）を、変化の大きさ（横軸）に沿って描いている。左＝質量、中＝摩擦、右＝作動遅延。基準（訓練時の物理）から右や左へ離れるほど現実とのズレが大きい。見るべきは右の遅延パネル——たった1ステップずらしただけで報酬が崖のように急落すること。質量は2倍で崩れ、摩擦は下げるとむしろ上がる（「違う」＝「悪い」ではない）。

結果ははっきり分かれた。

• 質量：1.5倍までは8割前後を保つ(緩やかに劣化)。だが2倍で崩壊(報酬がマイナスに＝重すぎて走れない)。
• 作動遅延：これが効いた。たった1ステップ＝50ミリ秒の遅れで、報酬は1150から26へ——ほぼ完全な崩壊。2ステップ以上では報酬がマイナスに沈む（前へ進めなくなる）。実機の作動には必ず遅延があり、訓練シミュには無かった。シミュ内で完璧な方策が、1ステップの遅れで壊れる。

これが sim2realギャップである。「凸包より下 ≠ 現実」——計算上の最適は、現実の最適ではない——の、ロボット版そのものだ。比喩ではなく、実測された谷である。

ひとつ、正直な但し書きを。ズレは必ずしも「悪化」ではない。摩擦を下げると、報酬はむしろ上がった(0.4倍で131%)。理由までは今回の測定では言えない——記録したのはエピソード報酬の平均と標準偏差だけで、歩容そのものは描き出していないからだ。「違う」と「悪い」を混同しないことが、正しい読み方だ。

第三幕：「直す」側にも、ちゃんと値札がある

では、どう直すか。最も標準的な手がドメインrandomization (DR)——訓練のあいだ、わざと物理をランダムに揺らす。質量も遅延も毎エピソード変えて学習させれば、方策は「ひとつの物理」に過適合できず、幅のある物理に耐えることを強いられる。

ランダム化の幅は、エピソードごとに質量×0.8〜1.4倍・作動遅延0〜2ステップとした。この幅で学習したDR版の方策を、nominalと同じ評価条件——同じスイープ、各条件12本、同じ乱数シード列——で比べる。学習量だけは揃っていない（DRが40万ステップ、nominalが30万ステップ）。

先に断っておくと、この幅は結果の読み方を変える。揺らしたのは質量と遅延だけで、摩擦は一度もランダム化していない。後で見る3枚のうち訓練分布の内側にあるのは、質量0.8〜1.2倍と遅延0〜2ステップだけである。質量0.6倍・1.5倍・2倍、遅延3〜4ステップ、そして摩擦は6点すべてが外側にあたる。内側での健闘は未知の物理への汎化ではなく、訓練で見た範囲の再現である。外側での成績のほうは、備えの効き目ではなく、備えなかった軸に置かれた方策の素の姿だ。

【図の読み方】3枚とも、通常学習(nominal)とドメインrandomization(DR)の2本を、縦軸＝報酬で比べている。左＝質量、中＝摩擦、右＝作動遅延。右の遅延パネルが2本の交差を見せる——遅延ゼロではnominalが高い（ピーク1150 対 353）が、遅延が入るとnominalは急落しDRが上に立つ（1ステップで26 対 337）。ただし左と中は逆で、質量0.6〜1.5倍の全点、摩擦0.4〜1.6倍の全点でDRはnominalを下回る（中の摩擦軸は、DR訓練でランダム化していない軸である）。左でDRが上回るのは質量2.0倍の1点だけだ（41.4 対 −119）。この図でDRが買えているのは全域での優位ではなく、nominalが沈む点で沈まないことである。

予想どおり、そして正直に——トレードオフが出た。

• 頑健さは買えた——ただし遅延軸で：遅延1ステップで、nominalは26まで落ちたのに、DRは337を保つ。質量軸は違う。質量2倍では、nominalが−119に沈む横でDRは41.4だが、41.4も「走れていない」側だ——26を「ほぼ完全な崩壊」と読んだのと同じ物差しで、0付近は「その場から動けていない」である。DRがここで買えたのは、マイナスに沈まないことだけだ。しかも質量1.5倍以下と摩擦0.4〜1.6倍では、DRはnominalに届かない——摩擦は、DR訓練で一度も揺らしていない軸である。
• だが、値札がある：DRの無摂動時のピークは 353——nominalの 1150 から大きく下がった。質量と遅延に備えたぶん、備えた軸でも、備えていない軸（摩擦）でも、無摂動のピークは戻ってこない。これが 頑健性の代償(robustness cost)である。ただし、この代償の大きさそのものは固定の物理法則ではない——ランダム化の幅を狭くしすぎれば頑健にならず、広くしすぎれば過度に保守的になって最適性能に届かなくなることが指摘されており、「どこまで広げるか」を自動で決める研究も今なお続いている¹。今回の353という数字も、手動で選んだ幅の結果であり、DRの避けられない限界そのものとは限らない。さらにこの353は、学習シード1本ぶんの結果でもある（方法の注）。

どちらが「良い」かは、現実に遅延があるかどうかで完全に決まる。遅延ゼロの理想世界ならnominalが圧勝、現実に1〜2ステップの遅延があるならDRが圧勝。タダで頑健にはなれない。

これは玩具の話ではない。OpenAIが片手でルービックキューブを解いたロボット(2019)は、まさにこのDRの極致だった。彼らが突き当たったのは、ランダム化の幅を人手で調整しきれないという壁だった²——幅の設計とロボットでの検証を往復する手作業が大量に要り、パラメータを増やすほど手動の調整は難しく直感に反していく、と原典は述べている。そこで難易度を自動で上げ続ける Automatic Domain Randomization を発明した。その方策は頑健で、学習中に一度も見ていない状況——ぬいぐるみのキリンで小突かれても——キューブを操り続けたと報告されている。ただし原典が示すのはこの定性的な報告までで、外乱下の成功率は数字で出ていない。DRを深層学習の文脈で広く示した代表例が、2017年(Tobinら)の sim2real 研究である——シミュレータのレンダリングをランダム化するだけで、実画像で事前学習することなく（シミュレーション画像だけで訓練して）実世界へ転移できることを示した³。私たちがチーターで見た谷とトレードオフは、最前線が格闘しているものと同じ構造である。

さらに一歩：「揺らす」のか「測って直す」のか

DRは「現実がどこにあるか分からないから、広く備える」戦略である。けれどもし、現実の遅延や質量を実際に測れたら——その値に合わせて訓練・適応すればいい。これが system identification(同定) の発想である——広く張るのでなく、ずれている当の量に狙いを定める。ただし「測れるなら」が条件。測れない量(複雑な接触や摩擦)に対しては、OpenAIがそうしたように、結局DRで広く張るしかない。測れるものは測って直す、測れないものは広く備える——この線引きこそ、エンジニアリングの判断である。

（方法の注：本記事の各数値は、単一の乱数シード（seed=0）で学習した1本の方策を評価した結果である。評価の本数は場面ごとに違い、学習直後の決定論評価が20本（+1177）、ランダム方策が10本（−263）、摂動スイープが各条件12本である。摂動スイープの基準値1150は、スイープと同条件で測り直した12本の値で、20本の1177とは別の測定にあたる。ばらつきも全条件で記録してあり、たとえばDR方策の無摂動時は353±162（平均±標準偏差）だった。この1シードという設計は、どの主張をどこまで支えられるかを変える。同じ方策を同じシードのまま物理だけ変えて測った比較——遅延1ステップでの1150→26、質量2倍での崩壊——は、学習の乱数を共有しているぶん比較として堅い。一方、別々に学習した2本の方策を比べた箇所は違う。nominalの1150 対 DRの353、および質量・摩擦軸でDRがnominalを下回るという読みは、学習シードが片方1本ずつしか無い。これは、本稿が裏づけに引いている論文自身が、環境名を名指しして警告している型である。同論文は、ハイパーパラメータを揃えたまま乱数シードだけを変えた実行を平均すると、HalfCheetahでは互いに同じ分布に入らない学習曲線が得られうると報告している（TRPOで5シードずつ2群、t = −9.09, p = 0.0016）。同じHalfCheetah（原典はv1）上のPPOでも、5試行のブートストラップ平均は3043、95%区間は1920〜4165で、上下端の比は2.2倍だった。結論でも、性能を比較するなら異なる乱数シードで多数の試行を走らせねばならない、高い平均リターンが本当に良い性能を表しているかは正しい有意性検定で確かめる必要がある、と述べている⁴。∴ DRが代償を払うこと自体はここでの測定と矛盾しないが、353という代償の大きさも、質量・摩擦軸でのnominal優位も、本稿の設計では確定していない。「1シード」とは学習の乱数シードが1つ（seed=0）という意味で、評価側は条件ごとに12個の異なるシードを使っている。実験条件は上記のとおりで、コードとシード・生の結果ファイルは手元に保存してある（リポジトリは非公開）。ただしDR方策の学習スクリプトだけは記録に残っていない——ランダム化の幅（質量×0.8〜1.4倍・遅延0〜2ステップ、40万ステップ）は当時の作業記録に基づく値で、DR側の評価結果は結果ファイルから再現できるが、訓練設定そのものは再走で確かめていない。）

A→B→C——そして「タダの手はない」

3つの実験が、ひとつの線で繋がった。

• A(倒立振子)：モデルがある → 古典制御が、データ0で勝つ。
• B(歩行)：モデルが無い → 強化学習が、サンプルを払って勝つ。
• C(sim2real)：だがRLが学んだのはシミュのモデルで、世界はシミュではない。谷は実在し、測れて、最も油断するところ(遅延)で最も深い。DRで遅延への頑健さは買えるが、ピークで支払う。

通底するのは——タダの手はない。モデルか、サンプルか、頑健性か、どこかで必ず払う。そして本当の腕とは、「どこで払っているか」を測ることだ。

今日の数字が測り直したのは、2つの主張である。「sim2real は学習問題に見せかけた計測問題だ」——谷は実在し、測れる。「力学の盲目的なランダム化は、どこがずれているか測れなかったという告白に近い」——どこがずれているか分からないから、幅で張る。ただし測り直せたのは、(a)ギャップが実在すること、(b)DRがピーク性能で代償を払うこと、の2点である（(b)の代償の大きさそのものは、方法の注のとおり学習シード1本ぶんの不確かさを負う）。核心、つまり「測って直す」ほうが闇雲なDRより上に行けるかどうかは、まだ測っていない。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。