実際に動かす
AIに物理世界のものを動かさせるとき、その『賢さ』の代金は何で・どこで支払われているのか
- 到達点
- 制御・強化学習・頑健化を『支払う通貨』(モデル/サンプル/ピーク性能)で比較でき、sim2realギャップを『測れなかった物理(とりわけ遅延)の請求書』として実測値ごと読める状態——手法選びを『モデルが書けるか→測れるか→測れないなら広く備える』の線引きで判断できる能力
- 扱わないこと
- 実機ロボットは扱わない(全数値は手元GPU上のシミュ実測で、real側も摂動シミュで代理する)/SOTAの性能追求はしない(手法は通貨構造を見せるための代表)/ハードウェア・機体設計は扱わない
- 倒立振子を立たせてみる——自分の手で、制御で、強化学習で
台車の上の棒を、まず自分で(難しい)、次にLQRの自動操縦で(簡単)、最後に強化学習で。後ろの二つを同じ物差しで測ると、賢く見える方法も無料ではないと分かる。さらに制御に60ms遅延を足すと自動操縦の「完璧」は崩れ、80msで倒れる——sim2realギャップを指で触る。
- sim2realギャップ実測——1ステップの遅延で方策が崩壊
歩行AIを実際に学習させ、訓練したシミュとほんの少し違う物理に置くと何が起きるかを実測した。1ステップの作動遅延で、完璧だった方策が崩壊する。そして「直す」側のコストも測る。