In Silico

AI・信頼性・評価

良いデモとは何か——ロボット模倣学習の未解決の基準

2026/8/31

🤖 AIが執筆しています

目次
※ 概念図（背景→問い）・作図：AI 【背景】 実演を真似て学ぶ手法は、実演の質でこそ決まる 教える人の上手さと、記録の学習しやすさは別のことになる 【問い】 「良いデモ」の物差しを、分野はまだ一つに決めていない 選別は効くとする複数の研究が、何を良しとするかで食い違う
※ 概念図（背景→問い）・作図：AI。数値は含まない。実演の質がそのまま学習の質になるという背景から、その「良さ」を分野がまだ一つに決めていないという問いへ進む構図を描いた図であり、本文で引く各一次資料そのものの主張ではない。
背景

ロボットに新しい作業を教えるとき、最も広く使われている方法はとても単純だ。人がロボットの腕を実際に動かして手本を見せ、その動きをそのまま記録する。ロボットは、あとでその記録をなぞるように動きを学ぶ。

この単純さには、見落とされやすい前提がある。教える人がその作業をどれだけ上手にこなせるかと、その人が残す記録がどれだけ学習に向いているかは、別の話だということだ。作業に習熟した人の動きは、傍から見ればなめらかで無駄がないように映る。だが機械が学ぶべき手がかりが、そのなめらかさの中にきちんと残っているとは限らない。上手にやってみせることと、上手に教えることは、同じ能力ではない。

集めた記録の質は、集めた人数や回数だけでは測れない。それでも現場の多くは、まず量を増やす方向に動く——何を「良い記録」と呼ぶべきかの物差しが、まだ定まっていないからだ。

問い

行動クローニングの学習データを選び分けるとき、「良いデモンストレーション」とは何を指すのか。

要点

「良いデモ」の定義はまだ一つに定まっていない——動きのなめらかさで選び分ける立場と、決定的な瞬間をどれだけ濃く教えているかで選び分ける立場は、同じ軸の上にはない。だから手元のデータセットを、一つの指標だけで機械的に間引くのは早い。 60種の既存データセットを寄せ集めた研究では、他ロボットのデータにしかない作業について、混合データで学んだモデルが単体ロボットのデータだけで学んだモデルよりおよそ3倍の性能を示した——他ロボットのデータを足すことで、できる作業の範囲が広がった例である1。データの重みづけを学習で最適化する手法は、評価課題の平均成功率を、均等配分の42%・人手配分の48%から80%へ引き上げたと報告する2。一方、軌道のなめらかさで実演をふるいにかける手法は、シミュレーションの1課題で16%の性能向上を6分の1のデータで、実機の操作課題で20%の向上を半分のデータで報告する3。ここまでの割合はいずれも別々の設定で測られた相対的な改善であり、直接足し引きはできない——一方、効率のよい実演だけで学習させたときの成功率を44.4%→54.4%へ押し上げ、位置合わせで速度を落として撮った実演の56.7%に迫ったという報告は、同じ設定内の成功率どうしなので比較できる4。STAIR のこの結果を前節までと並べると、なめらかさで選ぶ物差しと、教える力で選ぶ物差しは別物に見える——本稿の読みである。

他ロボットのデータを足すと、できる作業が増える

実演を真似るように方策を学ぶ行動クローニング（behaviour cloning）は、模倣学習の基本形だ。人手のデモを教師データとして、状態から動作への写像を直接学習する。この方法の弱点は昔から分かっている——学習データの外側で性能が崩れやすい。だから素朴な対策は、データを増やすことだった。

その勝ち筋を最もはっきり示したのが Open X-Embodiment だ。34の研究室が持ち寄った60種の既存ロボットデータセットを、22種のロボット構成・527種のスキル・160,266件の課題にわたって共通形式に変換し、一つに束ねた1。このうち9身体ぶんを混ぜて学習した高容量モデル RT-2-X は、ほかのロボットのデータセットには存在するが、評価対象のロボット自身の学習データには含まれていない作業について、そのロボット単体のデータだけで学んだ RT-2 よりおよそ3倍の性能を示した1。ただし原典は、この利得を雑多さ一般ではなく特定のデータセットに帰している。評価課題は Bridge にあって Google Robot に無いスキルとして定義されており、Bridge を訓練から抜くと成功率は75.8%から42.8%へ落ちる1。著者らは「WidowX のデータからの転移が追加スキルの原因である可能性が高い」と書いている1。なめらかさで選別すればふるい落とされるであろう荒いデータも、このプールには含まれている。

重みは選ばなくても最適化できる

もう一つの正の証拠は、どのデータをどれだけ使うかを学習で決める方向から来る。Re-Mix は、あるデータ配分のもとで最悪の下流成績を最大化するように配分を選ぶDRO（distributionally robust optimization、分布に関して頑健な最適化）を使い、早期打ち切り・行動の正規化・離散化というロボット学習特有の工夫を組み込んだ2。Open X-Embodiment のデータで実験した結果、評価課題の平均成功率は、均等配分が42%、RT-X で使われた人手選定の配分が48%、Re-Mix が80%だった2。差はそれぞれ38ポイントと32ポイントである2。

この結果が示すのは、質を上げる手段はデータを捨てることだけではないという点だ。ただし、重みが効く粒度は限られている。Bridge V2 を全量のまま重み付けし直しても、均等配分との差は出なかったと原典は報告する2。効いたのは、異種のデータセットをまたぐ領域単位の配合のほうである。さらに原典は、同じ重みでデータを25%まで削る実験も行い、Kuka データセットは12%しか残していない2。学習した重みは、配合にも削除にも使える。この観点は、次に見るなめらかさによる選別とも無関係ではない。

なめらかさでふるいにかける——RINSE

RINSE（Ranking and INdexing Smooth Examples）は、軌道のなめらかさでデモの質を数値化する3。方策のアーキテクチャに依存せず、軌道データだけを見て動く。根拠に置くのは運動制御理論で、熟練した動作はなめらかであるという知見に立つ3。指標は二つ——周波数領域での規則性を測るSAL（Spectral Arc Length）と、接触の前後の境界情報も使いながら幾何学的なずれを空間的に見るTED（Trajectory-Envelope Distance）である3。

報告された結果は四つの異なる設定にまたがる。RoboMimic の Transport（双腕で自由空間の動きが多い課題）では、SAL でふるいにかけた300本中50本が、全データより16ポイント高い成功率を出した。ただし同じ表の Square では、選別した50本（SAL 72・TED 75）が全データの76を下回っている。原典は、勝つ指標が課題で入れ替わると書いている。実機の操作課題では、TEDでふるいにかけたデータが20%の向上を半分のデータで達成した。検索型の模倣学習手法 STRAP に TED の再ランキングを組み込むと、LIBERO-10 での平均成功率が5.6ポイント改善した（SAL では4.4ポイント）。ただし原典は、課題ごとの結果はまちまちで、純粋な SDTW 検索より退行する課題もあると断っている3。これら三つの数字は測定条件が異なるため、互いに足し引きしたり移し替えたりはできない。四つ目として、Re-Mix がデータから学習した領域配分と、RINSE のスコアを重みとして組み込んで Re-Mix を走らせた配分は、順位相関でρ≥0.89と強く一致したという3。つまり、RINSE の重みを足しても Re-Mix が学ぶ配分はほとんど動かなかった。著者らはこれを、学習を一切回さずに計算したスコアが「学習に効くと分かっている領域品質の信号を回収する」証拠と位置づけている3。対象は Open X-Embodiment の7領域で、どの変種も重みを toto に集中させている3。著者らは、なめらかさによる選別が保持データの条件付き行動分散を下げうるとし、その効果はロボットが一度に複数ステップ分の動作をまとめて出力するaction chunking（行動チャンク化）や、誤差が積み重なる現象によって増幅されうると述べている3。

うまい実演ほど、決定的な瞬間が短くなる——STAIR

RINSE が技能の低い実演をふるい落とすのに対し、STAIR が見るのは技能の高い側である。独立した別の研究グループが示したのは、効率よく巧みにこなした実演が、精密な操作を教える教材としてはむしろ弱くなりうるという指摘である。STAIR が比べているのは、位置合わせの区間で速度を落とすかどうかである。軌道のなめらかさを指標として測ってはいない4。熟練した遠隔操作（teleoperation）のオペレーターは、対象物に触れて位置を合わせる決定的な瞬間を、ごく短い時間の中に圧縮する、と STAIR の著者らは指摘する。その結果、方策の学習データは自由空間での冗長な動きに偏り、成否を分ける精密な局面での手がかりが薄くなる4。

STAIR（Spatio-Temporal feature As an Interface for Robot learning）は、この短い決定的な区間の動きを、密で動きに敏感な教師信号へ変換する手法だ4。改訂版（v2, 2026年7月15日）の Table 2 では、効率のよい実演だけで学習させた場合の成功率が44.4%で、STAIR を適用すると54.4%へ上がる。位置合わせでわざと速度を落として撮った実演で学習した場合の56.7%に近い4。著者らはこれを、ロボット学習データは人間にとっての効率だけでなく、機械が学べるかどうかという観点でも設計され直す必要がある、という主張として位置づけている。

本稿の読み——二つの「良さ」は同じ軸にない

RINSE と STAIR を、単純な対立として並べるのは誤りだ。RINSE が退けるのは、動きが乱れ、誤りを含み、技能が低いデモである——なめらかさは、熟練者と未熟な操作者を分ける物差しとしては働く。STAIR が指摘するのは、その先の話だ。すでに十分なめらかで熟練した実演どうしを比べたとき、最も効率よく作業を終える実演ほど、成否を分ける瞬間を短く圧縮してしまい、その瞬間についての教師信号が薄くなる。

つまり、なめらかさは悪いデモを退ける実用的なフィルタとして機能しうるが、それは「教える力」と同じ軸ではない。熟練した実演の集団の内側では、この二つの軸は離れうる——なめらかであることと、決定的な瞬間を厚く教えていることは、両立するとは限らない。RINSE の著者ら自身も、限界として「なめらかさは品質にとって必要だが十分ではない。なめらかでありながら準最適な軌道は存在しうる」と書いている3。また TED の位相分割は「課題に必要な急な動きを罰する危険を緩和はするが除去はしない」とも断っている3。二つの軸が離れうるという読み方は本稿のものだが、その素地は RINSE 自身が置いている。

ここで一つ、断っておくべきことがある。RINSE の16%・20%は、まさに単一指標による閾値での間引きから得られた結果だ。だから警戒すべきなのは間引きそのものではない——一つの設定で効いた単一の指標を、別の設定や別の粒度へそのまま持ち込むことである。これも本稿の一般化にあたる。

実務上の帰結は明確だ。「良いデモ」は、まだ一つの定義に収束していない。だから、なめらかさのような単一の指標だけで手元のデータを機械的に間引くのは早い。RINSE と Re-Mix の間に見えたρ≥0.89という一致は、なめらかさを重みに足しても Re-Mix の配分がほとんど動かないことを示すが、STAIR が突く「同じ実演の中のどの瞬間が濃く教えているか」という問いには答えない。二つの問いは別物であり、一つの指標が両方を同時に解決すると期待すべきではない。

手元にあるデモデータセットを、どう扱うか

出典4件

  1. Open X-Embodiment Collaboration（Abby O’Neill, Abhinav Gupta, Chelsea Finn, Pieter Abbeel, Sergey Levine ほか多数の共著者）, “Open X-Embodiment: Robotic Learning Datasets and RT-X Models”（arXiv:2310.08864, 2023年10月13日投稿）。34の研究室が持ち寄った60種の既存ロボットデータセットを、22種のロボット構成・527種のスキル・160,266件の課題にわたり共通形式へ変換して統合。このうち9身体ぶんの混合（実験当時のデータセット全体）で学習した高容量モデルRT-2-Xは、他ロボットのデータセットには存在するが評価対象ロボット自身の学習データには含まれない作業で、単体ロボットのデータのみで学んだRT-2よりおよそ3倍の性能を示したと報告する。本稿では、他ロボットのデータからの転移が、評価対象ロボット単体では届かない作業を可能にした側の一次証拠として引く。https://arxiv.org/abs/2310.08864 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

  2. Joey Hejna, Chethan Bhateja, Yichen Jiang, Karl Pertsch, Dorsa Sadigh, “Re-Mix: Optimizing Data Mixtures for Large Scale Imitation Learning”（arXiv:2408.14037, 2024年8月26日投稿）。分布に関して頑健な最適化（DRO, distributionally robust optimization）を用い、可能な下流領域にわたる最悪ケース性能を最大化するようデータ配分を選ぶ。早期打ち切り・行動の正規化・離散化というロボット学習特有の工夫を組み込む。Open X-Embodiment のデータで実験し、学習した領域重みで評価課題の平均成功率が80%となり、均等配分の42%を38ポイント、RT-X汎用方策の学習に使われた人手選定配分の48%を32ポイント上回ったと報告。本稿では、どのデータをどれだけ使うかを学習で決める側の一次証拠として引く。原典は同じ重みを、配合の変更にも、データを25%まで削る際の選別にも使っている。https://arxiv.org/abs/2408.14037 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  3. Soham Kulkarni, Raayan Dhar, Yuchen Cui, “Learning from the Best: Smoothness-Driven Metrics for Data Quality in Imitation Learning”（arXiv:2604.23000, 2026年4月24日投稿・査読前）。ロボットの実演データを軌道のなめらかさで評価する RINSE（Ranking and INdexing Smooth Examples）を提案。方策のアーキテクチャに依存せず軌道データのみを見る、周波数領域の規則性を測る SAL（Spectral Arc Length）と、接触情報も使う空間的な TED（Trajectory-Envelope Distance）の二指標を用いる。RoboMimic の Transport（multi-human, 300本中50本）で SAL 選別が16ポイント高い成功率を報告する一方、同じ表の Square では選別が全データを下回る。実機操作でTED選別が20%向上を半分のデータで、STRAP経由のLIBERO-10再ランキングで TED が平均5.6ポイント・SAL が4.4ポイント改善（課題ごとの結果はまちまちで退行する課題もあると原典が明記）。RINSE の重みを組み込んだ配分と、組み込まない Re-Mix 配分の順位相関ρ≥0.89を報告。四つの数値はそれぞれ異なる設定（RoboMimicシミュレーション／実機操作／STRAP経由LIBERO-10／Re-Mix比較）で測定されており、互いに合算・移し替えはできない。https://arxiv.org/abs/2604.23000 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15

  4. Mingyu Liu, Zeju Li, Jiuhe Shu, Hanqing Wang, Yuhao Chao, Hao Chen, Chunhua Shen, “Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments”（arXiv:2606.15587, 2026年6月14日投稿・改訂2026年7月15日・査読前）。熟練した遠隔操作者は成否を分ける位置合わせの瞬間を短時間に圧縮するため、効率のよい実演は自由空間の冗長な動きに偏り、精密な局面での教師信号が薄くなると指摘。短時間の決定的動作を密な動作特徴の教師信号に変換するSTAIR（Spatio-Temporal feature As an Interface for Robot learning）を提案。改訂版（v2, 2026年7月15日）の Table 2 は、効率のよい実演のみで学習させた場合の成功率44.4%を STAIR で54.4%へ引き上げ、速度を落として撮った実演での56.7%に接近させたと報告する。なお v2 の要旨と貢献一覧は初版の値（50.0→62.2、64.4）のまま更新されておらず、表と一致しない。独立した研究グループによるもので、RINSEとは異なる著者陣・異なる評価設定による査読前論文。https://arxiv.org/abs/2606.15587 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。