Physical AI

ロボットの『触覚』は、視覚のようには転移しない——2026年の触覚基盤モデルが伸ばすもの、伸ばせないもの

2026/7/17 （更新: 2026/7/18）

🤖 AIが下書き・人間が編集

要点： ロボットの器用さの話は、これまで「見る」中心だった。だが視覚と言語だけでは、力・すべり・接触の安定といった、手の中で起きている状態は見えない。2026年7月、これを埋める触覚基盤モデルが相次いだ。TouchWorld は接触の多い操作で最強のベースラインを15.7〜18.5ポイント上回り¹、H-Tac は160時間・13.5万エピソードの人間の触覚データで転移学習の土台を作った²。触覚は、確かに効く。だが「触る」は「見る」ほど汎用化していない。センサの設計が違えば信号が変わり、あるセンサで学んだモデルは別のセンサへ移らない³。効果も条件次第で、視覚に触覚を足しても+4ポイントにとどまる場面がある⁴。伸びるが、まだ「見る」には追いついていない。

なぜ、触覚が要るのか

器用な操作の難所は、たいてい目に映らないところにある。物が指の中で滑り始めているか、押しつける力が強すぎないか、接触が安定しているか——こうした状態は、カメラと言語モデルだけでは確実には読めない。TouchWorld の著者らはこの点を出発点に置く。視覚・言語は「力・すべり・接触の安定といった隠れた接触状態を確実には明かせない」¹。だから触覚センサの信号を、操作のループに組み込む必要がある。

問題は、触覚をどうモデル化するかだ。触覚がいちばん要るのは、指の中で滑りや力が刻一刻と変わる瞬間で、そこではその場の速い反応がいる。一方、次に何をするかというタスクの判断は、もっと遅いテンポでよい。ところが多くの従来手法は、触覚をカメラ画像と同じ「たまに参照する入力の一つ」として遅い頻度でしか読まず、この速い反応と遅い判断を一つのモデルに詰め込んできた。それだと、本来は高速で回すべき接触の反応まで、遅い判断のテンポに引きずられてしまう。ここに、視覚で起きた「基盤モデル化」——大量データで事前学習し、下流タスクへ転移する——を触覚でも起こせないか、というのが2026年の主題だ。

伸びる：接触の多い操作

肯定側の証拠は具体的だ。TouchWorld は処理を階層に分けた。視覚・言語によるサブタスク計画、触覚の世界モデル予測、視触覚を条件にした行動生成、そして高頻度の触覚残差補正——遅い推論と速い接触反応を切り離した設計だ¹。結果、6つの長丁場で接触の多い器用操作タスクで、成功率はクリーンな条件で65.0%、人間による外乱下で53.7%。いずれも最強のベースラインを15.7ポイント・18.5ポイント上回った。

データ側からは H-Tac が攻めた。触覚を持つ既存データセットは「規模が小さく、接触の範囲が狭い」——著者ら自身が認める弱点だ²。そこで彼らは、一人称視点の人間の映像を軸に、160時間・300超のタスク・13.5万エピソードの触覚-行動データを集めた。ここで当然の疑問が出る——映像そのものには触覚センサがないのに、どうやって「触れた感覚」を採るのか。答えは、映像だけに頼らず三通りで触覚を補うことだ。既存の手-物体データでは、手と物体の3Dモデルがどこで触れ合ったかを形状から推定して接触の当たり所を作る。自前の机上作業の収録では、被験者に触覚グローブを着けて指の圧力を実測する。ロボットの収録では接触力の記録器を使う。これら出所の違う信号をすべて共通の手のモデル上に射影してそろえ、触覚と行動を統一した空間で事前学習する枠組み（TTP）にまとめた²。人間の触覚から学んだ知識を、細かなロボット操作へ転移させ、頑健な汎化を示したと報告する。触覚を「基盤モデル」として扱う筋は、少なくとも自作の評価では機能している。

だが、触覚は視覚のようには転移しない

ここで公平を期すべき点がある。視覚の基盤モデルが強いのは、カメラがほぼ共通だからだ。どのカメラで撮った画像も、同じ「画素の並び」に落ちる。触覚はそうではない。Gupta らが ICLR 2025 で示したのは、触覚センサ間の転移の欠如という構造的な壁だ³。センサの設計・製造のばらつきが「触覚信号の大きな違い」を生み、あるセンサで学んだモデルや知識を別のセンサへ移すことを妨げる。

これは触覚基盤モデルの夢に直接刺さる。GelSight 系で集めたデータで事前学習しても、別方式のセンサではそのまま使えない。彼らの対処は、多様なセンサ設計をシミュレーションで生成して学習させ、最小限の較正で未知のセンサへゼロショット転移させることだった³。裏を返せば、そこまでしないと転移しない——「触る」の基盤モデルは、「見る」ほど無料では汎用化しない。

効くのは、いつも・どこでも、ではない

もう一つの留保は、触覚を足せば必ず伸びるわけではない、という点だ。ContactWorld は視触覚の世界モデルで「何が効くのか」を切り分けた⁴。点群による視覚だけで成功率32.1%、そこへ触覚の力場表現を足して36.1%——伸びは4ポイントにとどまった。しかも触覚が効くのは主に長丁場のタスクで、予測誤差と接触の不確かさが時間とともに積み上がる場面だった。短い課題では、上乗せは小さい。

著者らの結論は、量ではなく噛み合わせだ。効果を決めるのは「触覚をどれだけ足すか（modality scaling）」ではなく、「触覚が視覚表現とどれだけ両立するか（cross-modal representation compatibility）」だった⁴。空間構造と時間的な連続性を併せ持つ表現が、接触タスクの計画を最も良くした。触覚は魔法の追加センサではなく、視覚と整合したときに初めて効く補助線だ、というわけだ。

この報告を、どう割り引くか

肯定側の2本は査読前のプレプリントで、成果は各チームの自作ベンチで測られている。独立再現や共通ベンチでの比較はこれからだ。数字は著者らの読みであって、確定した順位ではない。H-Tac の「超えた」は具体的な成功率を伴わない箇所もあり、TouchWorld の伸びも6タスクという限られた土俵の話だ¹²。

それでも、二つの向きから見えるものは一貫している。触覚は器用な操作を確かに伸ばす——ただし視覚のようには転移せず³、上乗せは条件次第で小さい⁴。そして壁は測れていて、動いてもいる。センサ不変の表現をシミュの多様化で作る筋は前進しているし³、「足すより噛み合わせる」という設計原則も見えてきた⁴。「触覚を付けた」と言うたびに「どのセンサで・どの場面で・視覚と噛み合っているか」を問い直す——それが、ロボットの触覚を宣伝から実装へ引き戻す一歩になる。

この記事はAIが下書きし、人間が編集・公開しています。