Physical AI

触覚基盤モデル——接触操作の向上と、センサ間転移の壁

2026/7/17 （更新: 2026/8/31）

🤖 AIが執筆しています

なぜ、触覚が要るのか

器用な操作の難所は、たいてい目に映らないところにある。物が指の中で滑り始めているか、押しつける力が強すぎないか、接触が安定しているか——こうした状態は、カメラと言語モデルだけでは確実には読めない。TouchWorld の著者らはこの点を出発点に置く。視覚・言語は「力・すべり・接触の安定といった隠れた接触状態を確実には明かせない」¹。だから触覚センサの信号を、操作のループに組み込む必要がある。

問題は、触覚をどうモデル化するかだ。触覚がいちばん要るのは、指の中で滑りや力が刻一刻と変わる瞬間で、そこではその場の速い反応がいる。一方、次に何をするかというタスクの判断は、もっと遅いテンポでよい。ところが TouchWorld の著者らによれば、多くの従来手法は、触覚をカメラ画像と同じ「たまに参照する入力の一つ」として遅い頻度でしか読まず、この速い反応と遅い判断を一つのモデルに詰め込んできた。それだと、本来は高速で回すべき接触の反応まで、遅い判断のテンポに引きずられてしまう。ここに、視覚で起きた「基盤モデル化」——大量データで事前学習し、下流タスクへ転移する——を触覚でも起こせないか、というのが2026年の主題だ。

伸びる：接触の多い操作

肯定側の証拠は具体的だ。TouchWorld は処理を階層に分けた。視覚・言語によるサブタスク計画、触覚の世界モデル予測、視触覚を条件にした行動生成、そして高頻度の触覚残差補正——遅い推論と速い接触反応を切り離した設計だ¹。結果、6つの長丁場で接触の多い器用操作タスクで、成功率はクリーンな条件で65.0%、人間による外乱下で53.7%。いずれも最強のベースラインを15.7ポイント・18.5ポイント上回った。もっともこの差は設計一式の差であって触覚単体の寄与ではない。著者らは部品ごとのアブレーションも報告しており、触覚入力を外したときの劣化が最大で、接触の観測がこのベンチマークに不可欠だと結論している¹。

データ側からは H-Tac が攻めた。触覚を持つ既存データセットは「規模が小さく、接触の範囲が狭い」——著者ら自身が認める弱点だ²。そこで彼らは、一人称視点の人間の映像を軸に、160時間・300超のタスク・13.5万エピソード規模の触覚-行動データを構築した。ただし内訳は重要だ。大半（約106時間・12.48万シーケンス）は ARCTIC・DexYCB・H2O といった既存の公開データセットへの再注釈である。新規に収録したのは机上作業の37.2時間・947エピソードだけで、残る17.8時間・9,563エピソードは合成データ生成基盤 InternData-A1 の既存ストリームに触覚を後付けしたものだ（原典の節題も「Tactile-Augmented」）。∴ 160時間のうち、物理的に触覚を測ったのは37.2時間にとどまる。しかも再注釈部分の接触ラベルは実測ではなく、MANOハンドメッシュ（778頂点）と物体メッシュの距離をしきい値処理して推定した二値だ²。ここで当然の疑問が出る——映像そのものには触覚センサがないのに、どうやって「触れた感覚」を採るのか。答えは、映像だけに頼らず三通りで触覚を補うことだ。既存の手-物体データでは、手と物体の3Dモデルがどこで触れ合ったかを形状から推定して接触の当たり所を作る。自前の机上作業の収録では、被験者に触覚グローブを着けて指の圧力を実測する。合成データ側では、生成パイプラインに軽量な触覚記録器を足して接触力と接触パッチ（位置・法線・距離・力）を書き出す——実測ではなくシミュレータ内部の量で、接触に至らない近傍は距離減衰の擬似接触信号に変換している。これら出所の違う信号をすべて共通の手のモデル上に射影してそろえ、触覚と行動を統一した空間で事前学習する枠組み（TTP）にまとめた²。人間の触覚から学んだ知識を、細かなロボット操作へ転移させ、頑健な汎化を示したと報告する。触覚を「基盤モデル」として扱う筋は、少なくとも自作の評価では機能している。

だが、触覚は視覚のようには転移しない

視覚の基盤モデルが強いのは、カメラがほぼ共通だからだ。どのカメラで撮った画像も、同じ「画素の並び」に落ちる。触覚はそうではない。Gupta らが ICLR 2025 で示したのは、触覚センサ間の転移の欠如という構造的な壁だ³。センサの設計・製造のばらつきが「触覚信号の大きな違い」を生み、あるセンサで学んだモデルや知識を別のセンサへ移すことを妨げる。

これは触覚基盤モデルの夢に直接刺さる。GelSight 系で集めたデータで事前学習しても、別の光学式センサではそのまま使えない。彼らの対処は、多様なセンサ設計をシミュレーションで生成して学習させ、最小限の較正で未知のセンサへゼロショット転移させることだった³。ただし、その対処が効いたと言える範囲も広くはない。学習も評価も、GelSight 系の平らなゲルパッドを持つ光学式センサにほぼ限られる。光学設計がこの系から外れる DIGIT では転移が相対的に落ちる、と著者ら自身が書いている——シミュレーションで作った設計の多様性の中に、その設計が無かったからだ、というのが著者らの見立てだ³。裏を返せば、そこまでしても転移しきらない——「触る」の基盤モデルは、「見る」ほど無料では汎用化しない。これは否定側だけの見立てではない。TouchWorld の著者ら自身、限界の節で別の触覚センサや手の形状へ移すには較正・正規化と、おそらく少量の適応データが要ると書いている¹。

効くのは、いつも・どこでも、ではない

もう一つの留保は、触覚を足せば必ず伸びるわけではない、という点だ。ContactWorld は視触覚の世界モデルで「何が効くのか」を切り分けた⁴。ただし土俵はシミュレータだ——12課題はいずれも触覚シミュレーション基盤 TacSL（Isaac Gym）上に構築されており、実機での確認はバルブ回し1課題（Franka + GelSight R1.5、各10試行）にとどまり、しかもそこでは向きが変わる。実機で最も良かったのは点群を触覚なしで使ったとき（90%）で、著者らは深度や力場の触覚表現が実機では一貫して改善しないと書き、「シミュで見られた再構成触覚の強い優位は実世界へ完全には転移しない」と、付録の実機節で明記している。物理エンジンから直接取れる量が、実機ではマーカ追跡・深度推定・力推定・較正を経て再構成されるためだ、というのが著者らの見立てだ⁴。付録ではなく本文に置かれた結論節のほうは、「点群と触覚の力場を組み合わせた表現が一貫して最良」と無留保に書いている。限界として挙がるのは課題が単段階中心であることと評価ホライズンが短いことの2点で、シミュレーション限定であることも、実機で向きが変わることも入っていない。

その12課題を、12〜48ステップ先という4つの予測ホライズンとあわせて平均すると、点群による視覚だけで計画成功率32.1%、そこへ触覚の力場表現を足して36.1%——伸びは4ポイントにとどまった。触覚なしを上回ったのは3つの触覚表現のうち力場だけで、深度（30.2%）と生の触覚画像（30.7%）は32.1%を下回っている。もっとも、その 32.1% 自体が手首視点20.7%・正面視点22.0%から点群表現へ切り替えて得た大きな伸びであり、著者らの主眼は「触覚は弱い」ではなく表現の選び方が効くという点にある。しかも触覚が効くのは主に予測を先まで伸ばしたときで、12ステップ先では52.1%→54.4%（+2.3pt）だが、48ステップ先では16.0%→20.5%（+4.5pt）と差が開く。近い先だけ見るなら、上乗せは小さい。著者らはこの48ステップの伸びのすぐ後で、伸びは表現に強く依存し、手首視点のように視覚が局所的で遮蔽されがちな条件では触覚の伸びが弱く一貫しないと自ら断ってもいる⁴。

著者らの結論は、量ではなく噛み合わせだ。効果を決めるのは「触覚をどれだけ足すか（modality scaling）」ではなく、「触覚が視覚表現とどれだけ両立するか（cross-modal representation compatibility）」だった⁴。シミュレータ上では、空間構造と時間的な連続性を併せ持つ表現が接触タスクの計画を最も良くした。実機でプラスに振れた触覚は、生の触覚画像（TacRGB）を視覚が部分観測な条件に足したときだけだった——手首視点で70%→90%、正面視点で70%→80%。ただし各条件10試行なので、これは成功回数でいえば2回と1回の差であり、著者らの書き方も、局所的な触覚の見えは視覚が部分的にしか観測できないときに接触の手がかりになりうる、と示唆する形にとどまる。しかもこの向きは、シミュレーションで見えた向き——部分観測な視覚ほど触覚が効きにくい——とは逆だ。視覚が既に強い点群条件で触覚を足すと、実機では深度70%・生の触覚画像80%・力場70%と、いずれも触覚なしの90%を下回る⁴。触覚は魔法の追加センサではなく、視覚と整合したときに初めて効く補助線だ——ただしそう言える根拠は、実機のこの2条件ではなく、12課題を各100試行で回して「効くのは触覚の量ではなく視覚表現との両立だ」と結論づけたシミュレーション側にある。それがシミュレーションの中での結論だという留保は、そのまま残る。

この報告を、どう割り引くか

肯定側の2本は、まだ査読前のプレプリントの段階にある。触覚が効いたと言える成果を測ったベンチは、どちらも各チームの自作で、独立再現もこれからだ。並ぶ数字は著者らが自分の結果を読んだものであり、確定した順位ではない。共通ベンチでの比較が無いわけではない——H-Tac は LIBERO・LIBERO-plus・RoboCasa の3つの公開ベンチで、20を超える公表済みモデルと突き合わせている。ただしこの3つには触覚が無いため、直前の行動と、いま自分の関節がどうなっているかという情報との差を、触覚の代わりとして流し込んでいる。伸びは LIBERO 平均で 98.0→98.1、RoboCasa で 53.9→55.1、ゼロショットの LIBERO-plus で 71.7→75.7。触覚を足した学習の負担にもかかわらずベースラインと同等の結果を保った、と著者ら自身が書く水準である²。∴ 触覚が効くと言えているのは、いまのところ触覚が要る課題を自分で組んだ土俵の上だ。TTP（H-Tac で事前学習したモデル） は実機の結果を課題ごとに開示している（分布内10試行。成功率で VaseWiping 片手100%・両手90%、PickPlaceChips 80% の一方、PlugIn は 10〜20%。PaperFolding の84%だけは成功率ではなく、折り目の付いた長さが元の線の何割かという別の尺度だ）——強い課題と弱い課題の開きこそが実像で、平均だけを見ると読み違える。そして同じ表は、もう一つ別のことも語っている。同じ VLA（π0.5）に触覚を足しただけでは、Peeling（Inspire）が 10.63→9.27 cm、VaseWiping 両手が 50%→40% と下がる。PlugIn の2課題は 0% のまま動かない。数字を動かしたのは触覚を足したことではなく、触覚で事前学習したほう（TTP）だった²。原典が挙げるカテゴリ平均（Fine-grained 96.7% など）にいたっては、TTP 自身を100%と置いた比例換算であって達成度の絶対値ではない、と著者らが括弧で断っている²。TouchWorld の伸びも6タスクという限られた土俵の話だ——ただし1課題あたり訓練200軌跡・実機評価100ロールアウトで測っており、試行の薄さという弱点は H-Tac とは別種である¹。

割り引いたうえで、なお両側が食い違わない点がある。触覚は器用な操作を確かに伸ばす——ただし視覚のようにはそのまま転移せず³、上乗せは条件次第で小さい⁴。そして壁は測れていて、動いてもいる。センサ不変の表現をシミュの多様化で作る筋は、光学式センサの範囲では前進している³。もっとも、ここで挙げた肯定側の2本が読む触覚は主に圧力の配列型だ（TouchWorld は手に着ける触覚グローブ、H-Tac は人の側のグローブとロボットハンドの圧電抵抗の信号を、共通の手モデル上の351次元の統一空間へ射影して扱う）。配列型への一般化は今後の課題で、転移が保たれるかは追加の検証を要する、と Gupta ら自身が書いている³。ただし H-Tac は実機9課題のうち2課題を視触覚（光学式）のグリッパで回しており、配列型だけの話ではない²。壁は動いているが、動いているのはまだ隣の区画が中心だ。「足すより噛み合わせる」という設計原則も見えてきた⁴。「触覚を付けた」と言うたびに「どのセンサで・どの場面で・視覚と噛み合っているか」を問い直す——触覚は、付ければ効く装備ではない。視覚と噛み合ってこそ、活きる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。