Physical AI

新居の掃除はできる、でもベンチは90→0——ロボット汎用モデル（VLA）の『汎化』を測る

2026/7/16 （更新: 2026/7/16）

🤖 AIが下書き・人間が編集

要点： 「一つのモデルで、あらゆるロボットにあらゆる作業を」——Vision-Language-Action（VLA）と呼ばれる汎用ロボット基盤モデルは、いまPhysical AIの主役だ。実際、Physical Intelligence の π0.5 は、学習に使っていない新しい家でキッチンや寝室を片づける長時間の作業をやってのけたと報告する¹。だが同じ時期、その「汎化」に厳しい実測が突きつけられた。標準ベンチ LIBERO で90%超を出すモデルが、視点やロボット状態をわずかに変える汎化設定では0.0%まで崩れた——action系列とレイアウトを丸暗記していただけだ、という監査だ²。別の頑健性分析でも、視点や初期状態を少しずらすと95%から30%未満に落ち、しかもモデルは言語指示をほぼ無視していた³。ただし話はそこで終わらない。脆さの多くは「空間のとらえ方」のズレで、4千パラメータの軽い調整で視点精度が48.5%→87.1%まで戻る、という反証もある⁴。汎化は実在する。だが、標準ベンチが映す数字は、その実力を過大にも過小にも歪めている。

VLAとは何を約束したのか

VLAは、カメラ画像と言語指示を受け取り、ロボットの動作（各関節をどう動かすか）を直接出力するモデルだ。膨大な操作デモで学ぶことで、道具ごとに専用制御を書く代わりに、一つのモデルが多くの身体・多くの作業を担う——これがLLMに続く「基盤モデル」の身体版である。

約束は二つ。新しい環境への汎化（訓練で見ていない部屋・物でも動く）と、別の身体への転移（腕型で学んだことが移動ロボットや人型でも効く）。2026年前後、その両方で強い前進が報告された。

見たことのない家で、家事はこなせる

前進の象徴が π0.5 だ¹。Physical Intelligence は、エンドツーエンドで学習したロボットシステムが、まったく新しい家で、キッチンや寝室の掃除のような長時間・器用な操作をこなせることを初めて示した、と報告する。ラボの決め打ち環境ではなく、未訪の実世界で動く——これは「汎化」という言葉に値する成果だ。

反証を探す側の研究も、汎化そのものを否定してはいない。むしろ後述のように、脆さは思ったより浅く、直せるという主張さえ出ている⁴。だから出発点は「VLAは汎化しない」ではない。問いは、どこまで・どの条件で汎化するのか、そしてその汎化を、いま我々は正しく測れているのか、である。

標準ベンチ「LIBERO」とは何か——なぜ標準で、どこが穴か

批判の前に、的である LIBERO 自体を説明しておく。これが分からないと、「90%が0%に崩れた」が致命的な指摘なのか、単に欠陥ベンチ一つの話なのか、読者は判断できない。

何を、どう測るのか。 LIBERO は、ロボット操作をシミュレーション上で採点するベンチマークだ⁵。物理エンジン MuJoCo と robosuite の上に、言語で指示された130の操作課題を用意し、各課題に人間の遠隔操作による50件のデモ（画像＋関節状態＋7自由度の連続動作の系列）を添える。モデルはそれを模倣学習し、シミュレータ内での成功率で評価される。課題は空間配置（Spatial）・物体（Object）・ゴール（Goal）・長い手順（Long）の4部分集合に分かれ、変える要素を軸ごとに切り分ける設計で、元は「新しい課題を覚えても前を忘れない」生涯学習の研究のために作られた。

なぜ標準になったのか。 実力より利便性による。実機評価は高価で、同じロボット・同じ部屋を他者が再現できないから論文間で数字を比べられない。対して LIBERO はシミュレーションゆえ誰でも同条件を再現でき、デモ付きで、課題が標準化されている。だから「VLAを出したらまず LIBERO の成功率を載せる」が定着し、比較の共通言語になった（ネットワーク効果）。強みは、この再現性・比較可能性・軸ごとの切り分けにある。

どこが穴か。 同じ設計が弱みに直結する。

• シミュレーションと実世界のギャップ。
• 固定した視点・レイアウトでの成功率は「丸暗記」で稼げる。 採点がテスト条件の摂動を含まないため、動作系列を暗記しただけのモデルと課題を理解したモデルを区別できない。
• SOTA の飽和。 この1年半で平均75%から98%へ上がり、上位モデルを分離できなくなっている。額面の高得点は、もう情報を持たない。

ほかのベンチではだめなのか。 代替はある。CALVIN（長い言語条件つき手順）、Meta-World や RLBench（多課題の操作、いずれもシミュレーション）、実機寄りの SimplerEnv や実ロボット試験。ただし選択にはトレードオフがつく。シミュレーション系（LIBERO 含む）は再現性・比較可能性を取る代わりに丸暗記と sim-to-real のリスクを負い、実機評価は現実性を取る代わりに再現性・比較可能性を失う（π0.5 の家事デモが「本物だが独立再現待ち」なのはまさにこの理由だ）。LIBERO が勝ったのはこの利便性ゆえで、だからこそ「暗記に無防備な数字」が分野の物差しになってしまった。その物差しの飽和と脆さを突いたのが、次の監査群である。

ベンチの90%は、丸暗記だった

その「測れているのか」に、鋭い否を突きつけたのが LIBERO-PRO だ²。広く使われるロボット操作ベンチ LIBERO で、既存モデルは90%超の正解率を出す。ところが Zhou らが、物体を無関係なものに差し替えたり、指示を壊したりする汎化設定を作ると、正解率は0.0%まで落ちた。モデルは、対象が別物に変わっても同じ掴み動作を続け、指示が文字化けしても出力を変えなかった——課題を理解していたのではなく、訓練データの動作とレイアウトを丸暗記していた、というのが著者らの結論だ。

同じ方向を、Fei らの LIBERO-Plus が体系的に裏づける³。カメラ視点・ロボット初期状態・言語指示・照明・背景・センサノイズ・物体配置の7要素を一つずつ揺らすと、視点や状態のわずかな変化で95%から30%未満へ崩れた。そして最も示唆的なのは、モデルが言語指示をほぼ無視し、視覚だけに頼っていた点だ。「言語で指示された作業を汎用にこなす」というVLAの看板からすると、これは痛い。高いベンチスコアは、真の能力を意味しない。

脆さの正体は「空間のとらえ方」——だから直せる

では脆さは、モデルの根っこにある宿命なのか。Li らの反証は「否」と言う⁴。彼らは、性能劣化の主因が物理の理解不足ではなく、空間モデリング（視覚表現の位置合わせ）のズレにあると切り分けた。そして、わずか4千パラメータの軽い変換（Feature Token Modulation）を足すだけで、視点変化での正解率が48.5%→87.1%へ回復し、470万パラメータの特徴線形適応（FLA）では90.8%に達したと報告する。

つまり、事前学習済みVLAには「使われていない汎化能力」が眠っており、丸ごと再訓練せずとも、狙った軽い手当てで引き出せる。ベンチ上の崩壊は、能力の不在ではなく引き出し方の失敗でもある、という読みだ。

この食い違いをどう読むか

三者三様に見えるが、留保を両側に置くと像が結ぶ。AI有利側：π0.5 は開発元（Physical Intelligence）自身の報告で、独立の再現や、成功率の定量的な内訳は慎重に見るべきだ¹。Li らの「直せる」も、対象は主に視点ズレで、あらゆる汎化を回復したわけではない⁴。AI不利側：LIBERO-PRO / Plus は特定のベンチの穴を突く監査で、「LIBEROで0%」は「実世界で無能」と同義ではない——現に π0.5 は別の土俵で動く²³。ベンチの脆さと、実運用の可否は、別の軸だ。

それでも、独立に効く教訓が残る。標準ベンチの高スコアは、汎化の証明にならない——これは監査側（丸暗記の露呈）とも、反証側（ベンチ崩壊は手当てで直る＝スコアが能力を正しく測れていない）とも、矛盾しない。数字が指すのは「訓練分布への適合」であって、「新しい状況での理解」ではないことがある。

実務で何を見るか

VLAを現場に入れる側なら、勘所は絞れる。

• 標準ベンチのスコアを額面で受け取らない。 LIBERO 90%は、視点や物体を変えると崩れうる²³。導入前に、自分の環境の摂動（視点・照明・配置・言い換え）で必ず試す。
• 言語で効いているかを確かめる。 指示を言い換えたり壊したりして、挙動が変わるかを見る。変わらなければ、モデルは言葉でなく見た目に頼っている³。
• 汎化を「作る」対象として扱う。 脆さの多くは空間のズレで、軽い適応で直りうる⁴。頑健性は、祈るものではなく設計するものだ。
• 実運用の汎化と、ベンチの汎化を分ける。 未訪環境で動く成果（π0.5）は本物だが、その一般性は独立検証と自分の現場で確かめる¹。

「一つのモデルで、あらゆるロボットを」という約束は、一部は現実になり、一部はまだ看板だ。評価的な主張として要点はこうだ：汎用VLAの汎化は実在するが、いま広く使われる標準ベンチは、その実力を正しく映せていない。だから額面のスコアで決めず、自分の摂動で測り、足りない頑健性は作る——それが、この食い違いを現場の判断に落とすための第一歩になる。

この記事はAIが下書きし、人間が編集・公開しています。