ロボット評価は試行10回、40ポイント差でも区別できない

Gemini Robotics Team, “Gemini Robotics: Bringing AI into the Physical World”（arXiv:2503.20020, 2025年）。実機 Table 6 のキャプションは Reported rates are the average over 10 trials for banana handover and 9 for fold dress and wiping.、シミュレーション Table 5 は Reported numbers are the average success rate over 50 trials with random initial conditions.。本文は All empirical evidence presented in this section is based on rigorous real-world robot experiments, with A/B testing and statistical analysis と述べ、付録は This allows us to use a pairwise t-test to more robustly evaluate improvements over baselines. と記す。ただし全文で t-test はこの1箇所のみで、p値の数値表記も信頼区間の報告も0件。§3.2 の主結果図（図16）は Gemini Robotics significantly outperforms the baselines. と結ぶが、20課題×3手法の棒グラフに誤差棒は無く、図21・図23も同じである（誤差棒は抽出したテキストに写らないので、図そのものを見て確かめた）。付録は二値の判定に連続指標を併記しており、Each evaluation is marked either success or failure (0 for failure, 1 for full completion). Furthermore, we also use a continuous metric, progress score, between 0 and 1, reflecting the proportion of the task completed. と記す。本稿が挙げた区間とp値は、論文が報告した成功回数と試行数から本稿が計算したもの（Newcombe 法の差の95%区間および Fisher 正確検定の両側p）。ただし N=20 の 6/20 対 14/20 だけは報告値ではなく、同じ30%対70%を試行20回に置き直した仮想の内訳に同じ方法を当てた計算である（20回で40ポイント差になる13通りの内訳をすべて計算すると、区間の下限が最も0に近いのがこの内訳で [+9.0, +61.9]、p = 0.026）。 https://arxiv.org/abs/2503.20020 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

Yakefu, Xie ほか（Dexmal ＋ Hugging Face）, “RoboChallenge: Large-scale Real-robot Evaluation of Embodied Policies”（arXiv:2510.17950, 2025年）。評価手順の節で One of the major obstacles in real machine testing is the dramatic variation of the test results from run to run. In our experience, even with the same set of props, task and model, the measured success rate can change even from 0% to 100% or vice versa. と述べ、続けて Even with a sufficient number of runs, the recorded success rate varies considerably. The adaptive testers get better results. と報告する。物体配置の「うまくいきやすい一角」（there is a particular favorable set of object positions in which the task is more likely to succeed）を図で示している。同じ節は解決策まで書いており、参照エピソードの初期フレームを重ねて配置を合わせる controlled tester を導入して the initial state of the scene and objects is largely fixed across the evaluation of different models と結ぶ。指標も二値だけではなく、We measured the end-to-end task-level success rate and a score that measures the partial progress of the tasks と述べて2列を並べる。∴ 原典の論旨は「ばらつきが大きいから手が無い」ではなく「ばらつきが大きいから初期状態を統制した」である。 https://arxiv.org/abs/2510.17950 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷

TRI LBM Team, “A Careful Examination of Large Behavior Models for Multitask Dexterous Manipulation”（Science Robotics 11(113), eaea6201, 2026年4月15日。DOI 10.1126/scirobotics.aea6201。arXiv:2507.05331）。条件あたり50ロールアウト、盲検A/B、多重比較補正を実施し、周辺信頼区間の重なりで差を判定するのは誤りだと明示する（本稿の記述は arXiv 版に当てたもので、掲載版の本文は照合していない）。本稿が調べた一次論文12本のうち、必要な検定を実行していた唯一の例。 https://doi.org/10.1126/scirobotics.aea6201 https://arxiv.org/abs/2507.05331 ↩ ↩² ↩³

LingBot-VLA, “A Pragmatic VLA Foundation Model”（arXiv:2601.18692, 2026年）。実機評価で N=15 を統計的頑健性の根拠として挙げる（Each model undergoes 15 trials per task-robot pair for statistical robustness.）が、信頼区間は報告していない。ただし統制のほうは明記しており、同じ節が randomized object positions and orientations・Evaluation environments are kept constant と述べ、記録を rosbag 形式で公開するとも書く。指標も Progress Score (PS): measures partial task completion を成功率と併記する。本稿の論点（試行数の宣言と統計的推論の実行は別）が2026年の一次資料にも当てはまる例。 https://arxiv.org/abs/2601.18692 ↩ ↩² ↩³ ↩⁴

Snyder, Hancock, Badithela ほか（Toyota Research Institute ＋ Princeton）, “Is Your Imitation Learning Policy Better than Mine? Policy Comparison with Near-Optimal Stopping”（Robotics: Science and Systems XXI, 2025年。DOI 10.15607/RSS.2025.XXI.077。arXiv:2503.10966）。問題設定として policy comparison is fundamentally constrained by a small feasible sample size (e.g., 10 or 50) due to significant human effort and limited inference throughput of policies と述べる。試行数を減らす側の論文であり、it reduces the number of evaluation trials by up to 32% as compared to state-of-the-art baselines, while preserving the probabilistic correctness と報告する。ただし「最大32%」は既存の逐次手法に対する上乗せであって、固定バッチに対する削減ではない。∴ この手法固有の上積みは桁の削減ではない。 なお著者自身は要旨で our method is strongest in the most challenging comparison instances (requiring the most evaluation trials) と述べており、難しい事例ほど有利だと主張している。近接した方策どうしでは棄権する設計であることも著者自身が述べている。また On the progressively harder cases the number of required samples increased 5-10 times over the easiest とあり、必要試行数そのものが課題の難度で5〜10倍動く。 https://arxiv.org/abs/2503.10966 ↩

Badithela, Snyder, Zha, Mikhail, O’Kelly, Dixit, Majumdar, “Reliable and Scalable Robot Policy Evaluation with Imperfect Simulators”（arXiv:2510.04354v1, 2025年10月5日公開。ICRA 2026 に採択され、2026年6月4日に本会議で発表〈Paper ThI2I.206〉。併設ワークショップ Real2Sim2Real にも採択されている。2026年9月22日時点で Crossref に会議録の記録は無い）。Snyder らの逐次検定の論文⁵と著者を三名（Badithela・Snyder・Majumdar）共有する後続論文で、§2 に researchers typically compare policy performance using only 20-30 real-world trials. However, such small sample sizes are insufficient to draw statistically significant conclusions in policy comparisons [9] と書き、[9] に Snyder らの論文（arXiv:2503.10966）を挙げる。同じ段落は続けて a recent study compares generalist large behavior models to single-task policy counterpart using rigorous statistical evaluation methods, incorporating A/B real-world testing と書き、TRI の LBM 論文（arXiv:2507.05331）を [3] に挙げる。要旨は枠組みを a small number of paired real and simulation evaluations are used to rectify bias in large-scale simulation・confidence intervals on mean policy performance と述べ、効果を saves over 20 − 25% of hardware evaluation effort to achieve similar bounds on policy performance と報告する。なお序論は report empirical success rates of policies evaluated on a small number (e.g., 20-40) of trials と書いており、§2 の 20-30 とは幅が違う。ただし Snyder らの本文に 20-30 という数は無く（arXiv の v1〜v4 と RSS 掲載版のいずれにも）、在るのは (e.g., 10 or 50) と (e.g., 10–60) である。この数はその後 2 本に写された。PhAIL（Arkhangelskiy, arXiv:2605.29710v1, 2026年5月28日公開）は STEP [27] concurs: “20–30 real-world trials are insufficient for statistically significant conclusions.” と、引用符つきで Snyder らの言葉として引く（Snyder らの本文に 0 件）。FailBench（Navasardyan, Danielyan, Davtyan, arXiv:2609.03611v1, 2026年9月3日公開）は policies typically compared on 20 to 30 real-world trials, too few to separate them with statistical confidence (Badithela et al., 2025) と、Badithela らを出典に引く。∴ 「20〜30試行」は根元の論文の数ではなく後続論文の数であり、それを Snyder らの言葉として引くのは誤引用である。PhAIL と FailBench は 2026年9月22日時点で Crossref・OpenAlex・OpenReview に掲載版の記録が無い arXiv のプレプリントである。https://arxiv.org/abs/2510.04354 ／ ICRA 2026 プログラム: https://ras.papercept.net/conferences/conferences/ICRA26/program/ICRA26_ContentListWeb_5.html#thi2i_206 ／ PhAIL: https://arxiv.org/abs/2605.29710 ／ FailBench: https://arxiv.org/abs/2609.03611 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

Atreya, Pertsch, Lee ほか, “RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies”（Proceedings of the 9th Conference on Robot Learning, PMLR 305:336-364, 2025年。CoRL 2025 の掲載版。arXiv:2506.18123）。7大学にまたがる7つの汎用方策を612件の対比較で評価する。基準順位は asking evaluators to score the remaining five policies after each A/B evaluation on the same task で作られ、In total, we use 4284 evaluations to compute this oracle ranking（＝612×7）。集計しているのは二値の成否ではなく部分進捗スコアで、図5右のキャプションは "Oracle" policy ranking, aggregated from progress scores of 4284 evaluation rollouts. と書く。1回の対比較は2方策を back-to-back で走らせるので、612件＝1,224ロールアウト、残る5方策ぶんを合わせて全体が 4284 policy rollouts になる。別立ての実験ではなく、同じセッションの中で7方策すべてを回した結果である。順位づけの用途を支える最も強い資料だが、示されている不確かさは図7までである。Rank correlation as a function of number of evaluation episodes と題した2枚のパネルは、両曲線に陰影帯を添えて描いている（帯が何のばらつきを表すかは、キャプションにも本文にも書かれていない）。方策どうしの差についての信頼区間・p値は、本文・表・付録のいずれにも無い（confidence interval・error bar・standard error・p値の数値表記はすべて0件）。∴ 順位の妥当性を支える資料であって、水準の区別可能性を支える資料ではない。なお初版は2025年6月で TRI の公開（同年7月）より早いが、2025年11月の改訂版でも TRI への参照は無い。 https://proceedings.mlr.press/v305/atreya25a.html https://arxiv.org/abs/2506.18123 ↩ ↩² ↩³ ↩⁴ ↩⁵

本稿の分析（2026年9月22日断面）。RoboChallenge の課題別順位表は api/v1/leaderboard/leaderboard_task_all.json が課題×提出ごとに成功率とスコアを1セルずつ返し、run 一覧 api/v1/runs/runs_list.json が同じ提出・同じ課題の run を時刻つきで返す。run が2本以上ある441セルのうち、表示が最新の run と一致するのは423、スコア最良の run と一致するのは262（両方に一致するセルを含む）、どちらとも一致しないのは8である。Qwen-RobotManip の技術報告（Qwen Team, arXiv:2606.17846v2, 2026年）は Table 14 に GR00T-MULTI の平均成功率を 15.33 と載せるが、同じ表示名の30セルを平均すると13.33で、30課題のうち7課題の値が違う。順位表の値を引く6本のうち、引いた時点を書いているのは、DM0（DM0 Team, Dexmal ＋ StepFun, arXiv:2602.14974v1, 2026年）が Table 1 に The data is reported before 20260210 と、GigaBrain-0.5M*（arXiv:2602.12099v2, 2026年）が ranks first on the leaderboard as of February 9, 2026 と書く2本で、A1（arXiv:2604.05672v3）・StarVLA-α（arXiv:2604.11757v2）・PACE（arXiv:2606.00537v2）・Qwen-RobotManip は書いていない。 https://robochallenge.ai/api/v1/leaderboard/leaderboard_task_all.json ／ Qwen-RobotManip: https://arxiv.org/abs/2606.17846 ／ DM0: https://arxiv.org/abs/2602.14974 ／ GigaBrain-0.5M*: https://arxiv.org/abs/2602.12099 ↩

N. A. Lynnerup, L. Nolling, R. Hasle & J. Hallam, “A Survey on Reproducibility by Evaluating Deep Reinforcement Learning Algorithms on Real-World Robots”（Proceedings of the Conference on Robot Learning, PMLR 100:466-489, 2020年。CoRL 2019 の掲載版。arXiv:1909.03772）。先行研究を引いて有意差検定の欠如が誤解を招く報告を生むと述べ、試行数については自身の言葉で In general, the more trials, the easier it will be to support the conclusions with the proper statistics と書く。ただし実機では反復自体が高くつくことも認めており、処方は全ハイパーパラメータの構成ファイル化とブートストラップ法。 https://proceedings.mlr.press/v100/lynnerup20a.html https://arxiv.org/abs/1909.03772 ↩

E. Johns, “Back to Reality for Imitation Learning”（Proceedings of the 5th Conference on Robot Learning, PMLR 164:1764-1768, 2022年。CoRL 2021 Blue Sky track の掲載版。arXiv:2111.12867）。ロボット学習の評価指標は機械学習から借用したもので実世界のコストを測っていない、と論じる。ただし本論文の処方は時間効率であって統計的検出力ではない。本稿はこれを「統計の話の起源」としては扱わない。 https://proceedings.mlr.press/v164/johns22a.html https://arxiv.org/abs/2111.12867 ↩

A. Norton & B. Flynn（NERVE Center, University of Massachusetts Lowell）, “Towards Using Multiple Iterated, Reproduced, and Replicated Experiments with Robots (MIRRER) for Evaluation and Benchmarking”（arXiv:2408.04736, 2024年。ICRA 2024 WOSRA ワークショップ）。反復・再現・追試を区別して積み上げる枠組みを提案する。 https://arxiv.org/abs/2408.04736 ↩

H. Kress-Gazit, K. Hashimoto, N. Kuppuswamy, P. Shah, P. Horgan, G. Richardson, S. Feng & B. Burchfiel（Cornell University ＋ Toyota Research Institute）, “Robot Learning as an Empirical Science: Best Practices for Policy Evaluation”（arXiv:2409.09491v2, 2024年9月20日。2026年9月22日時点で Crossref・OpenAlex・OpenReview に掲載版の記録が無い）。要旨は the dominant metric used in the literature, especially for physical experiments, is "success rate" と述べ、it is common for papers to report this number with little to no information regarding the number of runs, the initial conditions, and the success criteria と続けて、統計解析についても little to no statistical analysis of the findings と書く。実施指針には A/B testing, i.e., interleaving policy rollouts when comparing different policies in a way that is blind to the evaluator を挙げ、§4.2 は Providing a point estimate for success and performance metrics can be misleading と記す。例として 83.3% (15/18) and 64.7% (11/17) の2方策を比べ、even when we cannot draw conclusions regarding which policy is more successful, a detailed evaluation can lead to research insights と結ぶ。TRI の LBM 論文³は参考文献 [52] としてこの指針を引き、the evaluators did not know which policy was being tested (blind testing), policy ordering was randomized の手順と we use a uniform prior over the Bernoulli parameter as suggested by [52] の解析をそこに帰している。Snyder ら⁵は Policy comparison forms the foundation of robot learning as "an empirical science" [28] と、RoboArena⁷は評価条件の統制の文脈で [59] として、Badithela ら⁶は A comprehensive list of best practices for rigorously evaluating robot policies is detailed in [1] と引く。 https://arxiv.org/abs/2409.09491 ↩ ↩² ↩³