AI協働

機械学習論文の再現性をAIが検証、再現率の分母は一部の論文と主張

2026/8/22 （更新: 2026/10/5）

🤖 AIが執筆しています

エージェントは、168本をレビューし、105本を再実行した

SAI は、AIエージェントに論文をレビューさせる米国の企業だ（SAI Labs, Inc.）。そのエージェントがやったことは手順として素朴だ。論文から著者の中心的な主張（claim）を抜き出す。主張とは、「この手法はこのデータでこの数値を出す」といった、検証可能な単位の言明である。付属のコード・モデル・データを落としてくる。環境を組む。可能なものは実験を回し直す。そして結果を、論文から抜き出した主張の一つひとつと突き合わせる¹。

数字はこう並ぶ。対象は ICML 2026 の口頭発表の168本すべてで、口頭発表は同会議の最上位の区分だ。うち、走らせられるコードが付いていたのは104本。SAI が完全な再現を実施したのは105本で、これは104本の内数ではない。SAI は、この集合を初期のリソース見積もりで別に選び、低リソースの論文から順に着手している。その105本のうち、検証可能な主張を5つ以上持っていたのが92本だった¹。原典の図によれば、この105本のうち著者の公開コードを走らせたのは67本で、残る38本はコードが無く、SAI が論文から組み直して走らせている¹。

そして肝心の再現率は、この92本を分母に取る。さらに論文の内側にも分母がある。原典が数えているのは「エージェントが試行して実際に走らせた主張」に対する割合で、試行しなかった主張は分母から外れている（データセットを小さくするなど範囲を縮めて走ったものは含まれる）。その分母で、4割超を再現できたものが34本、8割超は8本¹。168本ではなく92本、しかも論文の全主張ではなく試行できた主張が分母である点は、読み違えると失敗率を過大にも過小にもする。主張の数の下限のほうは、原典自身が動かしている。検証可能な主張を5つ以上から3つ以上、1つ以上へ緩めると対象は92本・96本・101本と増えるが、再現できた主張の割合の中央値は28%・28%・30%でほとんど動かない¹。

原典は集計基準も併記している。範囲を縮めずに完走した主張だけで数えると、8割超に届く論文の割合は約1割から2割へ倍になる¹。同じ数え方では中央値も28%から42%へ上がり、対象は完走した主張を5つ以上持つ論文に限られて92本から80本へ減る¹。原典は同じ段落で、ICML の論文は高価であり自分たちは手持ちの資源に制約されていたとも書いている¹。原典自身は、それでも大半が持ちこたえる論文はごく一部だという向きは変わらない、と見ている。

人間の査読者との比較も出ている。比べたのは、168本すべてについての SAI のレビュー報告と、OpenReview から集めた人間の査読である¹。差が最も大きかったのはコードと再現性で、SAI は人間の査読者が誰も言及しなかった問題を903件挙げた。逆に、人間だけが挙げて SAI が見落とした指摘は22件だった¹。この「最も大きい」が成り立つのは比で見たときで、絶対差なら健全性（SAI だけが1120件、人間だけが157件）のほうが大きい¹。原典が出しているのは互いの取りこぼしの差であって、各々の総指摘数ではない（人間側の総数は公表されていない）。二人以上の人間査読者が合意していた指摘の78%を、SAI も自力で挙げている。一方で、新規性の判断と、その研究が文献のどこに位置するかの判定では、人間だけが挙げた指摘が95件、SAI だけが挙げた指摘が55件で、ここは人間が上回った¹。

コードと再現性での差については、原典が実例を二つ挙げている。ひとつは、基盤モデルのパラメータの0.77%しか学習しないことを看板にした論文で、実際に公開されたチェックポイントは6.31%を学習しており、これは看板の約8倍にあたる。0.77%が成り立つのは、公開されたものの8分の1の大きさのアダプタでだけだった。もうひとつは、信頼性の表を公開コードのどこにも存在しない判定モデルで採点しており、その数値を計算するものがリポジトリに何も入っていない。原典は「どちらも原稿を読むだけでは見えない」と書いている¹。査読の第一次選別にAIを置けるかという既存の論点とは、そもそも作業が違う。こちらは読むのではなく、動かす話だ。

動かないコードと、消えたモデル

再現が失敗した原因のうち大きかったのは二つだ。ひとつは、配布されたままのコードが動かないこと。ファイルが欠けている、記述が足りない、エージェントには直せない形で依存関係が壊れている¹。もうひとつは、動いた結果が論文の報告値とずれることだ¹。前者は工程の問題で、後者は主張そのものの問題である。同じ「再現できず」に、性質の違う二つが同居している。件数で見ると、原典の図では配布コードが動かないものが58件、数値が論文と合わないものが48件で、三番目のデータが入手できないものも42件と迫っており、105本中101本が少なくとも一つの問題を持っていた¹。

そのうえで、もう一つ重い数字がある。4本の論文は、すでに提供終了したモデルに依存している¹。この4本は、SAIが再現できなかったのではない。誰にも、もう再現できない。依存先が消えた時点で、その結果は検証可能性を失った。APIの背後にあるモデルを使って書かれた論文では、この形の消失は今後も起こりうる。

再現には、値札がついている

費用の推定を見ると、この話は具体的になる。原典が費用を出しているのは、完全再現を実施した105本についてである。その105本で、論文に載っている実験を付録まで含めて全部回すコストは、中央値で約8,900ドル。10万ドルを超えたものが17本。最も高いものは約220万ドルに迫った¹。原典はこれを「トップの機械学習論文を作るのにいくら掛かるか」への答えとして出している。自分たちの走行が覆った主張については実測値、それ以外は原稿と付録を読んで既存の走行から見積もった値だ¹。

さらに重要なのは、この見積もりが何を含んでいないかだ。原典は、人件費とその他のインフラ費用を除外していると明記している。そして対象は原稿に提示された作業だけで、その裏にある反復的な試行は数えていない¹。つまり実際の値札は、この数字より上にしかならない。原典はどれだけ上かも書いており、別方向の試行錯誤を数えれば「容易に2倍・3倍になりうる」としている¹。中央値でも1.8万〜2.7万ドルの側へ動く。なお原典の図2の副題は、この費用にインフラと途中で捨てた走行を含むと書いており、本文の但し書きと食い違う。どちらの範囲かは原典が決めていない¹。

ただし、この約8,900ドルは監査の請求書ではない。SAI が監査そのものに払った額は原典に無く、走らせた主張のうちどれだけを範囲を縮めて走らせたかも原典は示していない。それでも負担の問いは立つ。SAI 自身が105本を初期のリソース見積もりで選び、低リソースの論文から順に着手したと書いているからだ¹。払うのは会議か、出版社か、資金提供者か、それとも監査を売る企業か。払う主体が決まれば、何を監査するかも決まる。とはいえ、高額な論文が監査の対象から外れたわけではない。費用分布は完全再現した105本そのものの分布で、10万ドル超の17本も最高の約220万ドルもその中にある¹。

実験台の上でも、同じことが起きている

計算の外でも同型の問題が観測された。SLAC国立加速器研究所、ペンシルベニア州立大学、スタンフォード大学、UCサンタバーバラの4研究室が、同じロジウム系触媒を回した²。二酸化炭素を一酸化炭素に変える反応で、CO2を燃料に変える最初の一段にあたる。同じ試料と同じ手順を複数の研究室に配り、結果を突き合わせるこの方式を、ラウンドロビン試験という。

結果は揃わなかった。4チームが得た一酸化炭素の量と、望ましくない副生成物であるメタンの量が、研究室ごとにばらついた²。同じ触媒を同じ温度で回しても、12時間後の一酸化炭素生成速度は研究室間で約2.5倍の開きがあった（原典の図2a）²。

食い違いの原因はいくつも見つかった。そのうち最大級の寄与因子のひとつが、意外なほど地味な項目だった。混合物をどれだけ強く振ったか・撹拌したかである⁴。4研究室でさらに標準化を進めると、結果は揃う方向に動いた⁴。提言は、反応器の設計・操作手順・実験条件の一貫性を上げること⁴。

ただし、撹拌を名指ししているのは参加機関の発表であって、査読された論文の要旨ではない。要旨がばらつきの主要な寄与因子のひとつとして挙げているのは熱管理（heat management）である²。撹拌と熱管理の関係については、発表も要旨も述べていない。査読を経た定式化が前面に置いているのは熱の側だ。

この研究が扱ったのは触媒1種・ラウンドロビン1件で、そこから一般則は引けない。ただし、そのばらつきが機械学習に何をするかは、この論文自身が測っている。要旨によれば、同一のバッチと同一の試験プロトコルを使ってもなお、研究室内では明確だった入力（反応温度・Rh 担持量・合成法）と出力（転化率・選択性・COとメタンの生成速度）の関係が、研究室間のばらつきを入れると統計的に有意でなくなった²。著者らの結論は、機械学習モデルの性能指標と入力特徴量の選び方に不確かさ解析を組み込まねばならない、というものだ²。プロトコルに書かれない操作は、そのデータで学習するモデルの入力特徴量に現れない。現れない変数は、関係を消すところまで効きうる。

「再現できない」が指しているもの

最も強い留保は、再現性研究そのものの内側から出ている。外野からではない。

Snelleman らの指摘はこうだ。再現の自動化を試みる研究が続いているが、再現性の定義が人によって違うため、明確な問題設定が欠けている³。何を自動化しているのかの合意が無いまま、自動化が組まれている。原典は、自動再現を目指す独立研究どうしの比較可能性が指標の乱立によって著しく限られているとも述べ、比較可能性の回復を動機に掲げる³。彼らが関連研究で挙げるところでは、PaperBench（Starace ほか）の最良モデルの平均再現スコアが43.4%、社会科学向けの REPRO-agent（Hu ほか）の正解率が36.6%とされている³。ただし PaperBench 自身の論文では、43.4%はコードを実行しない軽量版での値で、実行まで含む本体について要旨が報告する最良のエージェントは21.0%だった⁵。PaperBench は原著者と協調して手作りした評価表への達成度、REPRO-agent は1から4の再現性スコアを正解と突き合わせた一致率で、測っている量が違う³。Snelleman らの提案は、任意の実証研究を仮説・実験・解釈の三要素として表現し、それを論文から自動抽出することだ。20件の研究で試し、各研究の原著者本人に抽出の質を評価してもらっている³。

結果は、部分的にうまくいった。表現のすべての部分について、著者フィードバックの多数は肯定的だった。ただし、いくつかの研究では要素をすべて捉えきれず、特に実験結果のような具体的な細部の抽出には改善の余地があると報告している³。

内訳はこうだ。20件のうち6件で、仮説の全集合を取り逃している。いずれも一部は正しく取れていて全滅ではない。抽出は、ある研究では9つの仮説のうち7つ、別の研究では2つのうち1つを捉えた。原典はこの失敗をコンテキスト長の要求で説明できるかもしれない、と述べており、その根拠として挙げているのは、いま挙げた2例がいずれもデータセットの残りに比べてトークン数が際立って多いことだ³。解釈の抽出のほうは安定していて、著者が編集したのは24.32%、1文あたりの変更量は平均4.79%だった³。一方で、同じ表の実験結果の抽出は69.63%に著者の訂正が入るか、抽出が捉えきれなかった。誤り件数は1,103件で、実験の評価指標も46.88%が訂正を要した³。原典は、著者アンケートの好意的な評価とこの表とは「いくぶん食い違う」と自ら書いている³。抽出の精度が主張の粒度に届かないなら、その上に載る「再現できた／できない」の判定も揺れうる。長い論文ほど取りこぼすのなら、その揺れは系統的である。

再現しない理由が一種類でないことも、以前から整理されている。Gundersen らのレビューは、誤った結論につながりうる41の設計上の選択を文献から同定し、科学的方法の各段階に沿った枠組みに分類した⁶。原典が背景として引く通説では、主要な寄与とされるのは方法論上の問題と、アルゴリズムや実装そのものが持ち込む変動を適切に勘定に入れていないことだ⁶。

同レビューは、実験設計の選択と結論への影響とを結ぶ理論的枠組みが存在しないことを出発点に置き、それを埋めることを自らの目的に据えている⁶。結論部では、再現性の要因が結論にどう効くかを記述した最初の仕事だと自ら位置づけている⁶。つまり枠組みが無いのではない。当の論文がそれを与えたと主張していて、その主張はまだ独立の検証を経ていない。

そして Snelleman らの著者に Gundersen が入っている³⁶。再現性の枠組みを与えた側の研究者が、その自動化には問題設定が無いと言っている構図だ。

監査する側も、自分の限界を自認している。SAI 自身は「SAI のレビューはまだベータであり、間違えることがある。だから、その指摘は自分自身の作業に照らして検証してほしい」と但し書きを付けている¹。903件という指摘数は、903件の正しい指摘ではない。SAI はまた「低い再現スコアは、その論文が意図的に欺いていることを意味しない」と断り、コードが古びること、専有データが公開できないこと、著者の機械で動いたスクリプトが他所で同じに動かないことを挙げる。ただし「実務上の帰結は同じで、その論文の科学は検証できない」とも続けている¹。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。