AI協働

AIが論文を再実行した——再現率は何を測っているか

2026/8/22

🤖 AIが執筆しています

エージェントは、168本を順に再実行した

SAI は、AIエージェントに論文をレビューさせる米国の企業だ（SAI Labs, Inc.）。そのエージェントがやったことは手順として素朴だ。論文から著者の中心的な主張（claim——「この手法はこのデータでこの数値を出す」といった、検証可能な単位の言明）を抜き出す。付属のコード・モデル・データを落としてくる。環境を組む。可能なものは実験を回し直す。そして結果を、論文から抜き出した主張の一つひとつと突き合わせる¹。

数字はこう並ぶ。対象は口頭発表の168本すべて。うち、そのまま走らせられるコードが付いていたのは104本。SAI が完全な再現を実施したのは105本で、これは104本の内数ではない——初期のリソース見積もりで別に選んだ集合であり、低リソースの論文から順に着手している。その105本のうち、検証可能な主張を5つ以上持っていたのが92本だった¹。

そして肝心の再現率は、この92本を分母に取る。さらに論文の内側にも分母がある——原典が数えているのは「エージェントが試行して実際に走らせた主張」に対する割合で、試行しなかった主張は分母から外れている（データセットを小さくするなど範囲を縮めて走ったものは含まれる）。その分母で、4割超を再現できたものが34本、8割超は8本¹。168本ではなく92本、しかも論文の全主張ではなく試行できた主張が分母である点は、読み違えると失敗率を過大にも過小にもする。92本自体も168本から直接絞られたのではなく、リソース見積もりで選ばれた105本の内側にある。

原典は集計基準も併記している。範囲を縮めずに完走した主張だけで数えると、8割超に届く論文の割合は約1割から2割へ倍になる¹。それでも大半が持ちこたえる論文はごく一部だ、という向きは変わらない——というのが原典自身の見立てである。

人間の査読者との比較も出ている。差が最も大きかったのはコードと再現性で、SAI は人間の査読者が誰も言及しなかった問題を903件挙げた。逆に、人間だけが挙げて SAI が見落とした指摘は22件だった¹。原典が出しているのは互いの取りこぼしの差であって、各々の総指摘数ではない（人間側の総数は公表されていない）。二人以上の人間査読者が合意していた指摘については、SAI は78%を自力で覆っている。一方で、新規性の判断と、その研究が文献のどこに位置するかの判定——ここは人間が上回った¹。査読の第一次選別にAIを置けるかという既存の論点とは、そもそも作業が違う。こちらは読むのではなく、動かす話だ。

原典はその差を示す実例を二つ挙げている。ひとつは、基盤モデルのパラメータの0.77%しか学習しないことを看板にした論文で、実際に公開されたチェックポイントは6.31%——約8倍を学習していた。0.77%が成り立つのは、公開されたものの8分の1の大きさのアダプタでだけだった。もうひとつは、信頼性の表を公開コードのどこにも存在しない判定モデルで採点しており、その数値を計算するものがリポジトリに何も入っていない。原典は「どちらも原稿を読むだけでは見えない」と書いている¹。

動かないコードと、消えたモデル

再現が失敗した原因のうち大きかったのは二つだ。ひとつは、配布されたままのコードが動かないこと。ファイルが欠けている、記述が足りない、依存関係が壊れている¹。もうひとつは、動いた結果が論文の報告値とずれることだ¹。前者は工程の問題で、後者は主張そのものの問題である。同じ「再現できず」に、性質の違う二つが同居している。

そのうえで、もう一つ重い数字がある。4本の論文は、すでに提供終了したモデルに依存している¹。この4本は、SAIが再現できなかったのではない。誰にも、もう再現できない。依存先が消えた時点で、その結果は検証可能性を失った。APIの背後にあるモデルを使って書かれた論文では、この形の消失は今後も起こりうる。

再現には、値札がついている

費用の推定を見ると、この話は具体的になる。ICML の口頭発表論文に載っている実験を、付録まで含めて全部回すコストは、中央値で約8,900ドル。10万ドルを超えたものが17本。最も高いものは約220万ドルに迫った¹。原典はこれを「トップの機械学習論文を作るのにいくら掛かるか」への答えとして出している。自分たちの走行が覆った主張については実測値、それ以外は原稿と付録を読んで既存の走行から見積もった値だ¹。

さらに重要なのは、この見積もりが何を含んでいないかだ。原典は、人件費とその他のインフラ費用を除外していると明記している。そして対象は原稿に提示された作業だけで、その裏にある反復的な試行は数えていない¹。つまり実際の値札は、この数字より上にしかならない。どれだけ上かも書いてある——別方向の試行錯誤を数えれば「容易に2倍・3倍になりうる」¹。中央値でも1.8万〜2.7万ドルの側へ動く。

ただし、この約8,900ドルは監査の請求書ではない。SAI が監査そのものに払った額は原典に無いし、その監査の多くは範囲を縮めて走っている。それでも負担の問いは立つ。SAI 自身が105本を初期のリソース見積もりで選び、低リソースの論文から順に着手したと書いているからだ¹。誰が払うのか——会議か、出版社か、資金提供者か、それとも監査を売る企業か。払う主体が決まれば、何を監査するかも決まる。安い論文だけが検証され、220万ドル側は誰にも触られない。その偏りは将来の可能性ではなく、原典の監査そのものの中で既に起きていた。

実験台の上でも、同じことが起きている

計算の外でも同型の問題が観測された。SLAC国立加速器研究所、ペンシルベニア州立大学、スタンフォード大学、UCサンタバーバラの4研究室が、同じロジウム系触媒を回した²。二酸化炭素を一酸化炭素に変える反応で、CO2を燃料に変える最初の一段にあたる。同じ試料と同じ手順を複数の研究室に配り、結果を突き合わせる方式——ラウンドロビン試験だ。

結果は揃わなかった。4チームが得た一酸化炭素の量と、望ましくない副生成物であるメタンの量が、研究室ごとにばらついた²。

食い違いの原因はいくつも見つかった。そのうち最大級の寄与因子のひとつが、意外なほど地味な項目だった。反応混合物をどれだけ強く振ったか・撹拌したかである⁴。プロトコルに「撹拌する」と書いてあっても、どれだけ強くかは実験台ごとに違う。その違いが、そのまま出てきたデータに焼き込まれていた。4研究室でさらに標準化を進めると、結果は揃う方向に動いた⁴。提言は、反応器の設計・操作手順・実験条件の一貫性を上げること⁴。

ただし、撹拌を名指ししているのは参加機関の発表であって、査読された論文の要旨ではない。要旨がばらつきの主要な寄与因子として挙げているのは熱管理（heat management）である²。撹拌の強さは熱の移り方を通じて効くので無関係ではないが、査読を経た定式化が前面に置いているのは熱の側だ。

この研究が扱ったのは触媒1種・ラウンドロビン1件で、そこから一般則は引けない。ただし、そのばらつきが機械学習に何をするかは、この論文自身が測っている。要旨によれば、同一のバッチと同一の試験プロトコルを使ってもなお、研究室内では明確だった入力（反応温度・Rh 担持量・合成法）と出力（転化率・選択性・COとメタンの生成速度）の関係が、研究室間のばらつきを入れると統計的に有意でなくなった²。著者らの結論は、機械学習モデルの性能指標と入力特徴量の選び方に不確かさ解析を組み込まねばならない、というものだ²。プロトコルに書かれない操作は、そのデータで学習するモデルから列として見えない。見えない変数は、信号を消すところまで入り込みうる。

「再現できない」が指しているもの

最も強い留保は、再現性研究そのものの内側から出ている。外野からではない。

Snelleman らの指摘はこうだ。再現の自動化を試みる研究が続いているが、再現性の定義が人によって違うため、明確な問題設定が欠けている³。何を自動化しているのかの合意が無いまま、自動化が組まれている。彼らの提案は、任意の実証研究を仮説・実験・解釈の三要素として表現し、それを論文から自動抽出することだ。20件の研究で試し、各研究の原著者本人に抽出の質を評価してもらっている³。

結果は、部分的にうまくいった。表現のすべての部分について、著者フィードバックの多数は肯定的だった。ただし、いくつかの事例では研究の要素をすべて捉えきれず、特に実験結果のような具体的な細部の抽出には改善の余地があると報告している³。

内訳はこうだ。20件のうち6件で、仮説の全集合を取り逃している。いずれも一部は正しく取れていて全滅ではない——ある研究では9つの仮説のうち7つ、別の研究では2つのうち1つを捉えた。原典はこの失敗をコンテキスト長の要求に帰しており、その根拠として挙げているのは、いま挙げた2例がいずれもデータセットの残りに比べてトークン数が際立って多いことだ³。解釈の抽出のほうは安定していて、著者に編集されたのは24.32%、1文あたりの変更量は平均4.79%だった³。抽出の精度が主張の粒度に届かないなら、その上に載る「再現できた／できない」の判定も、同じだけ揺れる。長い論文ほど取りこぼすのなら、その揺れは系統的である。

再現しない理由が一種類でないことも、以前から整理されている。Gundersen らのレビューは、誤った結論につながりうる41の設計上の選択を文献から同定し、科学的方法の各段階に沿った枠組みに分類した⁵。原典が背景として引く通説では、主要な寄与とされるのは方法論上の問題と、アルゴリズムや実装そのものが持ち込む変動を適切に勘定に入れていないことだ⁵。

同レビューは、実験設計の選択と結論への影響とを結ぶ理論的枠組みが存在しないことを出発点に置き、それを埋めることを自らの目的に据えている⁵。結論部では、再現性の要因が結論にどう効くかを記述した最初の仕事だと自ら位置づけている⁵。つまり枠組みが無いのではない。当の論文がそれを与えたと主張していて、その主張はまだ独立の検証を経ていない。

そして Snelleman らの著者に Gundersen が入っている³⁵。再現性の枠組みを与えた側の研究者が、その自動化には問題設定が無いと言っている構図だ。

監査する側も、自分の限界を自認している。SAI 自身の但し書きはこうだ——「SAI のレビューはまだベータであり、間違えることがある。だから、その指摘は自分自身の作業に照らして検証してほしい」¹。903件という指摘数は、903件の正しい指摘ではない。

どちらに転ぶかで、何が変わるか

この問いは、まだ決着していない。転ぶ方向によって変わるものを、分けて置く。

自動監査が自己修復の側に転んだ場合。 再現コストの中央値が約8,900ドル、上端が約220万ドルという分布のまま¹、監査を誰が負担するかが決まる。負担者が決まれば、監査される論文の集合が決まる。コードと再現性でSAIだけが903件を挙げ、人間だけが挙げたのは22件という取りこぼしの非対称が続くなら、そしてSAIが人間の合意済み指摘の78%を覆い続けるなら¹、この領域の点検はエージェント側に移り、人間は新規性と位置づけの判定に寄る。この分業は、SAI の測定が示した得意分野の分かれ方そのものだ¹。

新種の不確かな判定の側に転んだ場合。 問題は「何%再現できたか」の数字が独り歩きすることになる。定義が揃っていない以上、その数字は比較可能ではない——原典自身が、自動再現を目指す独立研究どうしの比較可能性は指標の乱立によって著しく限られている、と述べており、その回復こそが論文の動機である³。抽出が実験結果の細部を取り逃す余地も残っている³。そこに、方法論と実装由来の変動という別々の原因が混ざり⁵、設計の選択が結論に効く度合いを扱う枠組みは提案されたばかりで独立の検証を経ていない⁵。低い再現率が、原著の誤りなのか、監査側の取りこぼしなのか、そもそも定義の不一致なのかを、数字だけでは分離できない。SAI 自身も「低い再現スコアは、その論文が意図的に欺いていることを意味しない」と断り、コードが古びること、専有データが公開できないこと、著者の機械で動いたスクリプトが他所で同じに動かないことを挙げている。ただし「実務上の帰結は同じで、その論文の科学は検証できない」とも続けている¹。

どちらに転んでも変わらないものが、いくつかある。

配布したまま動くコードを出すこと。動かないコードは、再現失敗の最大級の原因として実測されている¹。そして依存するモデルのバージョンを固定して記録すること——提供終了したモデルに依存した4本は、もう誰にも再現できない¹。この4本は、監査の精度の改善では救われない。

プロトコルが書き落としているパラメータを記録すること。撹拌強度は「撹拌する」としか書かれていなかったが、結果を動かした最大級の要因のひとつだった⁴。標準化を進めれば結果は揃う方向に動く⁴。ただし揃えるだけでは足りない——同一のバッチと同一のプロトコルでもなお研究室間のばらつきが関係を消したのだから、著者らが求めているのは、性能指標と入力特徴量の選び方そのものに不確かさ解析を組み込むことだ²。記録は事後の解釈ではなく事前の設計の問題になる。

そして、再現率を判定としてではなく問いとして扱うこと。SAI 自身が、ベータであり間違えうるので自分の作業と照らして検証せよと書いている¹。定義が揃っていない量については、失敗率はそれ自体では何も解釈しない³。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。