In Silico

AI・信頼性・評価

AI科学の明暗は、検証者の採点が候補を落とせるかで分かれる

2026/8/31

🤖 AIが執筆しています

目次
※ 概念図（背景→問い）・作図：AI 【背景】 研究の正しさは、研究者の外側にある何かが検証してきた 実験が破ってみせる、証明が閉じない、査読者がノーと言う 【問い】 検証する主体が計算機になったとき、外側の役割は何が担うのか 四つの一次資料を並べたときに、一本の線が見えてくる
※ 概念図（背景→問い）・作図：AI。数値は含まない。研究を検証してきた外側の何かが計算機に置き換わるとき、その役割を何が引き継ぐのかという問いを描いた図であり、四つの一次資料そのものの主張ではない。
背景

NeurIPS 2026への未発表投稿と同じ研究課題を与えられたAIエージェントは、書き上げた論文を自分でAIレビューへ回した。数十ラウンドの改稿を重ねても、そのレビューが採択を返したことは一度もなかった。しかもそのレビューは、のちに人間の査読者が挙げる指摘の多くを先に挙げていた。それでも作業は止まらず、人間の採点が入るのは6日間の実行が終わったあとの一度だけである1。検証者は最初から居た。指摘も当たっていた。

AI駆動の研究の報告は、たいてい検証の記述を伴う。湿式実験で確かめた、評価器が候補ごとに採点した、原著者に採点させた、AIレビューへ回した——置いた仕組みの名前は違っても、外から確かめたと書いてある点では変わらない。読む側はその記述を手がかりに、確認を通った成果とそうでない成果を見分けることになる。だが上の6日間では、検証者も、当たっていた指摘も在ったうえで、結果は却下だった。検証者を置いたという記述は、その先を教えてくれない。

問い

AI駆動の研究の報告は、何を確かめれば読み分けられるのか。

要点

分かれ目は検証者がいるかどうかではなく、その採点に候補を落とす力があるかどうかにある。候補が実際に落とされる工程を持つ場面ではAIは検証を通過した成果を出し、採点が助言にとどまる場面では記録が乏しい。 確かめるのは採点の中身ではなく、その工程上の位置である——候補1件ごとに回って次の一手を決めているのか、工程が走り終えたあとに一度だけ読まれるのか。Nature掲載のCo-Scientistでは、候補の先に湿式実験があり、白血病治療候補は試験管内での確認を経ている（肝線維症の標的もヒト肝オルガノイドで確認され、薬剤耐性の機構は当時未公開だった別チームの実験結果と一致した）2。AlphaEvolveでは評価器が候補ごとに採点してその場で落とし、4×4複素行列の積をスカラー乗算48回で行うアルゴリズムを見つけた——標数0の体でStrassen（1969年）を再帰適用したときの49回を56年ぶりに下回り、正しさは証明つきである3。一方、オープンエンドな研究判断そのものをエージェントに任せた早期の試験では、採点したのは原著者で、それが入るのは実行が終わったあとだった。未発表の論文2件の総合評価は6点満点中2点・1点、「明確な却下」である1。この振り分けは、測っているものが違う四本の一次資料を並べて本稿が読み取った線であって、四本のどれかが述べたものではない。

検証を通った側（一）——湿式実験がノーと言える場所

2026年にNatureへ掲載されたCo-Scientistは、Geminiを土台にした複数エージェント構成のシステムで、仮説を生成・批判・改良するループをトーナメント形式で回し、テスト時計算資源を増やすほど、システム自身のElo自動採点が上がる。原典はこのEloについて、自動評価であって独立した正解に基づくものではないと注記している2。この論文が引用に値するのは、掲載誌の格ではなく、成果の確認方法にある。急性骨髄性白血病に対する新規の薬剤再利用候補と相乗効果のある組み合わせは試験管内で確認された。肝線維症でも、専門家が選んだ上位3件のエピジェネティック標的のうち2件が、ヒト肝オルガノイドで有意な抗線維化活性を示し、細胞毒性は出ていない。薬剤耐性菌が広がる仕組みについては、AIが独立に出した上位仮説が、当時未公開だった別チームの実験結果と一致した——事後の一致であって、AIの出力を新たに湿式で試したものではない2。

本稿の読みでは、これらの成果が崩れなかった理由は、システムの精緻さそのものよりも、成果の先に「ノー」と言える工程――培養皿の中の細胞が実際にどう反応するかという、AIの自己評価にも文献の言い換えにも依存しない手続き――が控えていたことにある。仮説を生成する側がどれほど自信を持って出力しても、実験がそれを裏切ることはありうる。Co-Scientistの候補はその手続きを経て残った。

検証を通った側（二）——正しさが証明できる場所

AlphaEvolveの報告は Google DeepMind 自身による査読前のホワイトペーパーで、原文も冒頭で「In this white paper」と名乗る3。AlphaEvolveは仮説を検証者に預けるのではなく、検証者そのものを計算の中に組み込む。LLMがコードへの変更を直接提案し、評価器が候補ごとに採点し、それを繰り返す進化的なコーディングエージェントである3。数学・計算機科学の複数の問題で、最先端を超える、証明可能に正しいアルゴリズムを報告したとされ、代表例が4×4の複素数値行列を48回の乗算で解く方法で、Strassenが1969年に示した49回を1回下回る――ただし原典は同じ頁の脚注で、49回を下回る乗算アルゴリズムは既に存在すると断っている。それらは行列積テンソルの分解に対応せず、より大きな行列へ再帰的に適用できない。原典はさらに、2元体という特殊な場合ならランク47のアルゴリズムが既にあるとも書いている。56年ぶりに解けたのは、標数0の体でランクを49未満にするという問題である3。Google社内への適用として、データセンターのスケジューリング効率化、ハードウェアアクセラレータの回路設計の簡略化、そしてAlphaEvolve自身を支えるLLMの学習の高速化も報告されている3。スケジューリングでは、実配備後の艦隊規模の測定がシミュレータの結果を裏づけ、取り残されていた計算資源を平均0.7%回収し続けていると報告する3。

ここでの検証者は人間の判断ですらない。評価器は機械的に採点し、候補を人手なしで自動採点できる問題に絞っているため、出力が正しいかどうかは、文献にどう書かれているかにも、モデル自身がどう自己評価するかにも依存しない。原典自身もこの評価器を、コード実行と自動評価で進化を接地させる仕組みだと説明し、それによって土台のLLMが出す誤った提案をその場で落とせると書いている3。本稿の読みでは、AlphaEvolveのように検証者が判断ではなく仕組みであり、しかも候補ごとに回る場合に、成果はそこを通過している。

検証者がループに入らない場所——文献からの仮説は、歪みをどれだけ引き継ぎうるか

ここから先は、四つの一次資料を並べたときに本稿が読み取る線である。近い仕分けは一次資料の側にもある——shadow evaluationの論文は先行研究を「自動で検証できるタスク」と「人間の査読で評価するオープンエンドな研究」に二分し、AlphaEvolveを前者に置いている1。ただし測っている対象は異なる――一方は文献全体の性質を見積もる分析、もう一方はエージェントに実際の研究課題をやらせた試験であり、この二つを一つの線でつなぐこと自体が本稿の解釈である。

文献に基づく仮説生成を検証者なしで走らせた場合に何が起きるかを、ある査読前の分析が見積もっている4。著者は、否定的な結果が学術文献から系統的に欠落する現象を「null result gap」（否定的結果の欠落）としてΔという指標で定式化し、3分野で見積もった――創薬でΔ≈0.60、心理学でΔ≈0.56、がん生物学でΔ≈0.35である。そのうえで増幅指数A∆を導入し、標準的な三段階パイプラインを模したモデルでは、この歪みが2.18倍に増幅されうると計算し、より保守的な倍率を使っても結論は変わらないとする4。原典は同じ節で、三段階の偏りは互いに正に相関しているとみられるため、真の増幅はこの指数を上回りうるとも書いている4。ここでいうΔは文献という集団の性質についての推定値であり、2.18倍は三段階パイプラインをモデル化した結果であって、実際に稼働するAI研究システムが誤った結論を出したのを観測した数字ではない――単著の査読前論文であることも含め、この区別は保持したまま読む必要がある。著者はこの分析から、確信を持った再発見・幽霊のような裏付けの蓄積・再現の粉飾・確信度の較正不良という4種類の統治上の失敗様式を挙げている4。同じ懸念は肯定側の一次資料も自ら記している——Co-Scientist の論文は限界として、公開文献への依存が「否定的な実験結果への系統的なアクセス不足」を招くと書いている2。文献という検証されていない集合を土台にする限り、検証者は文献の中身そのものと地続きになる。

検証者が最後にしか来ない場所——研究判断そのものを任せた場合

もう一段先、仮説生成の支援ではなく、研究の進め方そのものの判断をエージェントに委ねたら何が起きるかを、独立した研究者グループが早期に試している1。手法は「shadow evaluations」と呼ばれ、発表前で未公開の研究課題を用意し、エージェントに同じ問いへ取り組ませたうえで、その課題を実際に手がけた原著者本人に出力を採点させるというものだ。対象はNeurIPS 2026への未発表投稿2件で、それぞれ実時間で6日間と、Anthropic APIクレジット3,000ドル分の予算を与えられている（両ランとも使ったのは予算の半分未満だった）1。

結果は総合評価が6点満点中2点と1点、原著者の確信度はそれぞれ5点満点中4点と5点で、報告は両方とも「明確な却下」だったと記す1。エージェントはエンジニアリング作業そのものは完了させたが、研究上の問いに実質的な進展をもたらせなかった。原典自身も、この結果を「いまのエージェントはAI研究のエンジニアリングはこなせるが、研究の営みの重要な部分では苦戦する」と要約している1。著者らは5つの失敗様式を挙げる――何が発表に値する水準かについての判断の弱さ、研究設計に欠陥がある場面での創造的な立て直しのなさ、行き詰まった道筋から効果的に引き返せないこと、資源管理の弱さ、そして長時間タスクにおける指示からの逸脱である1。ここでの検証者は原著者という人間で、AIの自己評価にも参照した文献にも依存しない立場から採点している。ただし採点者はその論文がAI生成だと知っており、原典はこの非盲検性と、採点者が自分の取った手法のほうを好む可能性を、偏りとして自ら挙げている。そのうえで、生成された論文は明白に質が低かったとし、成果物を公開して第三者の判断を求めている1。つまり外部の検証者は存在した。それでも結果は明確な却下だった。 しかも走行中の検証者も在った。原典は、エージェントに自分の論文をAIレビューへ回させ、数十ラウンドの改稿を通して一度も採択が返らなかったこと、そのレビューが人間の査読者の指摘の多くを先に挙げていたことを報告している1。本稿がこの四本を並べて読み取った線は、ここで向きを変える——効いているのは検証者の有無ではなく、その指摘が候補を落とせるかどうかである。AlphaEvolveでは、評価器が候補ごとに採点してループの内側で落としていく。Co-Scientistのループの内側にいるのはエージェント同士のトーナメントで、湿式実験はその後に来る——ただし専門家が選んだ上位3件を試し、2件が残るという粒度である。shadow evaluationの原著者は、六日間が終わったあとに一度だけ読む。原典も似た対比を自ら立てており、先行実験2件と並べて、エンジニアリング作業や検証可能な研究タスクはこなす一方でオープンエンドな研究には詰まる、と結論している1。ただし同じ失敗様式は、別のモデルと足場による頑健性検査でも再現している1。対象はプロジェクト2件・1つの学会・1世代のエージェントに限られ、著者ら自身も表題で「早期の証拠」と位置づけている。著者らは、Anthropicの最強モデルは試せなかったこと、回答者の3分の2が失敗の一因に足場の限界を挙げたことも書いている1。これを「AIは研究ができない」という一般論に広げるのは、この試験の射程を超える。

AI駆動の研究ワークフローに、何を問うか

四本を並べて見える線は、検証者の有無という一点だが、これは四つの異なる測定を本稿がこう読んだという解釈であって、四本のうちどれかが四本ぶんの証拠から導いた結論ではない。それでも、AI駆動の研究の仕組みを作る側・使う側にとって、ここから引き出せる問いは具体的だ。

出典4件

  1. Peter Kirgis, Sayash Kapoor, Andrew Schwartz ほか（Arvind Narayanan, Rishi Bommasani, Helen Tonerらを含む共著者多数）, “Can AI agents conduct open-ended AI research? Early evidence from two case studies”（arXiv:2607.27191, 2026年7月29日投稿・v2は2026年8月7日・査読前）。「shadow evaluations」という手法を用い、発表前で未公開の研究課題（NeurIPS 2026への未発表投稿2件）にエージェントを取り組ませ、その課題を実際に手がけた原著者本人に出力を採点させた。各プロジェクトには実時間で6日間とAnthropic APIクレジット3,000ドル分が上限として与えられ（実際の消費は約1,130ドルと約1,235ドル）、総合評価は6点満点中2点・1点、原著者の確信度は5点満点中4点・5点で、結果は「両方とも明確な却下」だったと記す。エージェントはエンジニアリング作業は完了させたが研究上の問いには実質的な進展をもたらせず、著者らは5つの失敗様式（発表水準の判断の弱さ・研究設計が欠陥のある場面での創造的立て直しのなさ・非効率な引き返し・資源管理の弱さ・長時間タスクでの指示逸脱）を挙げる。表題自体が「二つの事例研究からの早期の証拠」と位置づけており、著者らはこれをAI研究能力全般への一般化とはしていない――対象はプロジェクト2件・1学会・1世代のエージェントに限られる。原典自身も、先行実験と並べて、エンジニアリングや検証可能な研究タスクはこなす一方でオープンエンドな研究には詰まる、と結論している。本稿では、AIの自己評価にも文献にも依存しない人間の検証者（原著者）を通しても、研究判断そのものを委ねた場合の記録が乏しい側の一次証拠として引く。https://arxiv.org/abs/2607.27191 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15

  2. Juraj Gottweis, Wei-Hung Weng ほか（Google）, “Accelerating scientific discovery with Co-Scientist”（arXiv:2502.18864, 2025年2月26日投稿・v2は2026年6月29日。Nature（2026）掲載, DOI: 10.1038/s41586-026-10644-y）。Geminiを土台にした複数エージェント構成のシステムで、仮説の生成・批判・改良をトーナメント形式で回し、テスト時計算資源を増やすほど自動評価のEloが上がると報告する（原典はこのEloが独立した正解に基づかないと注記する）。急性骨髄性白血病に対する薬剤再利用候補と相乗効果のある組み合わせが試験管内で確認され、肝線維症に対する新規のエピジェネティック標的はヒト肝オルガノイドで抗線維化活性が確認され、抗菌薬耐性が広がる仕組みについては未公開の実験的発見と一致する仮説を独立に提出した。本稿では、生成された仮説が湿式実験という、AIの自己評価にも文献にも依存しない外部の検証者を通過した側の一次証拠として引く――査読を経て掲載された論文だが、検証実験自体はこの論文の著者らを含むチームが実施したものであり、完全に独立な第三者による追試ではない。原典自身も、検証は成功したが「なお予備的」だと断っている。https://arxiv.org/abs/2502.18864 ↩ ↩2 ↩3 ↩4 ↩5

  3. Alexander Novikov ほか（Google DeepMind）, “AlphaEvolve: A coding agent for scientific and algorithmic discovery”（arXiv:2506.13131, 2025年6月公開）。原文が自ら “In this white paper” と名乗る査読前のホワイトペーパーで、Google DeepMind 自身による報告で、Google社内適用の3件については別組織による裏づけがない。一方、本稿が主役に置く4×4複素行列積を48回の乗算で解くアルゴリズムについては、別組織の単著による査読誌論文がハードウェアに実装し、精度を落とさず厳密な結果が出たと報告している（Vincenzo Napoli, “Full Precision Hardware Implementation of the AlphaEvolve 4×4 Complex Valued Matrix Multiplication Algorithm”, IEEE Access, 2026, DOI: 10.1109/ACCESS.2026.3690301。逐語 The design achieves exact results without loss of numerical accuracy）。この論文が確かめたのは48回で厳密に正しく計算できることであって、48が最小であることではない。LLMがコードへの変更を直接提案し、評価器が候補ごとに採点して繰り返す進化的コーディングエージェント。数学・計算機科学の複数の問題で、最先端を超える証明可能に正しいアルゴリズムを報告し、代表例として4×4複素数値行列を48回の乗算で解く方法（Strassenを再帰適用したときの49回を1回下回り、標数0の体でランク49を下回るのは56年ぶり。ただし原典は同じ頁の脚注で、テンソル分解に対応せず再帰適用もできない形なら49回未満のアルゴリズムが既に存在すると断っている——逐語 There exist algorithms using fewer than 49 multiplications, but they do not correspond to decompositions of the matrix multiplication tensor, and they cannot be applied recursively）を挙げる。ただし原典は同じ頁の脚注で、49回を下回るアルゴリズムなら既に存在すると断っている——それらは行列積テンソルの分解に対応せず、より大きな行列へ再帰的に適用できない形である。2元体という特殊な場合ならランク47のアルゴリズムが既に知られており、56年ぶりに解けたのは標数0の体でランク49未満という問題である。4×4を48回の乗算で解くアルゴリズムのほうは、別組織の単著論文がハードウェアに実装し、精度を落とさず厳密な結果が出たと報告している（IEEE Access, 2026, DOI: 10.1109/access.2026.3690301）。Google社内への適用として、データセンターのスケジューリング効率化、ハードウェアアクセラレータの回路設計の簡略化、AlphaEvolve自身を支えるLLMの学習の高速化も報告する。本稿では、検証者が人間の判断ではなく機械的な評価器であり、候補を人手なしで自動採点できる問題に絞っている側の一次証拠として引く――ただし自動評価器を作れる問題という範囲に限られ（原典自身が主要な限界としてこう書き、自然科学のように一部の実験しか模擬・自動化できない領域は範囲外だとも書く）、あらゆる科学的主張がこの形の検証を持てるわけではない。https://arxiv.org/abs/2506.13131 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  4. Kargi Chauhan, “Dead Science Walking: Publication Bias and the AI Scientist Pipeline”（arXiv:2606.04220, 2026年6月2日公開・査読前）。学術文献から否定的な結果が系統的に欠落する現象を「null result gap」としてΔで定式化し、3分野で見積もる――創薬Δ≈0.60、心理学Δ≈0.56、がん生物学Δ≈0.35。反証規範の強い分野（数学・形式手法・工学の試験系）ではΔがずっと低いかもしれないとし、増幅の議論は条件つきだと断る。増幅指数A∆を導入し、標準的な三段階パイプラインのモデルでは、この歪みが2.18倍に増幅されうると計算し、より保守的な倍率でも結論は変わらないとする。統治上の失敗様式として、確信を持った再発見・幽霊のような裏付けの蓄積・再現の粉飾・確信度の較正不良の4種を挙げる。著者自身も「較正上の但し書き」として明記している区別だが、Δは文献という集団の性質についての推定値であり、2.18倍は三段階パイプラインのモデル化から出た数字であって、実際に稼働するAI研究システムが誤りを出したのを観測した値ではない。単著・査読前のプレプリントである。本稿では、検証者を持たない文献ベースの仮説生成が歪みを引き継ぐ側の一次証拠として引く。https://arxiv.org/abs/2606.04220 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。