マテリアルズインフォマティクス・材料
機械学習ポテンシャル——順位表の上位が実用とは限らない
目次
原子の世界に「万能ポテンシャル」が来た。周期表の広い範囲を1つのニューラルネットで担い、DFT(密度汎関数理論)を桁違いに速く近似する——機械学習原子間ポテンシャル(MLIP, Machine-Learning Interatomic Potential)である。当然、順位表(リーダーボード)ができた。Matbench Discovery がその中心で、モデルたちは「どれだけ正確に安定な新材料を当てられるか」を競っている。
そして2026年、準拠モデル群の上位はごく小さなスコア差でひしめいている——DPA4 の著者らは論文(査読前プレプリント)でそう報告する。「飽和」という語もベンチマークの作者たち自身のもので、彼らは2024年末の改訂で「この課題が飽和し始めるにつれ」と書き足している。だが同時に、上位のモデルが、熱伝導や長時間MDといった別種のシミュレーションでは崩れることがあるという、居心地の悪い事実が並んでいる。この記事は、その二つが両立する理由を追う。問いはこうだ——リーダーボードのスコアは、そのポテンシャルが「あなたの計算」で使えることを、どこまで保証するのか。
Matbench Discovery が測っているもの——そして測っていないもの
まず、順位が何を意味するかを確かめる。Matbench Discovery の課題は狭く、明確だ。モデルには緩和前の構造だけを渡す。モデルは、その構造が緩和後に凸包より下(E_hull ≤ 0 eV/atom)——つまり熱力学的に安定——になるかを予測する。基準となる凸包は、常に DFT で計算した参照エネルギーから引かれ、モデル自身の予測からではない1。テストは WBM データセットの約21.5万構造(重複除去後)で、うち安定は約3.3万(≈15.3%)。当初の主指標は安定性分類の F1 だった(後述のとおり、のちに複合スコア CPS へ移る)1。
ここに、スコアが測っていないものがある。F1 が報いるのは、緩和後の構造の凸包距離——同じ化学系の競合相に対する、平衡点近傍でのエネルギー差——を当てる能力だ。原典はこれを生成エネルギーの回帰と明確に切り分けており、生成エネルギーは「広く回帰の目標に使われてきたが、熱力学的安定性も合成可能性も示さない」と書く。回帰指標では劣るのに分類指標では上回るモデルの実例まで挙げ、「回帰指標だけでは誤解を招きうる」と結論している1。だが実務でポテンシャルにさせたいのは、その先にある——平衡から遠い領域の力、フォノン(格子振動)、熱伝導、そして何よりポテンシャルエネルギー面(PES)が物理的にまともか。安定性 F1 は、そのどれについても保証を与えない。以下では、その断層を見る。
「解けた」のではなく「出し尽くした」——飽和の兆候
まず「解けた側」を公平に見る。準拠(compliant, MP 由来のデータのみで学習)モデルの上位は、僅差でひしめいていた。DPA4 の論文がベースラインとして Table 1 に並べた準拠モデルの順位表(同論文が2026年8月1日より前に参照した断面、首位の DPA4-Pro は同論文の提案モデル)から、CPS 上位7モデルをそのまま引く2:
| モデル(パラメータ) | CPS |
|---|---|
| DPA4-Pro(25.2M) | 0.842 |
| EquiformerV3+DeNS-MP(30.3M) | 0.830 |
| DPA4-Plus(8.8M) | 0.829 |
| DPA4-Air(5.1M) | 0.816 |
| eSEN-30M-MP(30.1M) | 0.797 |
| DPA4-Neo(1.1M) | 0.782 |
| MatRIS-10M-MP(10.4M) | 0.778 |
この7モデルの CPS(複合スコア)は 0.842 から 0.778 の狭い帯に収まる。ただしこの帯は2026年8月1日より前の一枚の断面だ——CPS は複数課題の重みつき合成で、順位表自身が「これは安定した指標ではない。今後さらに課題が追加される。論文で言及するときはベンチマークの版を併記せよ」と警告している3。日付の違う CPS どうしを並べて増減を語ることはできない。うち4つが同論文の提案する DPA4 の各サイズである点は、割り引いて読む必要がある2。その順位表を引いた DPA4 の著者らは、最新版でこう書いている——「上位の準拠モデルがいま小さな CPS 差でしか離れていない以上、精度のこれ以上の大きな向上には、固定された MPtrj を超える学習データがおそらく要る」2。ただし彼らは同じ段落で「準拠設定は依然としてこの比較の適切な土台である」と続け、さらに「この設定の中でも、精度とコストのフロンティアはコストの方向にはまだ開いている」——同じ精度をどこまで安い推論・学習で出せるか——と書く2。同じ見通しは、Matbench Discovery の作者たち自身が2024年末の改訂版で書き足していた——「この課題が飽和し始めるにつれ、将来の発見ベンチマークは……動的安定性に基づく基準へ拡張されるべきだ」1。
では、まだ伸びしろはどこにあるのか。答えの一つは、賢いモデルでなく、多いデータだ。Meta FAIR の OMat24——1億1千万超の DFT 計算からなる巨大コーパス——で事前学習すると、同じ大きさの eqV2-M の F1 が、準拠(MPtrj のみ)の 0.818 から、非準拠の 0.917 へ跳ね上がる4。少なくとも eqV2 では、順位表の天井を押し上げたのはアーキテクチャの変更ではなく、事前学習データの規模だった。ここまでは、MLIP の進歩は本物だ。
首位級が、別の軸では最下位級のとき
問題は、ここからだ。安定性 F1 で首位級の非準拠 eqV2-M(F1 0.917)は、Matbench Discovery が後から足した熱伝導トラック(κ_SRME、0〜2、小さいほど良い)で、κ_SRME 1.77——κ_SRME を報告する41モデルのなかの最大値、つまり文字どおり最悪の値を出す。CPS 上位が κ_SRME 0.09〜0.28 に収まるのと、ほぼ一桁の開きだ3。「安定材料を当てる」で首位級のモデルが、「熱をどう伝えるか」では最下位級なのだ。
なぜこの断層が起きるのか。根はひとつ——安定性 F1 が報いる「平衡点近傍のエネルギー精度」は、実務で効く別の量を保証しない。この一点が、熱伝導・長時間 MD での安定性・平衡から遠い領域の精度という、現れ方の異なる三つの故障モードとして表れる。
断りを入れておく。この断層のうち熱伝導は、順位表の側が既に値段をつけている。 総合スコア CPS は F1 だけでなく κ_SRME に 40% の重みを置く合成で(残りは F1 50%・構造最適化の RMSD 10%)、eqV2-M の CPS が低い位置に落ちるのはそのためだ3。∴ 「順位表が熱伝導を見ていない」のではない——見ているのは熱伝導までで、②と③はこの合成の外にある。
① 熱伝導は、力の精度では買えない。 熱伝導率 κ の計算には、PES の2次・3次微分(非調和の力定数)が要る。安定性 F1 が報いる「平衡点近傍のエネルギー」とは別の量だ。Póta らは、Materials Project で学習した基盤ポテンシャル5種で103種の固体の κ を評価した。同じ参照データで学習しても、平均 κ_SRME は MACE-MP-0 の 0.669 から ORB-v1 の 1.786 まで、2.7倍に散らばる(SevenNet 0.761、M3GNet 1.409、CHGNet 1.717)5。同じ表は、この5モデルの安定性 F1 も並べている——ORB-v1 0.763/SevenNet 0.724/MACE-MP-0 0.669/CHGNet 0.613/M3GNet 0.569。F1 で首位の ORB-v1 が κ_SRME では最下位、逆に κ_SRME で首位の MACE-MP-0 は F1 では3番手だ。順位がきれいに反転するわけではない(SevenNet はどちらも2位)が、両端は入れ替わる5。最悪値を出したのが、次に見る「直接力」モデル ORB-v1 だった点は覚えておいてよい。その後 Matbench Discovery は、F1 単独の順位から、κ_SRME と構造 RMSD も織り込んだ複合スコア CPS へ主指標を移した。Matbench Discovery の作者たちは、順位表にこう明記している——「この順位は、モデルが材料研究を駆動する総合的能力の完全な姿を与えることはできない」3。
② 「直接力」モデルは、エネルギーを保存しない。 勾配の逆伝播を省くため、一部のモデル(eqV2, ORB など)は力をエネルギーの勾配としてでなく、直接予測する。ただし速さの利点が実測で出ているのは ORB の側だ——同じ論文の水 NVE 計測では1ステップあたり ORB 11.9 ms・MACE 26.9 ms に対し、EquiformerV2 は 1,580 ms と4モデル中もっとも遅い6。すると力は保存力でなくなり、エネルギーが保存しない——長い分子動力学(MD)で系が加熱・発散する。Bigi らの「力の暗黒面」(ICML 2025)は、これを定量化した。ある ORB モデルの恒温(NVT)計算は、目標温度を +51 K 上回り、原子種ごとの実効温度も食い違うという、熱力学的に壊れた状態に落ちた6。ドリフトを抑えるために温度制御を強めると、今度は拡散係数が大きくずれる。速さという利点は、そこで相殺されうる6。ただし「直接力=速い」は一律ではない——速さは非保存化の動機であって、結果の保証ではない。同じ論文が同じ水の系(192原子・H100)で測った1ステップの時間は、ORB が 11.9 ms なのに対し eqV2(小)は 1580 ms——保存力の MACE(26.9 ms)より遅く、原典は「実務のシミュレーションに使うには高価すぎる」と書く6。安定性を当てる能力と、動かして壊れない能力は、別物だ。
③ ポテンシャル面が、系統的に「柔らかすぎる」。 2023年世代の万能 MLIP(M3GNet・CHGNet・MACE-MP-0)は、平衡から遠い領域でエネルギーと力を系統的に過小評価する。学習データが平衡点近傍に偏っているからだ。Deng らはこれを「軟化(softening)」と呼び、測定した——テストした229化合物の9割超でフォノン振動数が過小、移動障壁も表面も欠陥も軒並み低く出る7。決定的なのは、たった1点の追加データで微調整すると直る、という事実だ。ただし原典が示した範囲は限定的で、CHGNet にスカラー1個だけを学習する層を足し、Li₂B₃PO₈ の高エネルギー配置1つ(力の成分1個)で調整して、力の系統的な過小評価が補正される、というところまでである(力 MAE 0.190→0.166 eV/Å)。原典自身、この1ラベルの線形補正を an extreme case と呼び、通常の微調整は桁違いに多くのラベルを使うと書いている7。誤差が偶然でなく系統的である証拠であり、事前学習の分布が現実の分布とずれている、という一点に帰着する。ただしこの故障モードは世代とともに動く。事前学習データを非平衡側へ広げると弱まり、OMat24 の著者らは同データで学習したモデルで軟化が「劇的に減るか完全に消える」と報告している4。むしろ記事の主題に効くのは、彼らが同時に書いている留保のほうだ——OMat24 だけで学習したモデルの軟化が最も小さく、MPtrj で微調整すると軟化が戻る。順位表に合わせる微調整そのものが、実務で効く性質を削る側に働きうる。
だから「順位」でなく「用途」で選ぶ
これら三つの故障モードに共通するのは、リーダーボードが報いる量と、実務で必要な量が違うという一点だ。安定性 F1 は「発見の入口(この組成は作る価値があるか)」を測る。だが作った先で——相図を描き、拡散障壁を越えさせ、フォノンを数え、長時間 MD を回す——ときに効くのは、順位表が採点していない性質である。
実務側はもう動いている。BASF の MLIPX は、順位表が省く性質(MD 安定性、NEB による障壁、エネルギー–体積曲線、振動解析、吸着エネルギー、相図・プールベ図など12種の「レシピ」)でポテンシャルを横並び評価する道具だ。目的をこう明言している——「特定の MLIP が、あなたの研究に適用できるかを見極める」8。単一のスコアでなく、タスク適合で選ぶ、という思想だ。
AIエージェントのベンチマークをめぐる議論を追ってきた読者には、見覚えのある構図だろう。分野は違えど、失敗の型は一つ——もっともらしいスコアを、実務の有用性と取り違える。
結論はこうだ。万能ポテンシャルの順位は、いま本物の進歩を映している。だがそれは「安定性を当てる」という一面の進歩であって、あなたの計算で使えるかの保証ではない。 1位のポテンシャルを掴む前に、問うべきは一つ——それは、何で1位なのか。そして、そのスコアは、あなたが回す実際のシミュレーションを生き延びるのか。
出典8件
-
Riebesell, Goodall, Benner ほか10名「Matbench Discovery — A framework to evaluate machine learning crystal stability predictions」arXiv:2308.14920v3。査読版は冠称なしの同題で Nature Machine Intelligence 7, 836–847 (2025), doi:10.1038/s42256-025-01055-1。同誌に正誤表(doi:10.1038/s42256-025-01117-4, 7, 1586)があるが、本文で論じていないモデルを図1〜3と表1から削除したもので、本記事が引く数値には影響しない。緩和前構造から凸包距離(E_hull ≤ 0)を予測する安定性分類課題。テストは WBM の約21.5万重複除去済み構造(安定約3.3万・約15.3%)、当初の主指標 F1。「課題が飽和すれば動的安定性の基準へ拡張すべき」の一文は初版(2023年8月)には無く、2024年12月の改訂版で加わった。 https://arxiv.org/abs/2308.14920 ↩ ↩2 ↩3 ↩4
-
DPA4 論文 arXiv:2606.02419v4(2026-08-20 改訂)。準拠 Matbench Discovery 順位表の登録モデルを Table 1 のベースラインとして並べ、そこへ自分たちの DPA4 各サイズを加えて報告する(DPA4-Pro の CPS 0.842/F1 0.865/κ_SRME 0.227(25.2M)等)。順位表を自分で走らせ直したとは書いていない——
reproduce/reproducedは全文で0件で、Table 1 の脚注はLeaderboard entries comprise all compliant models accessed before August 1, 2026と、参照した断面であることを明示する。上位7モデルが CPS 0.842→0.778 の狭帯にひしめく=順位表は本物の accuracy-efficiency フロンティアに到達している一方、「これ以上の最適化は実務的価値が限られるかもしれない」と作者自身が述べる。引いた順位表は Table 1 で、その脚注にaccessed before August 1, 2026とある。⚠ v3 → v4 で著者らの主張そのものが書き換わっている(本稿が2026-09-01に両版を取得して照合): v3 はfurther optimization of the fixed-MPtrj Matbench Discovery leaderboard may have limited practical valueと書いていたが、v4 にこの文は無く、代わりにsubstantial further gains in accuracy are likely to require training data beyond the fixed MPtrj set+the accuracy–cost frontier remains open in the cost directionになった。∴ 「これ以上の最適化は実務的価値が限られる」は現行版の主張ではない。 版を明記していても、その版のほうが古くなる。 https://arxiv.org/pdf/2606.02419v4 ↩ ↩2 ↩3 ↩4 -
Matbench Discovery 公式順位表(モデル一覧、2026年8月22日再参照)。eqV2 M(非準拠・学習データ MPtrj + OMat24)は F1 0.917/CPS 0.558 の一方で κ_SRME 1.77。同時点の CPS 上位7モデルの κ_SRME は TECE-OAM-RRA-1.0 0.093/EquFlashV2 0.094/EquiformerV3+DeNS-OAM 0.118/PET-OAM-XL 0.119/GRACE-3L-OAM-L 0.121/TACE-OAM-L 0.126/eSEN-30M-OAM 0.170(CPS 順に連続する7件)、準拠 MPtrj 学習の EquiformerV3+DeNS-MP は 0.275。順位表のトップページも「この順位は、モデルが材料研究を駆動する総合的能力の完全な姿を与えることはできない」と明記する(この免責文も42行の数値表も、いずれもトップページにある)。順位表は更新され続けるので、数値は参照時点のもの。CPS の既定の重みは F1 0.5/κ_SRME 0.4/RMSD 0.1 の加重平均で(順位表の実装
site/src/lib/combined-scores.svelte.tsのDEFAULT_CPS_CONFIG。κ_SRME は 1 − κ/2、RMSD は 1 − RMSD/0.15 で 0〜1 に正規化される)、ページ上で重みを変更できる。eqV2 M が F1 0.917 でありながら CPS で下位に沈むのは、この 40% の項による。指標そのものも動く——CPS には「安定した指標ではない…版を併記せよ」との警告が付く。なお準拠モデルは独立した順位表ではなくなり、任意のフィルタ(preset)に変わった。サイトはこのプリセットを「MP 由来のデータのみで学習した、オープンソース・オープンデータのモデル(かつての『準拠』順位表コホート)」と説明しており、既定の表示は学習データの異なるモデルを混ぜて並べる。 https://matbench-discovery.materialsproject.org/ ↩ ↩2 ↩3 ↩4 -
Barroso-Luque ら(Meta FAIR)「OMat24」arXiv:2410.12771。1億1千万超の DFT 計算からなるデータセット。準拠(MPtrj のみ)では eqV2-M-DeNS が F1 0.818、同表の準拠首位は eSEN の 0.831(eqV2 系の首位は eqV2-L-DeNS の 0.823)。同じ eqV2-M を OMat24 で事前学習して MPtrj で微調整すると 0.909、MPtrj+sAlex で微調整すると 0.917 になる。跳ね上がりの主因は事前学習データの規模で、MLIP の進歩は実在する。データは CC-BY-4.0。 https://arxiv.org/abs/2410.12771 ↩ ↩2
-
Póta, Ahlawat, Csányi, Simoncelli「Thermal Conductivity Predictions with Foundation Atomistic Models」arXiv:2408.00755。arXiv:2408.00755v5(2025年7月改訂)。phononDB-PBE 由来の103固体(
103 diverse binary compounds, involving 34 different chemical species, and rocksalt, zincblende, or wurtzite structures)で、Materials Project 学習の5モデル(ORB-v1-MPtraj 1.786/CHGNet 1.717/M3GNet 1.409/SevenNet 0.761/MACE-MP-0 0.669)の平均 κ_SRME を測定。v3 までは4モデル・0.664〜1.717 の表だったが、v4 で ORB-v1 が加わり v5 で値が改訂された。Table I は同じ表に安定性 F1 も併記している(ORB-v1 0.763/SevenNet 0.724/MACE-MP-0 0.669/CHGNet 0.613/M3GNet 0.569)が、この列は Póta らの測定ではなく Matbench Discovery 順位表からの引き写しで、表の説明文でも参照番号付きでThe Matbench F1と断っている。同じ参照データで学習しても熱輸送の誤差が2.7倍に散らばることを示す。安定性で首位級のモデルが κ トラックで最下位級になりうる=順位が実用性を保証しない直接証拠。 https://arxiv.org/abs/2408.00755 ↩ ↩2 -
Bigi, Langer, Ceriotti「The dark side of the forces」arXiv:2412.11569v6(ICML 2025 Oral)。力を直接予測する非保存モデル(原典が測ったのは ORB-v2 と EquiformerV2)はエネルギーを保存せず、長い MD で発散する。ある ORB の NVT は目標温度を +51 K 上回り、原子種間で温度が食い違う。速さの利点は、ドリフト抑制のための強い温度制御で相殺されうる。ただし速さは非保存モデル一律の性質ではない——同論文のタイミング表(水192原子・H100・1ステップ)では ORB 11.9 ms・保存力の MACE 26.9 ms に対し EquiformerV2(小) は 1580 ms で、原典は後者を「実務のシミュレーションに使うには高価すぎる」とする。この EquiformerV2 は Alexandria+MPtrj で学習した小版で、本文が扱う eqV2 M(MPtrj+OMat24) とは別チェックポイント。 https://arxiv.org/abs/2412.11569 ↩ ↩2 ↩3 ↩4
-
Deng ら「Systematic softening in universal machine learning interatomic potentials」arXiv:2405.07105(査読版は npj Comput. Mater. 11, 9, 2025)。M3GNet・CHGNet・MACE-MP-0 の3モデルで、平衡から遠い領域の力・エネルギーの系統的な過小評価(軟化)を測っている。229化合物の9割超でフォノン振動数が過小。∴ ③の射程は事前学習データが平衡近傍に偏った世代のモデルであって、万能 MLIP 一般ではない——4 は OMat24 で学習すると軟化が大幅に減ると報告している。「1点の追加データで直る」の中身は、全重みを凍結してスカラー1個の線形層だけを学習させ、Li₂B₃PO₈(mp-1020015)の高エネルギー配置1つ=力の成分1ラベルで調整する、という実験である(原典 FIG.6(a) 左。同じ図の右では、10構造での通常の微調整が力の MAE を 0.125 eV/Å まで下げている)。直るのは力の系統的な過小評価であって、軟化に由来する性質すべてではない。誤差が系統的で、学習分布の偏りに起因することの証拠として引く。 https://arxiv.org/abs/2405.07105 ↩ ↩2
-
BASF「MLIPX」公式ドキュメント(2026年8月20日参照。原本は GitHub basf/mlipx の docs/source/index.rst で、引用した目的文の最終更新は2025年6月8日)。MD・NEB・エネルギー–体積曲線・構造緩和・振動解析・吸着エネルギー・相図・プールベ図など12種の「レシピ」で、順位表が採点しない性質を横並び評価する実務者向け道具。目的は「特定の MLIP が自分の研究に適用できるかを見極める」こと。なお振動解析は ASE の有限差分による分子の基準振動+熱化学であって、周期系のフォノン分散ではない。ドキュメント自身が「本プロジェクトは活発に開発中」と断っている。 https://mlipx.readthedocs.io/ ↩
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。