マテリアルズインフォマティクス・材料
マテリアルインフォマティクスの難所はモデルではない
目次
「組成式を入れれば物性が予測できる」というデモを見て、材料開発が自動化されると思った人へ。技術的には嘘ではないが、現場で効く部分はそこではない。
本稿は材料の専門家ではないエンジニア向けに書く。だから、まず言葉を一つだけ揃える。ここで言うスタックとは、ある仕事を回すために積み重ねる道具立て——ライブラリやツールの組み合わせ——のことだ(Web 開発でいう「技術スタック」と同じ用法)。マテリアルインフォマティクスでは、matminer・CrabNet・CGCNN といったオープンソースのライブラリ群がそれにあたる。誰でも無料で使え、論文やデモの多くはこの組み合わせで動いている。
以下では、このスタックが実際に何をしていて、どこで効き、どこで過大評価されるのかを、順に見ていく。結論を先に言えば——難所はモデルではない。
スタックは何をしているか
中心は「物質をどう数値ベクトルにするか」だ。matminer はその特徴量化(featurization)ライブラリで、組成や結晶構造から原子半径・電気陰性度の統計量などを大量に生成する1。automatminer はそれを自動でパイプライン化する2。CrabNet は構造を使わず組成だけで予測するTransformerベースのモデルで、構造未知の探索初期に向く3。CGCNN4 や MEGNet5 は結晶構造をグラフ(原子=ノード、結合=エッジ)として扱うグラフニューラルネットだ。ただし「構造を使えば必ず勝つ」わけではない。13課題のベンチマーク Matbench では、グラフネットが記述子ベースの手法を上回るのはおおよそ1万サンプル以上で、それ以下の課題では記述子ベース(Automatminer)のほうが正確なことが多い。ただし原典は「課題の中身は効く」と自ら断っている。1,296 サンプルの PhDOS 課題(フォノン状態密度の最後のピーク周波数を当てる回帰)では MEGNet が Automatminer を明確に上回り、同じ課題で CGCNN のほうは Automatminer より誤差が大きい2。表現の優劣を第一に決めるのはデータ量だが、それだけでは決まらない。ただし未発見の物質は構造が分からないので、組成だけを入力とする手法にも実用の場がある3。
要するに、入力に何を使うか(組成だけ/結晶構造まで)と、それをどう表すか(手作りの特徴量/学習させた表現)という2つの軸があり、手元に何の情報があるかで選べる範囲が決まる。組成だけでも学習表現は組めるので(CrabNet は Transformer3、Roost は組成に対してグラフを使う2)、「グラフを使うには構造が要る」わけではない。モデル側の工夫が無意味だという話でもない。ただし、どの表現まで作れるかは手元のデータが先に決めてしまう——そしてそこは動かせない。
用語メモ:DFT・内挿と外挿(この先で使う)
- DFT(密度汎関数理論)——量子力学に基づき、材料のエネルギーや安定性を実験なしに第一原理から計算する手法。物性を机上で見積もれるが計算コストが高い。
Materials ProjectやOQMDのような公開データベースは、この DFT を大量に回して作られており、手元の実験データに比べれば密で、欠損も測定条件のばらつきも無い。ただし網羅的でも、一様な方法で計算されているわけでもない。だから公開ベンチマークは「いちばんばらつきの少ない易しい土俵」になる。 - 内挿と外挿——既知データの範囲の内側を埋めるのが内挿、範囲の外側を当てにいくのが外挿。機械学習は内挿には強く、外挿には弱い。少数の自社データで未知の組成領域を狙う探索は本質的に外挿=当たりにくい、というのがこの後の話の骨子だ。
効く場所と過大評価される場所
「任意の物性を予測」というデモは、たいてい Materials Project6 や OQMD7 のような公開ベンチマークで動いている。これらはDFT計算で生成された、密で欠損の少ないデータだ。ただし「網羅」でも「一様に整合」でもない。Materials Project の解説論文自身が、当時の収録は全体で 3万3千化合物あまりで、そのうちの大半は既知構造のデータベース(ICSD)に載っている化合物だと書いている。しかも材料のクラスごとに別の方法論(実験値の利用を含む)で計算しており、some of the data will be incorrect と自ら書く(誤りの混入は伏せられているのではなく、自動とクラウドソースで整合性を検証し、異常値の化合物にはサイト上で警告を出す運用になっている)6。ところが本稿が相手にするのは、その公開ベンチマークではなく自社の実験データで回す場面だ。そこでは手元にあるのはせいぜい数十〜数百件、測定条件はバラバラ、欠損だらけで、しかも一番効く組成領域は社外秘である。ベンチマークで 0.9 台の R² を出すモデルは珍しくない——Meredig らが文献から集めた表には、鋼の疲労強度で R²=0.98、高分子の電子誘電率で 0.96、無機化合物の生成エネルギーで 0.93 という報告が並ぶ。だが同じ著者らは、鋼の疲労強度・超伝導 log(Tc)・熱電 log(zT) の3つのベンチマークに、従来の交差検証と「未知のクラスタを丸ごと外して測る」やり方(LOCO 交差検証)を並べて走らせている。すると相関 R は、鋼の疲労強度で 0.99 から 0.24 へ、超伝導 log(Tc) で 0.87 から 0.30 へ落ちる。残る熱電 log(zT) は従来の交差検証でも 0.52 どまりで、LOCO では 0.23 になる8。自社データで外挿になった瞬間に起きるのは、この落ち方と同じことだ。
MLが本当に効くのは、まず 予測の不確実性を手がかりに「次に作るべきサンプル」を提案する逐次学習(能動学習)だ。LOCO 交差検証を提案した Meredig らは、ML の理想的な用途を「物性の予測ではなく実験の優先順位づけ」と定式化している。ML で誘導した反復実験は標準的な高スループット・スクリーニングを上回りうる、というのがその結論だ8。次いで効くのが、計算コストの高いDFTのサロゲートとして大量スクリーニングを回す場面だ——MEGNet は Materials Project の約6万結晶で生成エネルギーを学習し、その誤差は DFT 自身の誤差の範囲内に収まったと報告する5。一方、バンドギャップと弾性率のモデルは訓練データが 36,720 件と 4,664 件しか無く、生成エネルギーで学んだ元素の埋め込みを転移して初めて先行の ML 手法を上回っている5。その次が、すでにそこそこ均質なデータがある狭い系での内挿だ。逆に、小さく汚いデータからゼロショットで新物質を当てる、という期待は外挿の壁に阻まれる8。もう一つの壁は合成可能性だ——「安定だと予測できること」と「実際に合成できること」は別問題で、DFTで安定と出た候補が現実に作れるとは限らない。計算側の近似はある。CGCNN は、準安定な窒化物が 0 K の計算では凸包から 0.2 eV/atom まで上に出ることと、対象のペロブスカイトに窒化物が含まれることを根拠に、凸包から 0.2 eV/atom 以内を「合成可能性あり」の閾値に置く4。そこで得た化学的知見で探索範囲を絞ると当たりの密度がデータベース全体——18,928 件中 228 件——の7倍になり、閾値内の候補には PbTiO₃ など合成済みの化合物が含まれると報告する4。だが、その見立てが当たったかどうかは実験で試して初めて分かる。つまりこの判定は上の図の ④→① の脚に属していて、モデルの精度指標(MAE や R²)の側には現れない。
難所はモデルではなく、データの量・一貫性・専有性、特徴量化の選択、そして予測を実験で検証するループにある。論文のリーダーボードはそこを測っていない。先ほどの超伝導 log(Tc) の 0.30 は、同じ LOCO 交差検証で 1NN——訓練データの最近傍の値をそのまま返すだけの参照表——が出した 0.50 に届いていない。銅酸化物への直接の外挿がその参照表に及ばなくても、超伝導体の発見は効率化しうる——Meredig らはそう付け加えている8。
出典8件
-
matminer(特徴量化の OSS・pymatgen 連携)— Ward ら, Comput. Mater. Sci. 2018. https://doi.org/10.1016/j.commatsci.2018.05.018 ↩
-
Matbench(13課題のベンチマーク)と Automatminer(自動MLパイプライン)。どちらも同じ著者ら(Dunn ら, LBNL)の作で、「13課題中8課題で Automatminer が最良」という勝敗も著者ら自身の集計である。本文は
The graph-network models CGCNN and MEGNet have relatively high errors on tasks with small datasets but improve rapidly as the task's dataset size increases. In contrast, the descriptor-based Automatminer and RF models have lower errors on small datasets, but their rates of improvement are far shallower, and they lose their small data advantage as the data size passes 10⁴ samples.と述べ、要旨もcrystal graph methods appear to outperform traditional machine learning methods given ~10⁴ or greater data pointsと書く。ただし原典は Results の末尾でit is clear that the details of the underlying task do matterと断ったうえでwhile Automatminer outperforms the graph networks on most small datasets, MEGNet decisively outperforms Automatminer for the PhDOS task(1,296 サンプル)という反例を挙げ、The predictive advantage may lie in MEGNet's specific architecture and implementation rather than an inherent advantage of crystal graph neural networksと、グラフ表現そのものの優位ではない可能性まで書いている。 CGCNN と MEGNet の原論文はこの比較(構造ありモデル対組成のみモデル)を行っていないので、優劣の根拠はこちらにある— Dunn ら, npj Comput. Mater. 6, 138 (2020). https://doi.org/10.1038/s41524-020-00406-3 ↩ ↩2 ↩3 -
CrabNet(組成のみの Transformer)——28 ベンチマークの「ほぼすべて」で既存手法に匹敵〜凌駕したと著者らは報告する(ただし原典は、CrabNet だけが「ベンチマークに使ったものと同じデータセットの検証データで既定パラメータを最適化している」と自ら断っている)。比較対象は Roost・ElemNet・Magpie 特徴量のランダムフォレストという組成のみの手法で、構造を使うモデルは比較から外されている(Automatminer の指標は「2件を除きすべて構造情報を使う」ため Fig.1 に含めていない、と本文が明記)。∴ 組成が構造に勝つ証拠としては読めない。なおその構造を使わない2課題では、CrabNet が Automatminer を上回っている(expt_gap 0.416 eV → 0.338 eV/steels_yield 95.2 → 91.7 GPa。この単位は原典の表記のままで、同じ課題を Matbench の原典は MPa と書いている)。サンプル数はそれぞれ 4,604 と 312 で、Matbench の「小データでは記述子ベースが有利」という傾向の外側にある例である。— Wang ら, npj Comput. Mater. 2021. https://doi.org/10.1038/s41524-021-00545-1 ↩ ↩2 ↩3
-
CGCNN(結晶グラフ CNN)— Xie & Grossman, Phys. Rev. Lett. 2018. https://doi.org/10.1103/PhysRevLett.120.145301 ↩ ↩2 ↩3
-
MEGNet(分子・結晶の汎用グラフネット)— Chen ら, Chem. Mater. 2019. https://doi.org/10.1021/acs.chemmater.9b01294 ↩ ↩2 ↩3
-
Materials Project(DFT 由来の公開材料 DB)。解説論文自身が範囲と限界を明記している——当時の収録は全体で
over 33 000 compounds規模で、その内訳としてToday, the vast majority of the Materials Project data are for compounds in the Inorganic Crystal Structural Database (ICSD)と書く。整合性についてはThe Materials Project reports more accurate results over such wide chemical spaces by employing separate methodologies (including use of reported experimental data) for different classes of materialsと述べ、さらにit is a reality of high-throughput computation that some of the data will be incorrectと書く(直後はWe are currently using both automated and crowdsourced means to verify the integrity of our dataと続き、酸化数・セル体積・結合長が正常範囲を外れた化合物にはサイト上で警告を出すと述べる。誤りの混入は伏せられているのではなく、公開して警告する運用になっている)。∴「一様な方法で網羅的に整合」ではない— Jain ら, APL Materials 1, 011002 (2013). https://doi.org/10.1063/1.4812323 ↩ ↩2 -
OQMD(DFT 計算の公開材料 DB)。2013 年の原論文の時点で
over 200,000 DFT calculated crystal structures、2022 年の続報ではover one million compounds have now been calculated and stored in the database(Shen ら, JPhys Materials 5, 031001 (2022). https://doi.org/10.1088/2515-7639/ac7ba9)— Saal ら, JOM 2013. https://doi.org/10.1007/s11837-013-0755-4 ↩ -
外挿では従来の精度指標が性能を過大評価する(LOCO-CV を提案。発見用途では ML で誘導した反復実験が、標準的な高スループット・スクリーニングを上回りうる、と著者らは述べる)。本文の Table 1 は他の研究者が報告した良好な成績(鋼の疲労強度 R²=0.9801、高分子の電子誘電率 0.96、無機化合物の生成エネルギー 0.93)を集めた一覧で、Table 2 は著者らが自ら3つのベンチマーク(超伝導 log(Tc)・熱電 log(zT)・鋼の疲労強度、いずれも Ling ら 2017 のデータ)に従来CV と LOCO CV を並べて当てた Pearson R である——鋼の疲労強度 0.99→0.24、超伝導 log(Tc) 0.87→0.30、熱電 log(zT) 0.52→0.23。キャプションは
LOCO CV R values are considerably lower across these benchmarks than their traditional CV counterpartsと明記する。両表は課題が重なっておらず(共通するのは鋼の疲労強度だけで、しかも Table 1 は他者の多変量多項式回帰、Table 2 は著者らのランダムフォレストと、研究も手法も別)、Table 1 は R²・Table 2 は R で指標も異なる。 なお「次の一手」を選ぶ規準として本文が挙げるのは不確実性推定(UQ)であって、ベイズ最適化ではない(Bayesは全文0件・uncertaintyは在る)。その逐次学習の実証自体も本論文の結果ではなく Ling らの別論文(本文 ref 26)として引かれている——ただしその5名は全員が本論文の共著者で、全員が Citrine Informatics(UQ ベースの逐次学習を製品化した企業)に所属し、Table 2 のベンチマーク3件のデータも同じ論文から取られているので、独立検証ではない— Meredig ら, Mol. Syst. Des. Eng. 3, 819–825 (2018). https://doi.org/10.1039/C8ME00012C ↩ ↩2 ↩3 ↩4
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。