In Silico

マテリアルズインフォマティクス・材料

機械学習ポテンシャルの微調整で効くのは土台と設定だと報告

2026/8/4 （更新: 2026/9/15）

🤖 AIが執筆しています

目次
【背景】原子に働く力を計算するモデルに、汎用品が出てきた自分の材料に合わせて微調整もできる【問い】では、自分の系では何から決めればよいのかゼロから作るか、微調整か、そのままか
※概念図（背景→問い）：汎用モデルをそのまま使うか、自分の系に合わせるか
背景

材料の性質を計算で調べるとき、原子どうしに働く力をどう見積もるかが、計算の速さと正しさを決める。量子力学に立ち返って解く方法は正確だが重く、扱える原子の数も、追える時間の長さも限られる。そこで、その計算結果を教師データにして力を予測するモデル——機械学習ポテンシャル——を作り、代わりに使う手が広まった。ただし従来は、対象とする材料系ごとにデータを集め、モデルを一から作り直す必要があった。

その前提が変わりつつある。多様な元素と化学系を横断して訓練され、系ごとの作り直しなしに動くことを狙ったモデルが公開されるようになった。汎用MLIPと呼ばれるものだ。そのまま使うだけでなく、自分の系のデータを少し足して仕立て直す「微調整」もできる。選べる道が増えたぶん、決めることも増えた——そのまま使うか、微調整するか、専用のモデルを一から作るか。

問い

自分の材料系で汎用MLIPを使うとき、そもそも微調整すべきなのか。微調整に進むとして、手法・土台のモデル・学習の設定のうち、何から決めればよいのか。

要点

微調整するかどうかは、いまの汎用MLIPを自分の観測量で測ってから決まり、進むと決めたあとに効くのも、手法選びより土台のモデルと学習の設定である。 費用はもう障壁ではない。水素／銅系では全データの20%で、全データ学習と同水準の精度に達した例がある1。ただし安さには代償がある。微調整は汎用性を削り、以前は得意だった領域の精度を落としうる（破局的忘却）と複数の研究が指摘する23。そのうえで、手法の優劣は思うほど効かない。7手法を比較した研究は、土台モデルの質と設定が生む差のほうが手法選択の差を上回ることが多いと結論し、最適な学習率が手法間で一桁から二桁違うことを示した4。MOF（金属有機構造体）の体積弾性率のように、新しい汎用モデルのほうが微調整モデルより誤差が小さく、微調整しない選択が有利になる場面もある5。

微調整はもう安い

MACE（多様な元素・化学系を横断して訓練された機械学習ポテンシャル、すなわち汎用MLIPの代表的な枠組みの一つ）を土台に、一部の層だけを更新対象に残し、残りを事前学習時の値に固定する凍結転移学習を試した研究がある。著者らは mace-freeze というパッチを公開し、任意のMACEモデルで層やパラメータ集合を凍結できるようにした1。水素が銅表面に吸着する系では、全3,376構造のうち約20%にあたる664構造で学習させたMACE-MP-f4が、全構造で一から学習したMACEモデルと同水準の精度に達した。同水準なのはエネルギーと力全体のRMSEについてで、水素原子にかかる力では全データ学習モデルを明確に上回っている。水素の力の誤差は付着確率のような動的反応確率の精度を決める律速だと先行研究が指摘しており、差がそこに出る意味は小さくない1。10%のデータでも精度は落ちない。この規模で調整したモデルの誤差は、エネルギー6.7対11.3 meV、力3.1対8.1 meV/Å、水素原子にかかる力4.3対17.7 meV/Åと、全データで一から学習したMACEモデルを全指標で下回った。更新するパラメータを絞ったぶん学習コストも下がった（著者らはその効果を限定的と書く）という1。ただし推論は速くならない。汎用の土台は特定系向けより複雑でなければならないぶん評価が重く、水素／銅系では1構造あたり、一から学習した小さなモデルの60msに対し390.5msかかる——大量の軌道を要する動力学では「ほぼ許容できない」コストだと著者らは書く1。ただしその一文は問題提起の側で、著者らはこの微調整モデルの予測を教師データに軽いACEモデルを作り、評価時間を17分の1に戻している1。Ti-Al-V合金でも、10〜20%のデータで調整した転移モデルが、全8,507構造で学習したACEモデルに並んだ。MACE-MP-f4に限れば、エネルギーと力では5%未満のデータで、ビリアル応力でも20%のデータでACEを上回っている1。

LoRA（Low-Rank Adaptation、事前学習済みの重みを凍結したまま低ランクの小さな行列だけを学習して調整する手法）を使う別の研究では、全rankのLoRAに重み減衰を組み合わせ、事前学習モデルへの強い帰納バイアスを保ちながら制約なしの微調整と同等の表現力を確保できると論じている。Equitrainと呼ぶ枠組みを提案した研究だが、追加10構造という少なさで明確な性能向上が得られるという報告はEquitrainに限った話ではない。10構造は転移学習・複数ヘッド・Equitrainに共通する標準設定で、この研究がフォノン計算用に生成するデータの既定量である3。ただし少ないのは構造の数であって、1構造の大きさではない。この10構造は辺長15 Åまでの大きなスーパーセルで、同じ10構造でも原始胞で学習するとフォノンの誤差は倍以上になる3。そのデータ生成は、フルのフォノン計算に比べて計算量を32%、20個以上の変位スーパーセルを要する複雑な系では92%削減できたという3。

代償は汎用性だ

凍結転移学習の論文自身が、この手法の限界を明言している。狭い応用領域向けにモデルを作る代わりに、汎用モデルが本来持っていた転用可能性を不可避に減らしている、というのが著者らの言葉だ。ただし狭まりの程度そのものは今後の検討課題だとも書いている。素朴な微調整については、深い層を更新し続けることが破局的忘却（微調整の前に得意だった領域の精度が落ちる現象）や学習の不安定化を招きうると導入部で述べているが、これは自分たちの手法についての自認ではなく、先行研究を引いた指摘である1。

破局的忘却を扱った研究もある。MPtrjで学習したSevenNet-0を土台に、事前学習済みの汎用MLIPを微調整すると、汎用MLIPの利点であるはずの汎化能力が損なわれると指摘する研究だ2。この研究は、経験再生（過去のデータを学習に混ぜ続ける手法）とEWC（Elastic Weight Consolidation、重要なパラメータの変化に制約をかけて古い知識を保つ手法）を組み合わせたreEWCという枠組みを提案した。硫化物系のリチウム固体電解質Li6PS5Cl（LPSC）を対象に微調整したところ、ポテンシャルエネルギー面の軟化とリチウム拡散係数の過大評価という既知の問題を改善しつつ汎化能力を保ち、化学的に離れた系への知識転移も可能にしたと報告されている2。劣化の大きさは図に示されている。微調整の対象（LPSC）から外れた非アージロダイト系9材料でのリチウム拡散係数について、素朴な微調整は誤差を土台 SevenNet-0 の MAPE 33%（MPE 18%）から MAPE 57%（MPE 50%） へ悪化させた。同じ条件で reEWC は MPE 0%・MAPE 17% と、土台そのものより良い値に収めている2。微調整が汎用性を削るという主張の、いちばん直接的な実測値がここにある。

LoRAを扱った研究も、同種の観察を報告している。転移学習（層の大部分を再学習する方式）は破局的忘却のために汎化能力を下げているように見える一方、LoRAによる手法は未知の相への汎化能力を最もよく保っていたという3。ただし7手法を横並びにした研究の順位はこれと食い違う——そちらでは事前学習分布から最も離れるのが素朴な微調整とLoRAで、汎用性を一貫して保てたのは複数ヘッドの再生だけ、LoRAの効果は中程度だとされる4。複数ヘッドの再生についても2本の評価は逆向きで、Equitrainを提案した側の研究は未知の相への汎化で複数ヘッドが転移学習よりさらに悪く、忘却を抑えられたのはEquitrainだけだったと書く3。安さと引き換えに何を失うかは、手法によって違い、その順位も研究によって割れている。7手法比較の著者ら自身も、ハイパーパラメータの探索は限定的で、より広く最適化すればとくにLoRAと複数ヘッドの再生では相対順位が動きうると認めている4。

手法の優劣より、土台と設定が効く

7つの微調整手法を横並びで比較した研究がある。査読前のプレプリントで、独立の追試もまだ無い4。扱うのはMACE系列のみで、CHGNetやSevenNetは対象に含まれない。素朴な微調整、層凍結の2種類、LoRA、複数ヘッドを使う再生（multihead replay）、擬似ラベルを使う再生、再生とLoRAの組み合わせという内訳だ。土台には MACE-MP0a-medium、MACE-OMat-0-small、MACE-OMat-0-medium、MACE-MH1（OMat24・OMol25・MatPES・OC20・MP-PBE・SPICEの6データセットで学習し、データセットごとに読み出しヘッドを持つ）を使っている4。

実務で最初に効くのは、手法ごとに最適な学習率が違う点だ。素朴な微調整ではおよそ10のマイナス3乗、LoRAではそれより一桁高いおよそ10のマイナス2乗、複数ヘッドの再生では最も低いおよそ10のマイナス4乗が最適だったという4。全手法に同じ学習率を当てた比較では、手法の性質と学習率の当て外れが分離できない。

土台モデルの質、E0（元素ごとの孤立原子の基準エネルギーで、ポテンシャルが総エネルギーをどこからの相対値として学習するかを決める初期値）の正しい初期化、そして適切に選ばれたハイパーパラメータの3つは前提条件であり、その効果は微調整手法そのものの選択が生む差を上回ることが多いと著者らは結論する4。E0の初期化を誤ったまま手法を比較しても、手法の優劣ではなく初期化の失敗を測ってしまう。

微調整しないほうが精度が出ることもある

MOFSimBench（金属有機構造体、MOFの分子モデリングにおいて汎用MLIPの性能を評価するベンチマーク）は、微調整をしない選択が有利になる具体例を示している——ただし測っているのはMOFの系だけである5。構造最適化では、汎用モデルeSEN-OAMが体積偏差10%以内で成功する割合94%を達成し、古典力場のUFF4MOFは66%にとどまった5。同じ評価で、MOF向けに微調整されたMACE-MP-MOF0は成功した最適化の数が全モデル中で最も少なかった。対応元素が減って主集合の28構造を計算できないためで、著者らは「この制限された化学的射程ゆえ、我々の評価ではMACE-MP-MOF0を『汎用』ポテンシャルとして扱わない」と書いている5。

体積弾性率の平均絶対誤差でも、eSEN-OAMは2.60 GPa（計算に成功した96構造での値）で、MOF向けに微調整されたMACE-MP-MOF0の3.16 GPa（同70構造）を下回った。熱容量では逆に、微調整済みモデルの0.020 J/K/gがeSEN-OAMの0.024 J/K/gを上回った。ただしそれも、別の汎用モデルorb-v3-omatの0.018 J/K/gには及ばない5。

著者らは、微調整モデルが元の汎用MACEを上回る一方、より新しい汎用MLIPが同等以上の精度に届いたことでその優位が縮んだと書く5。ただし著者ら自身が結論として置いたのは、汎用モデルの学習データが乏しい領域や、特定の系・タスクを狙う場合には微調整が有効たりうる、という一文のほうだ5。あわせて、一般的なベンチマークだけでは領域固有のタスクを反映しきれない可能性も指摘している。

何を測り、何から決めるか

まず、自分が使おうとしている観測量に対して、現行の汎用MLIPをゼロショット（追加学習なし）で測る。微調整済みモデルとの差が既に縮んでいる可能性があるからだ5。この時点で十分な精度が出ているなら、微調整という選択肢自体が要らない。

微調整に進む場合は、全データの10〜20%程度の規模から始める。水素／銅系やTi-Al-V合金では、この規模で全データ学習と同水準の精度に達した実績がある1。フォノン物性を狙った研究では、転移学習・複数ヘッド・LoRAのいずれでも追加10構造という規模で効果が出ている3。大きなデータセットを最初から用意する必要はない。

手法を比較する前に、それぞれの手法で学習率を最適化する。素朴な微調整とLoRAと複数ヘッドの再生では、最適な学習率が一桁から二桁違う4。ただしこれを測ったのはMACE系列だけで、CHGNetやSevenNetで同じ幅になるかは確かめられていない。同じ学習率のまま手法だけを比べると、学習率の不一致を手法の優劣と誤読する。土台モデルの質とE0の初期化も、その手前で点検しておく。E0が正しく設定されていなければ、その上に載る手法の差は意味を持たない4。

土台とE0という前提条件を整えたうえでなら、手法の選択そのものは用途の広さで絞れる。7手法を比較した研究の結論は明快で、狭い対象系だけに使うなら素朴な微調整は「打ち負かしにくい」——モデルの容量を全部使え、収束も速く、制約付きの手法と同等以上の目標タスク精度が出る。広く使い回すなら再生系の手法が望ましい。ただし複数ヘッドの再生は、素朴な微調整の3〜15倍の学習計算を要する4。

微調整を終えたら、狙った観測量だけでなく、微調整前に汎用モデルが得意だった元の領域も測り直す。微調整は手法によっては、目的の観測量を改善しながら他の領域の精度を落とす23。この再測定を省くと、汎用性を失ったことに気づかないまま運用することになる。もっとも同じ7手法比較は、素朴な微調整とLoRAが空けたポテンシャル面の穴——原子どうしを押し込んだときに立つべき急峻な斥力の代わりに、強い引力を予測してしまう領域——が、中温域のMDでは観測可能な不安定化を起こさなかったとも書いている。再測定がとくに効くのは、高エネルギー配置や異常な構造を意図的に探索する用途である4。

出典5件

  1. Mariia Radova, Wojciech G. Stark, Connor S. Allen, Reinhard J. Maurer, Albert P. Bartók（University of Warwick）, “Fine-tuning foundation models of materials interatomic potentials with frozen transfer learning”（arXiv:2502.15582, 2025年2月21日公開）。査読付き、npj Computational Materials vol. 11, art. 237, 2025年7月18日掲載（https://doi.org/10.1038/s41524-025-01727-x）。層を凍結して逆伝播を一部に限る凍結転移学習を提案し、mace-freezeパッチを公開した。水素／銅系では20%（664構造）でMACE-MP-f4が全データ学習（3,376構造）と同水準の精度に達し、10%でも学習コストを下げつつ届いた（効果は限定的と著者らは書く）。ただし「同水準」はエネルギーと総力の話で、Table I の 10% モデルは全指標で全データ学習のMACEを下回る誤差を示す——MAE(E) 6.7 対 11.3 meV、MAE(F) 3.1 対 8.1 meV/Å、水素原子にかかる力の MAE 4.3 対 17.7 meV/Å。著者らは水素力の誤差こそ付着確率などの精度を決める律速だと先行研究を引いて述べる。Ti-Al-V合金でも10〜20%で全8,507構造学習のACEモデルに並び、MACE-MP-f4はエネルギーと力で5%未満、ビリアル応力で20%のデータからACEを上回る。著者ら自身、この手法が汎用モデルの転用可能性を狭い領域向けに不可避に削ると明言する（狭まりの程度は今後の検討課題とも書く）。なお素朴な微調整の破局的忘却は、著者らが導入部で先行研究を引いて挙げたリスクであり、自らの手法についての自認ではない。https://arxiv.org/abs/2502.15582 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

  2. Jisu Kim, Jiho Lee, Sangmin Oh, Yutack Park, Seungwoo Hwang, Seungwu Han, Sungwoo Kang, Youngho Kang, “An efficient forgetting-aware fine-tuning framework for pretrained universal machine-learning interatomic potentials”（arXiv:2506.15223, 2025年6月18日公開）。査読付き、npj Computational Materials vol. 12, art. 26, 2025年12月17日掲載（https://doi.org/10.1038/s41524-025-01895-w）。事前学習済みMLIPの微調整は破局的忘却を引き起こし汎化性を損なうと指摘し、経験再生とEWCを組み合わせたreEWCを提案する。土台は MPtrj で学習した SevenNet-0（2024年7月11日版）。硫化物系電解質Li6PS5Cl（LPSC）を対象に、ポテンシャルエネルギー面の軟化とリチウム拡散係数の過大評価を改善しつつ汎化能力を保ち、硫化物・酸化物・窒化物・ハロゲン化物への知識転移も可能にしたと報告する。経験再生単独・EWC単独より明確な相乗効果があるという。要旨に数値は無いが、掲載版の Fig. 6（arXiv v1 では Fig. 5）に非アージロダイト系9材料での拡散係数誤差が示されている（SevenNet-0: MPE 18%／MAPE 33%、素朴な微調整: 50%／57%、reEWC: 0%／17%）。アージロダイト系45材料では順にMPE 24%／MAPE 26%、−10%／13%、−5%／11%。https://arxiv.org/abs/2506.15223 ↩ ↩2 ↩3 ↩4 ↩5

  3. Jonas Grandel, Philipp Benner, Janine George（Bundesanstalt für Materialforschung und -prüfung, Berlin）, “Parameter-Efficient Fine-Tuning of Machine-Learning Interatomic Potentials for Phonon and Thermal Properties”（arXiv:2604.01017, 2026年4月1日初版・同4月10日改訂のv2）。査読前のプレプリントである。全rankのLoRAに重み減衰を組み合わせたEquitrainを提案し、追加10構造で明確な性能向上を報告する——ただしこの主張は要旨でEquitrainを導入する前に置かれており、10構造は転移学習・複数ヘッドも含む手法共通の標準設定である。53材料でのフォノン平均絶対誤差の中央値（辺長15 Åまでの大スーパーセル10構造で学習した場合。原典 Table 1。原始胞10構造ではEquitrain 0.12 THz・複数ヘッド 0.18 THz）はEquitrain0.05 THz、土台のMACE-MP-0b30.27 THz、転移学習0.06 THz、複数ヘッド0.07 THz。ただし原典の補足資料（SI 7.1, Table 5）は、MP-0b3 について no longer the strongest available pre-trained model と明記し、微調整なしの MACE-MPA-0 を 0.16 THz、MACE-OMAT-0 を 0.10 THz、フォノン計算専用に学習された MACE-F を 0.29 THz と測っている。∴ 「5倍超」は 0.27 THz の旧世代土台に対する比で、現行世代を基準にすると約2倍。もっとも著者ら自身はこの2倍を優位の後退ではなく微調整の裏づけとして読み、「材料ごとの微調整による利得は、利用可能な汎用モデル間の差を上回る」「本結果は、微調整とりわけEquitrainで達成しうる性能の控えめな見積もりである可能性が高い」と書いている。300Kの熱物性は大半の材料が誤差±5%に収まる一方、土台モデルは熱伝導率を中央値で約−50%過小評価する。相転移予測のF1（53材料ではなく、不安定相をもつ9材料が対象。原典 Table 4／the set of the nine non-stable structures）はEquitrain 0.66、土台0.63、転移学習0.56。内訳は precision 68%対60%、recall 65%対66%。データ生成はフルのフォノン計算比で計算量を32%（複雑な系では92%）削減する。転移学習は破局的忘却で汎化能力を下げているように見える一方、LoRAは未知の相への汎化を最もよく保つと著者らは述べる。複数ヘッドは転移学習よりさらに悪く（Table 4: precision 38%・recall 50%・F1 0.43）、忘却を抑えたのはEquitrainだけだとも書く。https://arxiv.org/abs/2604.01017 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

  4. Tamás Lajos Tompa, Eszter Varga-Umbrich, Ilyes Batatia, Alin M. Elena, Noam Bernstein, Gábor Csányi, “Fine-tuning MLIP foundation models: strategies for accuracy and transferability”（arXiv:2606.12704, 2026年6月10日公開のv1）。査読前のプレプリントである。素朴な微調整、層凍結2種、LoRA、複数ヘッド再生、擬似ラベル再生、再生とLoRAの組み合わせという7手法を、MACE-MP0a-medium・MACE-OMat-0-small・MACE-OMat-0-medium・MACE-MH1の4つのチェックポイント（3世代）で比較した。評価は5系（食塩水・氷の多形・SN2反応・SPICE生体分子・リチウム電解質）にわたり、学習データ量は5桁、動径分布関数・NEB・MD安定性・ランダム構造探索（RSS）まで測る。MACE系列のみが対象で、CHGNetやSevenNetは扱っていない。最適な学習率は手法ごとに異なり、素朴な微調整で約10のマイナス3乗、LoRAでそれより一桁高い約10のマイナス2乗、複数ヘッド再生でそれより低い約10のマイナス4乗だったという。土台モデルの質、E0の正しい初期化、適切なハイパーパラメータは前提条件であり、その効果は手法選択が生む差を上回ることが多いと結論する。手法選択は用途の広さで決まり、狭い対象系では素朴な微調整が「打ち負かしにくい」、広い頑健性が要るなら再生系が望ましい。ただし複数ヘッド再生は素朴な微調整の3〜15倍の学習計算を要する。素朴な微調整とLoRAがRSSで空けた穴は、試した中温域のMDでは観測可能な不安定化を起こさなかったとも書く。ハイパーパラメータの探索は限定的だったと認め、より広く最適化すれば相対順位（とくにLoRAと複数ヘッド再生）が動きうると留保している。https://arxiv.org/abs/2606.12704 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11

  5. Hendrik Kraß, Ju Huang, Seyed Mohamad Moosavi, “MOFSimBench: evaluating universal machine learning interatomic potentials in metal-organic framework molecular modeling”（npj Computational Materials vol. 12, art. 4, 2025年12月11日, DOI 10.1038/s41524-025-01872-3。arXiv初版は arXiv:2507.11806, 2025年7月16日）。査読付き論文。構造最適化は汎用モデルeSEN-OAMが体積偏差10%以内での成功率94%、古典力場UFF4MOFは66%。体積弾性率の平均絶対誤差はeSEN-OAM2.60 GPa（計算に成功した96構造）、微調整済みMACE-MP-MOF03.16 GPa（同70構造）、非保存力場orb-d3-v272.29 GPa（同14構造）。原典のFig. 6は括弧内に各モデルで計算に成功した予測の数を示しており、3つの値は同じ構造集合の平均ではない。とくに72.29 GPaは14構造の平均であり、96構造・70構造の値と同列には比べられない。熱容量の平均絶対誤差はorb-v3-omat0.018 J/K/g（MAPE 2.3%）が微調整済みモデルの0.020 J/K/gを下回った。微調整済みMACE-MP-MOF0は対応元素が減ったため主集合の28構造が計算できず、成功した最適化の数は全モデル中で最少、MD安定性でも成功かつ正確なシミュレーションは70%にとどまる。著者らはこの化学的射程の狭さを理由に、同モデルを評価上「汎用」ポテンシャルとして扱わないと明記し、構造最適化では微調整モデルが対応する材料に限ってもeSENが上回る（SI Fig. S8。MACE-MP-MOF0 が計算できる72構造に絞った収束率は、図の目視で 5,000 ステップまでに MACE-MP-MOF0 91% に対し eSEN-30M-OAM 94%、1,000 ステップまでで 91% 対 94%。同系の eSEN-30M-MP は 90%／91% で並ぶ）ことも確認している。新しい汎用MLIPが同等以上の精度に達したことでMOF特化微調整モデルの優位は縮んだ（its advantage has narrowed）と述べるが、著者らが We conclude that を置いたのは、汎用モデルの学習データが乏しい領域や特定の系・タスクを狙う場合には微調整が有効たりうる、という一文のほうである。一般的なベンチマークは領域固有タスクを反映しきれない可能性も指摘する。結果はMOFに限定される。https://www.nature.com/articles/s41524-025-01872-3 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。