マテリアルズインフォマティクス・材料

機械学習ポテンシャルの微調整：効く条件と、手法より効く設定

2026/8/4 （更新: 2026/11/3）

🤖 AIを使用して執筆

微調整はもう安い

凍結転移学習を試した研究は、全データの1〜2割で、全データで一から学習したモデルに並んだ例を報告している。凍結転移学習は、MACE（汎用MLIPの代表的な枠組みの一つ）をベースモデルに、一部の層だけを更新対象に残し、残りを事前学習時の値に固定する方法である。著者らは mace-freeze というパッチを公開し、任意のMACEモデルで層やパラメータ集合を凍結できるようにした¹。

水素が銅表面に吸着する系では、全3,376構造のうち約20%にあたる664構造で学習させたMACE-MP-f4が、全構造で一から学習したMACEモデルと同水準の精度に達した。同水準なのはエネルギーと力全体のRMSE（Root Mean Square Error、二乗平均平方根誤差）についてで、水素原子にかかる力では全データ学習モデルを明確に上回っている。水素の力の誤差は付着確率のような動的反応確率の精度を決めるボトルネックだと先行研究が指摘しており、差がそこに出る意味は小さくない¹。

10%のデータでも精度は落ちない。この規模で調整したモデルの誤差は、エネルギー6.7対11.3 meV、力3.1対8.1 meV/Å、水素原子にかかる力4.3対17.7 meV/Åと、全データで一から学習したMACEモデルを全指標で下回った。更新するパラメータを絞ったぶん学習コストも下がった（著者らはその効果を限定的と書く）という¹。

Ti-Al-V合金でも、10〜20%のデータで調整した転移モデルが、全8,507構造で学習したACE（Atomic Cluster Expansion）モデルに並んだ。MACE-MP-f4に限れば、エネルギーと力では5%未満のデータで、ビリアル応力でも20%のデータでACEを上回っている¹。

ただし凍結転移学習で推論は速くならない。汎用のベースモデルは特定系向けより複雑でなければならないぶん評価が重く、水素／銅系では1構造あたり、一から学習した小さなモデルの60msに対し390.5msかかる。著者らは、大量の軌道を要する動力学ではこれが「ほぼ許容できない」コストだと書く¹。もっともこの一文は問題提起で、著者らはこの微調整モデルの予測を教師データに軽いACEモデルを作り、評価時間を17分の1に縮めている。代わりに、この軽いモデルの力の誤差は原典の表で7.2 meV/Å、水素原子にかかる力では9.0 meV/Åと、微調整モデルの3.1・4.3 meV/Åより大きい。それでもこの軽いモデルの評価時間は22.6msで、一から学習したMACEモデルの60msより短く、力の誤差もそのMACEモデルの8.1・17.7 meV/Åより小さい。著者らは、付着確率の予測は保たれたと書いている¹。

フォノン物性を扱った別の研究は、追加10構造という少なさで明確な性能向上が得られたと報告している。この研究はLoRA（Low-Rank Adaptation）を使う。LoRAは、事前学習済みの重みを凍結したまま、それに足す更新の行列だけを学習して調整する手法で、通常は更新の行列を低ランクに絞る。この研究は、ランクを絞らない全ランクのLoRAに重み減衰を組み合わせ、事前学習モデルへの強い帰納バイアスを保ちながら制約なしの微調整と同等の表現力を確保できると論じ、その枠組みをEquitrainと呼ぶ。10構造で性能が上がるのはEquitrainに限らない。10構造は転移学習・複数ヘッド・Equitrainに共通する標準設定で、この研究がフォノン計算用に生成するデータの既定量である⁵。

ただし少ないのは構造の数であって、1構造の大きさではない。この10構造は辺長15 Åまでの大きなスーパーセルで、同じ10構造でも原始胞で学習するとフォノンの誤差は倍以上になる⁵。そのデータ生成は、フルのフォノン計算に比べて計算量を32%、20個以上の変位スーパーセルを要する複雑な系では92%削減できたという⁵。

汎用モデルの世代交代が、微調整の優位を縮めている

MOFSimBench（MOFの分子モデリングにおいて汎用MLIPの性能を評価するベンチマーク）は、微調整をしない選択が有利になる具体例を示している。ただし測っているのはMOFの系だけである²。構造最適化では、汎用モデルeSEN-OAMが体積偏差10%以内で成功する割合94%を達成し、古典力場のUFF4MOFは66%にとどまった²。同じ評価で、MOF向けに微調整されたMACE-MP-MOF0は成功した最適化の数が全モデル中で最も少なかった。対応元素が減って主集合の28構造を計算できないためで、著者らは「この制限された化学的射程ゆえ、我々の評価ではMACE-MP-MOF0を『汎用』ポテンシャルとして扱わない」と書いている²。

体積弾性率の平均絶対誤差でも、eSEN-OAMは2.60 GPa（計算に成功した96構造での値）で、MOF向けに微調整されたMACE-MP-MOF0の3.16 GPa（同70構造）を下回った。熱容量では逆に、微調整済みモデルの0.020 J/K/gがeSEN-OAMの0.024 J/K/gを上回った。ただしそれも、別の汎用モデルorb-v3-omatの0.018 J/K/gには及ばない²。

著者らは、微調整モデルが元の汎用MACEを上回る一方、より新しい汎用MLIPが同等以上の精度に届いたことでその優位が縮んだと書く²。それでも著者らが結論として置いたのは、汎用モデルの学習データが乏しい領域や、特定の系・タスクを狙う場合には微調整が有効たりうる、という一文である²。あわせて、一般的なベンチマークだけでは領域固有のタスクを反映しきれない可能性も指摘している。

著者らはまた、分散補正を含むデータで学習や微調整をすれば推論時間を大きく減らせると書き、MACE-MP-MOF0 がその有効性を示したとする²。手法の節によれば、MACE-MP-MOF0 は分散補正込みの値を直接予測するので、推論のたびに補正を別に計算せずに済む²。

微調整の優位が縮む例は、MOFとは別の系にもある。フォノン物性でEquitrainを提案した研究は、補足資料で、ベースモデルに使った MACE-MP-0b3 がもはや最強の事前学習モデルではないと明記し、微調整なしの MACE-OMAT-0 のフォノン誤差を、53材料の中央値で 0.10 THz と測っている。微調整後の 0.05 THz に対する利得は、旧世代のベースモデルの 0.27 THz を基準にした5倍超から約2倍に縮む⁵。ただし現行世代をベースモデルに微調整した結果は測られておらず、著者らは同じ手順を新しいモデルに当てればさらに誤差が縮む見込みだと書く⁵。著者らはこの約2倍を優位の後退ではなく、材料ごとの微調整による利得が汎用モデル間の差を上回る証拠として読んでいる⁵。

微調整がどれだけ上回るかは、比べる相手の汎用モデルの世代で変わる。自分の観測量で現行の汎用MLIPを追加学習なしに測るまで、微調整に進むべきかは決まらない²⁵。

手法の優劣より、ベースモデルと設定が効く

7つの微調整手法を横並びで比較した研究がある。査読前のプレプリントで、独立の追試もまだ無い³。扱うのはMACE系列のみで、CHGNetやSevenNetは対象に含まれない。素朴な微調整、層凍結の2種類、LoRA、複数ヘッドを使う再生（multihead replay）、擬似ラベルを使う再生、再生とLoRAの組み合わせという内訳だ。ここでの再生は、過去のデータを学習に混ぜ続ける手法を指す。ベースモデルには MACE-MP0a-medium、MACE-OMat-0-small、MACE-OMat-0-medium、MACE-MH1 を使っている。MACE-MH1 は OMat24・OMol25・MatPES・OC20・MP-PBE・SPICE の6データセットで学習し、データセットごとに読み出しヘッドを持つ³。

実務で最初に効くのは、手法ごとに最適な学習率が違う点だ。素朴な微調整ではおよそ $10^{-3}$、LoRAではそれより一桁高いおよそ $10^{-2}$、複数ヘッドの再生では最も低いおよそ $10^{-4}$ が最適だったという³。全手法に同じ学習率を当てた比較では、手法の性質と学習率の当て外れが分離できない。

学習率の外れは、微調整の対象系の誤差に出るとも限らない。硫化物系のリチウム固体電解質Li6PS5Cl（LPSC）で複数ヘッドの再生を一桁高い $10^{-3}$ で学習すると、対象系の力の誤差はほぼ変わらないまま、再生用データ側の力の誤差が約9倍（218対24 meV/Å）に悪化した³。著者らはこれを、再生が汎用性を保つ利点は対象系の精度に兆しが出るより先に損なわれると読む³。

ベースモデルの質、E0（元素ごとの孤立原子の基準エネルギーで、ポテンシャルが総エネルギーをどこからの相対値として学習するかを決める初期値）の正しい初期化、そして適切に選んだハイパーパラメータの3つは前提条件であり、その効果は微調整手法そのものの選択が生む差を上回ることが多いと著者らは結論する³。E0の初期化を誤ったまま手法を比較しても、手法の優劣ではなく初期化の失敗を測ってしまう。著者らは、初期の微調整研究が報告した困難の一部も、素朴な微調整に固有の欠陥ではなく、弱いベースモデルや基準エネルギーの不整合、不安定な学習手順を反映していた可能性があると書く³。

代償は汎用性だ

凍結転移学習の論文自身が、この手法の限界を明言している。狭い応用領域向けにモデルを作る代わりに、汎用モデルが本来持っていた転用可能性を不可避に減らしている、というのが著者らの言葉だ。ただし狭まりの程度そのものは今後の検討課題だとも書いている。素朴な微調整については、深い層を更新し続けることが破滅的忘却（微調整の前に得意だった領域の精度が落ちる現象）や学習の不安定化を招きうると導入部で述べているが、これは自分たちの手法についての自認ではなく、先行研究を引いた指摘である¹。

破滅的忘却を扱った研究もある。MPtrjで学習したSevenNet-0をベースモデルに、事前学習済みの汎用MLIPを微調整すると、汎用MLIPの利点であるはずの汎化能力が損なわれると指摘する研究だ⁴。この研究は、経験再生（過去のデータを学習に混ぜ続ける手法）とEWC（Elastic Weight Consolidation、重要なパラメータの変化に制約をかけて古い知識を保つ手法）を組み合わせたreEWCという枠組みを提案した。LPSCを対象に微調整したところ、ポテンシャルエネルギー面の軟化とリチウム拡散係数の過大評価という既知の問題を改善しつつ汎化能力を保ち、化学的に離れた系への知識転移も可能にしたと著者らは報告している⁴。

微調整が汎用性を削るという主張の、いちばん直接的な実測値は、この研究が図に示した劣化の大きさである。素朴な微調整は、微調整の対象（LPSC）から外れた非アージロダイト系9材料で、リチウム拡散係数の誤差を広げた。ベースモデルの SevenNet-0 では平均絶対百分率誤差（MAPE、Mean Absolute Percentage Error）33%・平均百分率誤差（MPE、Mean Percentage Error）18% だった誤差が、それぞれ 57%・50% になった。同じ条件で reEWC は MPE 0%・MAPE 17% と、ベースモデルそのものより良い値に収めている⁴。

安さと引き換えに何を失うかは、手法によって違い、その順位も研究によって割れている。Equitrainを提案した研究は、転移学習（層の大部分を再学習する方式）は破滅的忘却のために汎化能力を下げているように見える一方、LoRAによる手法は未知の相への汎化能力を最もよく保っていたという⁵。同じ研究は、未知の相への汎化で複数ヘッドが転移学習よりさらに悪く、忘却を抑えられたのはEquitrainだけだったと書く⁵。7手法比較の順位はこれと食い違う。その研究は、事前学習分布から最も離れるのが素朴な微調整とLoRAで、汎用性を一貫して保てたのは複数ヘッドの再生だけ、LoRAの効果は中程度だと書く³。複数ヘッドの再生についても、2本の評価は逆向きである。7手法比較の著者ら自身も、ハイパーパラメータの探索は限定的で、より広く最適化すればとくにLoRAと複数ヘッドの再生では相対順位が動きうると認めている³。

順位は割れていても、手当てをしなければ代償が残る点では、どの研究も一致している。reEWC のような再生系の手法は汎化能力をベースモデルの水準以上に戻したが⁴、7手法比較で汎用性を一貫して保てた複数ヘッドの再生は、素朴な微調整の3〜15倍の学習計算を要する³。代償は消えるのではなく、手法の選択と計算時間の側へ移る。

代償が表に出る場面も限られる。7手法比較は、素朴な微調整とLoRAが空けたポテンシャル面の穴（原子どうしを押し込んだときに立つべき急峻な斥力の代わりに、強い引力を予測してしまう領域）が、試した中温域の分子動力学（MD、Molecular Dynamics）では観測可能な不安定化を起こさなかったと書く。穴が効くのは、高エネルギー配置や異常な構造を意図的に探索する用途である³。

7手法比較の著者らは、ベースモデルと基準エネルギー、学習の設定を整えた後の手法選びは、用途の広さで決まると書く。狭い対象系だけに使うなら素朴な微調整は「打ち負かしにくい」とし、広く使い回すなら再生系が望ましいとする³。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。