AI・信頼性・評価
AI天気予報は平均で勝ち、決定論型は記録破りで負ける
目次
天気予報は、大気の動きを方程式で解いて先を見る仕事として育ってきた。観測を集め、地球を格子に切り、物理の法則にしたがって少し先の状態を計算し、それを何度も繰り返す。計算は重く、走らせるには大きな設備が要る。
そこへ、過去の観測を大量に学んで先を当てる別のやり方が来た。方程式を解く代わりに、これまで起きたことの型から次を推測する。速く、桁違いに安く、しかも多くの指標で従来を上回ると報告されるようになった。予報の現場が実際に採り入れはじめた段階まで来ている。
ただし、予報がいちばん役に立つのは平年並みの日ではない。避難や停止の判断が要るのは、記録を塗り替える日のほうだ。過去の型から学ぶ仕組みは、その「過去に無かった日」をどう扱うのか——平均でうまくいくことと、極端でうまくいくことは、同じ性能ではない。
予報のAIは、いちばん警報が要る日にも任せてよいのか。
平均では勝ち、記録更新の領域では負ける。 天気予報のAIは、研究デモから運用へ踏み込んだ。ヨーロッパ中期予報センター(ECMWF)は2025年2月、機械学習モデル AIFS を本番運用に載せ、多くの指標で物理モデルを上回り、台風・熱帯低気圧の進路でも改善し、消費電力は物理計算より桁違いに小さいと、自ら作ったモデルを自ら測って報告する1。DeepMind の GenCast も同じく開発元の自己申告で、2019年を対象にした検証で、世界最高峰である ECMWF のアンサンブル予報を、比べたほぼ全ての条件で確率スコア(CRPS)が上回ったと報告する2。だが手放しでは済まない。2025年に公表され翌年査読を通った検証——モデル開発に関与していない大学・研究機関の研究者による第三者評価である——は、記録破りの熱波・寒波・強風——最も警報が要る場面——では、検証対象となった決定論型のAIモデルに対して、いまも物理モデルが勝つと示した3。理由は根が深い。AIは安全な「平均」を出すよう報われ4、訓練したデータの外へ外挿できない3。
越えた閾値:AI予報が「運用」に入った
ここ数年、天気予報AIは加速してきた。GraphCast や Pangu-Weather、そして拡散モデルの GenCast が、物理シミュレーションに迫り、追い抜く数字を次々に出した。決定的だったのは、物理予報の総本山が、自ら本番に載せたことだ。ECMWF は2025年2月25日、AIFS(Artificial Intelligence Forecasting System)を運用化し、物理モデル IFS と並走させ始めた1。以下で引く AIFS の数字はこの運用化時点のもので、その後 AIFS v2 が2026年5月に運用入りしている5。
数字も速度も本物だ。AIFS は多くの指標で物理モデルを上回り、台風進路では最大2割改善。しかも 28km 格子で高速に走り、9km の物理モデルに対し電力は約1000分の1という。ただし2025年2月の発表は increased speed and a reduction of approximately 1,000 times in energy use と述べるだけで、実行時間は数値化していない。速度のほうは同年7月、アンサンブル版の運用化発表が物理ベースの予報システムより10倍以上速いと定量した6。GenCast はさらに攻めた。0.25度・15日先までの確率的予報を8分で生成し、ECMWF のアンサンブル予報を 1320の検証指標のうち97.2%で上回ったと報告する(変数間に依存があるため、この1320項目が各々独立した予報タスクを表すわけではないと原典は断っている)2。速く、安く、そして平均的には正確——この三拍子が、運用化を後押しした(→予報の限界は計算機でなく天気の側にある)。
だが、記録破りでは物理が勝つ
平均ではなく、記録を塗り替える規模の極端気象に的を絞ると、評価は逆転する。Zhang・Fischer・Zscheischler・Engelke は、この極端気象で AIモデル(GraphCast・Pangu-Weather・FuXi)と物理モデル HRES を比べた3。ここでの「記録破り」は、格子点ごと・暦月ごとに 1979〜2017 年の最高/最低を更新した事例を指し、対象変数は 2m 気温と 10m 風速。本文の結果は 2020 年のもので、2018 年は同じ傾向が再現するかの確認にあてられている(FuXi は 2018 年の予報データが公開されておらず、この確認から外れる)。この3つはいずれも点ごとの誤差を最小化する決定論型で、確率的な GenCast や AIFS は対象外だ——研究に関与していない外部の研究者は検証対象を「一世代前」のAIだと評し7、著者らは掲載版で、確率型も同じ ERA5 で訓練される以上は同様の外挿の困難に直面する公算が高いと述べる3。
この検証の強みは、勝ち負けの両方を同じ土俵に載せたことにある。同じ年・同じモデル・同じ RMSE で全事象を測れば、AI が HRES を上回る——2m 気温では Pangu-Weather を除く各モデルが、10m 風速では全モデルがそうだ。ところが記録破りだけに絞った瞬間、順位が入れ替わる。HRES が、ほぼ全リードタイムでAIを上回る——5日を超えると差は縮まるが、それでも概ね物理が優位だ。AIは記録破りの発生頻度も強度も過小評価し、暑い記録は低く、寒い記録は高く見積もる。しかも悪いことに、記録の更新幅が大きいほど、AIの誤差は膨らむ3。
著者らの診断は、訓練の外へ外挿できないことだ。主要なAI天気モデルは1979〜2017年のデータで学んでおり、温暖化が進む世界の前例のない極端を、過去に観測した範囲へ引き戻してしまう。訓練窓を1979〜2019年まで延ばした GraphCast の版でも、運用解析にもとづく版でも、記録破りでは同じく劣った3。彼らは、早期警戒や災害対応のような高stakesの用途を、いまのAIだけに委ねることに警鐘を鳴らす。平均の勝ちは、記録を塗り替える領域では通用しない。
なぜ極端で外すのか——「平均への回帰」
弱点は偶然ではなく、学習のさせ方に根がある。多くのAI天気モデルは、予報と実況の点ごとの誤差(平均二乗誤差など)を最小化するよう訓練される。すると、はっきり committすると外したとき罰が大きいので、モデルは安全に平均へ寄せる方が得になる。結果、予報は空間的にぼやけ(blurring)、先の予報ほど滑らかになり、小さなスケールの構造が消える4。台風の目のような鋭い峰は、平均化されて丸くなる。
この機構は外部からの指摘にとどまらない。ECMWF 自身が、第一世代の機械学習モデルは平均二乗誤差を目的関数に訓練されるため過度に滑らかな場を出しがちで、アンサンブルのばらつきが縮んで予報の信頼性が落ちると述べ、それを避けるために連続確率順位スコア(CRPS)に基づく損失で訓練したアンサンブル版を運用に入れた、と説明している8。
これが、平年から離れた場面でAIが鈍る一因だ。原典もこの機構を否定してはいない——決定論型のAI予報は鋭い風の峰のような細かな構造を均してしまう、と自ら述べている(掲載版はこれを、分布の平均を予測するよう設計されていることの帰結として書く)。そのうえで著者らが記録破りの敗北の根に置くのは、訓練領域の外へ外挿できないことだ。先に見た「更新幅が大きいほど誤差が膨らむ」という形そのものが、学習データ中で最も極端な観測値のあたりに見えない上限があることを示唆する3。物理モデルにその上限が無いのは、変わらない物理法則に従うからだ。方程式に従う分、見たことのないシナリオでも破綻しにくい——ただし対流や雲の扱いには経験的に調整されたパラメタリゼーションが入っている。事実、HRES も風速記録では弱い過小評価を示す(ただし原典はその度合いを「AIモデルよりはるかに小さい」としており、この偏りをパラメタリゼーションに帰してもいない)3。物理側も無条件ではない。GenCast が「極端に強い」と言えたのも、原典が評価した最も厳しい閾値でさえ再現期間約7年——2016〜2022年の気候値による99.99パーセンタイル——という、観測された分布の裾での話だった2。1979年以降の記録を塗り替える領域とは、桁が一つ違う。ぼやけるモデルは、平年並みの明日はうまく当て、50年に一度の朝を丸めてしまう。
出典8件
-
European Centre for Medium-Range Weather Forecasts(ECMWF), “ECMWF’s AI forecasts become operational”(2025年2月公表)。機械学習予報システム AIFS(Artificial Intelligence Forecasting System)の決定論版を2025年2月25日に運用化し、物理モデル IFS と並走。多くの指標で物理モデルを上回り、熱帯低気圧・台風の進路では最大20%改善。格子間隔は28km(IFSは9km)で、予報生成の消費電力は物理計算の約1000分の1と報告する。ECMWF 自身がAI予報を本番運用に載せた側の一次資料。https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ai-forecasts-become-operational ↩ ↩2
-
Ilan Price, Alvaro Sanchez-Gonzalez, Ferran Alet, Tom R. Andersson ほか (Google DeepMind), “GenCast: Diffusion-based ensemble forecasting for medium-range weather”(arXiv:2312.15796, 2023年12月公開/2024年改訂・Nature掲載)。拡散モデルで、0.25度・15日先までの確率的アンサンブル(80超の地上・大気変数)を生成。要旨は「8分」をアンサンブルに掛けて書くが、本文は「1本あたり Cloud TPU v5 1台で約8分、アンサンブルは各メンバーを並列生成」と述べる。世界最高峰である ECMWF のアンサンブル予報 ENS を、評価した1320指標の97.2%で上回ったと報告(97.2%は Nature 掲載版 “Probabilistic weather forecasting with machine learning”, 2024年12月4日, doi:10.1038/s41586-024-08252-9 の値。arXiv プレプリント版は97.4%と記載しており、本稿は査読版の数値を採る)。ただし原典は、この1320項目が変数間の依存のため各々独立した予報タスクを表すわけではないと断っている。極端の評価は観測された分布の裾が対象で、最も厳しい99.99パーセンタイルでも再現期間は約7年(2016〜2022年の気候値による)。台風予報や風力発電予測でも優位を主張する。AI予報が平均スコアで物理を上回りうる側の一次証拠。https://arxiv.org/abs/2312.15796(プレプリント版、97.4%)/https://pmc.ncbi.nlm.nih.gov/articles/PMC11666454/(Nature 査読版全文、97.2%。オープンアクセス) ↩ ↩2 ↩3
-
Zhongwei Zhang, Erich Fischer, Jakob Zscheischler, Sebastian Engelke, “Physics-based models outperform AI weather forecasts of record-breaking extremes”(Science Advances, 2026, doi:10.1126/sciadv.aec1433。プレプリントは arXiv:2508.15724「Numerical models outperform…」として2025年8月21日公開、査読掲載時に改題)。記録を塗り替える規模の熱波・寒波・強風に的を絞り、AIモデル(GraphCast・Pangu-Weather・FuXi、および GraphCast・Pangu-Weather の運用版)と物理モデル HRES を比較。全事象では AI が HRES を上回るのに、記録破りに限るとほぼ全リードタイムで HRES が一貫して勝ち、AIは記録破りの頻度も強度も過小評価(暑い記録は低く・寒い記録は高く)、記録の更新幅が大きいほど誤差が拡大。原因を訓練領域(1979〜2017年)外への外挿の失敗とし、早期警戒など高stakes用途をAI単独に委ねることに警鐘を鳴らす。データの制約から評価は単一年のみと自ら断り、掲載版の考察は確率的AIモデル(GenCast、AIFS-CRPS)にも一段落を割いて、同じ ERA5 で訓練される以上は同様の外挿の困難に直面する公算が高いと述べる。物理が極端でなお勝つ側の一次証拠。https://arxiv.org/abs/2508.15724(プレプリント版)/https://pmc.ncbi.nlm.nih.gov/articles/PMC13127558/(Science Advances 掲載版全文。オープンアクセス) ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8
-
“FastNet: Improving the physical consistency of machine-learning weather prediction models through loss function design”(arXiv:2509.17601, 2025年9月公開/Artificial Intelligence for the Earth Systems(AMS)2026掲載)。AI天気予報モデルが、平均二乗誤差の最小化により「安全に平均へ寄せた」予報を出すよう報われ、空間的にぼやけ(blurring)、先の予報ほど滑らかになって小スケール構造やスペクトル解像度を失う問題を扱う。修正球面調和(MSH)損失でスペクトル振幅の誤差を罰し、水平勾配項で非物理的アーティファクトを抑えることで、細かな構造の平滑化を軽減できると報告。極端の過小評価の背後にある「平均への回帰=ぼやけ」の機構と、その緩和策を示す一次証拠。https://arxiv.org/abs/2509.17601 ↩ ↩2
-
ECMWF, “Significant update to ECMWF’s key forecasting systems IFS and AIFS goes live”(2026年5月12日)。物理モデル IFS の Cycle 50r1 と AIFS v2 を同日に運用投入したと報告する。決定論版の運用化(2025年2月)以降もAI側が更新を重ねていることを示す一次資料。https://www.ecmwf.int/en/about/media-centre/news/2026/ifs-cycle-50r1-aifsv2-live ↩
-
ECMWF, “ECMWF’s ensemble AI forecasts become operational”(2025年7月1日)。AIFS の確率的アンサンブル版を2025年7月1日に運用化。初期条件は物理ベースのデータ同化に依存するが、予報生成は物理ベースの予報システムより10倍以上速く、消費電力は約1000分の1に下がると報告する。2025年2月の発表が出していない実行時間の数値を与える一次資料。https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ensemble-ai-forecasts-become-operational ↩
-
Carbon Brief「Traditional models still ‘outperform AI’ for extreme weather forecasts」。同研究の解説記事(媒体は、著者の一人 Erich Fischer が Carbon Brief の contributing editor であることを記事中で開示している)。研究に関与していないウプサラ大の博士課程研究者 Leonardo Olivetti は、検証された3つのAIモデルは「一世代前(older generation)」のものだと述べており、極端の再現を掲げる新しい確率的モデルは評価対象に入っていない。これに対し著者の Engelke は、確率的モデルは「複数の未来の天候状態を作り出す」ぶん記録破りを捕まえやすいと応じ、新世代モデルを極端予報の観点で評価することは「重要だ」と述べる。研究に関与していないケルン大の Martin Schultz は、この結果が「莫大な計算コストにもかかわらず、運用予報で古典的な数値天気モデルを使い続けることを正当化する」と評し、コロラド州立大の Kyle Hilburn は本研究が極端降水を扱っていない点を限界に挙げる。 https://www.carbonbrief.org/traditional-models-still-outperform-ai-for-extreme-weather-forecasts/ ↩
-
Simon Lang, Linus Magnusson, “AIFS ENS becomes operational”, ECMWF Newsletter No. 185(2025年秋号、2025年10月刊)。第一世代の機械学習モデルは平均二乗誤差(MSE)を目的関数に訓練されるため過度に滑らかな場を出しがちで、アンサンブルのばらつきが縮んで予報が信頼できなくなると述べる。これを避けるため、連続確率順位スコア(CRPS)に基づく損失で訓練した AIFS-CRPS の方式を運用アンサンブルに採用したと説明する。ぼやけの機構を、AI予報を運用する当事者自身が認めた一次資料。https://www.ecmwf.int/en/newsletter/185/earth-system-science/aifs-ens-becomes-operational ↩
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。