AI・信頼性・評価
AI天気予報はどこまで当たる?平均の精度と記録破りの熱波・寒波
- AI天気予報
- 天気予報
- 機械学習
- 極端気象
- AIFS
- GenCast
- GraphCast
- Pangu-Weather
- FuXi
- HRES
- ECMWF
- 記録破り
- 外挿
- 決定論型
- アンサンブル
- 平均二乗誤差
- CRPS
- ぼやけ
- 物理モデル
- ERA5
- 熱波
- 寒波
- 強風
- 熱帯低気圧
- パラメタリゼーション
- 再現期間
- 早期警戒
目次
天気予報は、大気の動きを方程式で解いて先の状態を求める仕事として発達してきた。観測を集め、地球を格子に切り、物理の法則にしたがって少し先の状態を計算し、それを何度も繰り返す。計算は重く、走らせるには大きな設備が要る。このように方程式を解いて予報を出す計算の仕組みを、物理モデルと呼ぶ。
そこへ、過去の観測を大量に学んで先を当てる別のやり方が現れた。この方法は、方程式を解く代わりに、これまで起きたことの型から次を推測する。このAIの予報には、一つの予報値だけを出す決定論型と、少しずつ違う予報を何本も並べて起こりやすさ(確率)として出すアンサンブル型(確率型)がある。開発元は、この方法が速く、桁違いに安く、しかも多くの指標で従来を上回ると報告するようになった。予報の現場が実際に採り入れはじめた段階まで来ている。
ただし、予報がいちばん役に立つのは平年並みの日ではない。避難や停止の判断が要るのは、記録を塗り替える日のほうだ。過去の型から学ぶ仕組みは、その「過去に無かった日」をどう扱うのか。平均でうまくいくことと極端でうまくいくことは、同じ性能ではない。
予報のAIは、いちばん警報が要る日にも任せてよいのか。
記録破りの熱波・寒波・強風の予報は、検証された決定論型のAIだけに任せるにはまだ早い。第三者の検証では、決定論型のAIは平均の誤差では物理モデルにおおむね勝ったが、記録を更新した日の予報では物理モデルに負けた1。
AIの平均での強さは、開発元も自ら測って示している。ヨーロッパ中期予報センター(ECMWF、European Centre for Medium-Range Weather Forecasts)は2025年2月に機械学習モデル AIFS の本番運用を始め、多くの指標で物理モデルを上回ると報告する2。
検証の著者らは、AIが負ける原因を、訓練したデータの外への外挿(学んだ範囲を超えた値を推し量ること)が苦手なことに求める1。
一年の平均誤差は、記録破りの一日をほとんど映さない
※ この節の例は、説明のために作った架空のものです。
記録を超える日に過去の最高記録と同じ値を予報する方法は、更新幅と同じだけ外れるが、その外れは一年の平均の誤差にはほとんど現れない。
ある地点の一年365日の最高気温を、二つの方法で予報するとする。過去の観測から学ぶ方法は、ふだんの日の誤差が1℃だが、過去の最高記録38℃を超える値を出さず、記録を超える日は38℃と予報する。方程式を解く方法は、どの日も誤差が1.5℃で、記録を超える値も出せる。その年、気温が41℃に達して記録を3℃更新する日が一度だけ来たとする。
一年の平均の誤差(外れの大きさを365日で平均したもの)では、学ぶ方法が勝つ。記録の日の3℃の外れは365日に薄まり、平均は約1.01℃にしか上がらず、方程式の1.5℃を下回る。記録の日だけを取り出すと順位が入れ替わり、学ぶ方法の誤差3℃は方程式の1.5℃の2倍になる。学ぶ方法の誤差は記録の更新幅と同じだけ出るので、更新幅が5℃なら5℃になる。
この例から言えることは三つある。
- 一年の平均の誤差は、記録の日の外れを365日に分けて薄める。平均で勝つことは、記録の日に勝つことを示さない。
- 記録を超える値を出さない方法では、記録の日の誤差が更新幅で決まり、更新幅が大きいほど誤差も大きい。
- 記録を超える値を出せる方法では、記録の日の誤差はふだんの日と同じ大きさで済む。
例が示すのは、平均で測る評価と記録の日の評価が食い違いうることであり、実際のAIに決まった上限があるという話ではない。
平均の成績:AI予報が運用に入った
ここ数年、天気予報AIの開発は加速してきた。GraphCast や Pangu-Weather、そして拡散モデル(雑音から少しずつ値を作り出す生成モデル)の GenCast が、物理シミュレーションに迫り、追い抜く数字を次々に出した。決定的だったのは、物理予報を担ってきた中心機関が、自ら本番の運用を始めたことだ。ヨーロッパ中期予報センター(ECMWF、European Centre for Medium-Range Weather Forecasts)は2025年2月25日、AIFS(Artificial Intelligence Forecasting System)を運用化した。これを物理モデル IFS(Integrated Forecasting System)と並行して走らせ始めた2。以下で引く AIFS の数字はこの運用化時点のもので、その後 AIFS v2 が2026年5月に運用入りしている3。
ECMWF 自身の報告では、AIFS は台風進路を含む多くの指標で物理モデルを上回り、改善幅は最大2割。しかも 28km 格子で高速に走り、9km の物理モデルに対し電力は約1000分の1という。ただし2025年2月の発表は increased speed and a reduction of approximately 1,000 times in energy use と述べるだけで、実行時間は数値化していない。速度のほうは、同年7月のアンサンブル版の運用化発表で ECMWF が数値で示した。予報の出発点となる初期条件は物理ベースのデータ同化(観測と物理モデルを組み合わせて現在の大気の状態を推定する計算)に頼って作ると断ったうえで、物理ベースの予報システムより10倍以上速いと書く4。
DeepMind が開発した GenCast の報告はさらに大きい。0.25度・15日先までの予報1本は Cloud TPU v5 1台で約8分で生成でき、アンサンブルは各メンバーを並列に作る。2019年を対象にした検証では、確率の予報が実際の値からどれだけずれたかを測るスコア(CRPS、continuous ranked probability score。小さいほどよい)を使い、世界最高峰である ECMWF のアンサンブル予報を 1320の検証指標のうち97.2%で上回ったとも報告する。ただし原典は、変数間に依存があるため、この1320項目が各々独立した予報タスクを表すわけではないと断っている5。速く、安く、平均的には正確であることが、運用化の理由の一つになった。
だが、記録破りでは決定論型のAIに物理が勝つ
平均ではなく、記録を塗り替える規模の極端気象に的を絞ると、評価は逆転する。モデル開発に関与していない大学・研究機関の研究者 Zhang・Fischer・Zscheischler・Engelke は、2025年に公表し翌年に査読を通った検証で、この極端気象について AIモデル(GraphCast・Pangu-Weather・FuXi)と物理モデル HRES を比べた1。HRES(High RESolution forecast)は、ECMWF の物理モデル IFS による高解像度の決定論予報である。ここでの「記録破り」は、格子点ごと・暦月ごとに 1979〜2017 年の最高/最低を更新した事例を指し、対象変数は 2m 気温と 10m 風速。本文の結果は 2020 年のもので、2018 年は同じ傾向が再現するかの確認にあてられている(FuXi は 2018 年の予報データが公開されておらず、この確認から外れる)。この3つはいずれも点ごとの誤差を最小化する決定論型で、確率型の GenCast や AIFS のアンサンブル版は対象外だ。
この検証の強みは、全事象と記録破りを、同じ年・同じモデル・同じ誤差の指標 RMSE(root mean square error。外れの二乗を平均して平方根をとった値)で比べたことにある。全事象を測れば、AI が HRES を上回る。2m 気温では Pangu-Weather を除く各モデルが、10m 風速では全モデルが上回る。ところが記録破りだけに絞ると、順位が入れ替わる。HRES が、ほぼ全てのリードタイム(何日先の予報か)でAIを上回る。5日を超えると差は縮まるが、それでも概ね物理が優位だ。全事象の誤差で勝つことは、記録破りの日の誤差で勝つことを示さなかった。AIは記録破りの発生頻度も強度も過小評価し、暑い記録は低く、寒い記録は高く見積もる。さらに、記録の更新幅が大きいほど、AIの誤差は膨らむ1。
著者らの診断は、訓練の外へ外挿するのが苦手なことだ。主要なAI天気モデルは1979〜2017年のデータで学んでおり、温暖化が進む世界の記録に無い規模の極端を、過去に観測した範囲に近い値で予報してしまう。学習期間を1979〜2019年まで延ばした GraphCast の版でも、運用解析にもとづく版でも、記録破りでは同じく劣った1。著者らは、早期警戒や災害対応のような重大な判断を伴う用途を、いまのAIだけに委ねないよう注意を促す。平均で勝っていても、記録を塗り替える日の予報が当たるとは限らない。
研究に関与していない外部の研究者は検証対象を「一世代前」のAIだと評し6、著者らは掲載版で、確率型も同じ ERA5(ECMWF が過去の観測を物理モデルで整理し直した大気の再解析データ)で訓練される以上は同様の外挿の困難に直面する公算が高いと述べる1。「一世代前」の評は Carbon Brief の解説記事によるもので、著者の一人 Fischer が同誌の contributing editor であることは記事自身が開示している6。同じ記事で著者の一人 Engelke は、確率型は複数の未来の状態を出すぶん記録破りを捉えやすいとも述べている6。
この研究は孤立した1本ではない。原典の序論は、最も強い熱帯低気圧の強度や熱波・冬の嵐のような過去に例を見ない振幅ではAIが過小評価するという事例研究を複数引く。一方で2024年のドバイの記録的降雨は GraphCast が当てた事例として挙げ、過去の他地域の極端気象と力学的に似ていれば新しい事象にも汎化しうると解釈している。そのうえで、個別の事例研究からは結論を一般化しにくいからこそ記録破りを系統的に集めて比べたのだと位置づける1。
極端で外す理由と予報のぼやけ
記録破りでAIが外す理由として、検証の著者らは外挿の苦手を挙げ、別の研究は学習のさせ方から来る予報のぼやけを挙げる。まず、ぼやけの機構から見る。多くのAI天気モデルは、予報と実況の点ごとの誤差(平均二乗誤差など)を最小化するよう訓練される。すると、細かな構造を均した予報のほうが平均二乗誤差は小さくなるので、モデルはぼかした予報を出力するようになる。結果、予報は空間的にぼやけ(blurring)、先の予報ほど滑らかになり、小さなスケールの構造が消える7。同じ論文は、訓練期間の外にあたるカテゴリー5のハリケーン・イアンで、平均二乗誤差で微調整したモデルがピーク風速を大きく過小評価し、中心付近をはるかに滑らかにしてしまう例を示している7。
この機構は外部からの指摘にとどまらない。ECMWF 自身が、第一世代の機械学習モデルは平均二乗誤差を目的関数に訓練されるため過度に滑らかな場を出しがちで、アンサンブルのばらつきが縮んで予報の信頼性が落ちると述べ、それを避けるために連続確率順位スコア(CRPS)に基づく損失で訓練したアンサンブル版を運用に入れた、と説明している8。
ぼやけは鋭いピークを均すので、平年から離れた場面でAIの予報が鈍る一因になる。記録破りの検証の原典もこの機構を否定してはいない。決定論型のAI予報は、風速の鋭いピークのような細かな構造を均してしまう、と原典自身が述べている(掲載版はこれを、分布の平均を予測するよう設計されていることの帰結として書く)。そのうえで著者らが記録破りで負ける原因として挙げるのは、訓練領域の外への外挿が苦手なことだ。先に見た「更新幅が大きいほど誤差が膨らむ」という形そのものが、学習データ中で最も極端な観測値のあたりに予報値の上限があることを示唆する1。
物理モデルにその上限が無いのは、変わらない物理法則に従うからだ。方程式に従う分、見たことのないシナリオでも破綻しにくい。ただし、対流や雲のように格子より小さい現象は、経験的に調整した近似式(パラメタリゼーション)で扱われている。事実、HRES も暑い記録と風速記録では弱い過小評価を示す(ただし原典はその度合いを「AIモデルよりはるかに小さい」としており、この偏りをパラメタリゼーションに帰してもいない)1。
GenCast は極端な天候の予測でも ECMWF のアンサンブル予報を上回ったと報告するが5、それも観測された分布の裾での話だった。原典が評価した最も厳しい閾値は2016〜2022年の気候値による99.99パーセンタイルで、その再現期間(平均して何年に一度起きるか)でさえ約7年である5。これは格子点ごとに7年分をまとめて取った分布の裾であり、先に見た記録破り(格子点・暦月ごとに1979〜2017年の最高/最低を更新した事例)とは基準の取り方が違うので、どちらがより稀な日かを同じ尺度で並べることはできない。
確率型の運用モデルについては、ECMWF が CRPS 型のアンサンブル版 AIFS ENS を物理のアンサンブル IFS ENS と並べた事例を2件報告している。2025年4月の嵐 Hans がアルプス南部に24時間で最大446mmの雨をもたらしたときは、どちらも最大値を過小評価し、AIFS ENS のほうが過小評価が強かった。ECMWF はその一因に解像度の差(AIFS 約30km、IFS 約9km)を挙げ、両者とも早い段階で極端な事象の可能性を示していたとも書く8。同じ月末のフランスの熱波では逆に、短いリードタイムでも IFS ENS が観測を下回り、AIFS ENS のほうが観測に近かった。ECMWF は、IFS ENS がこの熱波と2025年晩春から初夏の同様の条件で過小評価した理由を調べているという8。いずれも個別の事例研究で、記録破りを系統的に集めた比較ではない。
AI予報の成績を読むときは、全事象の平均の誤差と、記録を更新した日の誤差を分けて見るとよい。記録の日の誤差が更新幅とともに大きくなっていれば、その予報には、学んだ範囲の外の値が出にくいという弱点が疑われる。
確率型のAIについては、2026年10月に査読前の比較が出た。ライプツィヒ大などの Wessel らは、確率型の GenCast と WeatherNext2 が2022年の熱波の予報で、記録破りの事例も含め、検証した全ての地域とリードタイムで物理のアンサンブル IFS ENS を上回ったと報告する9。同じ論文は、決定論型のAIを HRES と比べる設計そのものが公平でないと論じる。平均二乗誤差で訓練した決定論型のAIは条件付きの平均を推定するが、HRES は平均へ縮まない1本の物理の計算だからだという9。決定論型の GraphCast・Pangu-Weather・FuXi についても、統計的な後処理で確率の予報に直し、全モデルを同じ観測データ ERA5 で照合すると、多くの設定で、極端な気象の予報はAI(とくに FuXi)のほうが HRES より情報量が多かったという査読前の報告がある10。Wessel らは2022年の1年・気温だけ・5日先までを扱い、ERA5 で照合すると最も高い閾値では物理を上回らない場合もあると断っている9。Biegert らも、照合のデータが違うので Zhang らの結果とは直接比べられないと断る10。
出典10件
-
Z. Zhang ほか「Physics-based models outperform AI weather forecasts of record-breaking extremes」Science Advances, 2026. https://pmc.ncbi.nlm.nih.gov/articles/PMC13127558/ https://arxiv.org/abs/2508.15724 — 記録破りの日に HRES が決定論型AIに勝つと報告。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9
-
ECMWF「ECMWF’s AI forecasts become operational」2025. https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ai-forecasts-become-operational — AIFS の決定論版を2025年2月25日に運用化。台風進路を含む多くの指標で物理モデルを最大20%上回り、格子は28km(IFSは9km)、消費電力は約1000分の1と報告する。 ↩ ↩2
-
ECMWF「Significant update to ECMWF’s key forecasting systems IFS and AIFS goes live」2026. https://www.ecmwf.int/en/about/media-centre/news/2026/ifs-cycle-50r1-aifsv2-live — IFS Cycle 50r1 と AIFS v2 を2026年5月12日に運用投入したと報告する。 ↩
-
ECMWF「ECMWF’s ensemble AI forecasts become operational」2025. https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ensemble-ai-forecasts-become-operational — AIFS のアンサンブル版を2025年7月1日に運用化。初期条件は物理ベースのデータ同化に依存するが、予報生成は物理ベースの予報システムより10倍以上速いと報告する。 ↩
-
I. Price ほか「Probabilistic weather forecasting with machine learning」Nature, 2024. https://pmc.ncbi.nlm.nih.gov/articles/PMC11666454/ https://arxiv.org/abs/2312.15796 — 1320指標の97.2%で ECMWF のアンサンブル予報を上回ったと報告する(arXiv のプレプリント版は97.4%)。 ↩ ↩2 ↩3
-
Carbon Brief「Traditional models still ‘outperform AI’ for extreme weather forecasts」. https://www.carbonbrief.org/traditional-models-still-outperform-ai-for-extreme-weather-forecasts/ — 解説記事。2024年の先行研究の筆頭著者 Olivetti は対象を「一世代前」と評す。著者 Fischer は同誌の編集協力者。 ↩ ↩2 ↩3
-
Dunstan ほか「FastNet: Improving the physical consistency of machine-learning weather prediction models through loss function design」AMS, 2026. https://arxiv.org/abs/2509.17601 — 平均二乗誤差によるぼやけを扱う。 ↩ ↩2
-
S. Lang, L. Magnusson「AIFS ENS becomes operational」ECMWF Newsletter No. 185, 2025. https://www.ecmwf.int/en/newsletter/185/earth-system-science/aifs-ens-becomes-operational — 平均二乗誤差で訓練した第一世代の機械学習モデルは過度に滑らかな場を出すと述べ、CRPS に基づく損失の採用を説明する。事例2件で物理とも比べる。 ↩ ↩2 ↩3
-
Wessel ほか「Probabilistic AI models outperform numerical weather prediction models on record breaking heat extremes」arXiv, 2026. https://arxiv.org/abs/2610.20519 — 査読前。確率型AIを記録破りの熱波で IFS ENS と比べる。 ↩ ↩2 ↩3
-
Biegert ほか「Towards Fair Comparisons of AI- and Physics-Based Weather Models for Extreme Events via the Weighted Potential CRPS」2026. https://arxiv.org/abs/2606.21170 — 査読前。極端の予報で AI と HRES を比べる。 ↩ ↩2
この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。