シミュレーション・制御・実機
シミュレーションの信頼性はソルバーでなく検証で決まる
目次
「デジタルツインで現実を丸ごと再現する」「何でもシミュレートできる」。この種の宣伝文句には、ひとつ静かな前提が抜けている。シミュレーションが正しいと、誰がどうやって確かめたのか、という前提だ。
本稿の主張は一貫している。シミュレーションの信頼性を決めるのはソルバーの性能ではなく、検証の手続きと、その手続きが届く範囲である。工学の成熟した分野はこれを規格にまで固めてきた。一方で、計算が速く安くなるほど、検証されていない計算が「それらしい絵」のまま意思決定に混ざる機会は増えている。順に見ていく。
難所はソルバーではない
ナビエ・ストークス方程式を解くコードを書くのは難しい。だが本当の難所はそこではない。現代の有限要素・有限体積ソルバーは十分に成熟していて、メッシュを切って境界条件を入れれば、それらしく色のついた美しい結果がたいてい出てくる。問題は、その結果が「もっともらしく見える」ことそのものにある。
数値計算は黙って間違える。乱流モデルの係数、接触面の摩擦、材料の非線形性──こうした入力の不確かさは、出力では平然と3桁の精度を持つ数字に化ける。計算が収束したことと、現実と一致することの間には、何の論理的な繋がりもない。にもかかわらず、滑らかなコンター図は人を信じさせる力を持っている。本当に難しいのは解くことではなく、自分のシミュレーションが「意味のある形で間違っている」ことに気づくことだ。
信頼は検証から借りてくる
ではプロはどうやって信頼を得るのか。答えは地味で、現実との突き合わせ(validation)に尽きる。風洞、実機の歪みゲージ、製造後の実測。シミュレーションの信頼は内部からは決して湧いてこない。それは常に、現実という外部の通貨で買うものだ。
これは規律の話ではなく、規格になっている。ASME V&V 20は、シミュレーションの出力と実験データを、双方の不確かさを込みで突き合わせ、一致の度合いを数値化する手続きを定める1。NASAはさらに一歩進み、モデル・シミュレーションの結果を意思決定に使うなら、その計算がどこまで追跡可能で、どう検証・妥当性確認されたかを技術レビューにかけて「信頼度」として明示することを標準で要求する2。数値そのものより、その数値がどう素性を証明したかを問う——ここまでは、業界が実際に守っている手続きだ。
成熟した現場では、単一の答えを出さない。入力のばらつきを確率分布として流し込み、出力も分布で受け取る。「応力は214.7 MPa」ではなく「90%の確率で180〜250 MPaに収まる」と言う。偽りの精度を捨て、不確かさを正直に持ち運ぶこの態度こそが、玩具と道具を分ける。
この態度は統計学の側でも定式化されている。KennedyとO’Haganは2001年に、モデルのパラメータを実測データに合わせ込む(calibration)ためのベイズ的枠組みを提示した。この枠組みは、パラメータの不確かさだけでなく「モデル不備(model inadequacy)」——最良のパラメータを選んでもなお残る、モデル予測と観測の系統的な食い違い——を明示的な項として扱う3。つまり、較正のプロの道具立ては最初から「合わせ込んでもズレは残る」ことを前提に設計されている。パラメータが実測に合ったからといって、モデルが正しくなったわけではないのだ。
ただし、この「検証」という言葉自体に、もう一段の但し書きがつく。地球科学のような、閉じていない自然の系を相手にするモデルでは、それが「正しい」と論理的に証明することはできない——できるのは、観測との一致を積み重ねて部分的に「確からしさを確かめる(confirmation)」ところまでだ、と指摘した古典的な論文がある4。回路や構造解析のような、物理がよく定義された工学系のシミュレーションはこの但し書きの直撃をより受けにくいが、程度の差はあれ同じ論理は及ぶ——検証は信頼を生む手続きではあっても、真偽を証明する手続きではない。
検証域の外は補間ではなく外挿だ
だからシミュレーションが本当に報われるのは、物理が素直で、検証ループが回り、失敗しても安いところだ。回路、構造解析、既知の流れ。逆に欺くのは、検証する現実がまだ存在しない領域──前例のない新材料、極端な条件、複雑な人間系。そこでは綺麗なグラフほど危ない。
なぜそこで欺くのかには、はっきりした理由がある。CFDの検証・妥当性確認に関する古典的なレビューは、妥当性確認(validation)と予測(prediction)を明確に別物として扱う——妥当性確認は実験データが存在する条件との突き合わせであり、予測はデータの無い条件へモデルを適用することだ5。検証済みの範囲の中でどれだけ正確でも、その外側は補間ではなく外挿であり、性質の異なる、定量化されていない不確かさを負う。
この区別が破られるとどうなるかは、思考実験ではなく事故調査報告書に残っている。2003年のスペースシャトル・コロンビア号事故。打ち上げ時に外部燃料タンクから剥がれた断熱材が左翼に衝突し、飛行中にその損傷を見積もる解析に使われたのが、Craterという損傷予測ツールだった。Craterは小さなデブリの衝突試験で較正されたモデルで、解析対象となった断熱材片は、較正に使われたデータベースの標準(約3立方インチ規模のデブリ)の約400倍の大きさだった6。事故調査委員会(CAIB)の所見は端的だ——「チームによるタイル損傷評価は、Craterの試験データベースの十分外側にある衝突のシミュレーションで行われた」6。
皮肉なのは、Craterが当初、タイルの厚みを超える損傷を予測していたことだ。エンジニアたちはこの予測を、較正試験の範囲でCraterが貫入を過大に見積もる傾向があった経験にもとづいて、判断で割り引いた——損傷はタイル下部の緻密化層を貫通しない、と6。ここからは本稿の読みだが、この判断の急所は「このモデルは過大評価する」という知識それ自体が、検証済み領域の中でしか確かめられていなかった点にある。400倍の外挿の先では、誤差の大きさはおろか、誤差の向きにも保証はない。しかも実際の衝突箇所はタイルではなく翼前縁の強化炭素複合材パネルで、評価の枠組みそのものが対象を外していた。委員会は、Craterを含む既存ツールはこの種のデブリ衝突損傷の評価には不十分だったと結論している6。
sim-to-realも同じ構図を持つ
この構図は、ロボティクスでも同じ形で現れる。シミュレーションで完璧に歩いた方策が実機で転ぶとき、原因の大半はポリシーの弱さではなく、未計測・誤計測の力学にある。sim2realのギャップを整理した総説は、ギャップを力学・知覚・アクチュエーション・系設計の4軸に分け、その中身として摩擦・接触・慣性・制御遅延・バックラッシュ・アクチュエータ帯域を名指しする7。いずれも、モデルに入れそこねた量だ。本稿の言葉に訳せば、こうなる——ギャップは、あなたが検証しなかったものの中にある。構造解析の応力もロボットの摩擦係数も、シミュレーションの信頼が実測との突き合わせからしか生まれないという一点で、同じ構図の上に立っている。
ML代理モデルの報告様式は検証文化とまだ遠い
そしていま、この規律が試されている最前線がある。ニューラルネットで数値ソルバーを代理・高速化するML研究だ。McGreivyとHakimは、流体系の偏微分方程式(PDE)をMLで解いて「標準的な数値解法を上回った」と主張する論文76本を系統的に調べた8。彼らの物差しは二つ——比較は同等の精度か同等の実行時間で行うこと、そして比較相手には効率的な数値解法を選ぶこと。このどちらかを破った比較を「弱い基準線」と呼ぶと、76本のうち79%(60本)が弱い基準線との比較だった。さらに、否定的な結果が表に出にくい出版バイアス・結果報告バイアスも広くみられるとし、分野全体として過度に楽観的だと結論している。
比べてみてほしい。ASME V&V 20やNASAの標準が「数値の素性——どう検証し、何と、どんな条件で比べたか——を文書化せよ」と要求する世界と、非効率な基準線との比較で「上回った」と報告できてしまう世界。同じ「シミュレーション」の名の下で、信頼の作法にこれだけの落差がある。ML代理モデルという道具が悪いのではない。この調査が示すのは、少なくとも流体系のML研究では、数十年かけて築かれた検証の文化がまだ新しい道具に移植しきれていない、ということだ。そしてこれは片側の問題でもない——検証の規格を持つ側も、その手続きが届くのは検証データの範囲までだということを、コロンビア号の例は示している。
素性を問う四つの質問
冒頭の問いに戻る。「何でもシミュレートできる」時代に、結果を受け取る側が持てる防御は、数字の見栄えではなく素性を問うことだ。この計算はどの範囲の実測と突き合わせて検証されたのか。いま予測している条件は、その範囲の中か外か。不確かさは点ではなく分布で報告されているか。「上回った」なら、何と、どの軸で、どんな条件で比べたのか。
この四つに答えられないシミュレーション結果は、どれだけ滑らかなコンター図でも、まだ仮説のままだ。シミュレーションは現実の代わりではなく、現実に問う仮説に過ぎない——そして仮説を信頼に変える通貨は、昔も今も、現実の実測しかない。
出典
-
[支持] ASME V&V 20-2009 (R2021), “Standard for Verification and Validation in Computational Fluid Dynamics and Heat Transfer.” シミュレーション結果と実験データを不確かさ込みで突き合わせ、一致の度合いを定量化する手続きを規格化した標準。 https://www.asme.org/codes-standards/find-codes-standards/standard-for-verification-and-validation-in-computational-fluid-dynamics-and-heat-transfer ↩
-
[支持] NASA-STD-7009, “Standard for Models and Simulations.” モデル・シミュレーションの結果を意思決定に用いる際、追跡可能性・検証・妥当性確認・技術レビューを経て信頼度を明示的に評価することを要求するNASAの標準。 https://standards.nasa.gov/standard/NASA/NASA-STD-7009 ↩
-
[支持] M. C. Kennedy & A. O’Hagan, “Bayesian Calibration of Computer Models,” Journal of the Royal Statistical Society: Series B 63(3), 425–464 (2001). 計算モデルの較正で、パラメータの不確かさに加え、最良のパラメータを選んでもなお残るモデル予測と観測の食い違い(model inadequacy)を明示的な項として扱うベイズ的枠組みを提示した古典。 https://academic.oup.com/jrsssb/article/63/3/425/7083367 ↩
-
[留保] N. Oreskes, K. Shrader-Frechette & K. Belitz, “Verification, Validation, and Confirmation of Numerical Models in the Earth Sciences,” Science 263, 641–646 (1994). 自然界を扱う数値モデルの検証・妥当性確認は、系が閉じておらず結果も一意でない以上、論理的に不可能であり、可能なのは観測との一致による部分的な確証(confirmation)までだと論じる。モデルの主な価値は真偽の証明でなく発見的なものだとする。 https://www.science.org/doi/10.1126/science.263.5147.641 ↩
-
[留保] W. L. Oberkampf & T. G. Trucano, “Verification and Validation in Computational Fluid Dynamics,” Progress in Aerospace Sciences 38, 209–272 (2002). 妥当性確認(実験データのある条件との突き合わせ)と予測(データの無い条件へのモデル適用)を明確に区別し、両者の関係を論じる古典的レビュー。 https://www.sandia.gov/research/publications/details/verification-and-validation-in-computational-fluid-dynamics-2002-03-01/ ↩
-
[支持] Columbia Accident Investigation Board, “Report Volume I”(NASA, 2003年)。所見F6.3-10は、タイル損傷評価が「Craterの試験データベースの十分外側にある衝突のシミュレーション」で行われたと認定。F6.3-11は、Craterが当初タイル厚を超える損傷を予測したが、エンジニアが判断で「緻密化層は貫通しない」と結論したと記す。所見F3.8-6は、Craterを含む既存ツールがデブリ衝突損傷の評価に不十分だったとする。較正データベースが約3立方インチ規模の小デブリで、実際の断熱材片がその約400倍という寸法比は報告書本文(第6章)に基づく。所見一覧: https://spaceflightnow.com/columbia/report/allfindings.html ↩ ↩2 ↩3 ↩4
-
[支持] E. Aljalbout, J. Xing, A. Romero, …, D. Scaramuzza, F. Ramos, “The Reality Gap in Robotics: Challenges, Solutions, and Best Practices,” Annual Review of Control, Robotics, and Autonomous Systems(2026年採録, arXiv:2510.20808). sim2realのギャップを力学・知覚・アクチュエーション・系設計の4軸に整理し、その中身として摩擦・接触・慣性・制御遅延・バックラッシュ・アクチュエータ帯域を名指しする総説。 https://arxiv.org/abs/2510.20808 ↩
-
[支持] N. McGreivy & A. Hakim, “Weak baselines and reporting biases lead to overoptimism in machine learning for fluid-related partial differential equations,” Nature Machine Intelligence 6, 1256–1269 (2024). 流体系PDEをMLで解き標準数値解法を上回ると主張する論文76本を調査し、79%(60/76)が弱い基準線——同等の精度・実行時間での比較でない、または効率的な数値解法との比較でない——を用いていたと報告。出版・結果報告バイアスも広くみられ、分野は過度に楽観的だと結論。 https://www.nature.com/articles/s42256-024-00897-5 ↩
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。