シミュレーション・制御・実機
シミュレーションの信頼性はソルバーでなく検証で決まる
目次
「デジタルツインで現実を丸ごと再現する」「何でもシミュレートできる」。この種の宣伝文句には、ひとつ静かな前提が抜けている。シミュレーションが正しいと、誰がどうやって確かめたのか、という前提だ。
本稿の主張は一貫している。シミュレーションの信頼性を決めるのはソルバーの性能ではなく、検証の手続きと、その手続きが届く範囲である。工学の成熟した分野はこれを規格にまで固めてきた。一方で、計算が速く安くなるほど、検証されていない計算が「それらしい絵」のまま意思決定に混ざる機会は増えている。順に見ていく。
難所はソルバーではない
ナビエ・ストークス方程式を解くコードを書くのは難しい。だが本当の難所はそこではない。現代の有限要素・有限体積ソルバーは十分に成熟していて、メッシュを切って境界条件を入れれば、それらしく色のついた美しい結果がたいてい出てくる。問題は、その結果が「もっともらしく見える」ことそのものにある。
数値計算は黙って間違える。乱流モデルの係数、接触面の摩擦、材料の非線形性──こうした入力の不確かさは、出力では平然と3桁の精度を持つ数字に化ける。計算が収束したことと、現実と一致することの間には、何の論理的な繋がりもない。にもかかわらず、滑らかなコンター図は人を信じさせる力を持っている。本当に難しいのは解くことではなく、自分のシミュレーションが「意味のある形で間違っている」ことに気づくことだ。
信頼は検証から借りてくる
ではプロはどうやって信頼を得るのか。答えは地味で、現実との突き合わせ(validation)に尽きる。風洞、実機の歪みゲージ、製造後の実測。シミュレーションの信頼は内部からは決して湧いてこない。それは常に、現実という外部の通貨で買うものだ。
これは規律の話ではなく、規格になっている。ASME V&V 20は、シミュレーションの出力と実験データを、双方の不確かさを込みで突き合わせ、一致の度合いを数値化する手続きを定める1。NASAはさらに一歩進み、モデル・シミュレーションの結果を意思決定者に報告するなら、不確かさの推定と、結果の素性——入力データの追跡可能性・検証・妥当性確認がどこまで為されたか——の評価結果を併せて示すことを標準で要求する2。数値そのものより、その数値がどう素性を証明したかを問う——ここまでは、業界が実際に守っている手続きだ。
成熟した現場では、単一の答えを出さない。入力のばらつきを確率分布として流し込み、出力も分布で受け取る。「応力は214.7 MPa」ではなく「90%の確率で180〜250 MPaに収まる」と言う。偽りの精度を捨て、不確かさを正直に持ち運ぶこの態度こそが、玩具と道具を分ける。
この態度は統計学の側でも定式化されている。KennedyとO’Haganは2001年に、モデルのパラメータを実測データに合わせ込む(calibration)ためのベイズ的枠組みを提示した。この枠組みは、パラメータの不確かさだけでなく「モデル不備(model inadequacy)」——最良のパラメータを選んでもなお残る、モデル予測と観測の系統的な食い違い——を明示的な項として扱う3。つまり、較正のプロの道具立ては最初から「合わせ込んでもズレは残る」ことを前提に設計されている。パラメータが実測に合ったからといって、モデルが正しくなったわけではないのだ。
ただし、この「検証」という言葉自体に、もう一段の但し書きがつく。地球科学のような、閉じていない自然の系を相手にするモデルでは、それが「正しい」と論理的に証明することはできない——できるのは、観測との一致を積み重ねて部分的に「確からしさを確かめる(confirmation)」ところまでだ、と指摘した古典的な論文がある4。回路や構造解析のような、物理がよく定義された工学系のシミュレーションはこの但し書きの直撃をより受けにくいが、程度の差はあれ同じ論理は及ぶ——検証は信頼を生む手続きではあっても、真偽を証明する手続きではない。
検証域の外は補間ではなく外挿だ
だからシミュレーションが本当に報われるのは、物理が素直で、検証ループが回り、失敗しても安いところだ。回路、構造解析、既知の流れ。逆に欺くのは、検証する現実がまだ存在しない領域──前例のない新材料、極端な条件、複雑な人間系。そこでは綺麗なグラフほど危ない。
なぜそこで欺くのかには、はっきりした理由がある。CFDの検証・妥当性確認に関する古典的なレビューは、妥当性確認(validation)と予測(prediction)を明確に別物として扱う——妥当性確認は実験データが存在する条件との突き合わせであり、予測はデータの無い条件へモデルを適用することだ5。検証済みの範囲の中でどれだけ正確でも、その外側は補間ではなく外挿であり、性質の異なる、定量化されていない不確かさを負う。
この区別が破られるとどうなるかは、思考実験ではなく事故調査報告書に残っている。2003年のスペースシャトル・コロンビア号事故。打ち上げ時に外部燃料タンクから剥がれた断熱材が左翼に衝突し、飛行中にその損傷を見積もる解析に使われたのが、Craterという損傷予測ツールだった。Craterは小さなデブリの衝突試験で較正されたモデルで、解析対象となった断熱材片は、較正に使われたデータベースの上限(3立方インチ)の約400倍の大きさだった6。事故調査委員会(CAIB)の所見はこう認定している——「チームによるタイル損傷評価は、Craterの試験データベースの十分外側にある衝突のシミュレーションで行われた」6。
皮肉なのは、Craterが当初、タイルの厚みを超える損傷を予測していたことだ。エンジニアたちはこの予測を二つの理由で割り引いた——較正試験の範囲でCraterが貫入を過大に見積もる傾向があったこと、そしてCraterがタイル下部の強い緻密化層を式に持たないことだ。結論は、損傷は緻密化層を貫通しない、だった6。委員会は同じ所見で、解析担当者が Crater の使用と結果の解釈に不慣れだったことなども併せて認定しており、原因を検証域外の外挿だけに帰してはいない6。委員会自身がこの判断の急所を名指している——Craterは検証済みの範囲の中では保守的(実際より大きい損傷を予測する)だが、その外側では精度が未知である、と6。委員会はさらに、保守性を根拠にした割り引きが、理論的にも実験的にも検証されていない仮定だったと認定している6。本稿の言葉で敷衍すれば、400倍の外挿の先では、誤差の大きさはおろか、誤差の向きにも保証はない。しかも実際の衝突箇所はタイルではなく翼前縁の強化炭素複合材(RCC)パネルだった。RCCについても評価は行われている——ただしそこで使われたのは、1984年に氷の弾丸で較正されたCrater類似のアルゴリズムだった。そのアルゴリズムは、15度を超える角度の衝突ならRCCを貫通すると出していた6。軌道解析がRCC前縁への衝突を予測した唯一のシナリオは21度で、チームは断熱材が氷より低密度だという理由から、試験データの定性的な外挿と技術的判断により、21度までは貫通しないと結論した6。外挿の上に、さらに外挿を重ねたことになる。この外挿に不安を持つエンジニアもいたが、RCC損傷を評価する別の解析は行われなかった。委員会は、Craterを含む既存ツールはこの種のデブリ衝突損傷の評価には不十分だったと結論している6。
sim-to-realも同じ構図を持つ
この構図は、ロボティクスでも同じ形で現れる。シミュレーションで完璧に歩いた方策が実機で転ぶとき、最も大きな原因のひとつは、未計測・誤計測の力学にある。この分野の総説は、ずれの出どころを4つの層——力学、知覚、アクチュエーション、系設計——に切り分けたうえで、摩擦・接触・慣性・制御遅延・バックラッシュ・モータの時定数による位相遅れを具体名として挙げる7。いずれも、モデルに入れそこねた量だ。本稿の言葉に訳せば、こうなる——ギャップは、あなたが検証しなかったものの中にある。構造解析の応力もロボットの摩擦係数も、シミュレーションの信頼が実測との突き合わせからしか生まれないという一点で、同じ構図の上に立っている。
ML代理モデルの報告様式は検証文化とまだ遠い
そしていま、この規律が試されている最前線がある。ニューラルネットで数値ソルバーを代理・高速化するML研究だ。McGreivyとHakimは、流体系の偏微分方程式(PDE)をMLで解いて「標準的な数値解法を上回った」と主張する論文76本を系統的に調べた8。彼らの物差しは二つ——比較は同等の精度か同等の実行時間で行うこと、そして比較相手には効率的な数値解法を選ぶこと。このどちらかを破った比較を「弱い基準線」と呼ぶと、76本のうち79%(60本)が弱い基準線との比較だった。さらに、否定的な結果が表に出にくい出版バイアス・結果報告バイアスも広くみられるとし、分野全体として過度に楽観的だと結論している。
比べてみてほしい。一方には、ASME V&V 20が「実験データと突き合わせて、双方の不確かさ込みで一致の度合いを定量化せよ」と手続きを定める世界がある。NASAの標準は、その数値の素性——不確かさの推定と、追跡可能性・検証・妥当性確認がどこまで為されたかの評価——を意思決定者への報告に併せて示せと求める。もう一方には、非効率な基準線との比較で「上回った」と報告できてしまう世界がある。同じ「シミュレーション」の名の下で、信頼の作法にこれだけの落差がある。ML代理モデルという道具が悪いのではない。この調査が示すのは、少なくとも流体系のML研究では、数十年かけて築かれた検証の文化がまだ新しい道具に移植しきれていない、ということだ。そしてこれは片側の問題でもない——検証の規格を持つ側も、その手続きが届くのは検証データの範囲までだということを、コロンビア号の例は示している。これは規格自身が認めていることでもある——ASME V&V 20 は、検証点以外の点での精度、たとえば検証域内での補間や外挿は、問題の族ごとの技術的判断に属し本規格の範囲外だと、その範囲の宣言に明記している1。
素性を問う四つの質問
冒頭の問いに戻る。「何でもシミュレートできる」時代に、結果を受け取る側が持てる防御は、数字の見栄えではなく素性を問うことだ。この計算はどの範囲の実測と突き合わせて検証されたのか。いま予測している条件は、その範囲の中か外か。不確かさは点ではなく分布で報告されているか。「上回った」なら、何と、どの軸で、どんな条件で比べたのか。
この四つに答えられないシミュレーション結果は、どれだけ滑らかなコンター図でも、まだ仮説のままだ。シミュレーションは現実の代わりではなく、現実に問う仮説に過ぎない——そして仮説を信頼に変える通貨は、昔も今も、現実の実測しかない。
出典8件
-
ASME V&V 20-2009 (R2021), “Standard for Verification and Validation in Computational Fluid Dynamics and Heat Transfer.” シミュレーション結果と実験データを不確かさ込みで突き合わせ、一致の度合いを定量化する手続きを規格化した標準。範囲の宣言は「Consideration of solution accuracy at points within a domain other than the validation points, for example interpolation/extrapolation in a domain of validation, is a matter of engineering judgment specific to each family of problems and is beyond the scope of this Standard」。 https://www.asme.org/codes-standards/find-codes-standards/standard-for-verification-and-validation-in-computational-fluid-dynamics-and-heat-transfer ↩ ↩2
-
NASA-STD-7009B, “Standard for Models and Simulations.”(2024年3月5日) M&Sの結果を意思決定者に報告する際、不確かさの推定([M&S 33])、M&S結果の評価結果([M&S 35]。その因子は[M&S 31]=M&Sの用途・入力データの素性・不確かさの特徴づけ・結果の頑健性など)、およびM&S能力の評価結果([M&S 50]。その因子は[M&S 48]=データの素性・検証(Verification)・妥当性確認(Validation)など)を併せて示すことを要求するNASAの標準。検証・妥当性確認を負うのは後者の系統である。これら因子ごとの評価を束ねたものが「信頼度(credibility)」にあたる(Appendix E)。技術レビューも評価因子のひとつだが、標準自体はレビューの実施までは求めておらず、実施した場合に記録・報告することを求める([M&S 9] 根拠欄「This Standard does not require technical reviews; if they occur, the results are to be recorded and made available.」)。 https://standards.nasa.gov/standard/NASA/NASA-STD-7009 ↩
-
M. C. Kennedy & A. O’Hagan, “Bayesian Calibration of Computer Models,” Journal of the Royal Statistical Society: Series B 63(3), 425–464 (2001). 計算モデルの較正で、パラメータの不確かさに加え、最良のパラメータを選んでもなお残るモデル予測と観測の食い違い(model inadequacy)を明示的な項として扱うベイズ的枠組みを提示した古典。 https://academic.oup.com/jrsssb/article/63/3/425/7083367 ↩
-
N. Oreskes, K. Shrader-Frechette & K. Belitz, “Verification, Validation, and Confirmation of Numerical Models in the Earth Sciences,” Science 263, 641–646 (1994). 自然界を扱う数値モデルの検証・妥当性確認は、系が閉じておらず結果も一意でない以上、論理的に不可能であり、可能なのは観測との一致による部分的な確証(confirmation)までだと論じる。モデルの主な価値は真偽の証明でなく発見的なものだとする。 https://www.science.org/doi/10.1126/science.263.5147.641 ↩
-
W. L. Oberkampf & T. G. Trucano, “Verification and Validation in Computational Fluid Dynamics,” Progress in Aerospace Sciences 38, 209–272 (2002). 妥当性確認(実験データのある条件との突き合わせ)と予測(データの無い条件へのモデル適用)を明確に区別し、両者の関係を論じる古典的レビュー。 https://www.sandia.gov/research/publications/details/verification-and-validation-in-computational-fluid-dynamics-2002-03-01/ ↩
-
Columbia Accident Investigation Board, “Report Volume I”(NASA, 2003年)。所見F6.3-10は、タイル損傷評価が「Craterの試験データベースの十分外側にある衝突のシミュレーション」で行われたと認定する。同じ所見はあわせて、担当したボーイングの解析者がCraterの使用と結果の解釈に不慣れだったこと、熱防護系に詳しいハンティントンビーチの技術者が結果の解釈の妥当性判断に関与していなかったことも認定しており、委員会の認定は検証域外の外挿の一因だけに帰していない。F6.3-11は、Craterが当初タイル厚を超える損傷を予測したが、エンジニアが判断で「緻密化層は貫通しない」と結論したと記す。割り引きの理由は p.167 で二つ(「because of the inherent conservatism in the Crater model and because, in the case of tile, Crater does not take into account the tile’s stronger and more impact-resistant “densified” layer」)。第6章 p.144 の囲みは「When used within its validated limits, Crater provides conservative predictions … When used outside its validated limits, Crater’s precision is unknown」、p.168 は割り引きが「without theoretical or experimental validation」に置かれた仮定だったと記す。RCC については p.145「impact angles greater than 15 degrees would result in RCC penetration」「Only one scenario predicted an impact on the RCC leading edge, at a 21-degree angle」。所見F3.8-6は、Craterを含む既存ツールがデブリ衝突損傷の評価に不十分だったとする。較正データベースの検証済み上限が3立方インチ(原典「designed and validated for projectiles up to 3 cubic inches」、試験条件表も「Up to 3 cu.in」)で、実際の断熱材片がその約400倍という寸法比は報告書本文 第6章 p.144 の囲み “THE CRATER MODEL” に基づく。RCC については同章 p.145 が「氷の弾丸の衝突試験で較正されたCrater類似のアルゴリズムが使われた」「発泡材は氷より低密度だという理由で定性的な外挿と技術的判断により21度までは貫通しないと結論した」「この外挿に不安を持つエンジニアもいたが、RCC損傷を評価する別の解析は行われなかった」と記す。所見一覧: https://spaceflightnow.com/columbia/report/allfindings.html / 第6章本文: https://s3.amazonaws.com/akamai.netstorage/anon.nasa-global/CAIB/CAIB_lowres_chapter6.pdf ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9
-
E. Aljalbout, J. Xing, A. Romero, …, D. Scaramuzza, F. Ramos, “The Reality Gap in Robotics: Challenges, Solutions, and Best Practices,” Annual Review of Control, Robotics, and Autonomous Systems 9, 403–432 (2026), doi:10.1146/annurev-control-031924-100130(arXiv:2510.20808 v1 と照合). sim2realのギャップを力学・知覚・アクチュエーション・系設計の4軸に整理し、その中身として摩擦・接触・慣性・制御遅延に加え、アクチュエータ側の非線形性(不感帯・バックラッシュ・スルーレート制限・時定数・ヒステリシス)とモータの時定数による位相遅れを名指しする総説。 https://arxiv.org/abs/2510.20808 ↩
-
N. McGreivy & A. Hakim, “Weak baselines and reporting biases lead to overoptimism in machine learning for fluid-related partial differential equations,” Nature Machine Intelligence 6, 1256–1269 (2024). 流体系PDEをMLで解き標準数値解法を上回ると主張する論文76本を調査し、79%(60/76)が弱い基準線——同等の精度・実行時間での比較でない、または効率的な数値解法との比較でない——を用いていたと報告。出版・結果報告バイアスも広くみられ、分野は過度に楽観的だと結論。 https://www.nature.com/articles/s42256-024-00897-5 ↩
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。