シミュレーション・制御・実機

シミュレーションの信頼性はどう確かめる？V&Vと検証範囲の外の危うさ

2026/7/4 （更新: 2026/11/3）

🤖 AIを使用して執筆

計算の収束は、現実との一致を示さない

計算が収束して数字が出ることと、その数字が現実と一致することの間には、論理的な繋がりがない。ナビエ・ストークス方程式を解くコードを書くのは難しいが、現代の有限要素・有限体積ソルバーは十分に成熟していて、条件を入れればたいてい滑らかな結果を返す。難しいのは解くことより、その結果が現実からずれていることに気づくことである。

数値計算は、間違っていても警告を出さない。乱流モデルの係数、接触面の摩擦、材料の非線形性といった入力の不確かさは、出力では3桁の精度を持つ数字として現れる。滑らかな等高線の図は、この不確かさを図の上に見せない。

信頼の根拠は実測との突き合わせにある

シミュレーションの信頼の根拠は、背景で定義した妥当性確認、つまり実測との突き合わせから得る。検証はコードが方程式を正しく解いているかを確かめるだけで、現実との対応は扱わない¹。突き合わせる相手は、風洞の計測、実機に付けた歪みゲージ、製造後の実測である。計算の内部をいくら調べても、現実と合うかどうかは分からない。

この突き合わせは規格になっている。ASME V&V 20は、シミュレーションの出力と実験データを、双方の不確かさを込みで突き合わせ、一致の度合いを数値化する手続きを定める²。NASAはさらに一歩進み、モデル・シミュレーションの結果を意思決定者に報告するなら、不確かさの推定に加え、結果の評価とモデル能力の評価を併せて示すことを標準で要求する³。能力の評価には、データの素性（追跡可能性）・検証・妥当性確認がどこまで為されたかが入る。これらの規格は、数値そのものより、その数値の素性がどう示されたかを問う。ここまでは、ASMEとNASAの規格が定める手続きだ。

不確かさを正面から扱う解析は、単一の答えを出さない。入力のばらつきを確率分布として与え、出力も分布で受け取る。「応力は214.7 MPa」ではなく「90%の確率で180〜250 MPaに収まる」と言う。持っていない精度を数字に書かず、不確かさを明示したまま扱うことが、意思決定に使える解析の条件になる。

この考え方は統計学の側でも定式化されている。KennedyとO’Haganは2001年に、モデルのパラメータを実測データに合わせ込む(calibration)ためのベイズ的枠組みを提示した。この枠組みは、パラメータの不確かさだけでなく「モデル不備(model inadequacy)」も明示的な項として扱う⁴。モデル不備とは、最良のパラメータを選んでもなお残る、モデル予測と観測の系統的な食い違いである。つまり、この校正の枠組みは最初から「合わせ込んでもズレは残る」ことを前提に設計されている。パラメータが実測に合ったからといって、モデルが正しくなったわけではない。

妥当性確認にも、モデルが正しいことの証明にはならないという限界がある。地球科学のような、閉じていない自然の系を相手にするモデルでは、それが「正しい」と論理的に証明することはできず、観測との一致を積み重ねて部分的に「確からしさを確かめる(confirmation)」ところまでしかできない。古典的な論文がそう指摘している⁵。論文は、数値モデルが決して閉じた系でない理由の一つに、入力パラメータが不完全にしか分からないことを挙げている⁵。回路や構造解析のような工学系のシミュレーションも入力の不確かさを持つので、同じ論理は及ぶ。

同じ論文は、数値解を解析解と突き合わせる検証をコード開発の重要な一歩と認めつつ、その一致は現実との対応について何も含意しないと書く⁵。検証は前提を整え、妥当性確認は信頼の根拠を与えるが、どちらもモデルが現実について正しいことを証明する手続きではない。

妥当性確認の範囲の外は補間ではなく外挿だ

シミュレーションが役に立つのは、物理がよく分かっていて、実測との突き合わせを繰り返せて、失敗しても損失が小さい対象である。回路、構造解析、既知の流れがそれにあたる。逆に、これまでに無い新材料、極端な条件、複雑な人間系のように、突き合わせる実測がまだ無い領域では、結果の図が整っていても、その正しさを支える記録が無い。

この区別には理論上の根拠がある。CFDの検証・妥当性確認に関する古典的なレビューは、妥当性確認(validation)と予測(prediction)を明確に別物として扱う。妥当性確認は十分に正確な計算結果と実験データとの比較を評価することであり、予測は、妥当性確認されていない条件へモデルを適用することだ¹。妥当性確認された範囲の中でどれだけ正確でも、その外側は補間ではなく外挿であり、性質の異なる、定量化されていない不確かさを負う。レビュー自身も、物理過程が複雑になるほど妥当性確認のデータからの推論は弱まるが、その弱まり方を決める一般的な数学的方法はまだ無いと書き、予測したい条件が妥当性確認のデータの事例に「どれだけ近い」かをどう決めるのかと問うている¹。

この区別が破られた例は、事故調査報告書に残っている。2003年のスペースシャトル・コロンビア号事故。打ち上げ時に外部燃料タンクから剥がれた断熱材が左翼に衝突し、飛行中にその損傷を見積もる解析に使われたのが、Craterという損傷予測ツールだった。Craterは小さなデブリの衝突試験で校正されたモデルで、解析対象となった断熱材片は、校正に使われたデータベースの上限（3立方インチ）の約400倍の大きさだった⁶。事故調査委員会(CAIB)は所見で「チームによるタイル損傷評価は、Craterの試験データベースの十分外側にある衝突のシミュレーションで行われた」と認定している⁶。

Craterは当初、タイルの厚みを超える損傷を予測していた。エンジニアたちはこの予測を二つの理由で割り引いた。一つは校正試験の範囲でCraterが貫入を過大に見積もる傾向があったこと、もう一つはCraterがタイル下部の強い緻密化層を式に持たないことだ。結論は、損傷は緻密化層を貫通しない、だった⁶。委員会は同じ所見で、解析担当者が Crater の使用と結果の解釈に不慣れだったことなども併せて認定しており、原因を妥当性確認の範囲の外への外挿だけに帰してはいない⁶。

委員会自身は、Craterは妥当性確認された範囲の中では保守的（実際より大きい損傷を予測する）だが、その外側では精度が未知であると述べ、この判断の弱点を指摘している⁶。委員会はさらに、保守性を根拠にした割り引きが、理論的にも実験的にも確かめられていない仮定だったと認定している⁶。本稿の推論になるが、400倍の外挿の先では、誤差の大きさはおろか、誤差の向きにも保証はない。

解析チーム自身は説明の場で多くの不確かさが残ると強調し、その一つに、Craterが校正データベースの基準よりはるかに大きい破片に使われていることを挙げていた。説明の時点でチームは破片を基準の640倍と見ており、委員会の後の推定では400倍だった⁶。だが管理層の会議でその説明が口頭で要約されたとき、チームの説明資料は添えられなかった⁶。

しかも実際の衝突箇所はタイルではなく翼前縁の強化炭素複合材(RCC)パネルだった。RCCについても評価は行われている。ただしそこで使われたのは、1984年に氷の弾丸で校正されたCrater類似のアルゴリズムだった。そのアルゴリズムは、15度を超える角度の衝突ならRCCを貫通すると出していた⁶。軌道解析がRCC前縁への衝突を予測した唯一のシナリオは21度で、チームは断熱材が氷より低密度だという理由から、試験データの定性的な外挿と技術的判断により、21度までは貫通しないと結論した⁶。外挿の上に、さらに外挿を重ねたことになる。

この外挿に不安を持つエンジニアもいたが、RCC損傷を評価する別の解析は行われなかった。委員会は、Craterを含む既存ツールはこの種のデブリ衝突損傷の評価には不十分だったと結論している⁶。先に触れたNASAの標準は、この事故の後、事故調査委員会の報告をNASA全体へ当てはめる2004年の検討に応えて作られたものだ³。

sim-to-realも同じ構図を持つ

ロボティクスでも、シミュレータのモデルが実機を写しそこねたところが、シミュレーションと実機のずれになる。この分野の総説は、ずれの最も重要な原因のひとつに力学を挙げる⁷。総説は、ずれの出どころを力学、知覚、アクチュエーション、系設計の4つの層に切り分けたうえで、摩擦・接触・慣性・制御遅延・バックラッシュ・モータの時定数による位相遅れを具体名として挙げる⁷。力学のずれについて、総説はモデルに入れなかったり簡略化したりした現象と、モデルに入れた量に与える値の誤りとを分けている。関節のバックラッシュや、接触を点接触や線形化した摩擦円錐で近似することは前者にあたる。摩擦・質量・慣性は後者で、シミュレータが扱っていても正確な値を与えるのが難しい。物性には精密に測りにくいものや、時間とともに変わるものがある⁷。本稿の解釈では、ずれは、実測と突き合わせなかった量の中にある。構造解析の応力もロボットの摩擦係数も、シミュレーションの信頼が実測との突き合わせからしか生まれないという一点で、同じ構図の上に立っている。

ML代理モデルの比較は、公平さがまだ揃っていない

ニューラルネットで数値ソルバーを代理・高速化するML研究では、数値解法との比較の公平さがまだ揃っていない。McGreivyとHakimは、流体系の偏微分方程式(PDE)をMLで解く論文を系統的に調べ、条件に合った82本のうち「標準的な数値解法を上回った」と主張する76本を検討した⁸。彼らの基準は二つある。比較は同等の精度か同等の実行時間で行うこと、そして比較相手には効率的な数値解法を選ぶことである。このどちらかを破った比較を「弱い基準線」と呼ぶと、76本のうち79%(60本)が弱い基準線との比較だった。さらに、82本中76本が上回ったと報告し、下回ったと報告したのは4本だけだったことなどから、否定的な結果が表に出にくい出版バイアス・結果報告バイアスも広くみられるとし、分野全体として過度に楽観的だと結論している。

工学の規格と並べると、揃っていないものの違いが見える。ASME V&V 20は「実験データと突き合わせて、双方の不確かさ込みで一致の度合いを定量化せよ」と手続きを定める。NASAの標準は、その数値の素性として、不確かさの推定と、追跡可能性・検証・妥当性確認がどこまで為されたかの評価を、意思決定者への報告に併せて示せと求める。一方、流体系のML研究では、非効率な基準線との比較で「上回った」と報告できてしまう。同じ「シミュレーション」の名の下にあっても、規格が定めるのは実験との突き合わせ方で、ML研究でまだ揃っていないのは数値解法との比較の公平さだ。

ML代理モデルという道具が悪いのではない。この調査が示したのは、比較の相手の選び方と結果の報告のされ方という、評価のやり方の問題だ。そこから、数十年かけて規格にまで固められた検証の手続きが、少なくとも流体系のML研究にはまだ十分に取り入れられていない、と読むのは本稿の解釈であり、調査の結論ではない。

規格を持つ工学の側も、手続きが届くのは妥当性確認のデータの範囲までだ。これは規格自身が認めている。ASME V&V 20 は、妥当性確認を行った点以外での精度、たとえば妥当性確認の領域内での補間や外挿は、問題の族ごとの技術的判断に属し本規格の範囲外だと、その範囲の宣言に明記している²。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。