計算科学技術部会セッション シミュレーションのV&V の現状と課題 V&V に関わる技術標準の動向 中村均伊藤忠テクノソリューションズ ( 株 ) 平成 26 年 (2014 年 )3 月 27 日 1 版 :03/24/2014
目次 V&Vと品質標準 Model V&Vと品質 V&Vの違い Model V&Vの標準 ASME V&V10,20,30,40 原子力学会 V&Vガイド 品質 V&V の標準 NAFEMS 日本計算工学会標準 HQC001,002 2
Verification & Validation 品質用語 (ISO 対訳 ): 検証, 妥当性確認 / 品質保証の基本原理 シミュレーションの V&V:2 つの系統 ( 越塚 ) 品質マネシ メントにおける V&V ( 品質 V&V,Product V&V) 完全に区別される訳ではない V&V と品質標準 SAFESA(NAFEMS,1995): 構造解析の品質 ( 精度 ) 管理 QSS001(NAFEMS,2007):ISO9001, 解析の要求事項 HQC 標準 ( 日本計算工学会,2011): 解析の要求事項 & 標準手順 Modeling Simulation における V&V (Model V&V) AIAA ガイド (1998): 流体力学の V&V ASME V&V10-2006: 固体力学計算, 基本概念 ASME V&V20-2009: 流体力学計算, 評価手順 ASME V&V30(draft 2009): 原子炉熱水力学計算 ASMEV&V40(draft 2011): 医療装置の計算モデル開発 日本原子力学会標準 (draft2014): 原子力解析全般の V&V ガイド 3
V&V の原理 : なぜ検証だけではだめなのか? 検証 : 規定要求事項を満たすことを確認 妥当性確認 : 特定の意図された用途又は適用に関する要求事項が満たされていることを確認 検証 : 正しく製品を作っているか? 仕様, 計画通りに作っているか? Are we building the product right? 妥当性確認 : 正しい製品を作っているか? 顧客要求を満たす製品を作っているか? Are we building the right product? 物理的実体をどの程度正しく表現しているか (Simulation) 4
シミュレーションのプロセスと V&V: 品質 V&V 不確かさ : 形状, 材料, 荷重 応答の差異 不確かさ : 数学的モデル ( 記述の不完全さを含む ) 数値計算の誤差 ( 入力の誤りを含む ) 実体 言語による記述 理想化 計算モデル 解析結果 妥当性確認 検証 解析対象顧客要求 解析仕様書解析計画書解析モデル報告書 ( 要件定義書 ) 解析業務 (HQC002) 5
ASME V&V10 : モデル V&V 目的 : 各層の計算モデルの予測能力の評価 概念モデル = 理想化 ( 対象領域, 物理プロセス, 入力 & 出力 ) 計算モデルの経路 ( 左側経路 ) 数学モデル : プログラム実装 (FEM 等 ) コード検証 : 理論, 半解析解等との比較 計算の検証 : 計算モデルの精度の検証 分割数, 収束度合い等 計算結果の不確かさの定量化 入力やモデルの不確かさ 結果の不確かさ 実験解析の経路 ( 右側経路 ) 計算モテ ルの精度評価に必要な情報提供 予備計算の推奨, 計測位置, 測定法等の確認 実験結果の不確かさの定量化 測定誤差, 製品のばらつき, 組立の差異 妥当性確認 : 予測精度の評価 計算と実験結果の定量的比較 問題あれば, モデル化を見直し コード検証 計算の検証 (V&V20) 数学モデル 実装 計算モデル 計算 計算の出力 不確かさの定量化 計算の結果 現実のある構成要素 抽象化 ( 理想化 ) 概念モデル 予備計算 妥当性確認 定量的比較 許容可能な一致? 見直し 物理モデル 実装 実験の設計 実験 実験データ 不確かさの定量化 実験結果 不可 次の構成要素へ ( 同位, 上位 ) 6
品質 V&V と Model V&V(1) Model V&V:Simulation model 開発の品質保証 シミュレーションモデル : モデル化 計算手法 実験等により妥当性確認される範囲は限定される 試験体 ( 形状 寸法, 負荷条件 ) 実機 実機計算では拡張 (Scaling, 内外挿 ) が必要 余裕 (Margin) or 帰納的判定が必要 品質 V&V(Product V&V): 実機計算の品質保証 シミュレーションモデルの本番計算への適用 陽な形で Model V&V されているとは限らない ( 現状の設計解析,Legacy code) 管理されたプロセスによる品質保証 妥当性確認 : 正しらしさの論拠集め ( 特に帰納的 ) 7
品質 V&V と Model V&V(2) Model V&V 階層化分解 理想化 低位階層の Model V&V 概念モデル : 試験片 ( 数学的モデル ) ( 物理的モデル ) 材料構成式 材料試験片 上位階層の Model V&V 概念モデル : 上位部材 システム ( 限定モデル, 限定条件 ) 中位階層の Model V&V 概念モデル : 翼桁試験体 ( 数学的モデル ) ( 物理的モデル ) FEM モデル 試験体 ( はり, シェル ) 実機 ( 現実の対象 ) Model V&V されたシミュレーションモデル ( 実機相当 / 縮小モデル, 限定条件 ) Scaling, Extrapolation (with Margin) Scaling Extrapolation (with Margin) ( 参照 :ASME V&V10.1) 理想化 実機モデル ( 本番計算 ) 解析計画書 解析モデル 事前検証 ( テスト ) 計算結果 品質 V&V (Product V&V) 検証 妥当性確認総合レビュー 独立した参照解との比較工学式 / 計算事例 / クロスチェック 8
ASME V&V10 : 1 対象物の階層構造化 Hierarchical structure of Physical Systems 物理的対象物を階層構造の構成要素へ 対象システム / 組立品 / 部分組立品 /.. / 部品 階層構造モデルの構築と V&V 最下層から構成要素の重要な物理現象を特定し記述 : 概念モデル 理想化のための仮定を明確にすること 構成要素の計算モデルの構築 概念モデル 数学モデル 計算モデル 各計算モデルの V&V による確証 上位モデルでは相互作用発生 組立, 接触, 摩擦等 最下層からの計算モデルの積上げによってのみ信頼度のある目的モデルを構築可 上位階層でいきなり計算モデルを構築しても, 信頼度低い 実世界の物理的システム 構成要素へ分解 妥当性が確認された目的モデル (Intended use) システムモデル System models 組立品モデル組立品モデル Subassembly models models Subassembly models 部品モデル部品モデル部分組立品モデル Component Component 部品モデル models models Subassembly Component models 部品モデル部品モデル部品モデル Component 部品モデル Component models models Component models Component models 9
ASME V&V10 : 2 階層モデルの V&V 目的 : 各層の計算モデルの予測能力の評価 概念モデル = 理想化 ( 対象領域, 物理プロセス, 入力 & 出力 ) 計算モデルの経路 ( 左側経路 ) 数学モデル : プログラム実装 (FEM 等 ) コード検証 : 理論, 半解析解等との比較 計算の検証 : 計算モデルの精度の検証 分割数, 収束度合い等 計算結果の不確かさの定量化 入力やモデルの不確かさ 結果の不確かさ 実験解析の経路 ( 右側経路 ) 計算モテ ルの精度評価に必要な情報提供 予備計算の推奨, 計測位置, 測定法等の確認 実験結果の不確かさの定量化 測定誤差, 製品のばらつき, 組立の差異 妥当性確認 : 予測精度の評価 計算と実験結果の定量的比較 問題あれば, モデル化を見直し コード検証 計算の検証 (V&V20) 数学モデル 実装 計算モデル 計算 計算の出力 不確かさの定量化 計算の結果 現実のある構成要素 抽象化 ( 理想化 ) 概念モデル 予備計算 妥当性確認 定量的比較 許容可能な一致? 見直し 物理モデル 実装 実験の設計 実験 実験データ 不確かさの定量化 実験結果 不可 次の構成要素へ ( 同位, 上位 ) 10
ASME V&V20: 妥当性確認の精度の評価 u : 不確かさ, 測定 ( 計算 ) 値 に対して 真の値 が存在する範囲 信頼区間 (= error bar ) u input : 入力パラメータの不確かさによる計算結果 S の不確かさ 1) 感度解析 2) モンテカルロ法等により算出 計算モテ ル δmodel δinput 現実の対象 ( ある構成要素 ) 理想化の仮定 入力パラメータ 楕円は誤差の原因を示す 実験の誤差 δ D u num : 数値計算に伴う不確かさ ベンチマーク解析との比較 2) 計算格子依存性試験等々 u D : 実験, 計測における不確かさ 計測データの統計処理ほか δnum 計算結果,S 数値解 妥当性確認の比較の誤差 E = S D 妥当性確認の不確かさ u val 実験データ,D E =δ model + (δ num + δ input - δ D ) u val u 2 num u 2 input u 2 D 11
ASME V&V10.1-2012 : 構造解析の例題 教科書的例題 : 固体力学の V&V 対象 : 航空機 概念モデル : テーパー付き箱型はり : 航空機の構成部品 ( 翼桁 ) 静的不均一荷重 先端の変位を評価変数 コード検証 : 初等はり理論の FEM コード モデル検証 :GCI による格子収束性試験 入力の不確かさ評価 : ヤング率 & 支持部撓性 ( とうせい ), モンテカルロ法 実験の不確かさ評価 :10 体の試験体を用いた載荷試験 妥当性確認の尺度 (metric): 解析と実験の累積確率密度分布の差の積分量 < 要求 (10%) 12
ASME V&V30 : 原子炉熱水力学計算 Standard for Verification and Validation of Software Used to Calculate Nuclear System Thermal Fluids Behavior (2009 Draft) Idaho Natinal Laboratory 主導 (NRC,WH,Areva,GA,,) 目的 : 新型炉の通常運転 事故時の熱水力挙動の設計解析に適用 系統解析 (System Analysis) とCDFに注力 許認可に関わるNRCの規制に適合 EMDAP(the evaluation model development and assessment process 右図 ) がベース Regulatory Guide 1.203, Transient and Accident Analysis Methods NUREG-0800, NRC Standard Review Plan ASME NQA-1, Quality Assurance Requirements for Nuclear Facility Applications に整合 Ryan Crane, ASME Verification and Validation Standards V&V 30, ANSI NESCC,2009 13
原子力学会 V&V ガイドライン (1) 日本原子力学会標準 シミュレーションの信頼性確保に関するガイドライン :2014 ( ドラフト ) 標準委員会 / 基盤 応用技術専門部会 / シミュレーションの信頼性分科会 笠原, 中田, 工藤, 堀田, 中村,JAEA, 電力 & メーカ委員 原子力シミュレーション全般 ( 核, 放射線, 熱流動, 構造等 ) に対する Model V&V の基本的な考え方の提示 信頼性確保のための容認可能なモデリング方法のフレーム BEPU(Best Estimate Plus Uncertainty) 計算の V&V を指向 原子力学会標準 統計的安全評価の実施基準 :2008 AIAA,ASME V&V10,V&V20,EMDAP の Model V&V を総合解釈 妥当性確認されていない領域へのシミュレーションモデルの適用 ( 外挿, スケーリング ) に伴う不確かさの拡大の定量評価 総括不確かさ ( 誤差 & 不確かさを統合 ) 等の概念を導入 基盤 応用技術専門部会にドラフト版を報告 (2014 年 3 月 ) 2015 年発行見込み 14
原子力学会 V&V ガイドライン (2) エレメント 1: 概念モデルの開発 要求性能 注目応答変量 システム分析に基づいて実現象を理想化 エレメント 2: 数学的モデル化 定式化 プログラミング データ作成 数値計算 入力 数値的不確かさの定量化 エレメント 3: 物理的モデル化 実験 & 実験データベースの調査 実験不確かさの定量化 エレメント 4: シミュレーションモデルの予測性判断 定量的な妥当性確認 妥当性確認されていない領域への外挿 スケーリング等による不確かさ拡大を評価 不確かさを含むモデルの予測性能を判定 不確かさを考慮した予測計算 実機計算 ( 本番解析 ) のこと 原子力学会 V&V ガイド ( ドラフト ) より転写 15
ASME V&V40 : 医療機器開発 V&V in Computational Modeling of Medical Devices の標準手順 Regulatory Science( 規制科学 ) としての V&V : FDA の許認可へ 主眼 :Validation 領域から拡張 外挿される実物計算の妥当性判定 Credibitily: 信憑性 ( 信用できる度合 ), 状況証拠の積み重ね ( 帰納的 ) Risk Assessment Matrix(RAM) 計算の意思決定への影響度 decision Influence Model( 計算 ) のリスクの評価 Model Risk 低 中 高 Consequence 誤った計算 ( モデル ) によるインパクト Level (Risk) Credibility Assessment Matrix(CAM) Verifica tion 1 要求 Validation 計算 2 要求 実験 3 要求 Risk levelに応じて判定要求細目の提示 UQ コード検証 : 解析解との比較 解の検証 : 格子収束性試験を実施したか? Validation: 実験のUQを考慮したか? UQ: 計算と実験双方で求められているか? 等々 Tina Morrison, Enabling Faster, Better Medical Device Development and Evaluation with Modeling and Simulation, ASME V&V Symposium 2013 / HQC 分科会 HP ギャラリー山田貴博 16
品質 V&V と Model V&V(2) Model V&V 階層化分解 理想化 低位階層の Model V&V 概念モデル : 試験片 ( 数学的モデル ) ( 物理的モデル ) 材料構成式 材料試験片 上位階層の Model V&V 概念モデル : 上位部材 システム ( 限定モデル, 限定条件 ) 中位階層の Model V&V 概念モデル : 翼桁試験体 ( 数学的モデル ) ( 物理的モデル ) FEM モデル 試験体 ( はり, シェル ) 実機 ( 現実の対象 ) Model V&V されたシミュレーションモデル ( 実機相当 / 縮小モデル, 限定条件 ) Scaling, Extrapolation (with Margin) Scaling Extrapolation (with Margin) ( 参照 :ASME V&V10.1) 理想化 実機モデル ( 本番計算 ) 解析計画書 解析モデル 事前検証 ( テスト ) 計算結果 品質 V&V (Product V&V) 検証 妥当性確認総合レビュー 独立した参照解との比較工学式 / 計算事例 / クロスチェック 17
NAFEMS の標準体系 V&V の定義あり ISO9001 NAFEMS QSS 001 SAFESA Management Guidelines 流体解析のガイドライン How to Plan a CFD Analysis 品質マネージメントシステム - 要求事項 Quality Standard Supplement 2007 ISO9001 の品質システムの補足 要求事項を計算業務 (Engineering Simulation) に展開したもの, 解釈を述べたもの A Primer for NAFEMS QSS 2008 QSS001 の解説 妥当性確認計画 ( 不確かさ 誤差の管理 ) FEA の品質マネージメントのガイドライン 品質マニュアル / 手順書 / 人的管理 / ソフトウェア管理 / 監査計画等 設計 開発 (ISO9001) 解析 (SAFESA) SAFESA Quick Reference Guideline SAFESA Technical Manual SAFESAの技術的手法の詳細な記述, 論理的根拠の説明 事例による解説 18
SAFESA の適格性確認の手順 段階 1 スコープの定義 適格性確認のクライテリア, 構造の境界条件の定義 計算結果の妥当性確認方法の計画 段階 2 詳細評価 理想化過程において誤差の識別, 評価 スコープに従った計算 計算結果を適格性確認クライテリアと比較し予備的な適格性確認 計算結果の妥当性を確認 計算モデルを用いた追跡誤差評価 段階 3 適格性確認の結論 許容クライテリアとの完全な比較と, 構造の健全性評価に対する結論 V&V の表現はなし Consistency check ( 適合性確認 ) 1 スコープの定義 2 詳細評価 3 適格性確認の結論 1.1 構造の最初の記述 1.2 問題の概要 1.3 構造的要件 1.4 計算手法の検討 1.5 構造モデルの定義 1.6 妥当性確認の計画 1.7 レビューおよび承認 2.1 理想化 2.2 離散化およびメッシング 2.3 計算の実行 2.4 ポスト処理 2.5 適格性確認されるべき応答の抽出 2.6 許容される応答 2.7 予備的な適格性確認 2.8 妥当性確認のレビュー 3.1 適格性確認の完了 3.2 報告書 3.3 顧客の承認 19
品質マネジメント文書としての HQC 標準 実装 ISO 9001:2008 Quality management systems Requirements JIS Q 9001:2008 品質マネジメントシステム - 要求事項 品質マニュアル (Quality manual) 業務用語集 (Glossary) 業務マニュアル (Process, Procedures) 手順書, 必要な場合 (Work instructions) フォーマット テンプレート (Supporting documents ) 記録 実装 工学シミュレーションの品質マネジメント (S-HQC001) 日本計算工学会 実装 附属書 A. 工学シミュレーションのプロセス日本計算工学会 附属書 B.( 参考 ) 重要性の区分と解析者に要求される最低限の経験日本計算工学会 工学シミュレーションの標準手順 (S-HQC002) 日本計算工学会 附属書 C.( 参考 ) シミュレーション要員の力量管理日本計算工学会 製品実現プロセス 組織マネジメントプロセス 20
HQC002: 工学シミュレーションの標準手順 顧客とのコミュニケーション (2.14 節 ) 業務範囲の合意 実施計画の報告 契約内容の確認 (2.1 節 ) 業務範囲の明確化とレビュー (2.2 節 ) 実行計画書の作成 (2.3 節 ) ( 定型解析等 ) V&V を基軸とする品質保証プロセスの実務的な適用方法 解析計画の報告 解析計画書の作成及びレビュー (2.4 節 ) 解析手順書 (2.4 節 ) 解析計画書 : V&V の実施計画 解析モデルの作成及び計算実行 (2.5 節 ) 1) 形状モデルの作成 2) メッシュの作成 適格性確認 参照解析 : 妥当性確認された類似解析事例 解析プロセスの妥当性確認による V&V( 定型解析 ) 事前検証 : 本番解析前のモデルのチェック, 試解析等 進捗報告 ( 随時 ) 3) 入力データの設定 4) 事前検証 補完関係 検証 : 解析が計画通りに正しく行われたことの確認 事前検証の結果も用いて計画した通りに正しく解析が行われたことを確認 結果概要の報告報告書 ( 案 ) の提示最終報告 納品 不適合品の管理 (2.12 節 ) 5) 計算の実行 解析の検証 (2.6 節 ) 解析の妥当性確認とレビュー (2.7 節 ) 図化処理 (2.8 節 ): 報告用 報告書作成 (2.9 節 ) 最終検査 納品 (2.10 節 ) データの保管 (2.11 節 ) 検証記録 解析の検証と妥当性確認 (V&V) 独立した方法による実証 ( 手計算, 参照解析, 代替解析, 実験等 ) 解析の変更管理 (2.13 節 ) 妥当性確認 : 解析結果が意図した用途に適用できることの確認 工学的妥当性評価独立した方法との比較 V&V 21
HQC002 : 妥当性確認の役割 独立した参照解 妥当性確認 理想化の不確かさ 誤差の管理 解析計画書 事前検証 現実の対象物言語による記述理想化概念モデル メッシュ作成 誤差 不確かさの原因 対象の記述の不確かさ ( 不完全さ ) - 形状 寸法 - 境界 荷重条件 - 材料特性 数学モデルの仮定 - 解法 - 要素の選択等 誤差 不確かさの管理妥当性確認 : 1. 理想化 ~ 計算結果にいたる検証過程のレビュー 2. 参照解との比較による誤差 不確かさ管理 1) 内部的方法 ( 事前検証等からの参照解 ) 細密解との比較 ( 格子収束性 ) 感度解析 ( パラスタ ) 見通し計算 ( 基礎モデル ) 検証 数値的誤差 整合性の確認 計算モデル計算の実行 処理検証 妥当性確認 数値的誤差 - 離散化の誤差 - 数値解析の誤差 - ポスト処理の誤差 データの誤り ( 論理的整合性の欠陥 ) 2) 外部的方法 : 独立した参照解 公式 理論解 類似問題 クロスチェック 実験 実機計測との比較 22
日本計算工学会標準 (HQC001 & 002) PDF 版あり 23
参考書 : 工学シミュレーションの品質保証と V&V ISO9001 に基づいた工学シミュレーションの品質を管理するプロセスを解説 ( 白鳥, 越塚, 吉田, 中村, 堀田, 高野 ) 目次 1 工学シミュレーションの現状と HQC の必要性 2 品質 V&V とモデル V&V に関する国内外の情勢 3 工学シミュレーションの品質マネジメント 4 工学シミュレーションの標準手順 5 モデル V&V 6 誤差要因の理論的背景 2013 年 1 月発刊丸善出版 24
ご清聴ありがとうございました 25