複雑システムの安全設計へのパラダイムシフト ~ システム理論に基づく新しい安全解析法 STAMP/STPA の実践 ~ 2017 年 11 月 16 日会津大学名誉教授 IPA/SEC IoTシステム安全性向上技術 WG 主査兼本茂 ET/IoT2017 Booth Presentation

Size: px

Start display at page:

Download "複雑システムの安全設計へのパラダイムシフト ~ システム理論に基づく新しい安全解析法 STAMP/STPA の実践 ~ 2017 年 11 月 16 日会津大学名誉教授 IPA/SEC IoTシステム安全性向上技術 WG 主査兼本茂 ET/IoT2017 Booth Presentation"

いちえいかたづ
5 years ago
Views:

1 複雑システムの安全設計へのパラダイムシフト ~ システム理論に基づく新しい安全解析法 STAMP/STPA の実践 ~ 2017 年 11 月 16 日会津大学名誉教授 IPA/SEC IoTシステム安全性向上技術 WG 主査兼本茂

2 これからの複雑システムとは? 人と複雑ソフトウェアを含む組込みシステム 2

3 これからの複雑システムとは? 人人間機械協調制御システムがますます高度化しさらに日常生活にも入り込む想定外の使い方をされうるし複雑なソフトウェア制御を使わざるを得ない複雑ソフトウェアいま出現しつつある従来経験のない新たなソフトウェア (1) 動作条件 ( 環境 ) が多様過ぎて事前に完全な検証ができないソフトウェア (2) 動作アルゴリズムが暗黙的で説明できないソフトウェア ~AI (3) 長期の運用期間中に動作環境の変化や新規参入者が入りメンテナンスが必要なソフトウェア ~IoT 自動運転車生活支援ロボット列車航空機船舶 3

4 複雑システムの安全設計とは? 従来の安全設計法 (FTA FMEA HAZOP など ) は故障の明示化と故障率の最小化をめざして安全目標を要素に分解して設計する信頼性工学的手法に基づいているしかし複雑システムの事故は要素間の連係ミス ( コミュニケーションエラー ) により起こされることがほとんどであり還元論に基づく従来の信頼性工学的手法だけでは対応できない複雑システムの事故を防ぐ安全設計のパラダイムシフトが必要 (N.G.Leveson) 4

5 複雑システムの安全設計のパラダイムシフトとは? ~ 還元主義から創発主義へ ~ 人間の心は抽象化と階層化によって複雑さを理解 (Manage) する (N.G.Leveson) 複雑システムの Safety や Security は創発的特性を持っているでも具体的にどう対処する? システムズエンジニアリング : システム開発を抽象化した全体像から具体化する考え方だが簡単ではない ( 片山東工大名誉教授 Sec journal 対談 ) 一方で設計は具象化である神は細部に宿る ( 還元主義 ) モノを作り始めるとそこに貼りついてしまって全体が見えなくなる ( 片山名誉教授 ) 5

6 複雑システムの安全設計のパラダイムシフトとは? ~ 還元主義と創発主義の調和 ~ 人間の心は抽象化と階層化によって複雑さを理解 (Manage) する N.G.Leveson 概念設計段階で抽象化階層化したモデルに基づいた安全設計法の提案 (STAMP/STPA) 相補的調和した概念にすべき一方で設計は具象化である神は細部に宿るしかし同時に悪魔も細部に宿る安全目標を要素に分解して設計する信頼性工学還元主義的手法だけではこれからの複雑システムには対応できない 6

7 背景安全設計の進化 Safety 0.0 ( 人の注意力で安全を確保 ) Safety 1.0~1.X ( 機械技術コンピュータで安全を確保 ) 人に危害が及ぶのを防ぐために人を危険源から遠ざける ( 隔離の原則 ) 人が危険源に近づく際に動作を止める ( 停止の原則 / 制御安全機能安全 ) Safety 2.0 ( 人モノ環境が協調しながら安全を確保 ) IoT AI 制御の時代で止める安全から止めない安全へ ( 人と機械の関係を従来の画一的なものから人の能力周囲の状況に応じた柔軟な安全手段にする ) 7

8 背景安全設計の進化 Safety 0.0 ( 人の注意力で安全を確保 ) Safety 1.0~1.X ( 機械技術コンピュータで安全を確保 ) 人に危害が及ぶのを防ぐために人を危険源から遠ざける ( 隔離 IEC61508/ISO26262 の原則 ) 厳密なコーディングガイド AI の排除人が危険源に近づく際に動作を止める ( 停止の原則 / 制御安全機能安全人間機械協調制御は対象外 ) Safety 2.0 ( 人モノ環境が協調しながら安全を確保 ) 緩和制御 IoT AI 制御の時代で止める安全から止めない安全へ ( 危険な状況になる前に状態を緩和する ) 運転支援 ( 自動ブレーキなどの支援で最後の責任は運転員 ) いずれも従来の安全系の範疇からはずれるではどのような安全設計が必要になるのか? 8

9 IPA/SEC 製品制御システム高信頼化部会 2017 年体制組込みシステム分野の活動 ( 太枠 ) 重要インフラ分野のシステム障害への対策事業定量管理データ活用による高信頼化事業重要インフラ IT サービス高信頼化部会 ( 連携 ) 製品制御システム高信頼化部会高信頼性定量化部会主査内平直志未然防止知識 WG IoT システム安全性向上技術 WG 製品制御システム定量データ収集分析 WG 主査久住憲嗣主査兼本茂主査三原幸博 9

10 Engineering a safer world by Nancy Leveson(MIT) ~ 次世代の安全工学の目指すもの ~ 旧来のコンポーネント故障の解析を越えて複雑なソフトウェアや人間の役割まで扱える新しいハザード解析とリスク評価法を提供するヒューマンエラーを事故の直接原因として責任追及をするのではなくヒューマンエラーを作り出すメカニズム ( 行動形成要因 ) に焦点を当てる運転員管理者規制などの様々な視点から事故に至るプロセスの欠陥を分析する事故に至る直接的なイベント ( 事象 ) や条件だけでなく時間の経過とともに起こる変化や適応の履歴に着目して事故原因を追求する 10

11 IoT 時代の環境変化と新しい安全解析法 STAMP Sec-Seminar( ) Lecture by Nancy Leveson 現状の安全分析ツールは年も昔に開発されたものであり現代の新しい技術の入った複雑な工学システムの安全分析には限界があるー >STAMP の登場 FMEA FTA ETA HAZOP CCA FTA+ETA コンポーネント故障が事故を引き起こすコンピュータ制御の導入複雑さの指数的増大インターネットの普及システムの複合化オープン化人との共存協調制御 IoT AI の導入コンポーネント間のコミュニケーションミスマッチが事故を引き起こす 11

12 IoT 時代の環境変化と新しい安全解析法 STAMP Sec-Seminar( ) Lecture by Nancy Leveson 現状の安全分析ツールは年も昔に開発されたものであり現代の新しい技術の入った複雑な工学システムの安全分析には限界があるー >STAMP の登場 FMEA FTA ETA HAZOP CCA FTA+ETA コンポーネント故障が事故を引き起こすコンピュータ制御の導入複雑さの指数的増大インターネットの普及システムの複合化オープン化人との共存協調制御 IoT AIの導入コンピュータ制御の導入コンポーネント間のコミュニケーションミスマッチが事故を引き起こす 12

13 IoT 時代の環境変化と新しい安全解析法 STAMP Sec-Seminar( ) Lecture by Nancy Leveson 現状の安全分析ツールは年も昔に開発されたものであり現代の新しい技術の入った複雑な工学システムの安全分析には限界があるー >STAMP の登場 FMEA FTA ETA HAZOP CCA FTA+ETA コンポーネント故障が事故を引き起こすコンピュータ制御の導入複雑さの指数的増大インターネットの普及システムの複合化オープン化人との共存協調制御 IoT AIの導入 IoT AI の導入コンポーネント間のコミュニケーションミスマッチが事故を引き起こす 13

14 従来の事故モデルハインリッヒのドミノ事故モデルスイスチーズ事故モデル事故の一方向の連鎖進行モデル 14

15 複雑システムの事故モデル (STAMP) ~ 動的システムのフィードバック構造のなかで事故モデルを考える ~~ 安全制御行動の乱れ N:Not providing P: Providing T:Wrong timing D:Wrong duration CA-1.Override the process CA-2.Open valves CA-3.Close valves Human operator Computer(Controller) Emergency Valves(EV1) Pressure from upper organization Alert & Alarm (FB) Water levels at Tanks #1 and #2 Valve Positon (close/open) (FB) Plant 不適切な外乱不適切なフィードバック 15

16 複雑システムの安全とセキュリティ : 創発特性 ~ 還元主義から創発主義へ ~ Emergent properties (arise from complex interactions) Emergent Property: The whole is greater than the sum of the parts 複雑な相互作用に起因する創発的特性 Process サブシステム人組織外部環境サブシステム Process components interact in direct and indirect ways サブシステム Safety and security are emergent properties 16

17 複雑システムの安全性とセキュリティ : 創発特性 ~ 還元主義から創発主義へ ~ Emergent properties (arise from complex interactions) STAMP モデルによる多様な発想力で想定外のハザードを低減できないか? システム全体の安全制約創発的特性コンポーネントの安全制約の和システム全体の安全制約想定外事象による安全制約の乱れコンポーネントの安全制約 Safety and security are emergent properties 17

18 複雑システムの安全設計の難しさ具体的事例の紹介小田急電車の火災事故状況により変化する安全制御行動が必要になる自動車のプッシュボタン式起動装置ソフトウェアの要求仕様の欠陥の気づきの難しさ 18

19 状況により変わる安全制御行動 ~ 小田急火災事故 ~ 2017 年 9 月 10 日 16:00 過ぎ乗客約 300 人プラットフォーム外で停車の際はドアを開けると危険しかし火災時はドアを開けて退避させないと危険状況 (Context) 依存で矛盾する安全制御行動人やソフトウェアによる複雑な安全制御行動は副作用を伴う可能性もある従来の分析法 (FTA 等 ) の限界次世代の安全解析法としての STAMP/STPA の可能性 19

20 要求仕様の欠陥が事故を起こす第 1 回 STAMP ワークショップ in Japan:J.Thomas Tutorial よりソフトウェアが関連する事故のほとんどは要求仕様の欠陥に起因する要求仕様の欠陥により引き起こされる問題は全てのコンポーネントやサブシステムのテスト全てのシミュレーション全ての検証努力をすり抜けてしまう 20

21 トヨタ : 電子制御アクセルの訴訟で損失 1200 億円第 1 回 STAMP ワークショップ in Japan:J.Thomas Tutorial より 21

22 プッシュボタン式エンジン起動装置 ~ 意図しない加速による事故 ~ 第 1 回 STAMP ワークショップ in Japan:J.Thomas Tutorial より点火ボタン方式の採用ブレーキペダル + 点火ボタンで起動するよう改善プッシュボタンは健全起動ソフトも健全全てのコンポーネントの要求仕様は満足しているそれでもシステム全体は安全ではなく想定外の事故が起こった! 22

23 プッシュボタン式エンジン起動装置 ~ 意図しない加速による事故 ~ 第 1 回 STAMP ワークショップ in Japan:J.Thomas Tutorial より要求仕様の妥当性をどうやって検証するか? 人間と機械の協調制御をどうやって実現するか? 23

24 対処のコストシステム開発における手戻り作業のコスト第 1 回 STAMP ワークショップ in Japan:J.Thomas Tutorial より潜在要因への対処システム思考システム要求仕様システム設計追加設計後追い変更コンセプトフェーズから設計運用フェーズへ早期の発見ほど大きなコストインパクトがある 24

25 STAMP による複雑さの克服システム理論や認知科学からの教訓人間の心は抽象化と階層化によって複雑さを理解 (manage) するトップダウンプロセスによる方法高いレベルの抽象度から始める詳細モデルへの掘り下げ階層化したシステムモデルの構築 STAMP/STPA 25

コンポーネントの挙動や相互作用への安全制約を強いることで事故を防ぐ事故原因を多様な視点で捉えるコンポーネント故障による事故

26 安全工学へのシステムズアプローチ STAMP:System Theoretic Accident Model and Process 事故を故障エラーから起こるのではなく安全制御の欠陥から起こると捉える事故は単純な事象の連鎖で起こるのではなく複雑な動的プロセスの中で起こるコンポーネントの挙動や相互作用への安全制約を強いることで事故を防ぐ事故原因を多様な視点で捉えるコンポーネント故障による事故コンポーネント間の非安全な相互作用による事故複雑な人間やソフトウェアの挙動による事故設計ミスによる事故要求仕様の欠陥による事故 ( 特にソフトウェア ) 主張 : 複雑システムではトップレベルの抽象度からの安全分析が大切! 26

27 STAMP/STPA の手順 Step-0: 制御構造図とアクシデントハザード安全制約の定義抽象的な機能に着目してトップダウンで階層的な安全制御モデルプロセスモデルを作成 Step-1: 四つのガイドワードを用いて非安全制御行為 (UCA: Unsafe Control Action) を抽出 (N)Not providing (P)Providing causes hazard (T) Inadequate timing (D)Inadequate duration Step-2:Control Loop のガイドワードを用いて UCA ごとにハザード誘発要因 (HCF:Hazard Causal Factor) を分析しハザードシナリオを導出 Step-2b(Safety Guided Design): 安全制約の識別 :HCF を制御除去するためのコンポーネント安全制約 ( 安全設計要求 ) を明示化する 27

Basic STAMP コントローラはコントロールアクション (CA) を決めるのにプロセスモデルを用いるこのプロセスモデルが正しくないときに想定外の挙動が起こる四つの不適切なコントロールアクション (N) Not providing (P) Providing causes hazard (T)

28 Basic STAMP コントローラはコントロールアクション (CA) を決めるのにプロセスモデルを用いるこのプロセスモデルが正しくないときに想定外の挙動が起こる四つの不適切なコントロールアクション (N) Not providing (P) Providing causes hazard (T) Inadequate timing, too early or too late (D) Inadequate duration, stop too soon or applying too long ソフトウェアと人間の挙動の適切なモデルによってソフトウェアエラーヒューマンエラー相互作用による事故などを説明する 28

29 Basic STAMP コンピュータ vs 機械規制規格認証ペナルティ国レベルの管理事故インシデントレポート運転レポート保守変更レポート企業レベルの管理安全ポリシー規格リソース作業指示運転管理運転レポート運転レポート監査レポート更新要求更新運転手順ソフトウェアハードウェア運転プロセス運転員コントローラ運転レポートインシデント報告更新要求性能監査アクチュエータ物理プロセスセンサー 29

30 Basic STAMP 人 vs コンピュータ規制規格認証ペナルティ国レベルの管理事故インシデントレポート運転レポート保守変更レポート企業レベルの管理安全ポリシー規格リソース作業指示運転管理運転レポート運転レポート監査レポート更新要求更新運転手順ソフトウェアハードウェア運転プロセス運転員コントローラ運転レポートインシデント報告更新要求性能監査アクチュエータ物理プロセスセンサー 30

31 Basic STAMP 組織 vs 人規制規格認証ペナルティ国レベルの管理事故インシデントレポート運転レポート保守変更レポート企業レベルの管理安全ポリシー規格リソース作業指示運転管理運転レポート運転レポート監査レポート更新要求更新運転手順ソフトウェアハードウェア運転プロセス運転員コントローラ運転レポートインシデント報告更新要求性能監査アクチュエータ物理プロセスセンサー 31

32 Basic STAMP 組織 vs 組織規制規格認証ペナルティ国レベルの管理事故インシデントレポート運転レポート保守変更レポート企業レベルの管理安全ポリシー規格リソース作業指示運転管理運転レポート運転レポート監査レポート更新要求更新運転手順ソフトウェアハードウェア運転プロセス運転員コントローラ運転レポートインシデント報告更新要求性能監査アクチュエータ物理プロセスセンサー 32

33 はじめての STAMP/STPA( 実践編 ) ~ 三つの事例から何がわかるか ~ 事例 1 とりこ検知事例の STAMP STPA 分析事例 2 踏切工事 ( 人と組織が絡む事例 ) 事例 3 エンターフライス系 / ネット通販システムへの適用事例 33

34 事例 1 とりこ検知事例の STAMP STPA 分析分析対象アクシデント : 人車と列車の衝突ハザード : とりこ検知装置発光機が作動しない運転士が発光機を目視確認できない状態安全制約 : とりこ発生時に発光機は常に作動すること運転士の目視確認が可能なこと 34

35 Step0 コントロールストラクチャの構築通行車人赤は制御外部との作用運転士特殊信号発光機役割信号の発光役割特殊信号発光状態の目視識別マニュアルブレーキ作動列車 (5) ブレーキ作動指示 (2) 発光指示 (3) 消灯指示 (4) 停止指示 ( 特殊信号の発光 ) 障害物検知装置役割踏切道上の通行車人を検知特殊信号発光機の発光指示踏切役割列車の進入を検知踏切の開閉踏切の状態通知 (1) 検知開始 (6) 停止指示 ( 踏切の動作開始終了通知 ) とりこ検知の流れに沿ったコントロールストラクチャー 35

36 Step1 UCA の識別 # コントロールアクション 1 ( 踏切検知装置 ) 検知開始指示 ( 踏切の動作開始通知 ) 2 ( 検知装置特殊信号発光機 ) 発光指示 3 ( 検知装置特殊信号発光機 ) 消灯指示 4 ( 特殊信号発光機運転士 ) 停止指示 ( 特殊信号の発光 ) 5 ( 運転士列車 ) ブレーキ作動指示 6 ( 踏切検知装置 ) 検知停止指示 ( 踏切の動作停止通知 ) Not Providing Providing causes hazard Too early / Too Late Stop too soon / Applying too long (UCA1-N) 検知開始指示が出ないので検知できないので発光せず (UCA2-N) とりこがあっても発光せず列車を停止させないとりこ解消しても特殊信号発光機消灯せず (UCA4-N) とりこがあっても発光せず列車を停止しない (UCA5-N) 運転士が特殊信号発光機の発光を認識できず列車を停止しないとりこがないのに発光し列車を停止させる踏切開状態で特殊信号発光機を発光するとりこがないのに発光して列車を停止させる (UCA3-P) とりこ中に特殊信号発光機消灯とりこがないのに発光し列車を停止させる (UCA1-T)Too Late で検知開始が遅れ特殊信号発光機の発光が遅れるので検知できない時間がある Too early でとりこでない車を検知し発光指示する可能性あるがハザードにはならない (UCA2-T)Too late で発光開始が遅れ列車が停止できない ( ブレーキをかけるのが遅れる ) (UCA3-T)Too early 同左 (UCA4-T)Too late で発光開始が遅れ列車が停止できない ( ブレーキをかけるのが遅い ) とりこがないのに停止する (UCA)Too late で列車停止が間に合わない ( ブレーキをかけるのが遅い ) 今回対象外とする (UCA6-P) 列車が在線中に検知停止指示が出るととりこがあっても発光せず列車を停止させない (UCA6-T)Too early でとりこがあっても発光せず列車を停止させないーーー (UCA) ブレーキを途中で解除 ) 今回対象外とするー 36

37 CA-1( 踏切制御装置からとりこ検知装置 ) 検知開始指示 (CA-1) 失敗のシステムへの影響と要因 (UCA1-N) 検知開始指示が出ないのでとりこ検知できずに発光もせずハザード踏切制御装置故障でとりこ検知装置への指示が出ない踏切制御装置を保守モードで無効にしていて指示が出ないとりこ検知装置が信号受け取りに失敗して装置が作動しない (CA1-P) 踏切開状態で特殊信号発光機を発光 ( 不要な停止だが安全側 ) (UCA1-T) 検知開始が遅れ特殊信号発光機の発光も遅れるので停止が間に合わずハザード ( 早すぎるのは安全側 ) 踏切制御装置の欠陥で指示が遅れてでる ( 踏切遮断までの時間を大きく見積もりすぎる踏切制御装置の故障など ) とりこ検知装置故障で検知開始が遅れる特殊信号発光機役割信号の発光運転士役割特殊信号発光状態の目視識別マニュアルブレーキ作動列車 (2) 発光指示 (3) 消灯指示 (4) 停止指示 ( 特殊信号の発光 ) (5) ブレーキ作動指示通行車人障害物検知装置役割踏切道上の通行車人を検知特殊信号発光機の発光指示 (1) 検知開始 (6) 停止指示 ( 踏切の動作開始終了通知 ) 踏切役割列車の進入を検知踏切の開閉踏切の状態通知 37

38 CA-2( とりこ検知装置から発光機へ ) 発光指示 (CA-2) 失敗のシステムへの影響と要因 (UCA2-N) とりこがあっても発光せず列車を停止させないのでハザードとりこ検知装置故障でとりこを検知できず発光指示が出ないとりこ認識アルゴリズムが不良で検知できない天候など外部環境が不良でとりこ検知ができないカメラレンズのよごれでとりこ検知が出来ない (CA2-P) とりこがないのに発光して列車を停止させる ( 安全側 ) (UCA2-T) 発光開始が遅れ列車の停止が遅れてハザード ( ブレーキ遅れ ) とりこ発見から発光指示までの遅延時間が不適切で発光が遅れるとりこ検知装置の故障で発光指示が遅れる (2 か所に出てくるのはコンポーネントが主体になる場合と被主体になる場合の両方があるためフィードバック系の着目点を変えるため起こる ) 特殊信号発光機役割信号の発光運転士役割特殊信号発光状態の目視識別マニュアルブレーキ作動列車 (2) 発光指示 (3) 消灯指示 (4) 停止指示 ( 特殊信号の発光 ) (5) ブレーキ作動指示通行車人障害物検知装置役割踏切道上の通行車人を検知特殊信号発光機の発光指示 (1) 検知開始 (6) 停止指示 ( 踏切の動作開始終了通知 ) 踏切役割列車の進入を検知踏切の開閉踏切の状態通知 38

39 別の視点からのコントロールストラクチャ ~ 多様な視点での安全設計の検討 ~ 運転操作を高度な制御装置とみる (3 階層の制御構造図 ) 次世代のより安全な制御手段の発想につながる CA1: ブレーキ操作 CA2: 作動開始指示 CA3: 作動停止指示通行車人運転士 (Human Controller) 列車 Controller アクチュエーター Controlled Process センサー踏切 + 障害物検知システム検知センサー検知センサー Controller 新たな FB( 目視以外の手段が可能 ) FB: 特殊信号発光機の発光新たな FB( 新しい通信手段 ) 特殊信号発光機 (Display) FB: 特殊信号発光機へ発光指示アクチュエーターセンサー Controlled Process 運転士を中心にしたコントロールストラクチャー 39

40 CA-1( 運転士から列車へ ) ブレーキ作動指示 (CA-1) 失敗のシステムへの影響と要因 (UCA1-N) 運転士がブレーキ操作をしない体調不良やよそみで認識判断が遅れて停止できない ( 認識エラー ) 外部環境不良のため発光が視認できず停止が間に合わない体調不良でブレーキが遅れる ( 行動エラー ) 誤操作でブレーキ操作を失敗 ( 以下は次階層のハード主体の制御構造図でないと思いつきにくい ) 発光機が故障で消灯しているのに普段消灯しているので故障に気がつかない発光装置故障で発光しないとりこ検知装置故障でとりこ検知ができず発光もしない (CA1-P) 不必要なブレーキ操作は安全側 (UCA1-T) ブレーキ操作の遅れ UCA1-N と同様 (UCA1-D) ブレーキを途中で解除 ) 今回対象外とする 40

41 コントロールアクションの比較ハザードの可能性評価 ( 前向き推論 ) コントロールアクション検知装置作動開始ブレーキ作動指示検知装置停止指示運転士主体の制御構造図 ( 三つの UCA) コントロールアクション ( 踏切検知装置 ) 検知開始指示 ( 検知装置特殊信号発光機 ) 発光指示 ( 検知装置特殊信号発光機 ) 消灯指示 ( 特殊信号発光機乗務員 ) 停止指示 ( 特殊信号の発光 ) ( 乗務士列車 ) ブレーキ作動指示 ( 踏切検知装置 ) 検知停止指示ハザード要因の評価 ( 後向き推論 ) とりこ検知装置主体の制御構造図 ( 六つの UCA) 41

42 事例 1 とりこ検知事例の STAMP STPA 分析従来の一方向の事故進展モデルに基づくハザード分析で難しい複雑システムのハザード分析が可能になる特に機械やコンピュータなどの技術要因に加えて人や組織などの非技術要因を含めた包括的な事故防止アプローチを可能にする安全制約と制御構造図により安全をどのような仕組み体制で制御しようとしているかを可視化できるこれにより多様な視点からのレビューができる ( 次世代の安全制御のあり方など ) 42

43 まとめ : これからの複雑システムの安全設計で考慮すべきことトップレベルの抽象化階層化したモデルで安全制約を考える ( 複雑さに惑わされない ) STAMP モデルによる多様な発想力で想定外のハザードを低減できないか? システム全体の安全制約 Emergent properties (arise from complex interactions) トップレベル安全制約からトレーサビリティを持ってコンポーネント安全制約を導く ( 運用後の更新に備える ) 創発的特性コンポーネントの安全制約の和システム全体の安全制約多様な環境コンテクストのもとで想定外のハザードも発想して安全制約を立てる想定外事象による安全制約の乱れコンポーネントの安全制約 Safety and security are emergent properties 抽象化した制御構造図でビジネスモデルワークフローを俯瞰し改善する 43

44 STPA と従来法の特徴比較手法名分析方法特徴従来手法 (FTA FMEA) STAMP /STPA FTAは望ましくない事象をゴールとしてその要因をツリー状に展開分析して故障要因を分析する FMEAは構成要素に起こりうる故障モードを予測し考えられる原因やシステム全体への影響を解析評価する方法システムの構成要素と故障モードが決まるアーキテクチャ設計の段階から適用できるアクシデントハザード安全制約に基づき安全制御構造図を明示化 (Step-0 ) 四つの非安全制御行動 (UCA) に分類してハザードへの影響を分析し安全制約を詳細化 (Step-1) 非安全制御行動を引き起こすハザードシナリオを制御構造図と経験に基づくヒントワードを用いて分析 (Step-2) 構成要素の故障が事故を引き起こすと考えその故障を最小化する信頼性工学的手法ドミノモデルやスイスチーズモデルといった故障の一方向への伝搬モデルに基づいて故障の因果関係を分析する故障要因に故障確率を割り当てることで定量的な故障分析ができる人や複雑なソフトウェアの相互作用を伴う複雑システムの故障分析では全ての故障モードを拾い出すことが難しい故障を低減するという信頼性工学的手法ではなく事故を回避するための制御行動の乱れを分析する安全制御工学的手法安全を確保するための制御行動とそのフィードバックという動的システムの中で事故が起こるというモデルに基づく抽象化階層化したモデルで複雑さを理解するトップダウンのシステム工学的手法で人組織や複雑なソフトウェアの相互作用の不具合に伴うハザードを分析する安全制御構造が可視化でき第三者を含む複数の専門家によるレビューがしやすい抽象化階層化したモデルなのでドメイン知識の少ない人でもレビューに参加できる解析する人の能力への依存度が大きい 44

45 ご清聴ありがとうございました 45

目次 1. 目的 2. STPA の手順 3. エアバッグの要求仕様 4. Step 0 準備 1:Accident Hazard 安全制約の識別 5. Step 0 準備 2:Control Structure の構築 6. Step 1:UCA(Unsafe Control Action) の抽

STAMP/STPA 演習 ~ エアバッグの安全性分析 ~ 2017 年 9 月 22 日独立行政法人情報処理推進機構 (IPA) 技術本部ソフトウェア高信頼化センター (SEC) 石井正悟目次 1. 目的 2. STPA の手順 3. エアバッグの要求仕様 4. Step 0 準備 1:Accident Hazard 安全制約の識別 5. Step 0 準備 2:Control Structure

複雑システムの安全設計への パラダイムシフト ~ システム理論に基づく新しい安全解析法 STAMP/STPA の実践 ~ 2017 年 11 月 16 日会津大学名誉教授 IPA/SEC IoTシステム安全性向上技術 WG 主査兼本茂 ET/IoT2017 Booth Presentation

複雑システムの安全設計へのパラダイムシフト ~ システム理論に基づく新しい安全解析法 STAMP/STPA の実践 ~ 2017 年 11 月 16 日会津大学名誉教授 IPA/SEC IoTシステム安全性向上技術 WG 主査兼本茂 ET/IoT2017 Booth Presentation