ITオペレーション 業 務 における ヒヤリハットの 可 視 化 と 削 減 2015 年 11 月 30 日 株 式 会 社 野 村 総 合 研 究 所 データセンターサービス 本 部 MDC 運 用 サービス 二 部 應 和 周 一
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 1
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 2
約 数 万 ノード 約 数 百 万 ジョブを 対 象 としたオペレーション 監 視 ノード 数 投 登 影 録 ジョブ のみ数 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 3
オペレーション 拠 点 は 増 え 続 け 現 在 6 拠 点 T1DC C3os HDC Y2DC ODC Y1DC Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 4
サーバー オペレーションでは1シフト 数 十 名 総 勢 数 百 名 のオペレーション 体 制 Y1DC サーバー オペレーション Y1DC その 他 オペレーション 証 券 金 融 保 険 ホスト オペレーション 産 業 流 通 Lデスク MT 管 理 テープマウンター その 他 拠 点 Y2DC T1DC HDC C3os Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 5
サーバー オペレーションの 大 部 分 は 自 動 化 され 一 部 を 手 動 対 応 サーバ 監 視 ジョブ 管 理 千 手 メッセージ MSG 取 込 み 障 害 対 応 支 援 ツール 自 動 切 り 分 け 障 害 ナビ 無 視 電 話 メール 自 動 対 応 不 可 MSG 切 り 分 け インシデント 管 理 Senju SM レポート 入 力 参 照 日 報 システム DB レポート ジ ョ ブ 自 動 制 御 ジョブ 手 動 制 御 申 請 内 容 確 認 DB 進 捗 / 完 了 入 力 ワークフロー/ 自 動 処 理 ツール オペレーター Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 6 無 視 電 話 特 別 作 業 アラート 対 応 ITSMS(ISO20000) メール
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 7
オペ 障 害 の 一 歩 手 前 の 事 象 である ヒヤリハット に 注 目 し ヒヤリハットを 可 視 化 し 削 減 することで トラブル 発 生 を 防 ぐ 活 動 オペ 障 害 は 削 減 された 結 果 改 善 活 動 のインプットが 減 少 オペ 障 害 件 数 推 移 投 影 のみ オペ 障 害 とヒヤリハットには 相 関 関 係 が 存 在 するはず オペ 障 害 ヒヤリハット ハインリッヒの 法 則 1 29 300 オペ 障 害 とは 手 動 ITオペレーション 起 因 障 害 で 手 動 作 業 ミスが 引 き 起 こした 障 害 の 定 義 出 所 :ぽっしゅん 教 材 製 作 記 http://blog.livedoor.jp/poss yun_b69/ 1 件 の 重 大 な 事 故 災 害 29 件 の 軽 微 な 事 故 災 害 300 件 のヒヤリハット Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 8
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 9
ヒヤリハットの 定 義 は オペ 障 害 を 未 然 に 防 止 した および オペ 障 害 が 発 生 したが 業 務 影 響 がなかった の2 種 類 医 療 現 場 でのヒヤリハット ある 医 療 行 為 が 実 際 には 実 施 されなかったけれども 仮 に 実 施 したら 患 者 に 被 害 が 発 生 し たと 予 想 される 場 合 NRIのITオペレーションでの ヒヤリハット 定 義 オペ 障 害 が 未 然 に 防 止 された けれども 仮 に 発 生 したら 顧 客 および 運 用 業 務 に 影 響 が 出 ることが 予 想 される 場 合 ある 医 療 行 為 が 実 際 に 実 施 さ れたけれども 結 果 的 に 患 者 に 被 害 は 無 かった 場 合 オペ 障 害 が 発 生 したけれども 結 果 的 に 顧 客 および 運 用 業 務 影 響 が 無 かった 場 合 出 所 : Wikipedia http://ja.wikipedia.org/wiki/ヒヤリ ハット Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 10
ヒヤリハットを 業 務 影 響 が 発 生 し 得 る/し 得 ない および 作 業 ミスを 防 いだ/ 防 げなかった の 視 点 にて 分 類 リスク 低 高 分 類 低 リスク ヒヤリハット 高 リスク ヒヤリハット オペ 障 害 低 中 低 中 高 高 ヒヤリハット 分 類 業 務 リスク 1 作 業 ミス 有 無 2 業 務 影 響 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 11 低 高 無 有 無 有 有 1 低 作 業 ミスによる 業 務 影 響 が 発 生 し 得 ない 作 業 高 作 業 ミスによる 業 務 影 響 が 発 生 し 得 る 作 業 2 作 業 ミスが 発 生 したか 未 然 に 防 いだか 無 有
適 切 な 申 告 を 促 すことを 目 的 に ヒヤリハットの 収 集 は 無 記 名 の 自 己 申 告 にて 実 施 無 記 名 の 登 録 シートを 配 置 し 登 録 方 法 を 複 数 ( 紙 Excel) 用 意 発 生 原 因 を 問 い 詰 めない 代 わりに オペ 障 害 が 回 避 できた 理 由 を 記 入 No. 日 付 時 間 ヒヤリハットの 概 要 オペミスが 回 避 できた 理 由 ヒヤリハットの 直 接 原 因 1 オペミスした 場 合 の 顧 客 業 務 への 影 響 有 無 作 業 分 類 例 1/28 10:20 頃 ABC012のところをABCD012と 入 力 し ているのに 気 がついた ダブルチェック 時 にダブルチェッカーが 気 づ いたため 手 抜 き 余 計 な 行 為 やり 間 違 い 飛 ばし 抜 け その 他 不 明 有 無 不 明 定 常 作 業 障 害 対 応 特 別 作 業 例 1/30 17:00 手 順 書 のページを2 枚 めくりして 作 業 を 飛 ばしそうになったのに 気 がつい た ダブルチェック 者 に 指 摘 されて 気 づいたた め 手 抜 き 余 計 な 行 為 やり 間 違 い 飛 ばし 抜 け その 他 不 明 有 無 不 明 定 常 作 業 障 害 対 応 特 別 作 業 1 ヒヤリハット 登 録 シート 手 抜 き 余 計 な 行 為 やり 間 違 い 飛 ばし 抜 け その 他 不 明 有 無 不 明 定 常 作 業 障 害 対 応 特 別 作 業 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 12
( 余 談 )オペレーターの 真 面 目 さを 再 確 認 ヒヤリハット 事 例 無 記 名 としたにも 関 わらず 訂 正 印! 投 影 のみ Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 13
当 初 ヒヤリハットの 件 数 が 多 く 発 生 し 対 策 効 果 が 出 ることで 発 生 件 数 が 減 少 するシナリオを 想 定 し 活 動 を 開 始 凡 例 件 数 ヒヤリハットの 発 生 想 定 イメージ ( 累 積 ) 対 策 効 果 がでるこ とで 徐 々に 発 生 件 数 が 減 少 低 リスク ヒヤリハット 高 リスク ヒヤリハット 低 中 低 中 高 高 目 標 件 数 集 計 開 始 時 は 対 策 前 の ため 目 標 件 数 より 多 い ペースで 発 生 最 終 累 積 は 目 標 件 数 を 下 回 る 6 月 9 月 12 月 3 月 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 14
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 15
当 初 目 標 件 数 を 大 幅 に 超 過 するペースで 発 生 したが その 後 発 生 ペースが 鈍 化 し 最 終 的 に 目 標 を 達 成 ヒヤリハットの 発 生 件 数 ( 累 積 ) 凡 例 低 リスク ヒヤリハット 高 リスク ヒヤリハット 低 中 低 中 高 高 投 影 のみ Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 16
低 リスク ヒヤリハットは 手 順 書 のレチェックや 押 印 漏 れ 高 リスク ヒヤリハットは 作 業 漏 れ や コマンド 間 違 い など コマンド 間 違 い MSG 抑 止 の 承 認 漏 れ 分 類 別 の 代 表 的 なヒヤリハット 凡 例 低 リスク ヒヤリハット 高 リスク ヒヤリハット 低 中 低 中 高 高 アラート 対 応 漏 れ MSG 抑 止 の 承 認 漏 れ コマンド 間 違 い 手 順 書 への 実 施 押 印 漏 れ 手 順 書 へのレチェック 漏 れ 日 報 やファイル 名 などのス ペルミス 対 応 結 果 の 入 力 漏 れ 日 報 や 報 告 メールで 余 計 な 文 字 挿 入 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 17
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 18
申 請 者 の 不 利 益 にならないようヒアリングを 行 わず 業 務 上 課 題 が 無 いかを 検 討 し 適 宜 対 策 を 実 施 オペ 障 害 発 生 時 との 対 応 プロセス 比 較 m-shellに 基 づいた 背 景 要 因 チェック シートによる 関 係 者 全 員 へのヒアリング m-shellに 基 づいた 原 因 分 析 対 策 立 案 ガイドラインによる 分 析 と 対 策 検 討 状 況 対 応 プロセス オペ 障 害 発 生 時 ( 問 題 管 理 ヒヤリハット 発 生 時 業 務 内 容 確 認 経 緯 ヒアリング 課 題 検 討 なぜなぜ 分 析 対 策 検 討 対 策 実 施 申 請 者 へのヒアリングは 行 わず 業 務 確 認 のみを 行 って 課 題 と 対 策 を 検 討 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 19
( 参 考 )m-shellをベースに 原 因 調 査 および 対 策 検 討 / 実 施 を 漏 れなく 深 く するためのフレームワークを 作 成 ツール 化 幅 本 人 (L) マネジメント (M) 手 順 ルール (S) ツール 機 器 (H) 作 業 環 境 (E) チーム 対 人 (LL) 問 題 原 因 深 さ なぜ? なぜ? なぜ? 原 因 原 因 原 因 原 因 根 本 原 因 根 本 原 因 根 本 原 因 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 20
主 な 想 定 原 因 は 単 純 作 業 ミス もしくは 何 かしらの 理 由 での 作 業 漏 れ など 分 類 別 の 原 因 傾 向 大 分 類 小 分 類 主 な( 想 定 ) 原 因 傾 向 低 リスク ヒヤリハット 高 リスク ヒヤリハット 低 中 低 中 高 高 単 純 作 業 ミス 削 減 活 動 その1 単 純 作 業 ミス 暗 黙 知 での 作 業 よる 作 業 漏 れ( 業 務 / 作 業 の 理 解 が 曖 昧 ) 実 施 済 みとの 思 いこみによる 作 業 漏 れ 電 話 などによる 作 業 中 断 での 作 業 漏 れ 削 減 活 動 その2 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 21
削 減 活 動 その1 単 純 作 業 ミスはなぜ 起 こるのか? Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 22
オペレーターの 稼 働 率 が60% 辺 りを 超 えると ヒヤリハット 発 生 率 が 上 昇 チーム 別 稼 働 率 と チーム 別 ヒヤリハット 件 数 の 相 関 グラフ (2014 年 6 月 ~2015 年 3 月 ) 投 影 のみ Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 23
削 減 活 動 その1 忙 しくてもミスを 減 らす 方 法 はあるのか? Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 24
作 業 に 制 限 時 間 ( 忙 しい 状 況 )がある 場 合 での 指 差 し 呼 称 の 効 果 を 検 証 を 数 える 調 査 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 25
時 間 制 限 がある 場 合 でも 指 差 し 呼 称 を 行 うことで ミスが 減 少 する ことを 確 認 制 限 時 間 が 有 る 場 合 ミスが 増 加 する 制 限 時 間 が 有 っても 指 差 し 呼 称 することでミスが 減 少 し 作 業 時 間 も 短 縮 する 制 限 時 間 有 無 正 答 率 75% 95% 平 均 時 間 15.7 秒 22.24 秒 時 間 制 限 指 差 し 呼 称 正 解 率 平 均 時 間 無 無 90% 23.21 秒 有 100% 17.23 秒 指 差 し 呼 称 しない 場 合 ミスが 増 加 する 指 差 し 呼 称 有 無 正 答 率 95% 75% 平 均 時 間 17.72 秒 22.05 秒 有 無 60% 21.26 秒 有 90% 14.18 秒 オペレーター20 名 への 調 査 結 果 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 26
指 差 し 呼 称 を 確 実 且 つ 効 果 的 に 行 うための 所 作 を 定 義 し オペレーターへの 教 育 徹 底 を 実 施 誤 反 応 の 発 生 率 指 差 呼 称 でミスが 約 6 分 の1に 削 減 信 号 確 認 場 面 を 模 擬 した 実 験 条 件 1.0 2.0 3.0 何 もしないで 確 認 2.38% 指 差 呼 称 で 確 認 0.38% (%) 出 所 : 公 益 財 団 法 鉄 道 総 合 技 術 研 究 所 鉄 道 総 研 式 ヒューマンファクタ 分 析 法 ハンドブック P42 所 作 が 決 まっているものほど それをしているうちに 集 中 が 高 まる 出 所 : 本 放 送 協 会 プロフェッショナル 仕 事 の 流 儀 イチロースペシャル 2012 年 12 29 所 作 さす Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 27
削 減 活 動 その1 忙 しくてもミスを 減 らす 方 法 は 他 にないのか? Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 28
出 来 ないかも や 無 理 かも と 感 じた 瞬 間 にエスカレーションを 行 うことで オペ 障 害 防 止 に 繋 がる 可 能 性 が 高 い 時 間 制 限 有 ミスをした4 名 のうち 制 限 時 間 内 で 出 来 ない や 焦 りがあった と それぞれ3 名 が 回 答 した 指 差 し 呼 称 無 制 限 時 間 内 に 出 来 ると 思 ったか? No No No Yes 焦 りは あったか? Yes No Yes Yes 高 リスク ヒヤリハットは78%が 他 者 により 検 知 され 未 然 防 止 された オペ 障 害 を 回 避 できた 理 由 セルフ チェック など 自 分 自 ダブル チェック 者 や スー Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 29
削 減 活 動 その2 作 業 漏 れをどうやって 防 ぐか? Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 30
作 業 予 定 と 進 捗 の 管 理 および 作 業 漏 れ 牽 制 機 能 付 きツールを 導 入 し 作 業 漏 れを 防 止 ホワイトボードに 作 業 予 定 を 記 載 し 目 覚 まし 時 計 をセット & 定 期 的 に 巡 回 確 認 作 業 予 定 をコピー&ペーストで 登 録 し 作 業 時 刻 に 鳴 動 & 作 業 進 捗 を 共 有 投 影 のみ Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 31
その 他 品 質 向 上 活 動 コストを 増 やさずに どうやって 作 業 品 質 を 向 上 させるか? Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 32
定 義 可 視 化 課 題 抽 出 対 策 検 討 実 施 を 愚 直 に 継 続 オペレーター 稼 働 時 間 収 集 業 務 日 報 君 業 務 時 報 君 オペ 障 害 件 数 / 年 8 6 4 2 0 マネジメント オペ 障 害 ヒヤリハット ( 稼 働 率 ) 20% 40% 60% 80% 100% メール 送 信 件 数 作 業 時 間 BPMツール 定 常 オペ 件 数 作 業 時 間 標 準 化 タイムチャート 可 視 化 データ 特 別 作 業 件 数 作 業 時 間 ホワイト ボード 君 Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 33
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 34
ヒヤリハット 可 視 化 と 削 減 活 動 を 含 めた 改 善 施 策 の 実 施 により オペ 障 害 が 減 少 オペレーショントラブル 件 数 (オペレーション 起 因 障 害 件 数 ) 投 影 のみ Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 35
1.ITオペレーションの 概 要 2. ヒヤリハットの 可 視 化 と 削 減 活 動 の 目 的 / 目 標 3.ヒヤリハットの 定 義 と 活 動 計 画 4. 収 集 結 果 5. 削 減 活 動 削 減 活 動 その1 削 減 活 動 その2 その 他 品 質 向 上 活 動 6. 効 果 7. 今 後 の 活 動 について Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 36
ヒヤリハット 対 策 立 案 のナレッジを フレームワークに 基 づいて 再 整 理 し 更 なる 対 策 精 度 を 向 上 状 況 ヒヤリハット 削 減 プロセス ヒヤリハットの 対 策 検 討 にて フレームワークを 活 用 業 務 内 容 確 認 プロセス 課 題 検 討 対 策 検 討 対 策 実 施 危 険 作 業 の 回 数 を 減 らす 作 業 ミスを 減 らす 複 数 のミス 検 知 策 を 設 ける 被 害 を 最 小 限 にする 戦 術 的 エラー 対 策 4STEP/M 出 所 : Medsafe.Net 医 療 安 全 推 進 者 ネットワーク http://www.medsafe.net/contents/hot/159safer.html Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 37
活 動 を 継 続 することで NRIオペレーションの 分 析 として 形 式 知 化 し( 法 則 を 導 き 出 し) IT 業 界 にフィードバック 様 々な 法 則 が 存 在 し ハインリッヒの 法 則 が 当 てはまるとは 限 らない 法 則 名 説 明 法 則 バードの 分 析 タイ=ピアソン の 結 果 Frank E. Bird Jr.による 法 則 で 1969 年 に 発 表 され アメリカの21 業 種 297 社 約 175 万 件 のデータから 導 き 出 されている 1974 年 1975 年 にイギ リスの 保 険 会 社 のデータ 約 100 万 件 からTyeおよび Pearsonにより 導 き 出 され た 結 果 である 出 所 : Wikipedia http://ja.wikipedia.org/wiki/ヒヤリ ハット 1 10 30 300 1 3 50 80 400 重 大 事 故 軽 傷 事 故 重 大 事 故 物 損 事 故 ニアミス 軽 中 傷 事 故 応 急 処 置 を 施 した 事 故 物 損 事 故 ニアミス オペ 障 害 が 出 ず 法 則 が 導 き 出 せないのが 理 想 なのは 言 うまでも 無 く Copyright(C) Nomura Research Institute, Ltd. All rights reserved. 38