1. サービス影響の概要事象 1 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 00 時 35 分 ~01 時 41 分 (1 時間 06 分 ) (3) 影響事象サービスが利用不可影響

Size: px

Start display at page:

Download "1. サービス影響の概要事象 1 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 00 時 35 分 ~01 時 41 分 (1 時間 06 分 ) (3) 影響事象サービスが利用不可影響"

としはるみやまる
5 years ago
Views:

1 E メールリアルタイム送受信システムの障害について 2013 年 4 月 25 日 KDDI 株式会社 1

29 分 (5 時間 21 分 ) (3) 影響事象サービスが利用不可影響 : 最大 288 万人 (4) 影響エリア全国の地域事象 3 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月

2 1. サービス影響の概要事象 1 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 00 時 35 分 ~01 時 41 分 (1 時間 06 分 ) (3) 影響事象サービスが利用不可影響 : 最大 200 人 (4) 影響エリア全国の地域事象 2 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 08 時 08 分 ~13 時 29 分 (5 時間 21 分 ) (3) 影響事象サービスが利用不可影響 : 最大 288 万人 (4) 影響エリア全国の地域事象 3 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 13 時 29 分 ~4 月 19 日 02 時 54 分 (2 日 13 時間 25 分 ) (3) 影響事象サービスが利用しづらい状況影響 : 最大 127 万人連絡先情報 * が表示できない状況あり (4) 影響エリア全国の地域 * 連絡先情報 : 連絡先カレンダーリマインダー 2

ユーザ認証ユーザ認証 ( マスター ) 正常稼働システムサービス影響ありサービス影響なしリアルタイム受信 MMS IMAP プロキシ Proxy Proxy フロキシ

3 2. 障害の概要 Eメールリアルタイム送受信システムのバージョンアップ作業時に3つの問題が発生事象 1 ユーザ認証でのユーザ情報の不一致発生 ( マスタ / レプリカ間 ) 事象 2 ユーザ認証の両系ダウン事象 3 事象 2 復旧後一部のメールにて高負荷が継続システム #1 E メールリアルタイム送受信システムシステム #2 事象 12 ユーザ認証ユーザ認証 ( マスター ) 正常稼働システムサービス影響ありサービス影響なしリアルタイム受信 MMS IMAP プロキシ Proxy Proxy フロキシメールメールー事象 3 メール故障発生システム (288 万人収容 ) Internet サービス影響なし Android スマートフォンフィーチャーフォンフロキシーフロキシ 3

4 3-1. バージョンアップ作業手順概要 ( 正常シナリオ ) 本バージョンアップ作業は新機能を提供するために実施しましたサービス断を発生させないよう現行設備と同構成の新バージョン設備を事前に準備しメールなどの接続替えによりバージョンアップを実施することとしていました手順は下図の 1)~7) 新規ユーザデータ ( 本作業中は停止 ) 1) ユーザ情報をコピー新規ユーザデータ ( 本作業中は停止 ) 2) 現行ユーザ認証の停止 6) 現行ユーザ認証の停止現行ユーザ認証現行ユーザ認証 5) プロキシメールを新ユーザ認証へ接続替え接続替え新ユーザ認証新ユーザ認証 3) 新ユーザ認証の開始 4) 新ユーザ認証の開始 Internet 現行プロキシメールメールー : 現行バージョン新プロキシ切替 7) 新プロキシへの切替 : 新バージョンシステム #1 4

3-2. 事象の詳細と原因 <1/3> 事象 1 ユーザ認証でのユーザ情報の不一致発生

現行ユーザ認証のマスタ / レプリカ間で一部のユーザ情報が不一致となっていた * 2)

5 3-2. 事象の詳細と原因 <1/3> 事象 1 ユーザ認証でのユーザ情報の不一致発生 ( マスタ / レプリカ間 ) 1) バージョンアップ作業の途中で現行プロキシにて認証エラーが発生一部のお客様で E メールサービスが利用できない状況が発生 (4/16 00:35) 調査の結果現行ユーザ認証のマスタ / レプリカ間で一部のユーザ情報が不一致となっていた * 2) 正常な新ユーザ認証に切り替える作業を続行し現行プロキシ等の参照先を新ユーザ認証へ切替えて認証エラーを解消 (4/16 01:41) * 一部のユーザ情報が不一致になった原因は手順書ミスによるコマンド誤りにより現行ユーザ認証が新ユーザ認証と誤って接続された結果ユーザ情報のデータが一部欠損となったため原因 : 手順書記載ミスによるコマンド誤り ( 事前検証試験不足 ) コマンド誤りにより新ユーザ認証と誤って接続された結果ユーザ情報データが一部欠損現行ユーザ認証 2) 新ユーザ認証への切替により認証エラー解消新ユーザ認証 1) ユーザ認証エラー発生現行ユーザ認証切替新ユーザ認証 Internet 現行プロキシメールメールー 5

6 3-2. 事象の詳細と原因 <2/3> 事象 2 新ユーザ認証の両系ダウン 1) 事象 1 のエラーを解消したので作業を続行新プロキシへの切替を順次実施していたが途中でタイムアウトエラーが発生サービス影響はなかったが予期せぬエラーのため現行設備への切戻しを決定し作業を開始 2) 切戻し作業中に新ユーザ認証の片系が HW 障害でダウンその後残っていた片系も過負荷となりダウン E メール送受信が不可となった (4/16 08:08) 3) 現行ユーザ認証への接続変更と接続変更するためにメールの再起動を実施完了 (4/16 13:29) 原因 : HW 障害 ( 片系 ) と二重障害時の対策準備不足修復作業中現行ユーザ認証現行ユーザ認証 3) 現行ユーザ認証への接続変更とメールの再起動実施新ユーザ認証新ユーザ認証 2) 片系が HW 障害でダウンその後残っていた片系も過負荷でダウン Internet 新プロキシ新プロキシメールメールー 1) 予期せぬタイムアウトエラー発生 6

3-2. 事象の詳細と原因 <3/3> 事象 3 一部のメールにて高負荷が継続 1) 事象 2 のメール

台のの高負荷状態が継続その後端末からのアクセス急増も重なってメール送受信が利用しづらい状況となった

利用しづらい状況を復旧 (4/19 02:54) 原因 : メール再起動手順の考慮不足 Internet

再起動完了までメールが滞留 24 台メール 1)30 台中 24 台が高負荷メールメール 6 台

7 3-2. 事象の詳細と原因 <3/3> 事象 3 一部のメールにて高負荷が継続 1) 事象 2 のメールの再起動は完了したが再起動手順上の問題およびに滞留した受信メールにより 62 台中 24 台のの高負荷状態が継続その後端末からのアクセス急増も重なってメール送受信が利用しづらい状況となった (4/16 13:29) 2) メールへの流量のコントロール等によりの高負荷状態を解消させ利用しづらい状況を復旧 (4/19 02:54) 原因 : メール再起動手順の考慮不足 Internet 新プロキシメールーメール 2) 端末 ~ メールの単位の流量調整により高負荷を解消 1) メール再起動完了までメールが滞留 24 台メール 1)30 台中 24 台が高負荷メールメール 6 台メール高負荷なしメールメールメール 32 台共有ディスク #1 RAID 6 共有ディスク #2 RAID 0/1 メールの構成 7

( 参考 ) 連絡先情報が一時的に見えなくなる仕組み今回の事象 3 によりサービスが利用しづらい状況において端末と間の同期ができない場合は端末上の連絡先情報が見えなくなります端末と間の同期が成立すると側の連絡先情報が端末側に再表示されます連絡先情報数 :100 件メールに対し連絡先情報同期要求端末と間の同期処理に用いる管理情報に不一致が発生し連絡先をクリア連絡先情報数 :0

8 ( 参考 ) 連絡先情報が一時的に見えなくなる仕組み今回の事象 3 によりサービスが利用しづらい状況において端末と間の同期ができない場合は端末上の連絡先情報が見えなくなります端末と間の同期が成立すると側の連絡先情報が端末側に再表示されます連絡先情報数 :100 件メールに対し連絡先情報同期要求端末と間の同期処理に用いる管理情報に不一致が発生し連絡先をクリア連絡先情報数 :0 件連絡先情報同期エラー応答メール連絡先情報数 :100 件端末からに全データの同期を要求連絡先情報数 :100 件再表示を早期化するために新規連絡先を 1 件追加し端末と間の全データ同期を行う方法をご案内中全データ同期正常応答リアルタイム受信サービスにおいては 2012/6/27 以前に作成されたお客様の連絡先情報を側でお預かりするサービスを提供しておりません従いまして端末と間で連絡先情報が同期 ( 全データ同期 ) された場合には 2012/6/27 以前の連絡先情報は再表示できなくなりますこのためこれまで当社では連絡先のデフォルトアカウントをリアルタイム受信 ( E メール ) 以外に設定いただくようご案内しておりましたが今回サービスが利用しづらい状況で本事象に該当したお客様には当社より個別にご案内させていただいておりますまた今後については当社提供のアドレス帳移行アプリをご利用いただいて 2012/6/27 以前に作成された連絡先情報も側に預けていただくようお客様にご案内強化を図っていきます 8

9 4. 対策 <1/2> 今回の原因 : 手順書記載ミスによるコマンド誤り ( 事前検証試験不足 ) HW 障害 ( 片系 ) と二重障害時の対策準備不足メール再起動手順の考慮不足対策内容完了時期事象 1 1) 手順書チェックリハーサルプロセスの総点検特に下記プロセスにおける (Ⅲ)~(Ⅵ) の KDDI/ ベンダー間の相互チェック強化 (I) 商用手順書作成 (Ⅱ) クロスチェック (Ⅲ) 第三者レビュー (Ⅳ) チーム内レビュー (Ⅴ) 社内レビュー (Ⅵ) リハーサル (Ⅶ) リハーサル結果レビュー 2) 事前検証試験内容の見直し作業対象設備以外の周辺設備まで範囲を広げて設備ログの確認を徹底 3) 商用と検証環境の差分を考慮した事前検証の徹底 4 月末 4 月末 4 月末 4) 上記 1) 2) 3) は社内の全システムに対して実施徹底 5 月末 9

10 4. 対策 <2/2> 事象 2 対策内容 1) HW 故障原因の分析と対策決定 2) 二重障害発生時の復旧手順の確立 3) ユーザ認証切替ツールの改善 ( 短時間化 ) 両系障害が発生した場合の迅速な接続変更を可能とする完了時期 5 月末 4/24 完了 4/21 完了事象 3 1) ディスクの処理能力を考慮した早期復旧手順の見直し起動台数制限流量調整手順の追加 2) 流量調整ツールの導入メールボックス単位でのきめ細かい流量調整を可能とするツールの導入 3) 二重障害時でも十分なメール / ストレージの増強対策ストレージの負荷対策 5 月末 5 月末 8 月末 4) 社内の全システムのディスク処理能力の点検 5 月末 10

11 この度は作業手順書記載ミスを契機として E メールリアルタイム送受信システムの障害を発生させた上復旧に長時間を要してしまいお客さまに多大なるご迷惑をおかけしたことを深くお詫びいたします作業実施に際してのミスを撲滅し対象設備のみならず周辺設備まで含めたシステム全体の事前検証を徹底すると同時に障害が発生した場合の復旧を迅速化しお客さまに安心して弊社通信サービスをご利用いただけますよう全力で取り組んで参ります 11

２０１０年２月３日

２０１０年２月３日報道発表資料 2012 年 3 月 30 日 KDDI 株式会社重大事故への対応について当社は 2011 年 4 月から 2012 年 2 月に発生した計 5 件の重大事故に対し再発防止策を含む十全な対策を早急に講じその実施結果および今後の取組みについて報告するよう総務省より 2012 年 2 月 15 日に指導を受けましたまた 2012 年 2 月 22 日総務省開催の携帯電話通信障害対策連絡会においても

1. サービス影響の概要 事象 1 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 00 時 35 分 ~01 時 41 分 (1 時間 06 分 ) (3) 影響事象サービスが利用不可影響

1. サービス影響の概要事象 1 (1) サービス au 携帯電話サービス E メール送受信サービス (E メールリアルタイム受信設定 ) (2) 発生時間 2013 年 4 月 16 日 00 時 35 分 ~01 時 41 分 (1 時間 06 分 ) (3) 影響事象サービスが利用不可影響