Linux障害解析の状況と今後の展望

Size: px

Start display at page:

Download "Linux障害解析の状況と今後の展望"

ふじよしよせ
7 years ago
Views:

1 Linux 障害解析の状況と今後の展望 Oct.15, 2004 NTT Data 先端技術株式会社鈴木幸市エンタープライズ環境で Linux の利用を促進するうえでカーネル障害解析は重要な位置を占めるカーネルダンプとしては LKCD や NetDump が知られているがより高い確実性信頼性を目指した Linux カーネルダンプ取得ツールの提案もなされてきているこれらの動向について紹介する 1

2 背景 : なぜ障害解析? エンタープライズや政府機関での利用ミッションクリティカルなアプリケーションへの適用の増大高信頼化高可用性追求も重要であるが障害時の対応が非常に重要になりつつあるシステム停止による社会的影響会社の信用問題生活取引生産への影響 2

3 背景 : なぜ障害解析? (cont.) システムが停止したらリブートして動いただけでは対応は不十分障害原因と対策の説明責任障害解析が必須の機能今後同様な障害が起こらないようにどのような対策を講じるかその対策は十分かきちんと原因がわかっていることが大前提ソフト障害でも緊急にバグがとれない場合回避策を講じる必要があるシステムが停止しなくともクラスタノードの障害などシステム全体は停止しないが部分的な障害はおこるこれらの不具合の原因を究明しシステム停止に至らないように対策を講じることが重要 3

4 背景 : なぜ障害解析? (cont.) 障害資料採取原因究明対策応急措置説明 4

5 カーネルは安定しているか? 5

6 LINUX 故障解析の現状エンタープライズシステムでは故障が発生した場合原因を素早く特定し迅速に対応することが求められている障害を解析することによってハードとソフトの切り分けカーネルとアプリケーションの切り分けを行わなければならない原因の究明や切り分けのためにはカーネルのダンプやトレースデータが必須であるクラッシュダンプによる原因究明が有効しかし LINUX には標準でダンプ機能がない 6

7 システム障害の事象例 LINUX 故障解析の現状カーネルパニックが発生してシステムが停止するしかし再現性がないシステムが突然スローダウンし果てにはハングする方式検討を行い環境構築してみたがどうも思ったような性能が出ない原因特定の手段は? ( カーネルが原因だと思われる場合 ) KDB や KGDB によるデバッグすぐさま再起動が必要な状況であるためシステムを止めて作業することはできないたとえ可能だとしても作業者がその場に赴いて全て解析するのは難しい同じ環境を用意して再現待ち KDB 等で解析再現してくれるとは限らないダンプ解析を行う LINUX には標準でメモリダンプ機能がないダンプが取れない場合がある 7

8 カーネルダンプの取得カーネル自身がダンプをイニシエートする必要があるマイクロカーネルのように上位でカーネルの動作を制御する機構がないハードウェアサポートもないメインフレーム等の LPAR を使うと外部でダンプがとれるが IA アーキテクチャのハードではこのようなものはほとんどない ( 絵を入れる ) カーネルカーネルマイクロカーネル VM モニタなどダンプ機構ハードウェアを用いたカーネルダンプメインフレームなどマイクロカーネル等によるカーネルダンプ Mach, VMWare などカーネル自身によるカーネルダンプほとんどの Linux 実装 8

9 カーネルダンプの取得 (cont.) 信頼性のあるダンプをとる必要があるダンプ取得中にメモリの状態が変化してしまいダンプ内容の一貫性が失われないようにする必要がある確実にダンプをとる必要がある障害が発生したがダンプが取れないケースは最小限にとどめる必要があるユーザ空間の再現も必要であるアプリケーション起因で障害が発生するケースもあるメモリダンプと共にスワップを保全しておけばユーザ空間の再現は可能 9

10 カーネルダンプ用既存ツール (1) LKCD 最初に SGI が開発しオープンソースとして公開したものその後 IBM NEC 日立富士通共同で拡張を行ったクラッシュダンプ採取のしくみと解析ツールからなる長所短所活動が活発であるディスクダンプネットワークダンプメモリダンプと 3 つの手段がサポートされているディスクダンプでデバイスがビジー ( 使用中 ) だとダンプが取れないディスクダンプの場合割り込み許可して処理するので他の割り込みと同時に処理が行われるそのため資源の競合やダンプデータの不整合が起こり得る 10

11 カーネルダンプ用既存ツール (2) diskdump 富士通が開発したディスクダンプを実現する仕組み SCSI のポーリングモードを用い ( 割り込みは使わない ) 時サーバの HDD へダンプを採取長所割り込みを用いずポーリングモードで書き込みを行うことでダンプ取得の確率が高まる短所 SCSI の最下位レイヤのドライバの修正が必要となるこれらをコンパイルしてカーネルを再構築する必要がある 11

12 カーネル 2.6 での新しいカーネルダンプ取得技法 (1) クラッシュしたカーネルを用いたダンプ取得には確度一貫性の限界があるクラッシュしたカーネルを使わずにダンプを取るリブートして新しいカーネルを走らせようとすると BIOS でダンプすべきメモリ内容が初期化されてしまう!! カーネルデータ構造カーネル空間このデータ構造をそのまま使うと内容が破壊されていたりデッドロックを引き継いだりする可能性大スワップユーザ空間クラッシュしていてどう破壊されたのか定かでないこの部分を使ってダンプを取得しなければならないカーネルがクラッシュしたということは... 12

13 カーネル 2.6 での新しいカーネルダンプ取得技法 (2) カーネル 2.6 の新たな機能 Linux カーネルから別のカーネルをブートする内部関数の実装 kexec() これを使えばクラッシュしたカーネルから別のカーネルを使ってダンプができるクラッシュ時は kexec() を使って専用カーネルを起動カーネルデータ構造カーネル空間ダンプ専用データ構造ダンプ専用カーネルユーザ空間ここのどこかが壊れているダンプ時は I/O 初期化して専用データ構造を使うカーネルとは別のアドレスにダンプ専用カーネルをロードしておくカーネルの管理下なので破壊される危険はあるがこれは少ないだろう 13

14 新しいカーネルダンプの実装例 IBM India Software Labs Hariprasad Nellitheertha, Linux Technology Center, ISL kexec() を介してダンプ専用カーネルを起動ダンプしたデータはローカルに /dev/oldmem デバイスに蓄積 /dev/mem 同様にメモリイメージでアクセス可能 /dev/oldmem デバイスはあらかじめ作成しておく出典 : The kexec Way to Lightweight Reliable System Crash Dumping, Hariprasad Nellitheertha, Linux Technology Center, ISL, IBM 14

15 ダンプ取得のプロセス出典 : The kexec Way to Lightweight Reliable System Crash Dumping, Hariprasad Nellitheertha, Linux Technology Center, ISL, IBM 15

16 kexec() 利用上の工夫 kexec() は古いカーネルを上書きしてしまう上書きされる前にこの部分のメモリイメージを退避してからダンプ出典 : The kexec Way to Lightweight Reliable System Crash Dumping, Hariprasad Nellitheertha, Linux Technology Center, ISL, IBM 16

17 kexec() を使ったもう一つのダンプ取得技法 Linaccident ダンプツール kexec() では古いカーネルイメージが上書きされる任意の場所にダンプミニカーネルをロードして起動できるように kexec() を変更 mkexec() ダンプイメージは事前に設定したディスクパーティションに書き出すクラッシュしたカーネルのコードもデータ構造も用いない安全なミニカーネル内のコードとデータ構造で実行ダンプ採取の確率向上ミニカーネルは以下のコードをベースに開発 Linux カーネル LKCD kexec NTT DATA & VA Linux Japan ミニカーネルにはダンプ処理と安全かつ必要最小限のドライバで構成ドライバは Linux カーネルのものを使用ミニカーネル内にロードされているカーネルダンプは lcrash(lkcd の解析ツール ) を用いて解析 17

18 ダンプの取得 (1) Reserve the area for Mini Kernel Load the Mini Kernel 18

19 ダンプの取得 (2) Real memory crash occurs Run the Mini Kernel 19

20 ダンプの取得 (3) real memory Dump all memory Dump device 20

21 ダンプ手法の比較 LKCD(disk) Netdump / LKCD(net) mcore / LKCD(mem) diskdump Linaccident 実行コンテキスト採取できる情報メモリキャッシュメモリスワップ領域確実性資源のロックメモリ破壊時 panic / oops 採取の契機 nmi_watchdog 手動 + α nmi スイッチライブダンプの可否 ( 検討項目 ) 21

22 スワップと組み合わせたユーザ空間の再現と障害解析各種解析資料ダンプファイルカーネル構造情報 (Kerntypes) カーネルイメージスワップ領域ダンプファイル System.map ( シンボルマップ ).config ファイルカーネルソース共有ライブラリのバージョン lcrash によるカーネル解析 core ファイルの作成 core ファイル gdb によるアプリケーション解析 22

23 lcrash によるカーネル解析 23

24 gdb によるアプリケーション解析 24

25 日本 OSS 推進フォーラム開発基盤 WG での検討状況高信頼化ツール開発プランミッションクリティカル対応には RAS の強化が必須 ( ダウンタイムの最小化障害の早期検出 ) 高信頼化に必要なツール群をトレースツールダンプツール性能評価ツールアロケーション情報評価ツールに分類不足している領域を新規に整備 ( ダンプ解析スクリプトアロケーション情報評価 ) ミッションクリティカル対応高信頼化ツール群ダンプトレース情報連携解析ツール性能トレース情報連携解析ツールトレース解析支援ツールカーネルトレーサ (LKST) 性能プロファイラー (LKST 改造他 ) ダンプ解析スクリプトダンプデータ解析ツール (lcrash, crash, ) トレーサー連携ダンプ採取ツールカーネル性能評価ツールダンプ採取ツール (LKCD, diskdump, ) アロケーション情報採取ツールディスク割り当て評価ツールメモリ領域割り当て評価ツールダンプアロケーション情報連携解析ツール既存ツール新規開発ツール性能デフラグ情報連携解析ツール将来開発ツール出典 : OSS セプテンバーセミナー in 札幌 25

26 今後の期待障害解析ツールの開発の促進 OSS 推進フォーラムなどカーネルダンプのメインツリーへの反映 2004 年のカーネルサミットでも話題にカーネルダンプ情報の安全な運用方法暗号化を施した転送蓄積 26

27 Thank you very much 27

ダンプ取得機能強化サポートオプション Enterprise Edition

株式会社様ダンプ取得機能強化サポートオプション Enterprise Edition Enterprise Event Recorder for Linux 2017/06 株式会社日立製作所システム & サービスビジネス IoT クラウドサービス事業部オペレーティングシステム本部 1. ダンプ取得機能強化サポート Enterprise Editionの位置付けダンプ取得機能強化サポート Enterprise