OWI(Oracle Wait Interface)のコンセプトと実用ツールMaxGaugeの紹介

Size: px

Start display at page:

Download "OWI(Oracle Wait Interface)のコンセプトと実用ツールMaxGaugeの紹介"

せいごろうえんの
5 years ago
Views:

1 OWI(Oracle Wait Interface) の概要と実用ツール MaxGauge の紹介平成 21 年 11 月 7 日アスター

2 GOAL: 理解して頂きたいポイント Oracle は常に稼働ログを記録しているその稼働ログを収集しておくと快適な Oracle 運用が実現出来る

3 目次 Ⅰ. OWI:Oracle Wait Interface OWI 概要 Oracle 稼働ログ収集の仕組み稼働ログを収集しないと時の弊害収集すべき稼働ログ稼働ログの収集例 Ⅱ. Oracle 稼働ログの収集ツール :MaxGauge MaxGauge 概要デモ活用場面

プロセスの状態と OWI 3 4 5 6 3 のサイクルで処理する 1 CPUを必要としない状態 2 作業要求が入って CPUを使い始める 3 CPUを使って作業中 4 次の処理を進めるため必要なリソースを要求 5

4 プロセスの状態と OWI のサイクルで処理する 1 CPUを必要としない状態 2 作業要求が入って CPUを使い始める 3 CPUを使って作業中 4 次の処理を進めるため必要なリソースを要求 5 CPUを使って処理を進めたいが何らかの理由でリソースの獲得待ち状態一部の待機はアイドル ' スリープ ( 状態になる 6 リソースが獲得できて次の処理を進めるためCPUを使い始める 7 アイドル ' スリープ ( 状態になる

5 プロセスの状態と OWI SQL> select event, p1, p2, p3, seconds_in_wait from v$session where sid = 146; EVENT P1 P2 P3 SECONDS_IN_WAIT db file scattered read SQL> select event#, name, parameter1, parameter2, parameter3, wait_class 2 from v$event_name where name = 'db file scattered read'; EVENT# NAME PARAMETER1 PARAMETER2 PARAMETER3 WAIT_CLASS db file scattered read file# block# blocks User I/O

6 OWI とは? = Oracle Wait Interface データベース内部処理の待機時間を基にしたパフォーマンスボトルネック分析のための新メソッド Oracle DB のパフォーマンスを Oracle が吐き出す待機イベントを中心に管理しよう!!! データベース内の各処理工程にセットされたタイマーを元に各ステップでのリソース獲得の待ち時間に着目しレスポンスタイムを定義処理時間 ( 応答時間 ) = サービス時間 (CPU 使用時間 ) + 待機時間レスポンスタイムの最小化 = 待ち時間の最小化

7 AP 処理の流れ : ボトルネック箇所 SGA client 接続 SERVER Process Shared Pool Buffer Cache バッファキャッシュ Log Buffer a b REDO PGA Memory ロック a b Session info Sort Area メモリ SQL 解析 8 9 Hash Area DBWR LGWR I/O コミット

8 SELECT 処理と待機イベント

9 UPDATE 処理と待機イベント

10 Oracle アーキテクチャーと性能統計

11 OWI の構成要素 Oracle 稼働情報すべてのセッションは処理を行うためにはリソースが必要であり各セッションが CPU を使用していないときは何かしらの待ちが発生している状態となるデータファイルからのデータブロック読み書きでの I/O 待ちメモリの獲得待ち他処理との連携待ちデータベース処理にて発生した待機イベントがオラクルの動的ビューへ格納される V$EVENT_NAME V$SESSION_WAIT V$SESSION_EVENT V$SYSTEM_EVENT... V$SESSION_WAIT データベースでの様々な処理での待機イベントを格納

12 OWI の構成要素 Oracle 稼働情報項目定義備考 V$EVENT_NAME インスタンスで定義している待機イベントの情報イベントの数正確な名称待機クラスの参照 V$SYSTEM_EVNET インスタンスの起動後全セッションで発生した待機イベントの累計統計値 ( インスタンス単位 ) インスタンスの全般的な安定度を判断デルタ情報を算出して特定時間帯の状態を診断 / 分析ができる Staspack 機能 V$SESSION_EVENT 現在接続されている全セッションについての各セッション別待機イベントの累計統計値接続中のセッションについて各イベント別統計情報の把握ができる V$SESSION_WAIT 各セッションが現在待機しているイベントリソースの詳細情報を参照時のリアルタイムで提供, 累積データではなくリアルタイムのデータであるため短い間隔のクエリーで繰り返し参照することで待機イベントの状況の把握に有効 V$SYSTEM_WAIT_CLASS 10g, インスタンスの起動後発生した待機クラスの累積情報待機イベントのクラス単位でインスタンスの安定度の把握に有効 V$SESSION_WAIT_CLASS 10g, 現在接続されている全セッションについてセッションレベルの待機クラスの累積情報待機イベントのクラス単位でセッションの待機状況の把握に有効 V$SESSION_WAIT_HISTORY 10g, 直近の 10 個の待機イベントの情報直近のセッションの履歴情報の把握に有効 V$EVENT_HISTOGRAM 10g, インスタンスの起動後の待機イベントのヒストグラム提供各バケット ( 待機時間の区間 ) 別の待機イベントの把握に適切 V$ACTIVE_SESSION_HISTORY 10g, アクティブセッションの履歴の情報 1 秒単位でのセッションのスナップショットを保存しているため各セッションの待機イベントなどの情報の追跡に適切 Trace Event SQL トレース待機イベントバインド変数などの情報を提供履歴情報を含め途切れの無い情報の把握や SQL/ 待機イベント / バインド変数の連携分析に適切

13 OWI の構成要素 Oracle 稼働情報

14 Oracle 稼働ログ収集の仕組み 1 動的パフォーマンスビュー : v$... OWIは稼働ログ収集の一つの仕組み 2 各種ログ : アラートログリスナーログ 3トレース :SQLトレースイベントトレースなど 4STATSPACK (8.1.6 以降 ) 5AWR(10g 以降 ) 1その瞬間の稼働状況のため履歴が残らない 2Oracle 運用で極一部の情報しか収集されない 3 手動で収集するか特定ケースでしか収集されない 4 通常 1 時間おきのスナップショットデータで精度が低いセッションデータがない 5 通常 1 時間おきのスナップショットデータで精度が低いセッションデータがない

15 Oracle 稼働ログ収集の仕組み STATSPACK 最も一般的性能分析ツール Oracle 標準のパフォーマンスレポートツール EE SE SE1でも使用可能無償提供ツール Oracleサポートセンターとの意思疎通ツール一定期間の性能全般の評価に最適ツール向いて無い場合. ログ収集の負荷が懸念される場合. セッションデータの収集が必須な場合. 短い間隔のデータが必要なとき : 平均化は駄目. 任意時間帯の分析が必要なとき. 時系列の情報が必須な場合 :GUI 化. リテラルSQLが多い場合. 収集対象 SQLの条件をユーザー定義する場合

16 Oracle 稼働ログを収集しないと? トラブルが本当に発生してからでないと認知ができないトラブル発生後にはリカバリが最優先となり情報収集を綿密に正確に行う時間等が取れないトラブル発生後の調査が手探りとなってしまう情報収集が乏しいため原因追求に非常に時間がかかるまたは原因追求が出来ないケースが多々あるトラブル対処が優先となり他の業務に多大な影響を不える類似のトラブルが起きても初期調査から別対応になってしまう

17 Oracle 稼働ログを収集しないと? 運用担当 DBA サポートセンター発生復旧処理監視ツールクレームで認知 DBA に調査依頼事象確認一旦手順に基づいて復旧処理情報収集原因分析状況ヒアリングアラートログトレースファイルリスナーログを収集マニュアルナレッジなどを参照知識経験感根性を総動員原因究明まで繰り返し調査依頼事例ナレッジを参照情報収集対策案追加情報収集再現環境構築 & 再現テスト実施再現待ち対策実施 : スクリプト作成等検証環境構築 & 検証テスト実施 1 次報告調査に必要な追加情報を提示 ( プロセス CPU メモリディスク I/O ネットワーク STATSPACK レポート高負荷な SQL セッション情報実行計画イベント設定によるトレースファイルなど ) 対策案の提示運用に反映対策案の本番適用

18 常時収集すべき稼働データ収集データ性能障害システムハング接続エラーシステムダウンアラートログトレースファイルリスナーログプロセスリスト CPU 使用状況メモリ使用状況ディスクI/O 状況ネットワーク状況性能統計指標 ( :469 個 ) DBセッション数 CPU 使用時間論理読取ブロック数物理読取ブロック数待機指標 ( :959 個 ) 物理読取待ちロック待ちセッション情報ロック中セッション情報 SQLの実行統計 SQLの実行計画

19 常時収集すべき稼働データ WHO WHERE WHAT : OS ユーザー DB ユーザー : サーバークライアントマシンターミナル : プログラムモジュール SQL WHEN HOW : ログインタイム実行時刻 : 性能統計待機イベント実行プラン

20 稼働ログ収集時のポイントシステム / セッション /SQLレベル情報の収集データベースへの低い負荷時系列による情報の収集データの精度 : 収集間隔 ' データの細かさ ( 定常的な収集

21 稼動履歴データの例時系列の性能指標待機指標 OS 指標セッション情報実行統計数値プロセス情報 SQL 情報

22 稼働ログ収集スクリプト性能統計指標 set serveroutput on declare fp utl_file.file_type; begin while ( 1 = 1 ) loop fp := utl_file.fopen('d: temp','instance_stats.csv','a'); for rec in ( select to_char( sysdate, 'yyyy/mm/dd hh24:mi:ss' ) logging_time, name, value from v$sysstat ) loop utl_file.put_line( fp, '="' rec.logging_time '",' rec.name ',' rec.value ); end loop; utl_file.fclose(fp); dbms_lock.sleep (60); -- データ収集頻度 : 1 回 /1 分推奨 end loop; exception when others then dbms_output.put_line('file output error' to_char(sysdate, 'yyyy/mm/dd hh24:mi:ss') sqlcode ',' sqlerrm) ; end; / 適用の際はデータベースへの負荷運用上のリスクを確認のうえ実施をお願いいたします

23 稼働ログ収集スクリプト待機指標 set serveroutput on declare fp utl_file.file_type; begin while ( 1 = 1 ) loop fp := utl_file.fopen('d: temp','instance_waits.csv','a'); for rec in ( SELECT TO_CHAR( SYSDATE, 'yyyy/mm/dd hh24:mi:ss' ) logging_time, event, time_waited FROM v$system_event where event not in ( 'ASM background timer', ( 中略 ) 'watchdog main loop' ) ) loop utl_file.put_line( fp, '="' rec.logging_time '",' rec.event ',' rec.time_waited ); end loop; utl_file.fclose(fp); dbms_lock.sleep (60); -- データ収集頻度 : 1 回 /1 分推奨 end loop; exception when others then dbms_output.put_line('file output error' to_char(sysdate, 'yyyy/mm/dd hh24:mi:ss') sqlcode ',' sqlerrm) ; end; 適用の際はデータベースへの負荷運用上のリスクを確認のうえ実施をお願いいたします

24 稼働ログ収集スクリプトセッション情報 SELECT * FROM DBA_HIST_ACTIVE_SESS_HISTORY ; SELECT * FROM V$ACTIVE_SESSION_HISTORY ; 適用の際はデータベースへの負荷運用上のリスクを確認のうえ実施をお願いいたします

25 稼働ログ収集スクリプト SQL と実行統計 set serveroutput on declare fp utl_file.file_type; begin while ( 1 = 1 ) loop fp := utl_file.fopen('d: temp','sql_stats.csv','a'); for rec in ( SELECT TO_CHAR(SYSDATE, 'yyyy/mm/dd hh24:mi:ss') logging_time, hash_value, address, elapsed_time, cpu_time, disk_reads, buffer_gets, executions FROM v$sql WHERE parsing_schema_id NOT IN ( SELECT user_id FROM dba_users WHERE username IN ( BI, CTXSYS, DBSNMP, DMSYS, EXFSYS, HR, IX, ( 中略 ) 'SYSMAN','SYSTEM','SYS ) ) AND elapsed_time >= ) loop utl_file.put_line( fp, '="' rec.logging_time '",="' rec.hash_value '",="' rec.address '",' rec.elapsed_time ',' rec.cpu_time ',' rec.disk_reads ',' rec.buffer_gets ',' rec.executions ); end loop; utl_file.fclose(fp); dbms_lock.sleep (600); -- データ収集頻度 : 1 回 /10 分推奨 end loop; exception when others then dbms_output.put_line('file output error' to_char(sysdate, 'yyyy/mm/dd hh24:mi:ss') sqlcode ',' sqlerrm) ; end; / 適用の際はデータベースへの負荷運用上のリスクを確認のうえ実施をお願いいたします

26 MaxGauge コンセプト障害解析問題発見による品質向上リアルタイム解析障害をリアルタイムで状況把握状況追跡とその場の即時対処事後障害解析問題発見詳細な稼動情報を常時記録障害状況をシミュレーション開発運用での障害を確実に原因追及 : コスト削減 + 情報の自動収集 GUI での操作 : 平準化定型化

27 Oracle データベース管理者の悩み Oracleは難しく内部状況も良くわからないのであまり触りたくないという方が多いのでは? トラブルが発生しても内部がわからないため手探りでの調査をせざるを得ない状況を強いられています監視やパフォーマンスチューニングは大事なのはわかるけれどもどのように行っていいのかもわからないという方が多いのが実状ですエラーが出ても調査の方法がわからない Black Box 誮が何時何を行っているかですら把握できていないパフォーマンスチューニングといってもどこから手をつければいいのか? トラブルが発生した際原因追及に非常に時間がかかってしまった

28 従来の解析方法の問題点と限界 CPU/Memory 性能指標待機指標セッション状況実行 SQL 文 SQL*Plus STATSPACK その他ツールなど SQL の発行による情報収集障害分析のための情報はデータベース内部にあるため SQLの発行により情報収集をかけていたデータベースに負荷をかけるため情報収集の量頻度に限界があった問題が発生してからの情報収集となってしまい後手に回ることが多かった

29 情報がないことによる様々な影響障害の原因がわからず繰り返し再現待ち解析のためにハイスキルエンジニアへ負荷の集中過去に体験した障害が別の場面で再度発生情報がない経緯を知っている開発者への依存結果的に既知の問題であっても情報収集に一から時間を要す調査工数が大きいため性能改善の範囲の限界

30 情報収集分析効率向上ツール MaxGauge MaxGauge は開発 ~ テスト ~ 運用での情報収集分析効率を格段に向上させるオラクルデータベースの見える化ツールですこれまでハイスキルなエンジニアが多くの工数やシステム負荷をかけて取得していた情報が自動で集計され簡単に確認することが出来るようになります負荷をかけない常時稼動情報を記録可能ハングの際の状態が取れる詳細に簡単に見れる誰がいつ何をを GUI でマウス操作のみで確認トレンドグラフと稼動セッション情報が連携しているため直感的に把握可能 Oracle の滞留状況からそれに該当する SQL が簡単にピックアップでき渋滞を引き起こしている SQL がわかる実行計画も漏れなくとれ実行計画の変化もすばやく把握小回りがきく 'Oracle Lite を採用 ( 稼動情報ログが簡単に移動できるためリモートでの対応やトラブル対応部門へ簡単に送付可能導入時データベースサーバーの再起動不要で簡単

31 MaxGauge が収集するデータ SGA Direct Access 性能指標待機指標他 ' 約 1200 種類 10g( セッション SQL 稼動情報実行 SQL テキスト他 OS 指標セッション情報時系列参照各指標実行 SQL リソース利用量待機量他セッションとの依存関係ロック情報比較分析一時点での断面を再現

32 MaxGauge が収集するデータ 1 分間隔ロギングデータ性能統計指標待機指標 O/S 性能指標トッププロセス情報オラクル性能及び待機情報を秒単位でロギングして1 分間隔で保存しますシステムのO/S 性能情報を1 分単位で保存しますシステム全体のトッププロセス情報 ( プロセス ID プロセス名アーギュメント CPU 使用率メモリー使用率など ) を保存します 1 秒間隔ロギングデータロック情報アクティブセッション情報ロックの発生履歴を秒単位で保存しますアクティブセッション情報を以下のように秒単位で保存しますセッションのユニック情報 :sid serial# program machine DB user OS user セッションの可変情報 :module action SQL statement elapse time リソース使用情報 : CPU PGA memory logical reads physical reads SQL execution counts block changes 待機情報 : wait event sequence wait time seconds in wait parameter1 parameter2 parameter 秒間隔ロギングデータ SQL 遂行時の処理統計と待機情報リソース使用量情報 : logical reads physical reads redo entries block scan row fetch row sort 実行計画 ' オプション ( タイム情報 : CPU time Wait time Elapsed time

33 Server-side Client-side マックスゲージの構成概要監視診断セッション分析ログ管理事後分析 Real-Time Monitor Session Log Viewer Logging Controller Daily Log Performance Analyzer Session Logging ダウンロードログデータ量目安 1 日分 : 100MB~300MB Socket (5070) SQL NET (1521) Socket (5071) Real-Time Access Daemon (RTAD) Logging Daemon (LOGD) 記録ダイレクトアクセス SQL 実行ダイレクトアクセス SYS LOG SQL LOG SQL TEXT O/S カーネル Oracle DBMS Source Layer SGA メモリリソース利用量目安 CPU: 1%~ 3% 程度 Memory: 20~30MB 程度

34 MaxGauge デモ

35 活用 TIP の例開発 - AP 処理 (SQL) フローの追跡 - 長文のSQLを見やすくしたい (SQLの標準化) ラッシュテスト - 特定時間帯の上位 SQLを確認したい - 特定時間帯で特定 SQLの実施統計を確認したい - 高負荷のFULL TABLE SCANを行っているSQLを特定 - ユーザー定義情報を時系列で監視 - ユーザー定義情報のスナップショット取得 - ロックの発生状況を確認したい - 特定時間帯の性能測定運用 - 性能低下階層の切り分け :DB or その他? - 突然性能低下した何から調べる? - サポート依頼に必要なデータの抽出 - 接続数の変動を確認したい - 接続エラーの回避 - CPU 過負荷時の調査手順 - ORA-4031 対処リテラルSQL 確認 - 過去の特定時刻実行計画を確認 - 実行計画が変わったSQLの確認 - SQLがアクセスしたオブジェクトを確認したい - タイムアウトの原因 SQLを特定

36 プロアクティブな定期点検システムは生き物と同じく毎日刻々その稼働状況は変わっていきますので積極的なシステム運用を行うために定期的にシステムの動きをきめ細かく観察する必要があります例えば現場のシステム運用で以下のようなリクエストにはどう答えているでしょうか運用初期と比べ実行時間が急増したSQLをピップアップしたい特にユーザーよりクレームがないことは今のシステム稼働状況は安定しているだろうか? 3ヶ月前と比べシステム負荷はどれくらい高くなったか? 現行を維持すると 1 年後でも何とか運用できるだろうか? 特定時間帯の負荷状況が大きく変わってないか? 実行計画が変わったSQLをリストアップしたいんだがこのSQLが犯人そうだけど実行履歴を追跡してみようか

37 プロアクティブな定期点検 24 時間比較分析 DB 処理時間 DB 接続数と変化率の24 時間推移 2009/1/1-2009/1/31 vs. 2009/6/1-2009/6/30 金曜

38 プロアクティブな定期点検変動監視分析実行時間がN 倍以上になったSQLとその実行統計及び実行計画 2009/1/1-2009/1/31 vs. 2009/6/ /6/30

39 プロアクティブな定期点検変動監視分析新しく上位 SQL' 処理時間 ( となったSQLとその実行統計 (1 日合計 ) 及び実行計画 2009/1/1-2009/1/31 vs. 2009/6/ /6/30

40 プロアクティブな定期点検変動監視分析実行計画が変更された SQL とその実行統計及び実行計画

41 プロアクティブな定期点検長期推移分析 DB 処理時間 DB 接続数 (1 日基準 ) の長期推移 2009/1/1-2009/6/30 24 時間合計

42 プロアクティブな定期点検長期推移分析上位 SQL( 集中時間帯基準 ) の合計実行時間の長期推移 2009/1/1-2009/6/30 金曜 19:00-23:00 時間帯の合計

障害解析の事例記録しているデータベース全体の状況アクセスしているセッション詳細な SQL を情報としてリンククリック操作で段階的にドリルダウンをするような感覚で動きを追っていくことが出来ますシステム性能低下認識システムレベル分析 : トレンドアラート等診断 / 分析対象の時間帯を特定

43 障害解析の事例記録しているデータベース全体の状況アクセスしているセッション詳細な SQL を情報としてリンククリック操作で段階的にドリルダウンをするような感覚で動きを追っていくことが出来ますシステム性能低下認識システムレベル分析 : トレンドアラート等診断 / 分析対象の時間帯を特定トップダウンアプローチ概要分析 : アクティブセッション / 滞留 /CPU 詳細領域分析 :I/O メモリーロック上位 SQL... セッション診断 / 分析 SQL 診断 / 分析セッション情報を網羅的に記録参照できるツールは尐なく MaxGauge と同様の追跡は難しい必要時正常時との比較分析ログ外部情報確認

44 障害解析の事例原因丌明の 'OS( データベース再起動問題の解決 ' 原因トリガーの追跡と対応 ( 事象 RAC 環境において突然 Oracle クラスタウェアがデータベース停止状況であると判断しデータベースの再起動をかけてしまっていた解決策 MaxGauge のログより再起動時点でのデータベース内処理状況より同一ブロックへの大量な DELETE INSERT 処理が CPU を 100% を使い切って滞留が急増していることを確認そのためシステムが過負荷状態 Oracle クラスタウェアの処理 ' ハートビート送信 ( が完了出来ないデータベース停止 ( ハング ) と認識 OS 再起動発生対象 SQL のチューニングによりデータベース負荷を軽減データベース再起動の事象の発生を抑えた効果 MaxGauge のログ調査以前システム開発担当者及び DBA 担当にて原因調査を約 2 週間行っていたが原因がつかめなかった MaxGauge のログの参照により約 2 時間で障害時の状況の把握と対象 SQL のピックアップを行い顧客へレポート ' クラスタウェアがデータベースを再起動させてしまう事象については製品仕様の確認のためオラクルサポート担当とのやり取りは継続 (

45 障害解析の事例現象 Oracle clsomon failed with fatal status 13. Oracle CRS failure. Rebooting for cluster integrity. システムレベル診断 / 分析 15:30 前後で CPU 使用率が 100% ほど使用されている同時間帯でアクティブセッションが 30 前後から 150 まで急増した同時間帯で数秒程度の滞留が 100 秒以上まで急増した

46 障害解析の事例特定 ' 異常現象発生 ( 時間帯の詳細分析 15:20~15:30 間で接続数が増加同時間帯でアクティブセッションが増加 15:28 ピーク CPU 使用率は 15:28 で 100% になり続いて過負荷状態

47 障害解析の事例特定 ' 異常現象発生 ( 時間帯の詳細分析 15:20~15:40 間で上位滞留は buffer busy waits row cache lock... 順で比較的に多数の滞留が発生 buffer busy waits は同じブロックに対する競合現象で全体の 42% 以上の滞留を占めている

48 障害解析の事例特定 ' 異常現象発生 ( 時間帯の詳細分析最初に buffer busy waits 滞留が現れ他の滞留はその後の性能低下の悪循環で現れたようにみえる

49 障害解析の事例特定 ' 異常現象発生 ( 時間帯のセッション分析アクティブセッションの中 108 セッションが HISTTBL 表に対する DELETE INSERT 作業を行っている

50 障害解析の事例特定 ' 異常現象発生 ( 時間帯のセッション分析 HISTTBL 表に対する DELETE INSERT を実施しているセッションの履歴 ' 詳細 ( を確認すると DELETE=6:36 後 INSERT=1:17 を発行している

51 障害解析の事例特定 SQL 分析 DELETE FROM HISTTBL... は終日発行されているが 15:20:00 ~ 15:30:00 で集中して発行されている

52 障害解析の事例特定 SQL 分析 INSERT INTO HISTTBL... も終日発行されているが 15:20:00 ~ 15:30:00 で集中して発行されている

53 障害解析の事例特定 SQL 分析 CPU 使用率が高い SQL の検索結果 15:20:00 ~ 15:30:00 時間帯で集中している

54 障害解析の事例診断 / 分析サマリー 15:26 頃からデータベースへ接続が増え既存のセッションと合わせて HISTTBL 表に対する集中的なデータ削除追加作業を実施した作業量の増加と同じデータ ' ブロック ( に対する大量の同時変更作業で滞留が急増でCPUが限界に達したこのようなシステムの過負荷によって Oracleクラスタウェアの定期的な死活監視活動のハートビート (1 回 /1 秒 ) 送信が決まった時間内に正常の応答を得られなくなったノード障害 ' データベース停止ハングなど ( と判断し OracleクラスタウェアがOSの再起動を実施した改善 ' チューニング ( 案 HISTTBL 表に対するデータ削除追加作業が集中しないようにロードバランスを行う実施時間帯の分散他ノードへの接続分散同じブロックに対する競合が発生しないように HISTTBL 表のデータを分散するパーティション化 1ブロックサイズの調整 1ブロック当りの格納データ件数の調整 CPU 使用率アクティブセッション数滞留 DB 接続数に対する予兆監視を行う

簡単な使い方 : 全体の状況把握と拡大分析一日のトレンドグラフから負荷の高い時間帯をマウス操作 (SHIFT+ ドラッグ & ドロップ ) で拡大し詳細を確認さらにダブルクリックでその時点での処理をしているセッション SQL を参照個別のセッション情報ではその時点での CPU 利用量

55 簡単な使い方 : 全体の状況把握と拡大分析一日のトレンドグラフから負荷の高い時間帯をマウス操作 (SHIFT+ ドラッグ & ドロップ ) で拡大し詳細を確認さらにダブルクリックでその時点での処理をしているセッション SQL を参照個別のセッション情報ではその時点での CPU 利用量 PGA 利用量データアクセス量 SQL 実行時間マシン名などが確認できますバッチ処理各メイン指標を確認 CPU 利用率 Active Session 数 SQL 実行回数ラッチロックなどシステムサービスタイムタイムスライス : 詳細分析拡大その時点でのセッション SQL をリストアップ

56 簡単な使い方 : セッション毎 SQL 毎の詳細追跡確認セッション情報 SQL 情報は多角的に分析できます 1 つのセッションの稼働状況をグラフ &SQL 履歴で追跡 1 つの SQL の実行状況を時系列に参照これらは様々な画面から参照でき自然にドリルダウンの感覚で参照できますセッションリストセッション詳細 SQL 詳細

57 簡単な使い方 : 過去の実行計画確認実行された SQL の実行計画もつぶさに記録しておくことが出来ますこれにより自由に過去の SQL の実行計画が参照できるほか実行計画の変化も簡単に参照することが出来ます実行計画の変化による突然のパフォーマンス低下での対象 SQL が瞬時に把握できます特定時間帯の SQL と実行計画の表示特定 SQL の実行計画の変化を比較参照実行計画の取得には別途情報蓄積のための Oracle データベースが必要となります

58 簡単な使い方 : リテラル SQL の確認 ORA-4031 対応 SQL 解析処理は思いのほかデータベースに負荷をかけます負荷の原因となるリテラル SQL を簡単にリストアップすることが出来ますまたデータベース管理者が良く利用するスクリプト郡があらかじめ登録されています 1 2

59 簡単な使い方 : 簡易診断分析レポートデータベースの全体状況を簡単に把握するデータベース簡易診断レポートが付属しています主要指標のトレンドや各リソースごとの Top SQL などが自動的に出力されますレポートはカスタマイズも可能です

60 簡単な使い方 : ボトルネック個所の表示と該当 SQL のピックアップデータベースの内部での滞留を表す待機指標がグラフと数値で確認できますこれによりボトルネックポイントが簡単に把握できますまた各待機指標が発生した SQL を待機が長い順に表示されボトルネックへ一番影響を及ぼしている SQL がわかりますドリルダウン待機指標が発生した SQL 一覧

61 参考 : 待機指標はデータベースのボトルネックポイントを表す待機指標はデータベース内での各部処理に要した時間を集計したデータですこれによりデータベース内部のどの部分でボトルネックが発生したのかがわかります MaxGauge ではその待機指標が発生した SQL まで簡単に把握できるため改善対象の SQL などがわかります区分監視領域監視指標総合指標詳細指標接続数滞留現象 CPU 作業量メモリ (OS) SQL 解析処理 I/O バッファーキャッシュ REDO ロックアクティブセッション DB 接続数総合待機時間 CPU 使用率 session logical reads physical reads execute count redo entries (OS) free memory, (OS) used memory ratio parse time elapsed parse time cpu parse count (total) parse count (hard) 共有プール関連待機 (library cache latch, shared pool latch) physical reads db file sequential read db file scattered read physical writes バッファキャッシュ関連待機 (cache buffers chains latch, cache buffers lru chain latch buffer busy waits read by other session free buffer waits write complete waits) データ共有率 (buffer cache hit ratio) log file sync log buffer space log file switch completion ユーザートランザクション数 enqueue lock waiting sessions ロックリスト上位 SQL トップ SQL( 所要時間 CPU 論理読取物理読取実行回数 )

62 参考 : 主要指標のイベントヘルプ主要な待機指標情報はイベントヘルプで提供しますこれにより指標の意味はもとより改善するべきポイント関連指標などが把握できます

63 プロジェクトフェーズ全体での活用 MaxGauge は Oracle データベース稼動情報の見える化ツールとして Oracle を利用する全工程での活用を推進していますこれまで確認検証解析のために個々で行われていた SQL*Plus や STATSPACK などでの情報収集作業が自動で行われさらに詳細なあらゆる情報を現場エンジニアから管理者まで共有し利用することが出来ます開発テスト運用分析 SQL 測定非効率ロジックチェック実行計画確認予兆監視チューニング障害解析性能確認チューニング検証結果レポート運用レポートキャパシティープランニング

64 稼動情報の提供による運用意識の拡張現在多くのシステムで運用管理や統合監視は通常のことになっていますこれに MaxGauge を加えることにより性能監視障害対策という運用の質の向上を推進していくことができます運用管理統合監視性能管理障害対策統合監視 Tivoli JP1 Openview Systemwaker +α 専用管理監視 OEM

65 導入効果導入場面データベースの稼動情報を常時記録しておくことにより様々な場面で有効に活用できますそれにより工数の削減やすばやい対応が可能となります導入効果トラブル原因調査工数が劇的に削減情報収集分析工数は現在の 1/10 トラブル再現待ち回数が激減 1/10 表面化していないトラブルを発見非効率なロジックや長時間ロックなどを事前に発見トラブル発生前に予兆として発見アラート迅速な意思決定改善ポイントを即座に把握他への影響範囲が見える改善後の状況 Watch も安心視覚化され客観的にみえるためメンバーへの説明説得も簡単導入場面トラブルでお困りのときトラブル発生時の状況を確実に把握調査コスト削減機会損失の減少開発プロジェクトにて情報収集確認工数の削減負荷検証の分析工数が激減定期的な診断定期的に状況を確認過去の記録との比較不穏な動きを事前に察知将来的な指針になる情報を提供

66 導入効果過去の導入実績からシステム障害発生率が 50% 削減ダウンタイム 30% 減尐という成果をあげていますそれをもとにすれば以下の導入効果が期待できます 1. 運用保守工数補足 A 要員数 5 人仮に5 名で1システムを運用するものとして試算 B 業務において障害対応にかかる割合 (%) 10% 弊社知見 C MaxGaugeによる効率化 (%) 50% 弊社導入実績より障害発生率が50% 削減と仮定 D MaxGaguge 導入による運用保守削減工数 3 人月 / 年 A*12ヶ月 *B*Cにより算出 2. ダウンタイムによる事業の機会損失 A 現状のシステム稼働率 99.4% JUAS 調査より基幹系システムの稼働率平均値 B MaxGaguge 導入による稼働率向上 (%) 30% 弊社導入実績よりダウンタイムが 30% 削減と仮定 C 当該システムが関連する事業の売上 100,000 百万 / 年 D ダウンタイムによる事業の機会損失 180 百万 / 年仮に 100,000 百万の事業に影響するものとして試算 C*(100%-A)*B

67 導入事例 NRI 様開発 ~ テスト ~ 運用までの各フェーズでの利用によるトータルな情報収集分析コストの削減による生産性向上ツールとして各プロジェクトへ導入を推進レコチョク様ベンダー任せではなく自分たちでの Knowledge の蓄積運用の質の向上のために導入大手流通 A 社様 SystemWalker*MaxGauge で統合運用管理に加えユーザー処理の把握と障害の迅速対応を実現大手金融 B 社様 Web アプリケーションから自動発行される SQL の捕捉性能管理障害解析に利用

68 効果事例 '1( ラッシュテストでの SLA 要件 '5 秒ルール ( を満たせないアプリケーションの特定と原因追求事象ラッシュテストにおいて 5 秒ルールを満たせないアプリケーション処理が 5 箇所あった ' ランダムな 60 多重での処理にて 5 秒以内というレスポンス要件 ( 解決策 MaxGauge でのデータ取得 / 分析により 5 秒ルールを満たせないアプリケーションの負荷状況を把握対象 SQL の特定とそれぞれのリソースの利用量実行時間を数値的に参照できるようになった効果開発者はラッシュテストでの情報収集の仕組みを一切作成せずにテスト結果とその状況の数値化グラフ化を実現対象 SQL の特定とそれぞれのリソースの利用量からどの SQL をどの程度チューニングする必要があるのかを的確に把握また SQL 履歴より想定外のロジックで SQL が処理されていることなどもわかったテスト準備がほぼゼロとなりチューニング対象 SQL の早期発見が可能となった作業工数はおよそ 1/10 程度に縮小

69 効果事例 '2( 原因丌明のデータベース再起動問題の解決 ' 原因トリガーの追跡と対応 ( 事象 RAC 環境において突然 Oracle Cluster ware がデータベース停止状況であると判断しデータベースの再起動をかけてしまっていた解決策 MaxGauge のログより再起動時点でのデータベース内処理状況より同一ブロックへの大量な DELETE INSERT 処理が行われていることが判明そのため OS レベルでの遅延が発生したと判断対象 SQL のチューニングによりデータベース負荷を軽減データベース再起動の事象の発生を抑えた効果 MaxGauge のログ調査以前システム開発担当者およびオラクルサポート担当にて原因調査を約 1 週間行っていたが原因がつかめなかった MaxGauge のログの参照により約 2 時間で障害時の状況の把握と対象 SQL のピックアップを行い顧客へレポート 'Cluster ware がデータベースを再起動させてしまう事象については製品仕様の確認のためオラクルサポート担当とのやり取りは継続 (

70 効果事例 '3( パフォーマンス低下トラブル時の運用部隊と開発部隊での認識相違の解決事象パフォーマンス低下を含む問題の対応にて運用部隊がトラブルの対象となったユーザー SQL を特定することが困難であったため開発部隊への明確な修正指示などが難しい状況にあった解決策 MaxGauge のログより問題発生時のユーザー SQL の特定から新機能で新たに追加された SQL であることが記録されていた該当 SQL を即座に開発部隊に改善するよう指示をした効果トラブル発生でも原因となるユーザー SQL の特定が困難なことから運用部隊と開発部隊の連携が難しかった ' 開発部隊には問題認識がなく運用部隊は確固たる証拠がなく強制力をもてなかったため修正の説得まで数週間はかかっていた ( MaxGauge ログにより第 3 者的な証跡からお互いに記録を確認問題発生時の SQL とその SQL のリソースの利用量実行時間より数値的に問題があることを証明でき即座に修正に取り掛かれるようになった

71 動作環境マックスゲージ (MaxGauge) は以下のシステムに対応しています対応プラットホームサーバー IBM AIX4.3 以降 HP-UX 11.0 以降 SunOS 5.6 以降 Compaq True64 5.1A Redhat Linux カーネル 2.4 以降 WindowsXP/VISTA/2000/2003/2008 ) ロギングのためのディスク領域が必要です対応 Oracle バージョン Oracle ~ 11g ) 別途オラクルユーザーアカウントが必要です対応クライアント Windows XP/VISTA/NT/2000/2003/2008

72 Q&A

73 < お問い合わせ > 日本エクセム株式会社 TEL : info@ex-em.co.jp

MaxGauge_診断分析プロセス

MaxGauge_診断分析プロセス Easy Use -1- MaxGauge 診断 / 分析プロセス Easy Use -2- システム性能低下認識システムレベル分析 : トレンドアラート等診断 / 分析対象の時間帯を特定トップダウンアプローチ概要分析 : アクティブセッション / 滞留 /CPU 詳細領域分析 :I/O メモリーロック上位ロック上位 SQL... セッション診断 / 分析 SQL 診断 / 分析