以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな

Oracle Direct Seminar <Insert Picture Here> サポートエンジニアが語る! 内部エラーのトラブルシューティング日本オラクル株式会社カスタマーサービス統括 - データベーステクノロジーサポート本部

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります Copyright 2010, Oracle. All rights reserved. 2

内部エラーとは? ORA-00600: 内部エラーコード, 引数 : [string], [string], [string]... 原因 : これは Oracle プログラムの例外に対する一括内部エラー番号ですプロセスで例外条件が検出されたことを示します処置 : このエラーをバグとして報告してください最初の引数は内部エラー番号です Copyright 2010, Oracle. All rights reserved. 5

Oracle Database Error Messages 11g Release 2 (11.2) の ORA-600 の対処 Action: Visit My Oracle Support to access the ORA- 00600 Lookup tool (reference Note 600.1) for more information regarding the specific ORA-00600 error encountered. An Incident has been created for this error in the Automatic Diagnostic Repository (ADR). When logging a service request, use the Incident Packaging Service (IPS) from the Support Workbench or the ADR Command Interpreter (ADRCI) to automatically package the relevant trace information (reference My Oracle Support Note 411.1). Copyright 2010, Oracle. All rights reserved. 6

ORA-600 とは? Oracle Database の一般的な内部例外を示すエラーコード値の整合性チェックで問題を検出する等内部的な不整合を検知したことを示す検知したプロセスは診断情報を出力して影響を最小限に抑える為検知した処理を終了するソースコードの様々な箇所で定義されていてエラー発生時の引数により発生箇所の絞込みを行うブロックのタイプがデータブロックと異なる If Block_type!= Data_Block then ORA-600[4519] Check End if Copyright 2010, Oracle. All rights reserved. 7

ORA-7445 とは? 不正なメモリ参照により SIGSEGV や SIGBUS シグナルを受け取る等オペレーティングシステムの例外を受け取った場合に発生するエラー検知したプロセスは core と基本的な診断情報を出力して処理を終了するソースコードで定義されているエラーでないため理論上はどの関数内でも発生する可能性があるクライアントには ORA-3113 等のサーバーとのセッションが切断されたエラーが返る Copyright 2010, Oracle. All rights reserved. 8

リリース 11.1 から細分化した内部エラー ORA-700 : ソフト内部エラー ORA-600 として取り扱っていたエラーのうち処理を停止させる必要のないエラーを ORA-700 として検知 ORA-700 を検知した処理は継続する ORA-3137 : TTC プロトコル内部エラークライアントから受信したパケットの整合性チェックで不整合を検知したことを示すパラメータによりエラー検知時の動作を制御可能 SEC_PROTOCOL_ERROR_FURTHER_ACTION SEC_PROTOCOL_ERROR_TRACE_ACTION Copyright 2010, Oracle. All rights reserved. 9

内部エラーの代表的な影響 SQL 解析時や実行時の動作に起因した例外 SQL の実行が異常終了する ORA-7445 の場合プロセスが異常終了する同じ SQL を実行した時に再現性が見られる可能性が高い SGA や PGA 上のメモリに格納されている値の例外プロセスが異常終了するバックグラウンドプロセスなどで検知した場合インスタンスがダウンする可能性があるデータベース構成ファイルに格納されている値や管理情報の例外関連するデータへのアクセスが不可能になるインスタンスを再起動しても解消せずリカバリが必要になる Copyright 2010, Oracle. All rights reserved. 11

問題の確認と影響の把握サーバー側の状況把握アラートログトレースファイルプロセスやサービスの稼動状況や負荷状況シスログやイベントログクライアント側の状況把握問題が確認された日時問題を検知した端末とアプリケーション発生した問題の詳細エラーコードとエラーメッセージログや画面のハードコピー等のエラーの発生が確認できる資料問題の発生を検知したジョブやオペレーション SQL Copyright 2010, Oracle. All rights reserved. 14

影響の切り分けのための確認点特定の SQL 実行時のみ再現性がみられる (Y/N) オプティマイザによる SQL 解析時の問題の可能性がある特定の表や索引データにアクセスすると発生する (Y/N) 特定の表や索引が破損している可能性がある表の整合性チェックでエラーを検知する (Y/N) SQL> ANALYZE TABLE < 表名 > VALIDATE STRUCTURE SQL> ANALYZE TABLE < 表名 > VALIDATE STRUCTURE CASCADE 特定の表や索引が破損している可能性があるインスタンス再起動後も発生する (Y/N) 表や索引を格納するデータベースファイル自体に問題が発生している可能性が高い Copyright 2010, Oracle. All rights reserved. 17

サポートサイトのナレッジベースを利用した調査 My Oracle Support のナレッジ検索 NOTE:153788.1 ORA-600/ORA-7445 Error Lookup Tool を使用した検索ナレッジベースの検索より ORA-600 と第一引数を入力した検索 KROWN キーワード検索 KROWN ディレクトリサービスの検索 KROWN:145899 の参照情報の欄から関連コンテンツの確認 Copyright 2010, Oracle. All rights reserved. 18

オラクルカスタマサポートへのお問い合わせ時に送付いただきたい資料インシデントパッケージアラートログトレースファイル適用パッチの情報オペレーティングシステムのログクライアントアプリケーションのログ OS Watcher などのオペレーティングシステムのリソースの使用状況 Remote Diagnostic Agent による情報取得問題の再現性再現性がある場合は具体的な再現手順最近行ったシステムの構成変更の情報 Copyright 2010, Oracle. All rights reserved. 21

インシデントパッケージとは? 11.1 以後の障害診断インフラストラクチャの診断データのパッケージング形式問題の 1 回の発生を 1 インシデントとして管理しインシデント単位で診断データのパッケージングを行うオラクルカスタマサポートへの資料提供の標準障害自動情報取得診断データ取得自動診断リポジトリ (ADR) インシデントトレース / アラート診断ログ情報のパッケージングインシデントパッケージ Copyright 2010, Oracle. All rights reserved. 22

OS Watcher (OSW) とは? オペレーティングシステムのリソース情報を取得するツール以下のコマンドの実行結果を取得 (Linux の例 ) vmstat iostat mpstat netstat ps top traceroute NOTE:301137.1 より無料でダウンロードして利用可能 Copyright 2010, Oracle. All rights reserved. 23

Remote Diagnostic Agent (RDA) とは? 問題解析のための診断資料を効率よく取得するため診断ツール Oracle Database だけでなく Oracle WebLogic や Oracle E-Business Suite 等多くの製品にも対応 My Oracle Support の NOTE:314422.1 より無料でダウンロードして利用可能 AP サーバ DB サーバ Copyright 2010, Oracle. All rights reserved. 24

まとめ内部エラーの対応は現場での迅速な初期対応と情報取得が重要です現場だから確認できる情報が重要になることがあります内部エラーが発生する以前より取得可能な情報については取得の仕組みを実装しておきましょうサポートサイトのナレッジベースを有効活用しましょう日頃よりナレッジベースに慣れることでトラブルへの対処時以外にも有効な情報を得ることができます Copyright 2010, Oracle. All rights reserved. 25

参考文献 KROWN:145899 内部エラー (ORA-600/ORA-7445/ORA-700) のトラブルシューティングガイド KROWN:147414 内部エラーのトレースファイル解析入門 KROWN:135295 インシデント調査の SR 登録時にアップロードするパッケージの作成手順について KROWN:140563 OS Watcher (OSW) を使用してオペレーティングシステムに関する情報を取得する方法 KROWN:106485 Remote Diagnostic Agent 4.x (RDA 4.x) について Copyright 2010, Oracle. All rights reserved. 27

参考文献 NOTE:1092832.1 Master Note for Diagnosing ORA-600 NOTE:1092855.1 Master Note for Diagnosing ORA-7445 NOTE:153788.1 Troubleshoot an ORA-600 or ORA-7445 Error Using the Error Lookup Tool NOTE:175982.1 ORA-600 Lookup Error Categories NOTE:146580.1 What is an ORA-600 Internal Error? Copyright 2010, Oracle. All rights reserved. 28

参考文献 NOTE:211909.1 Customer Introduction to ORA-7445 Errors NOTE 559339.1 Diagnostic Tools Catalog NOTE:301137.1 OS Watcher User Guide NOTE:314422.1 Remote Diagnostic Agent (RDA) 4 - Getting Started Copyright 2010, Oracle. All rights reserved. 29

アラートログの出力例 2010-09-24 15:19:26.251000 +09:00 Starting ORACLE instance (normal) : Starting up: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production With the Partitioning, OLAP, Data Mining and Real Application Testing options. Using parameter settings in server-side spfile /home/ora11201/app/oracle/product/11.2.0.1/db_1/dbs/spfileora11201.ora System parameters with non-default values: : sga_max_size sga_target = 800M = 520M 2010-09-25 15:21:48.265000 +09:00 ALTER SYSTEM SET sga_target='720m' SCOPE=BOTH; 2010-09-26 08:44:28.802000 +09:00 バージョン情報初期化パラメータの情報変更パラメータの情報 ORA-600 とその引数診断情報が出力されたトレースファイル名の情報 Errors in file /home/ora11201/app/oracle/product/11.2.0.1/diag/rdbms/ora11201/ora11201/trace/ora11201_ora_29001.trc (incident=670218): ORA-00600: internal error code, arguments: [kdsgrp1], [], [], [], [], [], [], [], [], [], [], [] Incident details in: /home/ora11201/app/oracle/product/11.2.0.1/diag/rdbms/ora11201/ora11201/incident/incdir_670218/ora11201_ora_2900 1_i670218.trc Copyright 2010, Oracle. All rights reserved. 30

エラーを検知した SQL の情報 *** 2010-09-26 08:44:28.802 dbkeddefdump(): Starting incident default dumps (flags=0x2, level=3, mask=0x0) ----- Current SQL Statement for this session (sql_id=79j4uyu91xk2p) ----- select * from emp where empno = :empno ----- Call Stack Trace ----- : Copyright 2010, Oracle. All rights reserved. 31

Call Stack Trace の情報 ----- Call Stack Trace ----- calling call entry argument values in hex location type point (? means dubious value) -------------------- -------- -------------------- ----------------------- kgeasnmierr()+47 call kgerinv() 106AD180? B75143EC? F6413F8? 0? BFFFAFF4? kdsgrp1_dump()+747 call kgeasnmierr() 106AD180? B75143EC? F6413F8? 0? kdsgrp1()+32 call kdsgrp1_dump() B7345954? B7345954? : ktrexc()+535 call 00000000 23568014? BFFFB550? kcbgtcr()+11661 call 00000000 BFFFB428? 106C293C? 0? : _start()+33 call libc_start_main() 852399C? 2? BFFFFA14? --------------------- Binary Stack Dump --------------------- Copyright 2010, Oracle. All rights reserved. 32

クライアントの情報 : (session) sid: 101 ser: 3 trans: (nil), creator: 0x29ef5a5c client details: oct: 3, prv: 0, sql: 0x29900748, psql: 0x299d2508, user: 84/SCOTT O/S info: user: ora11201, term: pts/0, ospid: 32123 machine: client.jp.oracle.com program: sqlplus@client.jp.oracle.com (TNS V1-V3) application name: SQL*Plus, hash value=3669949024 Current Wait Stack: Not in wait; last wait ended 0.559813 sec ago Wait State: fixed_waits=0 flags=0x21 boundary=(nil)/-1 Session Wait History: クライアントの OS ユーザークライアントのホスト名 elapsed time of 0.559854 sec since last wait 0: waited for 'Disk file operations I/O' クライアントの OS プロセス ID クライアントのアプリケーション名 Copyright 2010, Oracle. All rights reserved. 33

実行計画の情報 ============ Plan Table ============ -----------------------------------------------+-----------------------------------+ Id Operation Name Rows Bytes Cost Time -----------------------------------------------+-----------------------------------+ 0 SELECT STATEMENT 1 1 TABLE ACCESS BY INDEX ROWID EMP 1 87 0 2 INDEX UNIQUE SCAN PK_EMP 1 0 -----------------------------------------------+-----------------------------------+ 索引 PK_EMP を使用してアクセスしている Copyright 2010, Oracle. All rights reserved. 34

トレースファイルから影響の確認 11.1 以後のリリースでは Incident Context Dump を出力エラーの種類によっては Incident Context Dump の Impact の欄よりエラーの影響が確認できることがある ----- Incident Context Dump ----- Incident ID: 123456 Problem Key: ORA 600 [13013] [07]: kgesiv [] [08]: ksesic6 [KSE] [09]: updthreephaseexe [DML]<-- Signaling [10]: updexe [DML] [11]: opiexe [] Impact 0: POSSIBLE INDEX CORRUPTION Impact 1: PROCESS FAILURE 実際に内部エラーの例外を検知している関数索引が壊れている可能性がある Copyright 2010, Oracle. All rights reserved. 35

ケース 1 共有プールの flush による対処 ORA-600[17059] の発生サポートサイトのナレッジベースよりエラーの意味を調査ライブラリキャッシュにロードされている特定の親カーソルで管理される子カーソルの数が最大数に達したことを示す共有プールの flush により子カーソルを消去する事で対処行 1 でエラーが発生しました : ORA-00600: 内部エラーコード, 引数 : [17059], [0x11CACBB00], [0x11CACB4C8], [0x11CACBFC8], [], [], [], [], [], [], [], [] SQL> alter system flush shared_pool; システムが変更されました共有プールのフラッシュにより子カーソルの情報を消去 Copyright 2010, Oracle. All rights reserved. 37

ケース 2 統計情報の制御による対処 ORA-600[19004] の発生サポートサイトのナレッジベースよりエラーの意味を調査オプティマイザによる SQL の解析時において予期しない統計情報の値を検知したこと示す統計情報の削除や過去の統計情報のリストアにて対処 DBMS_STATS.DELETE_TABLE_STATS DBMS_STATS.RESTORE_TABLE_STATS Copyright 2010, Oracle. All rights reserved. 38

ケース 3 オブジェクト破損への対処 ORA-600[12700] 発生サポートサイトのナレッジベースよりエラーの意味を調査表と索引の間の不整合を検知破損箇所の切り分けを実施 ANALYZE TABLE < 表名 > VALIDATE STRUCTURE CASCADE ANALYZE TABLE < 表名 > VALIDATE STRUCTURE 破損への対処索引の破損の場合破損した索引の再作成にて対処表の破損の場合過去のバックアップのリストアによる対処 Copyright 2010, Oracle. All rights reserved. 39

問合せの多い ORA-600 の例 ORA-600[12333](11.1 以後は ORA-3137[12333]) 受信したパケットの特定レイヤの不整合を検知 ORA-600[723], ORA-600[729] ログオフ時に PGA や UGA のメモリリークを検知 ORA-600[170xx] ライブラリキャッシュ上の処理で問題を検知 ORA-600[171xx] ヒープの破損を検知 Copyright 2010, Oracle. All rights reserved. 40

インシデントパッケージの作成 $ adrci adrci> set homepath diag/rdbms/ora11201/ora11201 adrci> show incident ADR Home = /home/ora11201/app/oracle/product/11.2.0.1/diag/rdbms/ora11201/ora11201: ************************************************************************* INCIDENT_ID PROBLEM_KEY CREATE_TIME ------------ ------------------------ ---------------------------------------- 670218 ORA 600 [kdsgrp1] 2010-09-26 08:44:28.802000 +09:00 670219 ORA 600 [kdsgrp1] 2010-09-26 08:45:11.347000 +09:00 adrci> # 例 1) incident 番号を指定したインシデントのパッケージング例 adrci> ips pack incident 670218 in /tmp 出力先ディレクトリを指定 INCIDENT_ID を指定 Generated package 6 in file /tmp/ora600kds_20101025113513_com_1.zip, mode complete adrci> # 例 2) 時間を指定したインシデントのパッケージング例取得対象の時間帯を指定 adrci> ips pack time '2010-09-26 08:44:28.802000 +09:00' to '2010-09-26 08:45:11.347000 +09:00' in /tmp Generated package 7 in file /tmp/ora600kds_20101025113800_com_1.zip, mode complete Copyright 2010, Oracle. All rights reserved. 41

OTN ダイセミでスキルアップ!! 一般的な技術問題解決方法などを知りたい! セミナ資料など技術コンテンツがほしい! Oracle Technology Network(OTN) を御活用下さい http://forums.oracle.com/forums/main.jspa?categoryid=484 一般的技術問題解決には OTN 掲示版のデータベース一般をご活用ください OTN 掲示版は基本的に Oracle ユーザー有志からの回答となるため 100% 回答があるとは限りませんただ過去の履歴を見ると質問の大多数に関してなんらかの回答が書き込まれております http://www.oracle.com/technetwork/jp/testcontent/index-086873-ja.html 過去のセミナ資料動画コンテンツは OTN の OTN セミナーオンデマンドコンテンツへダイセミ事務局にダイセミ資料を請求頂いてもお受けできない可能性がございますので予めご了承くださいダイセミ資料は OTN コンテンツオンデマンドかセミナ実施時間内にダウンロード頂くようお願い致します Copyright 2010, Oracle. All rights reserved. 42

OTN セミナーオンデマンドコンテンツダイセミで実施された技術コンテンツを動画で配信中!! ダイセミのライブ感はそのままにお好きな時間で受講頂けます最新情報つぶやき中 oracletechnetjp 人気コンテンツは? お勧め情報公開予告など OTN オンデマンド掲載のコンテンツ内容は予告なく変更になる可能性があります期間限定での配信コンテンツも含まれておりますお早めにダウンロード頂くことをお勧めいたします Copyright 2010, Oracle. All rights reserved. 43

Oracle エンジニアのための技術情報サイトオラクルエンジニア通信 http://blogs.oracle.com/oracle4engineer/ 最新情報つぶやき中 oracletechnetjp 技術資料ダイセミの過去資料や製品ホワイトペーパースキルアップ資料などを多様な方法で検索できますキーワード検索レベル別カテゴリ別製品機能別コラムオラクル製品に関する技術コラムを毎週お届けします決してニッチではなく誰もが明日から使える技術のあそうだったんだ! をお届けしますオラクルエンジニア通信こんな資料が人気です 6か月ぶりに資料ダウンロードランキングの首位が交代! 新王者はOracle Database 構築資料でしたデータベースの性能管理手法について Statspack 派も Enterprise Manager 派も目からウロコの技術特集公開中 Copyright 2010, Oracle. All rights reserved. 44

IT プロジェクト全般に渡る無償支援サービスパフォーマンス診断サービス Web システムボトルネック診断サービスデータベースパフォーマンス診断サービス移行支援サービス SQL Server からの移行支援サービス DB2 からの移行支援サービス Sybase からの移行支援サービス MySQL からの移行支援サービス Postgre SQL からの移行支援サービス Access からの移行支援サービス Oracle Direct Concierge サービス NEW Oracle Application ServerからWeblogicへ移行支援サービス NEW システム構成診断サービス Oracle Database 構成相談サービスサーバー統合支援サービス仮想化アセスメントサービスメインフレーム資産活用相談サービス BI EE アセスメントサービス簡易業務診断サービスバージョンアップ支援サービス Oracle Database バージョンアップ支援サービス Weblogic Server バージョンアップ支援サービス Oracle Developer/2000(Froms/Reports) Web アップグレード相談サービス NEW オラクル社のエンジニアが直接ご支援しますお気軽にご活用ください! オラクル無償支援検索 Copyright 2010, Oracle. All rights reserved. 45

1 日 5 組限定! 製品無償評価サービス提供シナリオ一例データベースチューニング無停止アップグレードアプリケーション性能負荷検証 Webシステム障害解析インストールすることなくすぐに体験いただけますサービスご提供までの流れ 1. お問合せフォームより製品評価サービス希望と必要事項を明記し送信下さい 2. 弊社より接続方法手順書およびハンズオン手順書を送付致します 3. 当日は弊社サーバー環境でインターネット越しに製品を体感頂けます Web 問い合わせフォームサービスご提供には事前予約が必要ですダイデモをキーワードに検索することで申し込みホームページにアクセスできます http://www.oracle.com/jp/direct/services/didemo-195748-ja.html Copyright 2010, Oracle. All rights reserved. 46

あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct 検索システムの検討構築から運用まで ITプロジェクト全般の相談窓口としてご支援いたしますシステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォームフリーダイヤル専用お問い合わせフォームにてご相談内容を承ります http://www.oracle.com/jp/direct/inquiry-form-182185-ja.html こちらから詳細確認のお電話を差し上げる場合がありますのでご登録されている連絡先が最新のものになっているかご確認下さい 0120-155-096 月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) Copyright 2010, Oracle. All rights reserved. 47