サポートエンジニアが語る! RAC 環境のトラブルシューティング日本オラクル株式会社カスタマーサポートサービス統括吉村隆

Size: px

Start display at page:

Download "サポートエンジニアが語る! RAC 環境のトラブルシューティング日本オラクル株式会社カスタマーサポートサービス統括吉村隆"

へいぞうえいさか
5 years ago
Views:

1 サポートエンジニアが語る! RAC 環境のトラブルシューティング日本オラクル株式会社カスタマーサポートサービス統括吉村隆

2 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 2

3 本セミナーの目的 Oracle Real Application Clusters 構成の理解クラスタシステムの理解 Grid Infrastructure Cluster Database RAC 環境におけるトラブルシューティングノードメンバーシップに問題が発生したケースリソースメンバーシップに問題が発生したケース RAC Database のパフォーマンス 3

4 Oracle Real Application Clusters 構成の理解 4

5 クラスタシステムの理解相互接続され 1 つのサーバーのように動作するノード群インターコネクトを介したメンバーシップの管理が必要全てのサーバーから共有ディスク上のデータにアクセス可能 Clusterware Clusterware Clusterware インターコネクト共有ディスク 5

6 Oracle Real Application Clusters とは Oracle 製のクラスタウェアを提供システムがクラスタ化されている必要があるノードやストレージの管理機能を提供 (Grid Infrastructure) クラスタデータベースの機能を提供 Database Instance を分散配置アプリケーションからはクラスタを意識する必要なし Database Instance Database Instance Database Instance Grid Infrastructure (Oracle Clusterware) Vendor Clusterware インターコネクト共有ディスク 6

7 High Availability 構成と RAC HA (High Availability) 構成はスタンバイサーバを準備し障害発生時にサーバを切り替える構成障害発生時にフェイルオーバーを行うプライマリ ( 稼働系 ) スタンバイ ( 待機系 ) プライマリ ( 稼働系 ) スタンバイ ( 稼働系 ) FAILOVER 7

8 High Availability 構成と RAC RAC 構成では全てのノードが並列的に構成されているため全てのサーバでサービスの提供が可能サーバリソースの有効活用ノード障害が発生した場合でも短時間で再構成が可能 Node 1 Node 2 Node 1 Node2 RECONFIG 8

9 Oracle Data Guard と RAC 特徴 Data Guard RAC 構成 2つ以上のDatabaseで構成 1つのDB 環境を複数のインスタンスで共有目的データ保護障害時ダウンタイムの減少処理の分散化ノードインスタンスの可用性向上アクセス基本的にプライマリサイトを使用全てのインスタンスにアクセス可能 PRIMARY STANDBY Node 1 Node2 REDO 転送同期 9

10 Grid Infrastructure の全体像リソースの物理的な所在を意識せずにサービスとして利用可能 SCAN Listener 動的インフラに対応した接続 (SCAN) Service Service グリッド基盤 RAC RAC Application = Oracle Grid Infrastructure Server Pool Server Pool Server Pool サーバの仮想化 (SERVER POOL) Oracle Clusterware Disk Group Disk Group Disk Group Oracle ASM ネットワーク固有の設定を排除 (GPnP) ストレージの仮想化ディスクグループ全てのデータを ASM で管理 (ACFS) 10

11 Grid Infrastructure の主要機能 Single Client Access Name (SCAN) 動的インフラに対応した接続形式 Server Pool サーバリソースの構成を最適化するインフラ Grid Plug and Play (GPnP) ネットワーク固有の設定を排除したドメインの構築 Oracle ASM Cluster File System (ACFS) どのサーバからもアクセス可能なファイルシステム 11

12 Cluster Database とは Node 1 複数インスタンスからの同時アクセスを制御する機能を提供複数のインスタンスが同じブロックに対するアクセスを要求した場合でも矛盾や更新の欠落が起きないようにする機能 Node 2 Node N INSTANCE1 INSTANCE2 INSTANCE N SGA Buffer SGA Buffer SGA Buffer Cache Cache Cache LMS0 LMS0 LMS0 12

13 RAC 環境におけるトラブルシューティング 13

14 - ノードメンバーシップに問題が発生したケース 14

15 ノードメンバーシップに問題が発生したケースノードメンバーシップとはクラスタを構成する各ノードの生存情報クラスタ環境ではすべてのノードのメンバーシップを管理する必要があるノードメンバーシップに問題が発生するとノードはクラスタから離脱従来のリリースではノード再起動が発生再起動が発生したノード上で稼動しているすべてのアプリケーションが停止のリリースより Reboot-less Node Fencing の導入インターコネクト障害投票ディスク障害発生時全てのプロセスの停止が可能であれば Oracle Clusterware の停止 ( ノードは起動したまま ) Oracle Clusterware の管理下にないアプリケーションは継続して稼働上記以外の障害もしくは上記障害でプロセスの停止が行えない場合ノード再起動が発生 15

16 ノードメンバーシップに問題が発生したケースインターコネクト障害 (Split Brain) が発生すると通信できるノードのみクラスタに残存させる投票ディスクを使用した投票最大サブクラスタのルールサブクラスタサブクラスタ Node1 Node2 Node3 Node4 CSS CSS CSS CSS 投票ディスク 16

17 ノードメンバーシップに問題が発生したケースノードメンバーシップが確認できなくなるケースはノード間通信の遮断 (Split Brain) のみではない OS / Kernel レベルでのハング oprocd による監視 ( ) cssdmonitor / cssdagent による監視 (11.2) メンバーシップ管理機能の (CSS デーモン ) のハング oclsomon による監視 ( ) cssdmonitor / cssdagent による監視 (11.2) (Split Brain 発生時に ) ディスクパスの遮断により投票が行えないケース CSS デーモンによる監視 oprocd oclsomon monitor agent CSS CSS 17

18 ノードメンバーシップに問題が発生したケース 11.2 のリリースより監視デーモンの統合が行われている OHAS (Oracle High Availability Services) スタックの導入 OHAS Stack (11.2) 監視デーモン ( ) OHAS oprocd oclskd oclsomon oclsvmon 監視デーモンを統合することにより障害発生時の切り分けを簡素化 cssagent cssdmonitor orarootagent oraagent 18

19 ノードメンバーシップに問題が発生したケースノードの再起動発生 CSS ログの確認 Network Heartbeat に失敗している? YES Split Brain 発生以降のリリースでは Oracle Clusterware のみの停止を含む NO CSS ログの確認 Disk Heartbeat に失敗している? 投票ディスク障害もしくはディスクパス障害 NO OS ログの確認 CSS のハングの可能性は? CSS がハング NO Agent / oprocd ログの確認 OS レベルでのハングの可能性は? OS リソースの枯渇 19

20 ノードメンバーシップに問題が発生したケースノード再起動が発生した場合には原因となった機能を管理しているデーモンエージェントのログを確認する必要がある Split Brain の発生 ( インターコネクトの遮断 ) CSS デーモンによる監視 $ORA_CRS_HOME/log/<hostname>/cssd/ocssd.log $ORA_CRS_HOME/css/log/ocssd.log (10.1 のリリースのみ ) KEY WORD - heartbeat fatal - Eviction started - Aborting local node to avoid splitbrain Eviction は排除する側される側で開始されている可能性がある結果として排除された場合 Aborting local node の出力 20

21 ノードメンバーシップに問題が発生したケースノード再起動が発生した場合には原因となった機能を管理しているデーモンエージェントのログを確認する必要があるディスクパスの遮断により投票が行えないケース CSS デーモンによる監視 $ORA_CRS_HOME/log/<hostname>/cssd/ocssd.log $ORA_CRS_HOME/css/log/ocssd.log (10.1 のリリースのみ ) KEY WORD - voting device hang - stale disk - Aborting, <Y> of <X> voting disks unavailable 各ノードの CSS はクラスタに構成されている過半数の投票ディスクにアクセスできなければならない 21

22 ノードメンバーシップに問題が発生したケースノード再起動が発生した場合には原因となった機能を管理しているデーモンエージェントのログを確認する必要があるメンバーシップ管理機能の (CSS デーモン ) のハング oclsomon による監視 ( ) $ORA_CRS_HOME/log/<hostname>/cssd/oclsomon/oclsomon.* cssdmonitor / cssdagent による監視 (11.2) $ORA_CRS_HOME/log/<hostname>/agent/ohasd/oracssdagent_root/* $ORA_CRS_HOME/log/<hostname>/agent/ohasd/oracssdmonitor_root/* KEY WORD - clssomon: Timeout waiting for CSS response - Oracle CRS failure. Rebooting for cluster integrity - Oracle clsomon failed with fatal - Impending reboot at 90% of limit 1 番目のキーワードは oclsomon.* に出力される 2,3 番目は OS のログ 4 番目は Agent のログ 22

23 ノードメンバーシップに問題が発生したケースノード再起動が発生した場合には原因となった機能を管理しているデーモンエージェントのログを確認する必要がある OS / Kernel レベルでのハング oprocd による監視 ( ) /etc/oracle/oprocd/$host.oprocd.* /var/opt/oracle/oprocd/$host.oprocd.* messages / syslog cssdmonitor / cssdagent による監視 (11.2) $ORA_CRS_HOME/log/<hostname>/agent/ohasd/oracssdagent_root/* $ORA_CRS_HOME/log/<hostname>/agent/ohasd/oracssdmonitor_root/* KEY WORD - timeout(xxxxx msec) exceeds... Rebooting NOW. - Rebooting after limit XXXXX exceeded 1 番目のキーワードは oprocd.* に出力される 2 番目は Agent のログ 23

24 - リソースメンバーシップに問題が発生したケース 24

25 リソースメンバーシップに問題が発生したケースリソースメンバーシップとは Oracle Clusterware で管理されているアプリケーションの生存情報 CRS リソース : Oracle で提供しているアプリケーションを管理するリソースカスタムアプリケーションリソース : ユーザーが任意で登録したアプリケーションを管理するリソースリソースメンバーシップに問題が発生するとリソースの再起動やフェイルオーバーが行われる同一ノードでの再起動を試行再配置可能ノードへのフェイルオーバーを試行 25

26 リソースメンバーシップに問題が発生したケースフェイルオーバー可能なリソース Virtual IP サービス 11.2 Virtual IP Scan VIP, SCAN Listener 管理者管理データベースサービスポリシー管理データベースサービス (SINGLETON) RAC Database Instance Service Failover Failover Service 26

27 Cluster Ready Services (CRS) デーモン racgwrap racgmain リソースメンバーシップに問題が発生したケースリソースの可用性管理 ( ) SQL*Plus SQL*Plus racgimon データベースインスタンス racgimon ASM インスタンス gsdctl onsctl lsnrctl racgvip GSD ONS Oracle リスナー Virtual IP アドレス OCR ユーティリティ群サービスメンバ action_script check_interval 27

28 リソースメンバーシップに問題が発生したケースリソースの可用性管理 (11.2) Check oraagent (DB user) DB Instance Service Start OCR Stop Listener ONS SCAN Listener Disk Group GSD oraagent (Grid user) ASM Instance VIP SCAN VIP ACFS registry orarootagent Network scriptagent Custom Application CVU 28

29 リソースメンバーシップに問題が発生したケース 11.2 のリリースよりデーモンの統合が行われている racg レイヤーの統合 racgwrap racgvip racgmain racgevtf racgimon racgeut racgmdb Clusterware Stack orarootagent oraagent リソースごとに異なっていたチェック方法を統合することにより障害発生時の切り分けが簡素化 29

30 リソースメンバーシップに問題が発生したケース 11.2 のリリースでは一部のクラスタウェアデーモンについてもデーモンリソースとして管理 CRS リソースと同様の管理フレームワークを適用 oraagent GIPC mdns Check GPNPD EVM OLR ASM Start Stop Diskmon ACFS deirvers CTSS orarootagent CRS CRF HAIP 30

31 リソースメンバーシップに問題が発生したケースリソースの再起動やフェイルオーバーが発生した場合にはリソースを管理しているデーモンエージェントのログを確認する必要がある全てのリソースの管理の大元は CRS デーモン $ORA_CRS_HOME/log/<hostname>/crsd/crsd.log $ORA_CRS_HOME/crs/log/crsd.log (10.1 のリリースのみ ) KEY WORD - OFFLINE unexpectedly - Attempting to stop `ora.node2.vip` on member `NODE2` - Attempting to start `ora.node2.vip` on member `NODE1` 障害が発生したリソースを別のノードで起動しているこれがフェイルオーバー 31

32 リソースメンバーシップに問題が発生したケースリソースの再起動やフェイルオーバーが発生した場合にはリソースを管理しているデーモンエージェントのログを確認する必要があるエージェント $ORA_CRS_HOME/log/<hostname>/agent/crsd/oraagent_<DB_User> $ORA_CRS_HOME/log/<hostname>/agent/crsd/oraagent_<GI_User> $ORA_CRS_HOME/log/<hostname>/agent/crsd/orarootagent_root $ORA_CRS_HOME/log/<hostname>/agent/crsd/scriptagent_<GI_User> KEY WORD - state changed from: ONLINE to: FAILED - state changed from: ONLINE to: OFFLINE - unplanned state change 管理者が停止コマンドを実行した時間帯でなければ障害が発生して停止した可能性がある 32

33 リソースメンバーシップに問題が発生したケース 11.1 までのリリースではリソースの再起動やフェイルオーバーが発生した場合には racg レイヤのデーモンのログの確認も必要 racg (11.1 まで ) $ORACLE_HOME/log/<hostname>/racg/*.log $ORA_CRS_HOME/log/<hostname>/racg/*.log KEY WORD - Invalid parameters, or failed to bring up VIP - IP address is not specified - Invalid option - IP xxx.xxx.xxx.xxx is already up in the network ここに挙げられているキーワードは VIP に関するメッセージ VIP の挙動に関しては racg のログを確認するケースが多い 33

34 - RAC Database のパフォーマンス 34

35 RAC Database のパフォーマンス RAC Database のパフォーマンスを上げるためにはアプリケーションパーティショニングが必要オブジェクトごとに処理ノードを限定ノードごとに参照処理と更新処理を分ける処理 A 処理 B GI 環境では対応できない場合もある 11g からは RAC Database で自動的に最適化処理が行われるオブジェクトごとに処理の多いノードを自動識別参照処理が多い環境では参照ノードの分散配置に対応した最適化処理 B 処理 A 35

RAC Database のパフォーマンス SQL> select a.data_object_id, a.gc_mastering_policy, a.current_master, 2 b.owner, b.object_name, b.object_type 3 from v$gcspfmaster_info a, dba_objects b 4 where a.

36 RAC Database のパフォーマンス SQL> select a.data_object_id, a.gc_mastering_policy, a.current_master, 2 b.owner, b.object_name, b.object_type 3 from v$gcspfmaster_info a, dba_objects b 4 where a.data_object_id = b.object_id(+) 5 order by data_object_id; DATA_OBJECT_ID GC_MASTERIN CURRENT_MASTER OWNER OBJECT_NAM OBJECT_TYPE Affinity 0 SCOTT DEPT TABLE Affinity 0 SCOTT EMP TABLE Read mostly 1 SCOTT BONUS TABLE Read mostly 1 SCOTT SALGRADE TABLE Instance1 (Current_Master + 1) において処理が高速になるように最適化済み全てのノードにおいて参照処理のみが高速になるように最適化済みここに表示されないオブジェクトについては特別な最適化は行われていない 36

37 まとめ Oracle Real Application Clusters 構成の理解クラスタシステムの理解 Grid Infrastructure Cluster Database RAC 環境におけるトラブルシューティングノードメンバーシップに問題が発生したケースリソースメンバーシップに問題が発生したケース RAC Database のパフォーマンス 37

補足 : 技術文章のご案内サポート契約を締結されているお客様は以下の技術文書 (KROWN) も確認いただけます文章例 145837: 11gR2 RAC : 11gR2 Clusterware and Grid Home - What You Need to Know 152202: 11.

38 補足 : 技術文章のご案内サポート契約を締結されているお客様は以下の技術文書 (KROWN) も確認いただけます文章例 : 11gR2 RAC : 11gR2 Clusterware and Grid Home - What You Need to Know : 11.2 Grid Infrastructure FAQ : [11gR2 新機能 ] RAC : Grid Infrastructure Single Client Access Name (SCAN) について : [11gR2 新機能 ] RAC : Policy-Managed と Administrator-Managed の変換方法について : 11gR2 RAC : hagsuser グループに追加する必要のある OS ユーザーについて (AIX) : 11gR2 RAC : AIX Power6 で LPAR を使用する場合の制限事項 (AIX) : 11gR2 RAC : root.sh rootupgrade.sh 実行時の注意点 : 11gR2 RAC : Grid Infrastructure の起動に対するトラブルシューティング : 11gR2 RAC: Clusterware Node Evictions(Reboot) の発生に対するトラブルシューティング 38

補足 : 技術文章のご案内 My Oracle Support (https://support.oracle.

39 補足 : 技術文章のご案内 My Oracle Support ( ナレッジ日本語ナレッジベース Oracle KROWN ディレクトリサービス 39

40 補足 : 技術文章のご案内 Krown Directory Service 40

41 OTN セミナーオンデマンドコンテンツに対するご意見ご感想を是非お寄せください OTN オンデマンド感想上記に簡単なアンケート入力フォームをご用意しておりますセミナー講師 / 資料作成者にフィードバックしコンテンツのより一層の改善に役立てさせていただきます是非ご協力をよろしくお願いいたします 41

OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎

技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題データベースからハードウェアまで充実のラインナップ毎月

に受講スマートフォンで通勤中にも受講可能毎月チェック! コンテンツ一覧はこちら http://www.oracle.

42 OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーショングリッド EPM/BI 技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題データベースからハードウェアまで充実のラインナップ毎月旬なトピックの新作コンテンツが続々登場例えばこんな使い方製品概要を効率的につかむ基礎を体系的に学ぶ / 学ばせる時間や場所を選ばず ( オンデマンド ) に受講スマートフォンで通勤中にも受講可能毎月チェック! コンテンツ一覧はこちら新作 & おすすめコンテンツ情報はこちら OTN オンデマンド 42

43 オラクルエンジニア通信オラクル製品に関わるエンジニアの方のための技術情報サイト技術資料インストールガイド設定チュートリアル etc. 欲しい資料への最短ルートアクセスランキング他のエンジニアは何を見ているのか? 人気資料のランキングは毎月更新特集テーマ Pick UP 性能管理やチューニングなど月間テーマを掘り下げて詳細にご説明技術コラム SQL スクリプト索引メンテナンス etc. 当たり前の運用 / 機能が見違える!? オラクルエンジニア通信 43

44 oracletech.jp IT エンジニアの皆様に向けて旬な情報を楽しくお届け製品 / 技術情報 Oracle Database っていくら? オプション機能も見積れる簡単ツールが大活躍セミナー基礎から最新技術までお勧めセミナーで自分にあった学習方法が見つかるスキルアップ ORACLE MASTER! 試験頻出分野の模擬問題と解説を好評連載中 Viva! Developer 全国で活躍しているエンジニアにスポットライトきらりと輝くスキルと視点を盗もう oracletech 44

あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたしますステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム専用お問い合わせフォームにてご相談内容を承ります http://www.

45 あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたしますステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム専用お問い合わせフォームにてご相談内容を承りますフリーダイヤルフォームの入力にはログインが必要となりますこちらから詳細確認のお電話を差し上げる場合がありますのでご登録の連絡先が最新のものになっているかご確認下さい月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) 45

47 47

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな 20 分で理解する Oracle GoldenGate 日本オラクル株式会社以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さい

サポートエンジニアが語る! RAC 環境のトラブルシューティング 日本オラクル株式会社カスタマーサポートサービス統括吉村隆

サポートエンジニアが語る! RAC 環境のトラブルシューティング日本オラクル株式会社カスタマーサポートサービス統括吉村隆