Microsoft Word - nvsi_060119jp_oracle10g_serac_win.doc

Transcription

1 Article ID: NVSI JP Created: 2006/04/26 Revised: -- Oracle Database10g Real Application Clusters on Windows 動作検証 1. 検証目的 Windows 上で稼動する Oracle Database10g Real Application Clusters( 以下 Oracle10g RAC) 環境において NetVault を使用し Oracle データベースのバックアップが問題なく行えること またシステムが導入されている各 DB サーバの内蔵ディスクに障害が発生した際にいち早く復旧するために VaultDR を使用したディザスタ リカバリが可能であることを確認するために検証を行います すべての検証は Oracle10g RAC の中でも リーズナブルに導入が可能な Standard Edition を使用した Oracle Real Application Clusters for Standard Edition( 以下 SE RAC) を使用し ストレージの管理に Automatic Storage Management(ASM) を使用し確認しています Enterprise Edition 等で使用可能な Raw Device や OCFS を使用したストレージ管理とは状況が異なる場合がありますので ご注意ください 2 台の RAC 環境は Windows にて構築されていますが それをネットワーク経由でバックアップする NetVault Server には OS として Linux を使用することをメインの検証とし その完了後にまったく同じテストを Windows の NetVault Server にて実施しています 本資料に掲載されているスクリーンショットは Linux のものですが Windows でもまったく同様の動作になります 2. 検証環境 2.1 構成図 FUJITSU PRIMERGY RX300 S2 [DB1] FUJITSU PRIMERGY RX300 S2 [DB2] FUJITSU PRIMERGY RX300 [nvserver] FUJITSU ETERNUS3000 Page(s): 1/33

2 2.2 ハードウェア構成 (1) DB サーバ 表 2-1 ハードウェア構成 (DB サーバ ) [DB1:Node1] メーカー FUJITSU 機種 RX300 S2 CPU Intel Xeon 3.00Ghz x2 (HT) メモリ 4GB 内蔵ディスク容量 73GB(U320,10000rpm) FC Card PG-FC107 (Emulex LP1050) 表 2-2 ハードウェア構成 (DB サーバ ) [DB2:Node2] メーカー FUJITSU 機種 RX300 S2 CPU Intel Xeon 3.00GHz x2 (HT) メモリ 4GB 内蔵ディスク容量 73GB(U320,10000rpm) FC Card PG-FC107 (Emulex LP1050) (2) バックアップ サーバ 表 2-3 ハードウェア構成 ( バックアップ サーバ ) [nvserver] メーカー FUJITSU 機種 RX300 CPU Intel Xeon 3.06GHz (HT) メモリ 4GB 内蔵ディスク容量 72GB(U320,10000rpm) (3) ディスク 表 2-4 ハードウェア構成 ( ディスク ) [ETERNUS] メーカー FUJITSU 機種 ETERNUS 3000 I/F FC 2.3 ソフトウェア構成 表 2-5 ソフトウェア構成 [DB1] ホスト DB1 OS Windows Server 2003 Enterprise Edition SP1 DB Software Oracle10g R :ORACLE_SID=rac1 Cluster Software Oracle Cluster Ready Services R Backup Software NetVault R2005MAY27-CHIEF Oracle RMAN APM v4.408 表 2-6 ソフトウェア構成 [DB2] ホスト DB2 OS Windows Server 2003 Enterprise Edition SP1 DB Software Oracle10g R :ORACLE_SID=rac2 Cluster Software Oracle Cluster Ready Services R Backup Software NetVault R2005MAY27-CHIEF Oracle RMAN APM v4.408 Page(s): 2/33

3 表 2-7 ソフトウェア構成 [nvserver] Linux により構成時 ホスト nvserver OS Redhat Enterprise Linux AS 3 Update5 Backup Software NetVault R2005JUN07-CHIEF DB Software Oracle10g R :ORACLE_SID=recover 表 2-8 ソフトウェア構成 [nvserver] Windows により構成時 ホスト nvserver OS Windows Server 2003 Enterprise Edition SP1 Backup Software NetVault R2005MAY27-CHIEF DB Software Oracle10g R :ORACLE_SID=recover 2.4 ディスク構成 表 2-9 パーティション構成 [DB1] パーティション Type 容量 / マウントポイント (Raw Device) ディスク 0 パーティション 1 NTFS 30GB / C: ディスク 0 パーティション 2 NTFS 15GB / D: ディスク 1 パーティション 1 投票ディスク 31MB 共有ディスク ディスク 1 パーティション 2 OCR 領域 133MB 共有ディスク ディスク 1 パーティション 3 ASM 領域 10GB ORCLDISKDATA0/DG1 共有ディスク ディスク 2 パーティション 1 ASM 領域 10GB ORCLDISKDATA1/DG2 共有ディスク ディスク 0 パーティション 3 は確保されていますが 未使用のため明記していません $ORACLE_HOME は D:\oracle\product\10.1.0\db_1 になります ASM のディスクグループは DG1 と DG2 になります 表 2-10 パーティション構成 [DB2] パーティション Type 容量 / マウントポイント (Raw Device) ディスク 0 パーティション 1 NTFS 30GB / C: ディスク 0 パーティション 2 NTFS 15GB / D: ディスク 1 パーティション 1 投票ディスク 31MB 共有ディスク ディスク 1 パーティション 2 OCR 領域 133MB 共有ディスク ディスク 1 パーティション 3 ASM 領域 10GB ORCLDISKDATA0/DG1 共有ディスク ディスク 2 パーティション 1 ASM 領域 10GB ORCLDISKDATA1/DG2 共有ディスク ディスク 0 パーティション 3 は確保されていますが 未使用のため明記していません $ORACLE_HOME は D:\oracle\product\10.1.0\db_1 になります ASM のディスクグループは DG1 と DG2 になります 表 2-11 パーティション構成 [nvserver] Linux 構成 パーティション Type 容量 / マウントポイント /dev/sda1 ext3 100MB /boot /dev/sda2 ext3 58GB / 表 2-11 パーティション構成 [nvserver] Windows 構成 パーティション Type 容量 / ドライブレター ディスク 0 パーティション 1 NTFS 36GB / C: ディスク 0 パーティション 2 NTFS 36GB / D: Page(s): 3/33

4 2.5 Oracle 構成 (1) Oracle10g SERAC 導入方法について下記の日本オラクル社の Web サイトより入手可能なドキュメント ( 以下 SERAC 手順書 ) に従って基本的な Oracle Database10g Standard Edition の Real Application Clusters の設定を行いました 表 2-11 Oracle 構成 [RAC] 表領域名 SYSTEM UNDO1 SYSAUX UNDO2 USERS DATA_TS TEMP 制御ファイル 1 制御ファイル 2 アーカイブログオンライン REDO オンライン REDO オンライン REDO オンライン REDO オンライン REDO オンライン REDO SPFILE 場所 +DG1/rac/system.dbf +DG1/rac/undotbs1.dbf +DG1/rac/sysaux.dbf +DG1/rac/undotbs2.dbf +DG1/rac/users.dbf +DG1/rac/data_ts.dbf +DG1/rac/temp.dbf +DG1/rac/control01.ctl +DG2/rac/control02.ctl +DG2/rac/arc/ARC%S_%R.%T +DG2/rac/redo01.log +DG2/rac/redo02.log +DG2/rac/redo03.log +DG2/rac/redo04.log +DG2/rac/redo05.log +DG2/rac/redo06.log +DG1/rac/spfilerac.ora (2) アーカイブログ モードの設定と格納先の設定方法 SERAC 手順書に記載のように DBCA による構成時に自動アーカイブをオンにし ASM 上に作成するように指定しています Oracle RMAN APM を使用してオンライン バックアップを実行する際には設定が必須となっています SQL> archive log list; データベース ログ モード アーカイブ モード 自動アーカイブ 使用可能 アーカイブ先 +DG2/rac/arc/ 最も古いオンライン ログ順序 14 アーカイブする次のログ順序 16 現行のログ順序 16 (3) テスト データ作成 tablespace DATA_TS として約 12 万件のテスト データを登録 SQL> CREATE TABLESPACE DATA_TS DATAFILE '+DG1/rac/data_ts.dbf' SIZE 200M; 表領域が作成されました SQL> select count(*) from 郵便番号 ; COUNT(*) Page(s): 4/33

5 3. NetVault インストール 3.1 NetVault インストール 通常の手順に従って DB1 および DB2 には NetVault Client を nvserver には NetVault Server のインストールを実行します その後 NetVault Server の Client Management より DB1 および DB2 の各ノードのマシンを登録します 図 3-1 NetVault クライアント管理登録 3.2 デバイス登録 デバイス管理より テープデバイスの登録を行います 本検証では NetVault Server 上に作成した仮想テープライブラリをバックアップデバイスとして使用しています 図 3-2 バックアップデバイスの用意 3.3 Oracle RMAN APM インストール Oracle RMAN APM をインストールすると Windows の場合 $winnt\system32 ディレクトリ以下に ORASBT.DLL という MML とリンクされる DLL がインストールされますが Oracle が起動中にはリンクが行えないため 一度 Oracle を正しくシャットダウン後に OracleService SID を停止します 例では Oracle 関連のサービスをすべて停止しています Page(s): 5/33

6 図 3-3 Oracle 関連サービスの停止 次に NetVault Process Manager を Oracle に対して権限のあるアカウントにてログオンさせる必要があります Oracle RMAN APM をインストールする各ノードの NetVault Process Manager のサービスに対して ログオン設定を変更します 通常は アドミニストレータ アカウントまたは ORA_DBA グループのメンバーアカウントに変更します 図 3-4 NetVault Process Manager のログオン設定の変更 設定後は NetVault Process Manager のサービスを再起動しておきます クライアント管理 -> NetVault Machine 名で右クリックし ソフトウェアのインストールを選択して 必要な APM を各 RAC のノードにインストールします 本環境の場合には DB1 と DB2 が対象です 図 3-5 Oracle RMAN APM インストール なお これらの作業は RAC 構成の各ノード毎でも実行可能であるため 片側づつ作業することにより RAC 全体のシステムを停止しなくても作業が行えます Page(s): 6/33

7 なお OracleCSSService 等クラスタ関連のサービス停止後に再度起動するには Oracle 社より OS 自体の再起動が必要とされています 次に NetVault クライアント側の CLI から rman を使用して バックアップやリストアを実行するために NetVault サーバ側で nvpluginaccess コマンドを使用して クライアントに対する許可の設定を行う必要があります 例では DB1 と DB2 の 2 つのノードに対して設定を行っています nvpluginaccess の設定 C:\>cd "C:\Program Files\BakBone Software\NetVault\util" C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -remove -client DB1 Removed client stanza 'DB1' C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -client DB1 -account default Please select a plugin you wish to allow client 'DB1' to access: 1) Informix plugin 2) Oracle RMAN plugin 3) Informix and Oracle RMAN plugins 4) Specify plugin name 2 Please enter the password for the account 'default': Successfully added client 'DB1' C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -remove -client DB2 Removed client stanza 'DB2' C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -client DB2 -account default Please select a plugin you wish to allow client 'DB2' to access: 1) Informix plugin 2) Oracle RMAN plugin 3) Informix and Oracle RMAN plugins 4) Specify plugin name 2 Please enter the password for the account 'default': Successfully added client 'DB2' すべての設定終了後 バックアップウィンドウから各ノードの Oracle RMAN APM の設定を行います APM 名をダブルクリックすることで データベースの追加画面になります 図 3-6 Oracle RMAN APM アイコン Page(s): 7/33

8 データベースの追加画面では それぞれ必要な内容を記述していきます Init File の項目では ファイルとしてバックアップが必要なものを, ( カンマ ) 区切りで記述できます 例では rac1 のインスタンスの初期化パラメータファイルを指定していますが その他必要なものを適宜記述するようにしてください 図 3-7 オラクルデータベースの追加 表 3-1 Oracle RMAN APM 設定項目 項目 内容 SID インスタンス毎の SID Home ORACLE_HOME RMAN RMAN 実行ファイルパス Init File 初期化パラメータファイル等 Page(s): 8/33

9 4. バックアップ運用方式について (1) バックアップ取得方法 1 つのノードから NetVault Server に接続されたテープ装置 ( 仮想テープライブラリ ) にネットワーク経由にてバックアップを実行 (2) バックアップ対象ファイル データ ファイル [ASM] アーカイブ ログ ファイル [ASM] 制御ファイル [ASM] サーバパラメータファイル [ASM] 初期化パラメータファイル [ ローカル ] オンライン REDO ログ [ASM] ( オフラインの場合のみ取得 ) その他必要に応じて取得 ( プログラムファイル等 ) [ ローカル ] (3) バックアップ運用方式 オフライン バックアップ (Raw Device Plugin, VaultDR APM 使用 ) オンライン バックアップ (Oracle RMAN APM 使用 ) (4) リカバリ カタログに関する注意 RMAN(Recovery Manager) を使用してバックアップされたデータに関する情報は カレント制御ファイルまたはリカバリ カタログに格納されます RMAN 使用時にリカバリ カタログを使用する際には リカバリ カタログ自身を RAC 構成とは異なる Oracle サーバへの格納や そのバックアップを行うことが必要となります その他一般的なバックアップに関する注意事項は 通常のスタンドアロンの Oracle 環境と違いはありません 本検証ではすべてリカバリ カタログを使用して実施されています 制御ファイルを使用する場合には カタログデータの保持期間が短い事や 制御ファイルが ASM に格納されており多重化が難しいため 別途制御ファイルのバックアップについて検討する必要があることに注意してください (5) spfile のバックアップについて SPFILE が失われると Oracle が起動できないためリカバリが難しくなります 通常 NetVault の Oracle RMAN APM ではファイルシステム上に配置された SPFILE をバックアップできる機能を持っていますが ASM 上の SPFILE を指定することはできません 事前に PFILE を SPFILE からテキストとして作成した上で Oracle RMAN APM の init のセクションに登録することをお勧めします (6) OMF(Oracle Managed File) OMF は表領域 REDO ログファイル 制御ファイル等を Oracle が自動管理する仕組みのことですが これを使用している場合 特定の名称ではなく異なるファイル名にてリストアが行われることがあり それによりリストア後のリカバリにてうまく処理が行えない場合があります 本検証ではすべて 表領域等を ASM 上に作成していますが OMF は使用せずにデータベースファイル名を固定で指定しています Page(s): 9/33

10 5. オフライン バックアップ Oracle Database 管理者ガイド 10g リリース 1 (10.1) P12-46 によると ASM ファイルを含むデータベースのバックアップは Recovery Manager を使用して実行する方法しかありません と記載があります しかし 日本オラクルがサポート契約対象者に公開している知識ベース KNOWN92739 によると Oracle 社以外から提供されるバックアップ方法について次のように述べられています コールドバックアップについては Oracle インスタンス ASM インスタンスがすべて停止した状態でストレージ装置のスナップショット機能等を使用して行うことが可能です リストアする際には Oracle インスタンス ASM インスタンスがすべて停止した状態で元の状態に復元する必要があります ただしこれらの復元操作 ( インスタンス停止中のデータベース状態 ) は各ストレージ製品の動作に完全に依存し ORACLE 社が保証を与えるものではありません NetVault では Raw Device としてアクセスされている ASM 領域のバックアップを Raw Device プラグインを使用して実行することができます 特に RAC 環境で必須となる OCR および投票ディスクの領域は 通常の RMAN によるバックアップでは保護されません そのため オフラインバックアップを併用する必要があります Raw Device でのバックアップを行うには すべてのノードにて Oracle および ASM のインスタンスをすべて停止した状態にて オフライン バックアップを実行します 両方のノードについてシャットダウンを行う必要があります 以下は srvctl を使用した場合のインスタンスの停止例です Microsoft Windows [Version ] (C) Copyright Microsoft Corp. D:\oracle\product\10.1.0\crs\BIN>srvctl stop database -d rac D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db2 D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db2 ノード毎に固有のファイルについては 個別に取得を行います バックアップ終了後 再びインスタンスを起動します Page(s): 10/33

11 5.1 Raw Device Plugin を使用したオフライン バックアップ 今回の検証では ASM を構成するディスクとして 共有ディスク上の Raw Device を使用しました そのため NetVault でバックアップを行う際には Raw Device プラグインを使用し ディスクやパーティションの指定を行う必要があります 図 5-1 Raw Device Plugin を使用したオフライン バックアップ 5.2 Raw Device Plugin を使用したリストア リストア時は Oracle であることを意識せずに単なる Raw Device イメージとしてのリストアを実行するだけです その際には 必ずすべてのノードで Oracle および ASM のインスタンスを停止している必要があります 各リストアを行う際に リストア先のディスクやパーティションを変更することが可能です 図 5-2 NetVault Raw Device リストア Page(s): 11/33

12 6. VaultDR APM によるシステム復旧 6.1 VaultDR APM を使用したシステム部分のバックアップ VaultDR を使用することで Windows としての OS の領域 Oracle の実行ファイル等すべての環境をディスクイメージによりバックアップすることが可能になります 一度対象となる RAC のノードを OS 毎シャットダウンし VaultDR Client の CD により起動し ドライバの設定およびネットワーク設定を完了すると待機状態になります 図 6-1 VaultDR Client のネットワーク設定画面と 待機状態 次に NetVault サーバ側に VaultDR Server APM を導入し VaultDR Client で設定したアドレスを登録します 図 6-2 VaultDR Server APM の導入と VaultDR Client 登録 アドレス登録後は NetVault サーバから OS が含まれているシステム領域が確認できるため 必要なパーティションを選択して バックアップを行います この例では 合計約 45GB のデータが 1000BaseT のネットワークの現実的な転送レートとしては高速な平均 44.28Mbyte/sec にて 17 分程度でバックアップされているのが確認できます 図 6-3 VaultDR によるバックアップ画面 Page(s): 12/33

13 6.2 VaultDR APM によるシステムリストア リストアの際には バックアップの時と同様に VaultDR Client を起動し待機状態にしたあとに NetVault サーバから VaultDR APM によって取得されたデータをリストアします 図 6-3 VaultDR によるバックアップ画面 Page(s): 13/33

14 7. オンライン バックアップ (Oracle RMAN APM 使用 ) 7.1 バックアップ Oracle RMAN APM を使用して対象をすべて選択し バックアップを実行します 図 7-1 Oracle RMAN バックアップ 7.2 バックアップ オプション 各バックアップ オプションは RMAN で指定されるオプションに準拠しており 運用形態に合わせて選択します 各項目の詳細については Oracle RMAN APM のユーザーズ ガイドを参照してください 本検証では Backup Type の指定と リカバリ カタログの指定だけが選択されています SE RAC ではなく EE RAC の場合には 複数ドライブ搭載のテープ装置を使用することで 複数チャネルを使用したパラレル処理が可能になります 図 7-2 Oracle RMAN APM バックアップ オプション Page(s): 14/33

15 7.3 RMAN 増分バックアップ オラクルセールスガイド Ver.5.2 によると Standard Edition での増分バックアップが可能になりました ただし ブロックチェンジ トラッキングファイルには対応していません ライセンスや機能の詳細は日本オラクル社にお問い合わせください まず 現在の状況の確認を行います 表領域 DATA_TS 内に Trousers という 12 万件の登録があるテーブルが作成されています SQL> select count(*) from 郵便番号 ; COUNT(*) 現在は 件であることが確認できました 次に 更新のためのデータを INSERT します 1 行が作成されました ~ 中略 ~ 全部で 20 件 1 行が作成されました SQL> commit; コミットが完了しました SQL> select count(*) from 郵便番号 ; COUNT(*) これにより 20 件追加されたことが確認できます 次に NetVault の GUI を使用して Oracle RMAN APM のプラグインを開き対象となる表領域等を指定したあと Backup Option の Backup Type の所で Incremental を選択し Level を入力します ( 例では 2 に設定しました ) 図 7-3 Oracle RMAN APM 差分バックアップ バックアップ終了後 RMAN の list backup により Type が Incr および LV が 2 になっていることが確認できます Page(s): 15/33

16 RMAN> list backup; バックアップ セットのリスト =================== BS Key Type LV Size Device Type Elapsed Time 終了時刻 Incr 2 688M SBT_TAPE 00:01: BP キー : 455 ステータス : AVAILABLE 圧縮 : NO タグ : TAG T ハンドル : nvserver:#292:db1:17_ :rac_ メディア : バックアップ セット 450 のデータ ファイルのリスト File LV Type Ckp SCN Ckp 時刻 Name Incr DG1/rac/system.dbf 2 2 Incr DG1/rac/undotbs1.dbf 3 2 Incr DG1/rac/sysaux.dbf 4 2 Incr DG1/rac/undotbs2.dbf 5 2 Incr DG1/rac/users.dbf 6 2 Incr DG1/rac/data_ts.dbf BS Key Type LV Size Device Type Elapsed Time 終了時刻 Incr 2 9M SBT_TAPE 00:00: BP キー : 456 ステータス : AVAILABLE 圧縮 : NO タグ : TAG T ハンドル : nvserver:#292:db1:18_ :rac_ メディア : 含まれている制御ファイル : Ckp SCN: Ckp 時間 : SPFILE も含まれます : 修正時間 : リストア RMAN のリストアはすべて NetVault の GUI から実行することが可能です NetVault の Restore 画面から Backup Piece 名を確認することができ さらにそれぞれの項目をダブルクリックすることで リストア対象となるデータの詳細を確認し リストアの選択を行うことになります また Oracle 側の Recovery Manager からもリストア可能です 図 7-4 Oracle RMAN APM リストア選択 Page(s): 16/33

17 リストアオプションでは 必ずターゲット データベースのパスワードを必ず入力するようにします デフォルトではブランクになっています また リカバリ カタログを使用してバックアップした場合には リストア時にも Use Catalog にチェックを入れ 必要項目を入力します 図 7-5 Oracle RMAN APM リストアオプション また RMAN の list backup によっても 詳細なバックアップの結果を確認することが可能です RMAN のコマンドを使用してリストアを行うことで NetVault GUI からは指定できない RMAN のさまざまなオプションを利用することができます 7.5 バックアップ元とは異なるノードからのリストア DB1 で取得したバックアップデータを異なる DB2 でリストアする場合には DB2 側で Oracle RMAN APM への事前設定が必要になります まず バックアップウィンドウ画面から Oracle RMAN APM を開かずに 右クリックメニューから Configure を選択します 図 7-6 Oracle RMAN APM Configure Oracle RMAN APM の Configure ウィンドウで 設定に応じた内容に変更します 例えば NetVault Server が nvserver で DB1 のノードから Oracle RMAN APM にてバックアップしたデータを DB2 のノードへリストアする場合には Default NetVault Server, Do Restore from NetVault Server に NetVault Server 名である nvserver を また Restore Backup Taken from NetVault Client に DB1 とバックアップした際の NetVault Client 名を入力します ORACLE_SID ではありませんので注意します Page(s): 17/33

18 図 7-7 Oracle RMAN APM 詳細設定 表 7-1 Oracle RMAN APM Configure 設定項目項目 RMAN Utility Connection Timeout (min.) Default Oracle Account Default Recovery Catalog Service Name Default Recovery Catalog Account Default NetVault Server Do Restore from NetVault Server Restore Backup taken from NetVault Client Slave Connection Timeout (0= Never) Select Default NS_LANG 内容 RMAN のコネクション タイムアウト標準の Oracle アカウント標準で使用するリカバリ カタログ サービス名標準で使用するリカバリ カタログのアカウント名標準で使用する NetVault Server リストアに使用する NetVault Server 異なるノードの NetVault Client 名スレイブ コネクションのタイムアウト NLS_LANG Configure の設定後 元の NetVault Client としてのバックアップデータを指定します リストア先が新しいクライアントになるため クライアント指定のタブで選択をします 同じサーバにリストアする際にはクライアント指定は必須ではありませんが 他のサーバにリストアするため注意します 図 7-8 Oracle RMAN APM リストア指定詳細とクライアント指定 Page(s): 18/33

19 また オプションタブで忘れずにターゲットサービス ( データベース ) の変更を行います 例では 元々で rac1 あったサービス名を rac2 に書き換え そのサービスのアカウントとパスワードを入力します また リカバリ カタログの指定も行います 図 7-9 Oracle RMAN APM リストアオプション設定 リストア完了後 リカバリ処理を行うことになりますが その後の手順に違いはありません 復旧後 必要に応じて Oracle RMAN APM Configure の設定を元に戻しておきます 7.6 バックアップ中の障害について プライマリのノードからバックアップしている際に 障害により不正終了した場合には バックアップ ジョブは失敗します 例えば DB1 のノードで強制終了を実行すると 以下のように失敗になります SQL> shutdown abort ORACLE インスタンスがシャットダウンされました 図 7-10 強制終了によるジョブの失敗 なお 他の運用管理ソフトなどと連動して ジョブ失敗後にセカンダリノードでのバックアップ ジョブの実行ができる場合には バックアップは正常に終了します Page(s): 19/33

20 図 7-11 セカンダリノードでのバックアップの再実行 8. Oracle RMAN APM を使用したリカバリ 各メディア障害を実際に発生させ そのリカバリ手順について確認します ここでは 実際のファイルのリストアに Oracle RMAN APM の機能を使用します また RMAN のコマンドを使用してのリストアも可能ですが その際の詳細な手順につきましては Oracle RMAN APM のユーザーズ ガイドおよび Oracle 社が提供する Recovery Manager のマニュアルをご参照ください これらの操作を行う前に 事前に 4. バックアップ運用方式 を確認し SPFILE から pfile を作成しておく必要があります 障害時にどちらのファイルも無い場合には リカバリできない可能性があります 8.1 特定表領域の論理破壊 ASM の場合には Raw Device 上に実装されており File System のように特定のファイルの障害というものが考えにくいのですが オペレーションミス等により 特定の表領域に論理破壊が発生したと想定した場合の リカバリを考えて見ます まず データと各表領域の状態の確認を行います SQL> select count(*) from 郵便番号 ; COUNT(*) SQL> COL NAME FORMAT A30 SQL> select FILE#,DF.NAME,TS.NAME,STATUS from v$datafile DF,v$tablespace TS where DF.TS#=TS.TS#; FILE# NAME NAME STATUS DG1/rac/system.dbf SYSTEM SYSTEM 2 +DG1/rac/undotbs1.dbf UNDOTBS1 ONLINE 3 +DG1/rac/sysaux.dbf SYSAUX ONLINE 4 +DG1/rac/undotbs2.dbf UNDOTBS2 ONLINE 5 +DG1/rac/users.dbf USERS ONLINE 6 +DG1/rac/data_ts.dbf DATA_TS ONLINE 6 行が選択されました Page(s): 20/33

21 次に +DG1/rac/data_ts.dbf に論理的な障害が発生したと過程するのですが データベースがオンラインの状態では意図的な障害を発生させることができないため 一旦シャットダウンします D:\oracle\product\10.1.0\crs\BIN>srvctl stop database -d rac D:\oracle\product\10.1.0\crs\BIN>crs_stat -t 名前 型 ター... ト状態 ホスト ora...sm1.asm application ONLINE ONLINE db1 ora...b1.lsnr application ONLINE ONLINE db1 ora.db1.gsd application ONLINE ONLINE db1 ora.db1.ons application ONLINE ONLINE db1 ora.db1.vip application ONLINE ONLINE db1 ora...sm2.asm application ONLINE ONLINE db2 ora...b2.lsnr application ONLINE ONLINE db2 ora.db2.gsd application ONLINE ONLINE db2 ora.db2.ons application ONLINE ONLINE db2 ora.db2.vip application ONLINE ONLINE db2 ora.rac.db application OFFLINE OFFLINE ora...c1.inst application OFFLINE OFFLINE ora...c2.inst application OFFLINE OFFLINE データベースが停止し ASM インスタンスが稼動している状態で 強制的に対象の表領域を drop します D:\oracle\product\10.1.0\crs\BIN>set ORACLE_SID=+ASM1 D:\oracle\product\10.1.0\crs\BIN>sqlplus /nolog SQL*Plus: Release Production on 火 1 月 31 10:50: Copyright (c) 1982, 2005, Oracle. All rights reserved. SQL> conn / as sysdba 接続されました SQL> select instance_name from v$instance; INSTANCE_NAME asm1 SQL> alter diskgroup DG1 drop file '+DG1/rac/data_ts.dbf'; ディスク グループが変更されました DB1 のノードだけ起動しようとしても 障害を発生させた表領域のデータが無いため参照できないというエラーが発生しています このとき データベースはオープンされていませんが マウント状態であるためリストアが可能です D:\oracle\product\10.1.0>set ORACLE_SID=rac1 D:\oracle\product\10.1.0>sqlplus /nolog SQL*Plus: Release Production on 火 1 月 31 10:57: Copyright (c) 1982, 2005, Oracle. All rights reserved. Page(s): 21/33

22 SQL> conn / as sysdba アイドル インスタンスに接続しました SQL> startup ORACLE インスタンスが起動しました Total System Global Area bytes Fixed Size bytes Variable Size bytes Database Buffers bytes Redo Buffers bytes データベースがマウントされました ORA-01157: データファイル 6 を識別 / ロックできません - DBWR トレース ファイルを参照してください ORA-01110: データファイル 6: '+DG1/rac/data_ts.dbf' NetVault のリストア画面から リストアしたい表領域だけを指定し リストアオプションでアカウントやリカバリカタログに関する設定後 リストアジョブを実行します 図 8-1 特定表領域のリストア リストア完了後に メディア リカバリを行い データベースをオープンすると最終的に障害のあったデータにアクセスできることが確認できます リストアを行ったノードで確認終了後 もう一方のノードも起動します SQL> recover database; メディア リカバリが完了しました SQL> alter database open; データベースが変更されました SQL> select count(*) from 郵便番号 ; COUNT(*) Page(s): 22/33

23 8.2 ASM ディスクグループ全体の障害 次に 一つではなく複数の表領域が含まれた ASM のディスクグループに障害が発生した際の手順を確認します この例では 間違って ASM をフォーマットしてしまった場合を想定しています 初めに 障害前は正しくデータにアクセスできることを確認しておきます SQL> select count(*) from 郵便番号 ; COUNT(*) ASM 領域を NTFS でフォーマットするため データベースおよび ASM を停止します D:\oracle\product\10.1.0\crs\BIN>srvctl stop database -d rac D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db2 D:\oracle\product\10.1.0\crs\BIN>crs_stat -t 名前 型 ター... ト状態 ホスト ora...sm1.asm application OFFLINE OFFLINE ora...b1.lsnr application ONLINE ONLINE db1 ora.db1.gsd application ONLINE ONLINE db1 ora.db1.ons application ONLINE ONLINE db1 ora.db1.vip application ONLINE ONLINE db1 ora...sm2.asm application OFFLINE OFFLINE ora...b2.lsnr application ONLINE ONLINE db2 ora.db2.gsd application ONLINE ONLINE db2 ora.db2.ons application ONLINE ONLINE db2 ora.db2.vip application ONLINE ONLINE db2 ora.rac.db application OFFLINE OFFLINE ora...c1.inst application OFFLINE OFFLINE ora...c2.inst application OFFLINE OFFLINE この状態で DG1 と DG2 のディスクグループになっているボリュームを NTFS にてフォーマットします 図 8-2 ディスクグループのパーティション破壊 その後 論理ドライブを削除します Page(s): 23/33

24 図 8-3 論理ドライブの削除 この状態で ASM インスタンスを起動してみると アクセスできないことが分かります D:\oracle\product\10.1.0\crs\BIN>SET ORACLE_SID=+ASM1 D:\oracle\product\10.1.0\crs\BIN>sqlplus /nolog SQL*Plus: Release Production on 火 1 月 31 14:09: Copyright (c) 1982, 2005, Oracle. All rights reserved. SQL> conn / as sysdba アイドル インスタンスに接続しました SQL> startup OSM インスタンスが起動されました Total System Global Area bytes Fixed Size bytes Variable Size bytes Database Buffers 0 bytes Redo Buffers 0 bytes ORA-15032:??????????????? ORA-15063:?????????"DG2"??PST???????2????????; 0???????? ORA-15063:?????????"DG1"??PST???????2????????; 0???????? 日本語環境の場合上記のようなメッセージになりますが 英語表記だと以下の通りです ORA-15032: not all alterations performed ORA-15063: diskgroup "DG2" lacks quorum of 2 PST disks; 0 found ORA-15063: diskgroup "DG1" lacks quorum of 2 PST disks; 0 found ディスクグループが無いので CRS 等のサービスを停止した上で 再作成します D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db2 D:\oracle\product\10.1.0\crs\BIN>crs_stat -t 名前 型 ター... ト状態 ホスト ora...sm1.asm application OFFLINE OFFLINE ora...b1.lsnr application OFFLINE OFFLINE ora.db1.gsd application OFFLINE OFFLINE ora.db1.ons application OFFLINE OFFLINE ora.db1.vip application OFFLINE OFFLINE Page(s): 24/33

25 ora...sm2.asm application OFFLINE OFFLINE ora...b2.lsnr application OFFLINE OFFLINE ora.db2.gsd application OFFLINE OFFLINE ora.db2.ons application OFFLINE OFFLINE ora.db2.vip application OFFLINE OFFLINE ora.rac.db application OFFLINE OFFLINE ora...c1.inst application OFFLINE OFFLINE ora...c2.inst application OFFLINE OFFLINE 次に すべてのサービスを停止します この状態で 再度論理ドライブを作成し 再起動します 図 8-4 論理ドライブの再作成 論理ドライブ作成後は asmtoolg のツールを使用して シンボリックリンクを作成します このとき 作業自体は片側のノードから行えば問題ありませんが ディスク自体の認識が正しくできていることを確認しておきます もし OCR や投票ディスクにも障害が発生していた場合には 事前にオフライン バックアップを使用して復旧します 図 8-5 asmtoolg によるシンボリックリンクの作成と確認 最後にシンボリックリンクを使用して ASM のディスクグループを作成し その後でデータファイルやアーカイブログの配置に必要なディレクトリを作成しておきます set ORACLE_SID=+ASM1 D:\oracle\product\10.1.0\crs\BIN>sqlplus /nolog SQL*Plus: Release Production on 火 1 月 31 14:09: Copyright (c) 1982, 2005, Oracle. All rights reserved. SQL> conn / as sysdba SQL> CREATE DISKGROUP DG1 External REDUNDANCY DISK '\\.\ORCLDISKDATA0' SIZE 10244M; ディスク グループが作成されました SQL> CREATE DISKGROUP DG2 External REDUNDANCY DISK '\\.\ORCLDISKDATA1' SIZE 10244M; Page(s): 25/33

26 ディスク グループが作成されました SQL> alter diskgroup DG1 add directory '+DG1/rac'; ディスク グループが変更されました SQL> alter diskgroup DG2 add directory '+DG2/rac'; ディスク グループが変更されました SQL> alter diskgroup DG2 add directory '+DG2/rac/ARC'; ディスク グループが変更されました 次にリストアですが Oracle が停止状態では何のリストアも出来ません 最低でも nomount 状態で起動しておく必要があります しかし 起動に必要な spfile も失われているため あらかじめファイルに pfile として落としておいたものから spfile を再作成します 例えば以下は D:\init.ora に作成しておいた pfile を使用しています set ORACLE_SID=rac1 SQL> create spfile='+dg1/rac/spfilerac.ora' from pfile='d:\init.ora'; ファイルが作成されました SQL> startup nomount; ORACLE インスタンスが起動しました Total System Global Area bytes Fixed Size bytes Variable Size bytes Database Buffers bytes Redo Buffers bytes nomount 状態で NetVault の GUI からリストアを実行します リストアの詳細については Oracle RMAN APM を使用したリストアの項目を確認するようにしてください 注意点としては 必ずリストアオプションでターゲット データベースのパスワードと リカバリ カタログの使用をするようにしてください リストアオプションの中に リカバリのためのチェックボックスもありますが 後で不完全回復が必要になりますので チェックしないようにします 図 8-6 Oracle RMAN APM リストア実行 Page(s): 26/33

27 リストアを実行し ジョブ管理で状況を確認すると一つのリストアジョブからリストア項目毎に サブタスクが実行されそれぞれが完了することで全体のリストアが終了します 図 8-7 Oracle RMAN APM リストア正常終了の確認 8.3 リストア後のリカバリ処理リストアの完了を確認後 一度シャットダウンの上 mount 状態で起動します SQL> shutdown; ORA-01507:??????????????????? ORACLE インスタンスがシャットダウンされました SQL> startup mount; ORACLE インスタンスが起動しました Total System Global Area bytes Fixed Size bytes Variable Size bytes Database Buffers bytes Redo Buffers bytes データベースがマウントされました RECOVER DATABASE コマンドにより リカバリを試みますが エラーとなるため指示に従い BACKUP CONTROLFILE を使用しリカバリします SQL> recover database; ORA-00283: エラーによってリカバリ セッションは取り消されました ORA-01610: BACKUP CONTROLFILE オプションを指定してリカバリを実行してください SQL> recover database using backup controlfile until cancel; ORA-00279: 変更 (01/31/ :52:33 で生成 ) にはスレッド 1 が必要です ORA-00289: 検討すべきログ ファイル :+DG2/rac/arc//arc00018_ ORA-00280: 変更 ( スレッド 1) は順序番号 18 に存在します ログの指定 : {<RET>=suggested filename AUTO CANCEL} AUTO ORA-00279: 変更 (01/31/ :48:02 で生成 ) にはスレッド 2 が必要です ORA-00289: 検討すべきログ ファイル :+DG2/rac/arc//arc00005_ ORA-00280: 変更 ( スレッド 2) は順序番号 5 に存在します Page(s): 27/33

28 ORA-00279: 変更 (01/31/ :54:12 で生成 ) にはスレッド 1 が必要です ORA-00289: 検討すべきログ ファイル :+DG2/rac/arc//arc00019_ ORA-00280: 変更 ( スレッド 1) は順序番号 19 に存在します ORA-00278: ログ ファイル '+DG2/rac/arc//arc00018_ ' はこのリカバリでは必要ななりました ~ 途中省略 ~ ORA-00308: アーカイブ ログ +DG2/rac/arc//arc00021_ をオープンできません ORA-17503: ksfdopn:2 ファイル +DG2/rac/arc//arc00021_ のオープンに失敗しました ORA-15173: entry 'arc00021_ ' does not exist in directory 'arc' SQL> recover database using backup controlfile until cancel; ORA-00279: 変更 (01/31/ :54:34 で生成 ) にはスレッド 1 が必要です ORA-00289: 検討すべきログ ファイル :+DG2/rac/arc//arc00021_ ORA-00280: 変更 ( スレッド 1) は順序番号 21 に存在します ログの指定 : {<RET>=suggested filename AUTO CANCEL} CANCEL メディア リカバリが取り消されました SQL> SQL> alter database open resetlogs; データベースが変更されました 最後に 特定のログが無い旨のメッセージが表示されましたが これはアーカイブ ログではなくオンライン REDO ログを指定する必要があります しかしながら ASM を使用して ASM すべての領域に障害があった場合 オンライン REDO ログは失われています そのため 最終的にはリカバリを途中でキャンセルし RESETLOGS オプション付でデータベースをオープンすることで 不完全回復を行います もちろん オンライン REDO ログがある場合には 完全回復することが可能です その場合にも バックアップされた制御ファイルを使用してのリカバリの場合には RESETLOGS オプション付でデータベースをオープンする必要があります データベースがオープン後 ステータスを確認してみます すべて正常な状態であることがわかります SQL> COL NAME FORMAT A30 SQL> select FILE#,DF.NAME,TS.NAME,STATUS from v$datafile DF,v$tablespace TS where DF.TS#=TS.TS#; FILE# NAME NAME STATUS DG1/rac/system.dbf SYSTEM SYSTEM 2 +DG1/rac/undotbs1.dbf UNDOTBS1 ONLINE 3 +DG1/rac/sysaux.dbf SYSAUX ONLINE 4 +DG1/rac/undotbs2.dbf UNDOTBS2 ONLINE 5 +DG1/rac/users.dbf USERS ONLINE 6 +DG1/rac/data_ts.dbf DATA_TS ONLINE 6 行が選択されました Page(s): 28/33

29 8.4 リカバリ後の注意点 RESETLOGS 付で データベースをオープンした場合 ログ順序番号はリセットされ 1 番から開始されます そのため 古いアーカイブ ログはすべて不要になります ディスク領域を無駄に消費し これからの運用と混同しないためにも 古いアーカイブ ログは削除しておくことが推奨されます オープン後直ぐに状況を確認します RMAN> list archivelog all; 新しいデータベース インカネーションでリカバリ カタログを更新していますリカバリ カタログの完全再同期を開始しています完全再同期が完了しました アーカイブ ログ コピーのリスト Key Thrd Seq S Low 時刻 Name A DG2/rac/arc//arc00010_ A DG2/rac/arc//arc00011_ A DG2/rac/arc//arc00012_ A DG2/rac/arc//arc00013_ A DG2/rac/arc//arc00014_ A DG2/rac/arc//arc00015_ A DG2/rac/arc//arc00016_ A DG2/rac/arc//arc00017_ A DG2/rac/arc//arc00018_ A DG2/rac/arc//arc00019_ A DG2/rac/arc//arc00020_ A DG2/rac/arc//arc00001_ A DG2/rac/arc//arc00002_ A DG2/rac/arc//arc00003_ A DG2/rac/arc//arc00004_ A DG2/rac/arc//arc00005_ A DG2/rac/arc//arc00006_ A DG2/rac/arc//arc00007_ LIST ARCHIVELOG ALL コマンドにて最新のログが含まれていないことを確認し RMAN から DELETE ARCHIVELOG ALL にて削除します もし RESETLOGS によってリセットされた以降のログが含まれている場合には 個別に指定の上削除するようにします ( 例にはそのための記述は 含まれていません ) 削除の際に 再度削除対象のアーカイブ ログを確認します RMAN> delete archivelog all; チャネル : ORA_DISK_1 が割り当てられましたチャネル ORA_DISK_1: sid=181 devtype=disk アーカイブ ログ コピーのリスト Key Thrd Seq S Low 時刻 Name A DG2/rac/arc//arc00010_ A DG2/rac/arc//arc00011_ A DG2/rac/arc//arc00012_ A DG2/rac/arc//arc00013_ A DG2/rac/arc//arc00014_ A DG2/rac/arc//arc00015_ A DG2/rac/arc//arc00016_ Page(s): 29/33

30 A DG2/rac/arc//arc00017_ A DG2/rac/arc//arc00018_ A DG2/rac/arc//arc00019_ A DG2/rac/arc//arc00020_ A DG2/rac/arc//arc00001_ A DG2/rac/arc//arc00002_ A DG2/rac/arc//arc00003_ A DG2/rac/arc//arc00004_ A DG2/rac/arc//arc00005_ A DG2/rac/arc//arc00006_ A DG2/rac/arc//arc00007_ このオブジェクトを削除しますか (YES または NO を入力してください ) yes アーカイブ ログを削除しましたアーカイブ ログ ファイル名 =+DG2/rac/arc//arc00010_ レコード ID=1 スタンプ = アーカイブ ログを削除しました ~ 途中省略 ~ アーカイブ ログ ファイル名 =+DG2/rac/arc//arc00007_ レコード ID=19 スタンプ = オブジェクトを削除しました 削除後最終的に クリアになっているのを確認します その後 強制的にログスイッチを発生させ ログ順序番号が 1 番からになっているのを確認します RMAN> list archivelog all; 指定がリカバリ カタログのどのアーカイブ ログとも一致しません SQL> alter system switch logfile; システムが変更されました RMAN> list archivelog all; アーカイブ ログ コピーのリスト Key Thrd Seq S Low 時刻 Name A DG2/rac/arc//arc00001_ バックアップ制御ファイルを使用してリカバリすると ローカル管理一次表領域から一次ファイルのエントリが削除されるため再追加をします SQL> alter tablespace temp add tempfile '+DG1/rac/temp.dbf' size 500M; 表領域が変更されました SQL> COL NAME FORMAT A30 SQL> select FILE#,TS#,NAME,STATUS from v$tempfile; Page(s): 30/33

31 FILE# TS# NAME STATUS DG1/rac/temp.dbf ONLINE 次に リカバリ カタログの完全再同期が必要なため 通常は RESET DATABASE を実行します しかし 事前に LIST ARCHIVELOG ALL を実行した際に自動的に行われているため LIST INCARNATION により更新された状況だけを確認しておきます RMAN> reset database; データベース インカネーションはすでに登録されています RMAN> list incarnation; データベース インカネーション リスト DB Key Inc Key DB Name DB ID STATUS Reset SCN Reset Time RAC PARENT RAC CURRENT 最後に 通常運用の際には再度完全なフルバックアップを実行するようにします また 忘れずにもう一方のノードも起動し最終的に RAC としての状況確認を行います Page(s): 31/33

32 9. NetVault Server に使用する OS の違い 今回の検証では NetVault Server に Linux を使用した場合と Windows を使用した場合の 2 種類の環境で動作の確認を行いました 画面のスクリーンショットは Linux のものを使用して説明していますが 基本的な設定や考え方は一緒です 図 9-1 同じ設定についての GUI の違い 左側 :Linux 右側 :Windows ほとんどの設定に違いはないのですが NetVault では Linux および Windows 上において日本語メニューによる GUI 環境が使用できるようになっています しかし OS が混在する場合には 英語表示に統一していただく必要があります Linux を NetVault Server に使用する場合には 両方で英語表示設定にしてインストールすることになります 図 9-2 Windows 用モジュールインストール時の言語設定 Linux 用モジュールインストール時の言語設定 Have you read and agreed to the terms of the license? (y = yes, n = no, d = display license) (y n d) [d] : y Should a client or server version of NetVault be installed? (c s) [c] : s Select language? (1 English, 2 JapaneseEUC) [1] : - English selected Page(s): 32/33

33 10. 検証結果および考察 以上の検証により NetVault を使用して Oracle10g RAC の環境で VaultDR によるシステムのバックアップ ASM 領域の Raw Device Plugin によるオフライン バックアップ Oracle RMAN APM を使用してのオンライン バックアップの運用が可能であることが確認できました また Oracle10g RAC 環境のすべてのデータが失われた状態からの復旧については 以下の手順により復旧が可能なことを確認しました 1 VaultDR による各ノードのシステムリストア 2 各ノードを起動し 片側のノードから ASM に使用している共有ディスクのデータを Raw Device Plugin により取得したバックアップからリストア 3 片側のノードを nomount 状態で起動後 Oracle RMAN APM により取得した最新のバックアップより 必要なデータをリストアおよびリカバリ 4 もう一方のノードを起動し 状況を確認 VaultDR を使用すれば 45GB 程度のシステムの復旧が 1000BaseT の環境で 20 分程度ですみやかに行えます なお VaultDR をご検討の際には必ず事前に各バージョンの VaultDR 使用要項を確認するようにしてください また NetVault Server の OS の種類による違いは確認できませんでした Page(s): 33/33