Article ID: NVSI-100222JP Created: 2010/10/22 Revised: -- Oracle Exadata v2 バックアップ動作検証 1. 検証目的 Oracle Exadata Version 2 上で稼動する Oracle Database11g R2 Real Application Clusters( 以下 Oracle11g R2 RAC) 環境において NetVault Backup を使用し InfiniBand 経由で Oracle データベースのバックアップ / リストアが問題なく行えることを確認するために検証を行います 2. 検証環境 2.1 構成図 Ethernet Switch Fujitsu PRIMERGY RX300S5 Datacenter InfiniBand Switch 36 FC Switch SN2DM485A Fujitsu ETERNUS LT250 Exadata Storage Server Page(s): 1/7
2.2 ハードウェア構成 (1) DB サーバ 表 2-1 ハードウェア構成 (DB サーバ ) [cocoam01:node1] 表 2-2 ハードウェア構成 (DB サーバ ) [cocoam02:node2] 表 2-3 ハードウェア構成 (DB サーバ ) [cocoam03:node3] 表 2-4 ハードウェア構成 (DB サーバ ) [cocoam04:node4] (2) バックアップ サーバ 表 2-5 ハードウェア構成 ( バックアップ サーバ ) [bkexa:10.25.25.153] 富士通 PRIMERGY RX300S5 Intel Xeon 5570 x2 16GB 内蔵ディスク容量 146GB SAS x3 RAID5 300GB FC Card Emulex Corporation Zephyr LightPulse Fibre Channel Host Adapter x2 (3) ディスク 表 2-6 ハードウェア構成 ( ディスク ) [Exadata Storage Server] x7 台 Exadata Storage Server: I/F InfiniBand Page(s): 2/7
(4) テープ 表 2-7 ハードウェア構成 ( テープ ) [ETERNUS LT250] 富士通 ETERNUS LT250 Drive IBM ULTRIUM TD4 (LTO4) x3 I/F FC 2.3 ソフトウェア構成 表 2-8 ソフトウェア構成 [cocoam01:node1] cocoam01 DB Software Oracle11g R11.2.0.x:ORACLE_SID=dbm1 表 2-9 ソフトウェア構成 [cocoam02:node2] cocoam02 DB Software Oracle11g R11.2.0.x:ORACLE_SID=dbm2 表 2-10 ソフトウェア構成 [cocoam03:node3] cocoam03 DB Software Oracle11g R11.2.0.x:ORACLE_SID=dbm3 表 2-11 ソフトウェア構成 [cocoam04:node4] cocoam04 DB Software Oracle11g R11.2.0.x:ORACLE_SID=dbm4 表 2-12 ソフトウェア構成 [bkexa] bkexa OS Red Hat Enterprise Linux 5.5 2.4 ディスク構成 表 2-8 パーティション構成 [cocoam01-04:node1-4] パーティション Type マウントポイント /Raw Device 使用 /dev/mapper/vgexadb-lvdbsys1 ext3 / /dev/sda1 ext3 /boot /dev/mapper/vgexadb-lvdbora1 ext3 /u01 Page(s): 3/7
表 2-10 パーティション構成 [bkexa] パーティション Type マウントポイント /Raw Device 使用 /dev/sda1 ext3 /boot /dev/sda2 exit3 / 2.5 Oracle 構成 表 2-11 Oracle 構成 設定内容 設定値 Oracle SID dbm1 (cocoam01) dbm2 (cocoam02) dbm3 (cocoam03) dbm4 (cocoam04) NLS_LANG Japanese_Japan.JA16EUC ORACLE_HOME /u01/app/oracle/product/11.2.0/dbhome_1 データ ファイル SYSTEM +DATA/dbm/datafile/system.261.726261927 TEMP +DATA/dbm/tempfile/temp.264.726261945 UNDO01 +DATA/dbm/datafile/undotbs1.263.726261939 UNDO02 +DATA/dbm/datafile/undotbs2.265.726261957 UNDO03 +DATA/dbm/datafile/undotbs3.266.726261961 UNDO04 +DATA/dbm/datafile/undotbs4.267.726261967 USERS +DATA/dbm/datafile/users.268.726261973 TEST +DATA/dbm/datafile/test.321.727805159 +DATA/dbm/datafile/test.322.727805273 +DATA/dbm/datafile/test.323.727805285 +DATA/dbm/datafile/test.324.727805297 +DATA/dbm/datafile/test.325.727805307 +DATA/dbm/datafile/test.326.727805319 +DATA/dbm/datafile/test.327.727805331 +DATA/dbm/datafile/test.328.727805341 +DATA/dbm/datafile/test.329.727805353 +DATA/dbm/datafile/test.330.727805363 +DATA/dbm/datafile/test.331.727812081 +DATA/dbm/datafile/test.332.727812093 +DATA/dbm/datafile/test.333.727812103 +DATA/dbm/datafile/test.334.727812115 +DATA/dbm/datafile/test.335.727812127 +DATA/dbm/datafile/test.336.727812137 +DATA/dbm/datafile/test.337.727812149 SYSAUX +DATA/dbm/datafile/sysaux.262.726261933 アーカイブ ログ +DECO/dbm/archivelog/ 制御ファイル +DATA/dbm/controlfile/current.256.726261889 +RECO/dbm/controlfile/current.256.726261889 Init ファイル /u01/app/oracle/product/11.2.0/dbhome_1/dbs/initdbm1.ora サーバパラメータファイル +DATA/dbm/spfiledbm.ora オンライン REDO ログ +DATA/dbm/onlinelog/group_1.257.726261893 +RECO/dbm/onlinelog/group_1.257.726261897 +DATA/dbm/onlinelog/group_2.258.726261901 +RECO/dbm/onlinelog/group_2.258.726261905 +DATA/dbm/onlinelog/group_3.259.726261909 +RECO/dbm/onlinelog/group_3.259.726261913 +DATA/dbm/onlinelog/group_4.260.726261917 +RECO/dbm/onlinelog/group_4.260.726261923 +DATA/dbm/onlinelog/group_13.269.726262367 +RECO/dbm/onlinelog/group_13.261.726262373 +DATA/dbm/onlinelog/group_14.270.726262377 +RECO/dbm/onlinelog/group_14.262.726262381 Page(s): 4/7
+DATA/dbm/onlinelog/group_15.271.726262385 +RECO/dbm/onlinelog/group_15.263.726262389 +DATA/dbm/onlinelog/group_16.272.726262393 +RECO/dbm/onlinelog/group_16.264.726262399 +DATA/dbm/onlinelog/group_9.273.726262403 +RECO/dbm/onlinelog/group_9.265.726262407 +DATA/dbm/onlinelog/group_10.274.726262411 +RECO/dbm/onlinelog/group_10.266.726262415 +DATA/dbm/onlinelog/group_11.275.726262419 +RECO/dbm/onlinelog/group_11.267.726262423 +DATA/dbm/onlinelog/group_12.276.726262429 +RECO/dbm/onlinelog/group_12.269.726262433 +DATA/dbm/onlinelog/group_5.277.726262437 +RECO/dbm/onlinelog/group_5.270.726262441 +DATA/dbm/onlinelog/group_6.278.726262445 +RECO/dbm/onlinelog/group_6.271.726262451 +DATA/dbm/onlinelog/group_7.279.726262455 +RECO/dbm/onlinelog/group_7.273.726262459 +DATA/dbm/onlinelog/group_8.280.726262463 +RECO/dbm/onlinelog/group_8.274.726262467 (1) Oracle11g R2 RAC 構成についてすべての構成は Oracle Exadata v2 における標準的な導入方法に基づいており 検証前に事前にアーカイブ ログの構成が行われています (2) テスト データ作成 tablespace TEST 上にテスト データを登録しています 3. NetVault Backup インストール 3.1 NetVault Backup インストール NetVault Backup 8.5.x インストレーション ガイドおよび NetVault Backup アドミニストレーターズ ガイド等に従って NetVault Backup Server および NetVault Backup Client を通常の Linux(x86-64) 環境と同様に導入しています なお すべての NetVault Backup Server/Client で OS として x86-64 用の Linux が使用されているため 対応する NetVault Backup のモジュールも x86-64 用を使用します 各ノードにインストール後に NetVault Backup Server から 4 台の NetVault Backup Client をクライアントとして登録します 3.2 デバイス登録 デバイス管理より テープデバイスの登録を行います 本検証では 3 台の LTO4 ドライブを搭載した FC 接続の FUJITSU LT250 テープ ライブラリを使用しています 3.3 Oracle APM インストール クライアント管理画面から各ノードの DB サーバに対して Oracle APM のインストールを行います Oracle RAC 環境におけるバックアップの構成方法はいくつかありますが 本検証では複数の RAC ノードに NetVault Backup をインストールし 一つのノードからバックアップを実行し ノード障害時には別のノードからリストアを行うことができる構成を行っています 詳細については 下記 FAQ のタイプ [B-3] を参照してください http://www.bakbone.co.jp/support/faq_product/nvp00042.html Page(s): 5/7
4. バックアップ運用方式について (1) バックアップ取得方法 1 つのノードから NetVault Backup Server に接続されたテープ装置にネットワーク経由にてバックアップを実行 (2) バックアップ対象ファイル データ ファイル [ 共有ストレージ :ASM] アーカイブ ログ ファイル [ 共有ストレージ :ASM] 制御ファイル [ 共有ストレージ :ASM] サーバパラメータファイル [ 共有ストレージ :ASM] 初期化パラメータファイル [ ローカル ] (3) バックアップ運用方式 オンライン バックアップ (Oracle APM 使用 ) (4) リカバリ カタログに関する注意 RMAN(Recovery Manager) を使用してバックアップされたデータに関する情報は カレント制御ファイルまたはリカバリ カタログに格納されます RMAN 使用時にリカバリ カタログを使用する際には リカバリ カタログ自身を RAC 構成とは異なる Oracle サーバへの格納や そのバックアップを行うことが必要となります その他一般的なバックアップに関する注意事項は 通常のスタンドアロンの Oracle 環境と違いはありません 本検証では制御ファイルを使用して実施されています 制御ファイルを使用する場合には カタログデータの保持期間が標準では短い事や 別途制御ファイル自身のバックアップについて検討する必要があることに注意してください 上記は 一般的な Oracle RAC 環境におけるバックアップのポイントになります 更なる詳細については Oracle APM のユーザーズ ガイドをご参照ください 5. 検証内容および結果 5.1 検証結果 Oracle Exadata Version 2 自体は Oracle Enterprise Linux 5 上で稼働する一般的な Linux(x86-64) であり また稼働する Oracle は Oracle Database 11g R2 の RAC 構成であり どちらも NetVault Backup および Oracle APM の正式なサポート対象です そのため Oracle Exadata に関する特別な動作検証は必要ありません 今回は 主に InfiniBand を使用した構成であるという理由で 検証を実施しました 検証結果内容 Oracle Database のフルバックアップ Oracle Database の特定表領域のバックアップ Oracle Database の特定表領域のリストア Oracle Database の3チャンネルを使用した特定表領域のバックアップ 結果成功成功成功成功 5.2 3 チャネルを使用したバックアップにおけるパフォーマンスについて 本環境では LTO4 のドライブが 3 台 NetVault Backup サーバに登録されています Page(s): 6/7
この 3 台のドライブを最大現使用できるように Oracle APM 側で複数チャネルを使用したバックアップの設定を行い バックアップのパフォーマンスを確認しました その結果 ネットワーク経由のバックアップにも関わらず通常の Gigabit Ethernet では最大でも 100MB/s くらいの転送レートになりますが InfiniBand を使用した本環境では 3 チャネル同時で合計 300MB/s を超えるパフォーマンスが出ることを確認しました 6. まとめ 1 バックボーン ソフトウエアでは Oracle Exadata Version 2 の稼働環境である Oracle Enterprise Linux Version 5 および Oracle Database 11g R2 を バックアップ ソフトウェアである NetVault Backup および Oracle のオンライン バックアップを実現する Oracle APM にて 正式対応しています 2 Oracle Exadata Version 2 の環境において NetVault Backup および Oracle APM を使用したオンライン バックアップとリストアが正常に稼働することを確認しました 3 Oracle Exadata Version 2 では ノード間および Storage Server との接続に InfiniBand を使用しています 今回 バックアップ サーバとのネットワーク接続にも InfiniBand を使用し 正常にバックアップ / リストアが通常のイーサネット環境と同様にできることを確認しました なお イーサネットと InfiniBand を併用している場合には 優先ネットワーク等の指定が可能です 4 3 チャネルを使用した Oracle の RMAN 経由でのバックアップでは 3 多重でバックアップが行われることで 300MB/s を超える転送レートにより 合計 30GB のバックアップが 87 秒で完了したことを確認いたしました これは 仮に 1TB のデータがあった場合にバックアップが 48 分で完了する計算になります Page(s): 7/7