FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド（サーバ接続編） ファイバチャネル/Linux用

Transcription

1 FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド ( サーバ接続編 ) ファイバチャネル /Linux 用

2 このページは 空白です

3 はじめに 本書は ETERNUS DX/AF を Linux が動作するサーバにファイバチャネル接続して使用するために必要な作業について説明しています 本書は ETERNUS DX/AF サーバ OS ファイバチャネルカード およびドライバソフトウェアの説明書と併せてご使用ください なお 本書に記載している製品の商標 製品名などの表記については 構築ガイド ( サーバ接続編 ) 表記について を参照してください OS がサポートするストレージシステムについては ETERNUS DX/AF のサポート組み合わせ表を参照してください 第 28 版 2018 年 9 月 本書の内容と構成 本書は以下に示す 13 章と付録から構成されています 第 1 章作業の流れ (8 ページ ) ETERNUS DX/AF を Linux が動作するサーバに接続する場合の作業の流れについて説明しています 第 2 章環境の確認 (12 ページ ) ETERNUS DX/AF を接続できるサーバの環境について説明しています 第 3 章留意事項 (14 ページ ) 作業を行う際の留意事項について説明しています 第 4 章 ETERNUSmgr のインストールと設定 (19 ページ ) ETERNUSmgr のインストールについて説明しています 第 5 章 ETERNUS DX/AF の設定 (20 ページ ) ETERNUS DX/AF の設定について説明しています 第 6 章ファイバチャネルスイッチの設定 (21 ページ ) ファイバチャネルスイッチの設定について説明しています 第 7 章ドライバのインストールとサーバの環境設定 (23 ページ ) ファイバチャネルカードドライバのインストールおよびサーバの設定について説明しています 第 8 章サーバと ETERNUS DX/AF の接続 (24 ページ ) サーバと ETERNUS DX/AF の設定について説明しています 第 9 章論理ユニットの認識 (25 ページ ) ETERNUS DX/AF の論理ユニットを サーバから認識するための作業について説明しています 第 10 章マルチパスドライバの設定と確認 (28 ページ ) マルチパス接続する場合のマルチパスの設定について説明しています 第 11 章ファイルシステムの設定 (29 ページ ) ファイルシステムを作成する作業について説明しています 第 12 章ストレージマイグレーションについて (30 ページ ) ストレージマイグレーションについて説明しています 3

4 はじめに 第 13 章無停止ストレージマイグレーションについて (37 ページ ) 無停止ストレージマイグレーションについて説明しています 付録として Veritas Volume Manager 環境におけるパスの縮退発生時の復旧について記載しています ファイバチャネルカード型名の表記 サポート組み合わせ表 を参照し ご使用のカードを確認してください 以下の型名のファイバチャネルカードを 富士通版 Emulex ファイバチャネルカード と表記しています - PG-FC105 - PG-FC106 - PG-FC107 - PG-FC201 - PG-FC202/PG-FC202L - PG-FC203/PG-FC203L - PG-FC204/PG-FC204L - PY-FC201/PY-FC201L - PY-FC202/PY-FC202L - PY-FC221/PY-FC222 - PY-FC331/PY-FC331L - PY-FC332/PY-FC332L - PY-FC351/PY-FC351L - PY-FC352/PY-FC352L - PG-FCD201 - PG-FCD202 - MC-08FC11/MC-08FC71 - MC-08FC31/MC-08FC41 - MC-08FC51/MC-08FC61 - MC-08FC81/MC-08FC91 - MC-0JFC11/MC-0JFC1L - MC-0JFC21/MC-0JFC2L - MC-0JFC31/MC-0JFC3L - MC-0JFC41/MC-0JFC4L - MC-0JFC71/MC-0JFC7L - MC-0JFC81/MC-0JFC8L - MC-0JFC91/MC-0JFC9L - MC-0JFCA1/MC-0JFCAL - MC-0JFCF1/MC-0JFCF2/MC-0JFCF1L/MC-0JFCF2L - MC-0JFCG1/MC-0JFCG2/MC-0JFCG1L/MC-0JFCG2L - MC-0JFCM1/MC-0JFCM2/MC-0JFCM1L/MC-0JFCM2L - MC-0JFCN1/MC-0JFCN2/MC-0JFCN1L/MC-0JFCN2L 4

5 はじめに 以下の型名のファイバチャネルカードを 富士通版 QLogic ファイバチャネルカード と表記しています - PG-FCD101 - PG-FCD102 - PG-FC205/PG-FC205L - PG-FC206/PG-FC206L - PY-FC211/PY-FC211L - PY-FC212/PY-FC212L - PY-FC311/PY-FC311L - PY-FC312/PY-FC312L - PY-FC321/PY-FC321L - PY-FC322/PY-FC322L - PY-FC341/PY-FC341L - PY-FC342/PY-FC342L - MC-0JFC51/MC-0JFC5L - MC-0JFC61/MC-0JFC6L - MC-0JFCB1/MC-0JFCBL - MC-0JFCC1/MC-0JFCCL - MC-0JFCP1/MC-0JFCP2/MC-0JFCP1L/MC-0JFCP2L - MC-0JFCQ1/MC-0JFCQ2/MC-0JFCQ1L/MC-0JFCQ2L - MC-0JFCK1/MC-0JFCK2/MC-0JFCK1L/MC-0JFCK2L - MC-0JFCL1/MC-0JFCL1L 5

6 目次 第 1 章作業の流れ 8 第 2 章環境の確認 ハードウェア OS( オペレーティングシステム ) ファイバチャネルカード ETERNUS Multipath Driver Veritas Volume Manager (VxVM) device-mapper multipath Veritas Cluster Server (VCS)...13 第 3 章留意事項 接続に関する留意事項 Linux での SCSI 装置の扱いについて Red Hat Enterprise Linux に関する留意事項 Oracle Linux に関する留意事項 SUSE Linux Enterprise Server に関する留意事項 ファイバチャネルカードに関する留意事項 ファイバチャネルスイッチに関する留意事項 電源投入および電源制御に関する留意事項 システムデザインシートに関する留意事項 Veritas Volume Manager (VxVM) に関する留意事項 Veritas Volume Manager (VxVM) の Dynamic Multipathing (DMP) に関する留意事項 Veritas Cluster Server (VCS) に関する留意事項 ETERNUS DX/AF の接続に関する留意事項 パス増設に関する留意事項 SAN Boot に関する留意事項 ファイルシステムの作成およびマウント時の留意事項 シン プロビジョニングボリュームを使用する場合の留意事項

7 目次 3.17 max_sectors_kb を変更する場合の留意事項...18 第 4 章 ETERNUSmgr のインストールと設定 19 第 5 章 ETERNUS DX/AF の設定 20 第 6 章ファイバチャネルスイッチの設定 21 第 7 章ドライバのインストールとサーバの環境設定 23 第 8 章サーバと ETERNUS DX/AF の接続 24 第 9 章論理ユニットの認識 認識した論理ユニットの表示 Red Hat Enterprise Linux または Oracle Linux の場合 SUSE Linux Enterprise Server の場合 第 10 章マルチパスドライバの設定と確認 ETERNUS Multipath Driver の設定と確認 device-mapper multipath の設定と確認...28 第 11 章ファイルシステムの設定 29 第 12 章ストレージマイグレーションについて 30 第 13 章無停止ストレージマイグレーションについて 37 付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順 42 7

8 第 1 章作業の流れ この章では ETERNUS DX/AF を Linux が動作するサーバと接続する場合の作業について説明しています シングルパス接続 マルチパス接続によって作業の内容が異なります ファイバチャネルスイッチを使用して接続する場合は 構築ガイド ( サーバ接続編 ) ファイバチャネル / ファイバチャネルスイッチ設定用 を参照して 確認を十分に行ってから作業を実施してください 作業の流れは以下のとおりです 使用するマルチパスドライバ ETERNUS Multipath Driver Veritas Volume Manager device-mapper multipath 使用するドキュメント サポート組み合わせ表 サポート組み合わせ表 FC-SWITCH 編 接続する ETERNUS DX/AF に対応する 構築ガイド ( サーバ接続編 ) ストレージシステム設定用 構築ガイド ( サーバ接続編 ) ファイバチャネル / ファイバチャネルスイッチ設定用 構築ガイド ( サーバ接続編 ) ファイバチャネル /Linux 用ファイバチャネルカードドライバ設定 構築ガイド ( サーバ接続編 ) ファイバチャネル /FCoE/iSCSI/SAS/Linux 用 device-mapper multipath 設定 ETERNUS Web GUI ユーザーズガイド ETERNUSmgr インストールガイド ETERNUSmgr ユーザーガイド 各製品添付のマニュアル ( サーバ ファイバチャネルカード ファイバチャネルカードドライバ マルチパスドライバ VxVM) 8

9 第 1 章 作業の流れ 作業の流れ ETERNUSmgr のインストールと ETERNUS DX/AF の設定 ETERNUSmgr を利用する場合は ETERNUSmgr をインストールして ETERNUS DX/AF を設定します 第 4 章 ETERNUSmgr のインストールと設定 (19 ページ ) 第 5 章 ETERNUS DX/AF の設定 (20 ページ ) ETERNUS Web GUI の操作の確認 - ETERNUS Web GUI ユーザーズガイド ETERNUSmgr のインストール - ETERNUSmgr インストールガイド ETERNUSmgr の操作の確認 - ETERNUSmgr ユーザーガイド ETERNUS DX/AF の設定 - 接続する ETERNUS DX/AF に対応する 構築ガイド ( サーバ接続編 ) ストレージシステム設定用 ファイバチャネルスイッチの設定ファイバチャネルスイッチを使用する場合 ファイバチャネルスイッチを設定します 第 6 章ファイバチャネルスイッチの設定 (21 ページ ) ファイバチャネルスイッチの設定 - 構築ガイド( サーバ接続編 ) ファイバチャネル / ファイバチャネルスイッチ設定用 ファイバチャネルのサポート環境などの確認 - サポート組み合わせ表 FC-SWITCH 編 ドライバのインストール 使用するファイバチャネルカードのドライバをインストールします 使用する OS の種類 サーバの種類 ファイバチャネルカードの種類によって 参照するドキュメントが異なります 環境に合わせて参照するドキュメントを以下から選択してください 第 7 章ドライバのインストールとサーバの環境設定 (23 ページ ) カードの装着 ドライバのインストール 設定 - 構築ガイド ( サーバ接続編 ) ファイバチャネル /Linux 用ファイバチャネルカードドライバ設定 使用するカードのドライバ版数などを確認 - サポート組み合わせ表 9

10 第 1 章 作業の流れ ETERNUS Multipath Driver を使用する場合 Veritas Volume Manager または device-mapper multipath を使用する場合 またはマルチパスドライバを使用しない場合 ETERNUS Multipath Driver のインストール ETERNUS Multipath Driver をインストールします 第 10 章マルチパスドライバの設定と確認 (28 ページ ) マルチパスドライバのインストールおよび設定 - マルチパスドライバ添付のマニュアル 対応するマルチパスドライバの確認 - サポート組み合わせ表 サーバと ETERNUS DX/AF の接続 サーバと ETERNUS DX/AF をファイバチャネルケーブルで接続します 第 8 章サーバと ETERNUS DX/AF の接続 (24 ページ ) 10

11 第 1 章 作業の流れ 論理ユニットの認識 ETERNUS DX/AF の論理ユニット (LUN) を認識させます 第 9 章論理ユニットの認識 (25 ページ ) ETERNUS Multipath Driver を使用する場合 またはマルチパスドライバを使用しない場合 Veritas Volume Manager を使用する場合 device-mapper multipath を使用する場合 Veritas Volume Manager のインストール Veritas Volume Manager をインストールします Veritas Volume Manager のインストールおよび設定 - 製品のマニュアル 対応するマルチパスドライバの確認 - サポート組み合わせ表 device-mapper multipath の設定と確認 device-mapper multipath の設定と確認を行います 第 10 章マルチパスドライバの設定と確認 (28 ページ ) device-mapper multipath の設定 - 構築ガイド ( サーバ接続編 ) ファイバチャネル / FCoE/iSCSI/SAS/Linux 用 device-mapper multipath 設定 ファイルシステムの作成 ファイルシステムを作成します 第 11 章ファイルシステムの設定 (29 ページ ) 11

12 第 2 章環境の確認 以下の環境のサーバと接続できます ご使用のサーバ環境を サポート組み合わせ表 で確認してください 2.1 ハードウェア サポート組み合わせ表 を確認してください 2.2 OS( オペレーティングシステム ) サポート組み合わせ表 を確認してください 2.3 ファイバチャネルカード サポート組み合わせ表 を確認してください 2.4 ETERNUS Multipath Driver サポート組み合わせ表 を確認してください 2.5 Veritas Volume Manager (VxVM) サポート組み合わせ表 を確認してください 2.6 device-mapper multipath サポート組み合わせ表 を確認してください 12

13 第 2 章環境の確認 2.7 Veritas Cluster Server (VCS) 2.7 Veritas Cluster Server (VCS) サポート組み合わせ表 を確認してください 13

14 第 3 章留意事項 作業を行う際は 以下の事項に留意してください 3.1 接続に関する留意事項 Linux での SCSI 装置の扱いについて ETERNUS DX/AF はファイバチャネルケーブル経由で接続された SCSI ディスクとして扱われ サーバからは ETERNUS DX/AF のディスクは論理ユニット (LUN) として扱われます また Linux では SCSI ディスク装置は /dev 配下に以下のように定義されています (LUN) sda sdb : sdz sdaa-sdaz sdba-sdbz sdca-sdcz sdda-sddx : sdia-sdiv sda1, sda2,.... sda15 sdb1, sdb2,.... sdb15 sdzl, sdz2,.... sdz15 sdaa1, sdaa2,.... sdaz15 sdba1, sdba2,.... sdbz15 sdca1, sdca2,.... sdcz15 sdda1, sdda2,.... sddx15 sdia1, sdia2,.... sdiv Red Hat Enterprise Linux に関する留意事項 RHEL に関する内容については Red Hat 社の Web サイトおよびマニュアルなどで確認してください 3.3 Oracle Linux に関する留意事項 Oracle Linux に関する内容については Oracle 社の Web サイトおよびマニュアルなどで確認してください 3.4 SUSE Linux Enterprise Server に関する留意事項 SLES に関する内容については Novell 社の Web サイトおよびマニュアルなどで確認してください 14

15 第 3 章留意事項 3.5 ファイバチャネルカードに関する留意事項 3.5 ファイバチャネルカードに関する留意事項 サーバに OS のインストールを完了したあとにファイバチャネルカードを装着した場合 装着後の OS 起動時には自動的にファイバチャネルカードが認識されます その際に応答を求められた場合には以下のとおり応答してください Red Hat Enterprise Linux の場合 システム起動時に kudzu が自動起動します Ignore を選択してください SUSE Linux Enterprise Server の場合 システム起動時に 新しいハードウェア検出 ウィンドウが表示されます いいえ を選択してください RHEL6.3 または Oracle Linux 6.3 で QLogic 社製ファイバチャネルカードを使用している場合 ファイバチャネル接続のリンク切れ時に ホスト側のログに LOOP DOWN が表示されない場合があります 3.6 ファイバチャネルスイッチに関する留意事項 サーバと ETERNUS DX/AF 間でファイバチャネルスイッチ (ETERNUS SN200 series, Brocade series) を使用する場合は 構築ガイド ( サーバ接続編 ) ファイバチャネル / ファイバチャネルスイッチ設定用 を読み 事前準備およびファイバチャネルスイッチの設定作業を必ず行ってください QLogic 社製 4Gbit/s 対応ファイバチャネルカードを ファイバチャネルスイッチ (ETERNUS SN200 series, Brocade series) と接続するときに SFP が起因で正しくリンクアップされない場合は QLogic 社製 4Gbit/s 対応ファイバチャネルカードの BIOS 設定を変更します SFP に関する詳細は 当社保守員にご確認ください 3.7 電源投入および電源制御に関する留意事項 サーバの電源を投入する際は ETERNUS DX/AF およびファイバチャネルスイッチの電源が Ready 状態になっていることを確認してから投入してください Ready 状態になる前にサーバの電源を投入すると サーバから ETERNUS DX/AF を認識できません また サーバから ETERNUS DX/AF の電源制御を行う場合は サーバの稼働中に ETERNUS DX/AF やファイバチャネルスイッチの電源が切断されないように注意してください サーバより先に ETERNUS DX/AF やファイバチャネルスイッチの電源が切断されると ETERNUS DX/AF にデータを保存できなかったり 保存したデータが破壊されたりすることがあります 3.8 システムデザインシートに関する留意事項 システムデザインシートとは ETERNUS DX/AF を導入する際に 導入作業を容易に行うためのワークシートです システムの導入や導入後のシステム変更 増設 保守に際して現在の環境の保存が重要となります システムデザインシートを作成することで導入がスムーズに行え システムの保守も容易となります 15

16 第 3 章留意事項 3.9 Veritas Volume Manager (VxVM) に関する留意事項 3.9 Veritas Volume Manager (VxVM) に関する留意事項 VxVM を使用する構成に ETERNUS DX/AF を接続する場合は Veritas アレイサポートライブラリ (ASL) を必ずインストールしてください 必要な ASL は Veritas のサイトで確認 / 入手してください Veritas アレイサポートライブラリ (ASL) のインストールは VxVM のインストール後に行ってください VxVM5.1 以降の場合 ASL を別途インストールする必要はありません Linux や VxVM の版数にかかわらず Veritas Volume Manager を使用中に パスの縮退が発生した場合 パスの復旧後にボリュームの一部が正常に認識されないことがあります この場合は 使用しているファイバチャネルカードのベンダーから提供されているツールを使用して LUN を復旧させたあとに ボリュームを認識させる必要があります 詳細は 付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順 (42 ページ ) を参照してください 3.10 Veritas Volume Manager (VxVM) の Dynamic Multipathing (DMP) に関する留意事項 VxVM の DMP 機能を使用する場合は シングルパス構成で使用しないでください 3.11 Veritas Cluster Server (VCS) に関する留意事項 Veritas Cluster Server のインストールは Veritas Cluster Server に添付されているマニュアルに従って行ってください 3.12 ETERNUS DX/AF の接続に関する留意事項 ETERNUS DX/AF とサーバをファイバチャネルケーブルで接続する際には ETERNUS DX/AF の設定がすべて完了していることを確認してください なお WWN 自動取得機能はサーバとの接続が必要なため 使用しないでください ETERNUS DX/AF の LUN を正しく認識できないことがあります 3.13 パス増設に関する留意事項 device-mapper multipath を使用時 パス増設後に OS を再起動しない場合 増設したパスが自動認識されないことがあります その際には以下のコマンドを実行してください # multipath -r 16

17 第 3 章留意事項 3.14 SAN Boot に関する留意事項 3.14 SAN Boot に関する留意事項 ETERNUS DX/AF の論理ユニット (LUN) をブートディスクとして使用する場合は サポート組み合わせ表 で ご使用のサーバの環境を確認してください また 使用するサーバの SAN Boot 用マニュアル ( 環境構築ガイドなど ) も確認してください ブートディスクとして使用するためには OS のインストールに十分な容量の LUN を ETERNUS DX/AF に準備する必要があります 3.15 ファイルシステムの作成およびマウント時の留意事項 以下のすべてを満たす環境では ファイルシステム作成コマンドがエラー終了することがあります RHEL7.3 以降または SLES12 SP2 以降を使用している ETERNUS DX S3 series または ETERNUS AF series で ファームウェア版数が V10L70 より前 Allocation 方式が Thick の TPV または Thick の FTV を使用しているファイルシステムに応じて以下のオプションを追加し コマンドを実行してください ext3/ext4 ファイルシステムの場合 -E discard オプション例 ) # mkfs.ext4 -E discard < デバイス名 > xfs ファイルシステムの場合 -K オプション 例 ) # mkfs.xfs -K < デバイス名 > このファイルシステムをマウントするときは discard オプションを指定しないでください 17

18 第 3 章留意事項 3.16 シン プロビジョニングボリュームを使用する場合の留意事項 3.16 シン プロビジョニングボリュームを使用する場合の留意事項 以下のすべてを満たす環境では シン プロビジョニングボリュームの領域解放が正しく実行されないことがあります RHEL7.3 以降 SLES12 SP2 以降 Oracle Linux 6.9 Oracle Linux 6.10 または Oracle Linux 7.3 以降を使用している Allocation 方式が Thin の TPV または Thin の FTV を使用している これを回避するために 以下の手順を実施してください 1 /etc/udev/rules.d/ 配下に設定ファイル (99-eternus.rules) を配置し 以下の設定内容を記載します ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DXH", ATTR{ thin_provisioning}=="1", ATTR{provisioning_mode}="unmap" ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DXM", ATTR{ thin_provisioning}=="1", ATTR{provisioning_mode}="unmap" ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DXL", ATTR{ thin_provisioning}=="1", ATTR{provisioning_mode}="unmap" ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DX400", ATT R{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap" ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DX8000", AT TR{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap" 2 OS を再起動します 3.17 max_sectors_kb を変更する場合の留意事項 /sys/block/sdx/queue/max_sectors_kb を変更し 最大 I/O サイズのチューニングを実施する場合は max_sectors_kb の値が 7992 以下となるように設定してください 18

19 第 4 章 ETERNUSmgr のインストールと設定 ETERNUSmgr を使用する場合は ETERNUSmgr インストールガイド に従い ETERNUSmgr をインストールしてください インストール後は ETERNUSmgr ユーザーガイド に従って設定を行ってください 19

20 第 5 章 ETERNUS DX/AF の設定 ETERNUS Web GUI または ETERNUSmgr を使用して ETERNUS DX/AF の環境を設定します ETERNUS DX/AF の設定は サーバ装置の設定 ( セットアップ ) とは別に ETERNUS DX/AF 単体で行うことができます 設定方法については 以下のマニュアルを参照してください 接続する ETERNUS DX/AF に対応する 構築ガイド ( サーバ接続編 ) ストレージシステム設定用 ETERNUS Web GUI ユーザーズガイド または ETERNUSmgr ユーザーガイド 20

21 第 6 章ファイバチャネルスイッチの設定 サーバと ETERNUS DX/AF を ファイバチャネルスイッチを使用して接続する場合に必要な設定を行います 構築ガイド ( サーバ接続編 ) ファイバチャネル / ファイバチャネルスイッチ設定用 に従って設定してください ETERNUS SF Storage Cruiser を利用して アクセスパスを設定した場合 ホストレスポンスの設定は デフォルトの設定になります ホストレスポンスを設定変更している環境では ホストレスポンスを再設定してください 以下に サーバとファイバチャネルスイッチを接続し ゾーニングした場合のシステム構成例を示します 以下は 複数サーバの構成例です Name : Server#1 Name : Server#2 Port0 Port1 Port0 Port1 ZONE1 ZONE2 ZONE3 ZONE4 Port0 Port2 Port4 Port6 Port0 Port2 Port4 Port6 FC FC Port1 Port3 Port5 Port7 Port1 Port3 Port5 Port7 Port0 Port1 Port0 Port1 CM0 CM1 Name : RAID#1 ETERNUS DX/AF 21

22 第 6 章 ファイバチャネルスイッチの設定 以下は 1 サーバの構成例です Port0 Port1 ZONE1 ZONE3 ZONE4 ZONE2 Port0 Port2 Port4 Port6 Port0 Port2 Port4 Port6 FC FC Port1 Port3 Port5 Port7 Port1 Port3 Port5 Port7 Port0 Port1 Port0 Port1 CM0 CM1 ETERNUS DX/AF 22

23 第 7 章ドライバのインストールとサーバの環境設定 ファイバチャネルカードドライバのインストール およびサーバの環境設定を行います 構築ガイド ( サーバ接続編 ) ファイバチャネル /Linux 用ファイバチャネルカードドライバ設定 を参照して 設定を行ってください Emulex 社製のファイバチャネルカード または富士通版 Emulex ファイバチャネルカードを使用する場合 Emulex 社製ファイバチャネルカードを使用する場合の作業 の章を参照してください QLogic 社製のファイバチャネルカード または富士通版 QLogic ファイバチャネルカードを使用する場合 QLogic 社製ファイバチャネルカードを使用する場合の作業 の章を参照してください Brocade 社製のファイバチャネルカードを使用する場合 Brocade 社製ファイバチャネルカードを使用する場合の作業 の章を参照してください 23

24 第 8 章サーバと ETERNUS DX/AF の接続 ドライバのインストールが完了したあとに OS をシャットダウンしてください シャットダウン完了後にサーバと ETERNUS DX/AF 間をファイバチャネルケーブルで接続します 接続後 OS の起動を実施します 以降の作業はサーバと ETERNUS DX/AF が接続されていることが必要です 24

25 第 9 章論理ユニットの認識 Linux は起動時に自動的に SCSI ディスクを認識し 装置名を sda から順に割り当てます このとき内蔵 SCSI ディスクがあれば先に内蔵 SCSI ディスクを割り当て そのあとに ETERNUS DX/AF の LUN を割り当てます 例えば 内蔵 SCSI ディスクが 1 台あれば 以下のように SCSI 装置名が割り当てられます SCSI 装置名 by-id 名 ( 例 ) 内容 /dev/sda /dev/disk/by-id/scsi ac3fc013746ef6315e42c4 内蔵 SCSI ディスク /dev/sdb 以降 /dev/disk/by-id/scsi e00d /dev/disk/by-id/scsi e00d : ETERNUS DX/AF の LUN 9.1 認識した論理ユニットの表示 Linux 起動時のコンソールメッセージにドライバ版数 各 LUN の SCSI 装置名などの情報が表示されます コンソールメッセージは画面からすぐ消えますが 以下のコマンドで再表示できます Red Hat Enterprise Linux または Oracle Linux の場合 dmesg コマンドによる LUN 表示 Linux が ETERNUS DX/AF の LUN を認識したかどうかは dmesg コマンドを使用して判断できます 以下に例を示します #dmesg less : Emulex LightPulse FC SCSI/IP 4.21q PCI:Found IRQ 10 for device 03:06.0!lpfc0:031:Link Up Event received Data: PCI:Found IRQ 5 for device 04:02.0 IRQ routing conflict for 04:02.0,have irq 10,want irq 5!lpfc0:031:Link Up Event received Data: scsi3:emulex LPFC SCSI on PCI bus 03 device 30 irq 10 scsi4:emulex LPFC SCSI on PCI bus 04 device 10 irq 10 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 03 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 03 25

26 第 9 章論理ユニットの認識 9.1 認識した論理ユニットの表示 cat コマンドによる LUN 表示 cat コマンドで /proc/scsi/scsi ファイルを表示することで 認識された SCSI 装置がわかります 割り当てられた LUN をパスごとに確認してください 以下に例を示します # cat /proc/scsi/scsi Attached devices: Host: scsi2 Channel: 00 Id: 05 Lun: 00 Vender: HP Model: SAFTE; U160/M BP Rev: 1023 Type: processor ANSI SCSI revision: 02 Host: scsi2 Channel: 02 Id: 00 Lun: 00 Vender: MegaRAID Model: LD0 RAID0 8677R Rev: E Type: Direct-Access ANSI SCSI revision: 02 Host: scsi3 Channel: 00 Id: 00 Lun: 00 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 03 Host: scsi3 Channel: 00 Id: 00 Lun: 01 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: SUSE Linux Enterprise Server の場合 boot メッセージによる LUN 表示 Linux が ETERNUS DX/AF の LUN を認識したかどうかは /var/log/boot.msg ファイルをエディタなどで確認して判断できます 以下に例を示します ( 矢印キーで前後にスクロールできます ) <6>qla2x00_set_info starts at address - c <6>qla2x00: Found VID-1077 DID-2422 SSVID-1077 SSDID-134 <6>scsi(2): Found a bus l, device 0xa, 1rq 29, iobase 0xf9o0d <6>scsi2 : Qlogic QLA2422 PCI to Fibre Channel Host Adapter: bus l device 10 irq 29 <4> Firmware version: , Driver version (1) <4> <6>scsi3 : Qlogic QLA2422 PCI to Fibre Channel Host Adapter: bus l device 10 irq 30 <4> Firmware version: , Driver version (2) <4> <4> Vendor: FUJITSU Model: ETERNUS_DX400 Rev: 0000 <4> Type: Direct-Access ANSI SCSI revision: 05 <4> Vendor: FUJITSU Model: ETERNUS_DX400 Rev: 0000 <4> Type: Direct-Access ANSI SCSI revision: 05 <6>scsi(2:0:0:0): Enabled tagged queuing, queue depth 20. <6>scsi(2:0:0:1): Enabled tagged queuing, queue depth 20. <4>Attached scsi disk sdb at scsi2, channel 0, id 0, lun 0 <4>Attached scsi disk sdb at scsi2, channel 0, id 0, lun 1 <4>SCSI device sdb: byte hdwr sectors (2097 MB) <6> sdb: unknown partition table <4>SCSI device sdb: byte hdwr sectors (2097 MB) <6> sdb: unknown partition table (1) (2) は ドライバの版数です 26

27 第 9 章論理ユニットの認識 9.1 認識した論理ユニットの表示 cat コマンドによる LUN 表示 cat コマンドで /proc/scsi/scsi ファイルを表示することで 認識された SCSI 装置がわかります 割り当てられた LUN をパスごとに確認してください 以下に例を示します # cat /proc/scsi/scsi Attached devices: Host: scsi0 Channel: 00 Id: 04 Lun: 00 Vender: FUJITSU Model: MAP3735NC Rev: 5207 Type: Direct-Access ANSI SCSI revision: 03 Host: scsi0 Channel: 00 Id: 08 Lun: 00 Vender: SDR Model: GEM318 Rev: 0 Type: Processor ANSI SCSI revision: 02 Host: scsi1 Channel: 00 Id: 05 Lun: 00 Vender: SEAGATE Model: DAT 9SP Rev: 9M38 Type: Sequential-Access ANSI SCSI revision: 03 Host: scsi2 Channel: 00 Id: 00 Lun: 00 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 05 Host: scsi2 Channel: 00 Id: 00 Lun: 01 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 05 27

28 第 10 章マルチパスドライバの設定と確認 10.1 ETERNUS Multipath Driver の設定と確認 ETERNUS Multipath Driver を使用する場合は ETERNUS Multipath Driver に添付されているマニュアルに従って ETERNUS Multipath Driver の設定および確認を実施してください 10.2 device-mapper multipath の設定と確認 device-mapper multipath を使用する場合の設定と確認を行います 構築ガイド ( サーバ接続編 ) ファイバチャネル /FCoE/iSCSI/SAS/Linux 用 device-mapper multipath 設定 を参照して 設定および確認作業を行ってください 28

29 第 11 章ファイルシステムの設定 Linux が ETERNUS DX/AF の LUN を認識後 以下の処理を行うとアクセスできるようになります 区画設定 区画フォーマット 区画マウント Red Hat Enterprise Linux AS v.4 Update 4, Red Hat Enterprise Linux ES v.4 Update 4 以降で by-id 名を使用する場合には 取り扱うデバイス名が by-id 名となります 29

30 第 12 章ストレージマイグレーションについて 本章では ストレージマイグレーションを実施する場合にサーバで行う設定について説明します ストレージマイグレーションを実施する場合 サーバ (RHEL) から ETERNUS DX/AF の LUN を使用できるようにするための設定が必要です 設定手順の概要 ストレージマイグレーションの開始操作は ETERNUS Web GUI から行います それ以外の操作は すべてサーバ (RHEL) で行います 本手順では マルチパスドライバとして ETERNUS Multipath Driver または device-mapper を使用しています ストレージマイグレーションの手順には fstab を編集する場合および bindings を編集する場合の 2 種類の方法があります ETERNUS DX/AF を Raw デバイスとして使用する場合 bindings を編集する方法でストレージマイグレーションを実施してください fstab を編集する場合 1 対象の LUN をアンマウントします 2 /etc/fstab ファイルを編集し 対象の LUN をマウントしないように変更します 3 /etc/multipath.conf ファイルを編集し ETERNUS DX/AF のデバイス ID を変更します 4 サーバの電源を切断します 5 ストレージマイグレーションを開始してから 接続先を移行先の ETERNUS DX/AF へ変更し サーバを再起動します 6 対象の LUN を確認します 7 /etc/fstab ファイルを編集し マウントするように対象の LUN を変更したあと 対象の LUN をマウントします bindings を編集する場合 1 対象の LUN をアンマウントします 2 /etc/fstab ファイルを編集し 対象の LUN をマウントしないように変更します 3 /etc/multipath.conf ファイルを編集し ETERNUS DX/AF のデバイス ID を変更します 4 サーバの電源を切断します 5 ストレージマイグレーションを開始してから 接続先を移行先の ETERNUS DX/AF へ変更し サーバを再起動します 6 対象の LUN を確認します 30

31 第 12 章 ストレージマイグレーションについて 7 /var/lib/multipath/bindings ファイルを編集し エイリアスに対応する WWID を移行先の ETERNUS DX/AF の値に変更します 8 ファイルの編集をシステムに反映します 9 対象の LUN をマウントします 10 /etc/fstab ファイルを編集し 対象の LUN をマウントするように変更します 設定手順例 RHEL 5.10 で bindings を編集する場合の設定手順の例を以下に示します 1 対象の LUN にアクセスするプロセスを停止し 対象の LUN をアンマウントします 2 /etc/fstab ファイルを編集し 対象の LUN をマウントしないように変更します # vi /etc/fstab /dev/volgroup00/logvol00 / ext3 defaults 1 1 LABEL=/boot /boot ext3 defaults 1 2 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode= sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 /dev/volgroup00/logvol01 swap swap defaults 0 0 # /dev/mapper/mpath1p1 /mnt/lun0 ext3 defaults 0 0 f コメントアウト # /dev/mapper/mpath2p1 /mnt/lun1 ext2 defaults 0 0 f コメントアウト # /dev/mapper/mpath5p1 /mnt/lun4 ext3 defaults 0 0 f コメントアウト # /dev/mapper/mpath6p1 /mnt/lun5 ext4 defaults 0 0 f コメントアウト # /dev/vg1/lv1 /mnt/lvm0 ext4 defaults 0 0 f コメントアウト # 3 /etc/multipath.conf ファイルを編集し ETERNUS DX/AF のデバイス ID を変更します # vi /etc/multipath.conf # This is a basic configuration file with some examples, for device mapper # multipath. ( 中略 ) devices { device { vendor "FUJITSU" # product "ETERNUS_DX400" f 削除 product "ETERNUS_DXH" f 追加 ("ETERNUS_DX400" を "ETERNUS_DXH" に変更 ) prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur } } # 4 サーバの電源を切断します 31

32 第 12 章 ストレージマイグレーションについて 5 ETERNUS Web GUI からストレージマイグレーションを開始したあと 接続先を移行先の ETERNUS DX/AF へ変更し サーバを再起動します 6 対象の LUN を確認します # multipath -ll mpath16 ( e00d2b b ) dm-9 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:7 sdi 8:128 [active][ready] _ 6:0:0:7 sdq 65:0 [active][ready] mpath9 ( e00d2b b ) dm-2 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:0 sdb 8:16 [active][ready] _ 6:0:0:0 sdj 8:144 [active][ready] mpath15 ( e00d2b b ) dm-8 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:6 sdh 8:112 [active][ready] _ 6:0:0:6 sdp 8:240 [active][ready] mpath14 ( e00d2b b ) dm-7 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:5 sdg 8:96 [active][ready] _ 6:0:0:5 sdo 8:224 [active][ready] mpath13 ( e00d2b b ) dm-6 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:4 sdf 8:80 [active][ready] _ 6:0:0:4 sdn 8:208 [active][ready] mpath12 ( e00d2b b c0000) dm-5 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:3 sde 8:64 [active][ready] _ 6:0:0:3 sdm 8:192 [active][ready] mpath11 ( e00d2b b b0000) dm-4 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:2 sdd 8:48 [active][ready] _ 6:0:0:2 sdl 8:176 [active][ready] mpath10 ( e00d2b b a0000) dm-3 FUJITSU,ETERNUS_DXH [size=20g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 5:0:0:1 sdc 8:32 [active][ready] _ 6:0:0:1 sdk 8:160 [active][ready] # ( 続く ) 32

33 第 12 章 ストレージマイグレーションについて ( 続き ) # cat /var/lib/multipath/bindings # Multipath bindings, Version : 1.0 # NOTE: this file is automatically maintained by the multipath program. # You should not need to edit this file in normal circumstances. # # Format: # alias wwid # mpath e979401efd5fe60f79a19b mpath b5d0006a a0ba mpath b5d0006a a0ba mpath b5d0006a a0ba mpath b5d0006a a0ba mpath b5d0006a a0ba0001c0000 mpath b5d0006a a0ba0001d0000 mpath b5d0006a a0ba0001e0000 mpath b5d0006a a0ba0001f0000 mpath e00d2b b f マイグレーション後 mpath e00d2b b a0000 f マイグレーション後 mpath e00d2b b b0000 f マイグレーション後 mpath e00d2b b c0000 f マイグレーション後 mpath e00d2b b f マイグレーション後 mpath e00d2b b f マイグレーション後 mpath e00d2b b f マイグレーション後 mpath e00d2b b f マイグレーション後 # # ls -l /dev/mapper total 0 crw root root 10, 60 Jul 15 14:25 control brw-rw root disk 253, 3 Jul 15 14:26 mpath10 brw-rw root disk 253, 10 Jul 15 14:26 mpath10p1 brw-rw root disk 253, 4 Jul 15 14:26 mpath11 brw-rw root disk 253, 5 Jul 15 14:26 mpath12 brw-rw root disk 253, 6 Jul 15 14:26 mpath13 brw-rw root disk 253, 11 Jul 15 14:26 mpath13p1 brw-rw root disk 253, 7 Jul 15 14:26 mpath14 brw-rw root disk 253, 12 Jul 15 14:26 mpath14p1 brw-rw root disk 253, 8 Jul 15 14:26 mpath15 brw-rw root disk 253, 9 Jul 15 14:26 mpath16 brw-rw root disk 253, 2 Jul 15 14:26 mpath9 brw-rw root disk 253, 13 Jul 15 14:26 mpath9p1 brw-rw root disk 253, 14 Jul 15 14:26 vg1-lv1 brw-rw root disk 253, 0 Jul 15 14:26 VolGroup00-LogVol00 brw-rw root disk 253, 1 Jul 15 14:25 VolGroup00-LogVol01 # 33

34 第 12 章 ストレージマイグレーションについて この結果から ストレージマイグレーションの開始前と開始後で以下のように対応しています mpath b5d0006a a0ba mpath b5d0006a a0ba mpath b5d0006a a0ba mpath b5d0006a a0ba mpath b5d0006a a0ba0001c0000 mpath b5d0006a a0ba0001d0000 mpath b5d0006a a0ba0001e0000 mpath b5d0006a a0ba0001f0000 mpath e00d2b b mpath e00d2b b a0000 mpath e00d2b b b0000 mpath e00d2b b c0000 mpath e00d2b b mpath e00d2b b mpath e00d2b b mpath e00d2b b /var/lib/multipath/bindings ファイルを編集し エイリアスに対応する WWID を移行先の ETERNUS DX/AF の値に変更します # vi /var/lib/multipath/bindings # Multipath bindings, Version : 1.0 # NOTE: this file is automatically maintained by the multipath program. # You should not need to edit this file in normal circumstances. # # Format: # alias wwid # mpath e979401efd5fe60f79a19b # mpath b5d0006a a0ba f 削除 # mpath b5d0006a a0ba f 削除 # mpath b5d0006a a0ba f 削除 # mpath b5d0006a a0ba f 削除 # mpath b5d0006a a0ba0001c0000 f 削除 # mpath b5d0006a a0ba0001d0000 f 削除 # mpath b5d0006a a0ba0001e0000 f 削除 # mpath b5d0006a a0ba0001f0000 f 削除 # mpath e00d2b b f 削除 # mpath e00d2b b a0000 f 削除 # mpath e00d2b b b0000 f 削除 # mpath e00d2b b c0000 f 削除 # mpath e00d2b b f 削除 # mpath e00d2b b f 削除 # mpath e00d2b b f 削除 # mpath e00d2b b f 削除 mpath e00d2b b f 追加 mpath e00d2b b a0000 f 追加 mpath e00d2b b b0000 f 追加 mpath e00d2b b c0000 f 追加 mpath e00d2b b f 追加 mpath e00d2b b f 追加 mpath e00d2b b f 追加 mpath e00d2b b f 追加 # 34

35 第 12 章 ストレージマイグレーションについて 8 multipath -r コマンドを実行し ファイルの編集をシステムに反映します # multipath -r e00d2b b : rename mpath9 to mpath1 : mpath1 ( e00d2b b ) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:0 sdb 8:16 [active][ready] _ 6:0:0:0 sdj 8:144 [active][ready] e00d2b b a0000: rename mpath10 to mpath2 : mpath2 ( e00d2b b a0000) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:1 sdc 8:32 [active][ready] _ 6:0:0:1 sdk 8:160 [active][ready] e00d2b b b0000: rename mpath11 to mpath3 : mpath3 ( e00d2b b b0000) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:2 sdd 8:48 [active][ready] _ 6:0:0:2 sdl 8:176 [active][ready] e00d2b b c0000: rename mpath12 to mpath4 : mpath4 ( e00d2b b c0000) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:3 sde 8:64 [active][ready] _ 6:0:0:3 sdm 8:192 [active][ready] e00d2b b : rename mpath13 to mpath5 : mpath5 ( e00d2b b ) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:4 sdf 8:80 [active][ready] _ 6:0:0:4 sdn 8:208 [active][ready] e00d2b b : rename mpath14 to mpath6 : mpath6 ( e00d2b b ) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:5 sdg 8:96 [active][ready] _ 6:0:0:5 sdo 8:224 [active][ready] e00d2b b : rename mpath15 to mpath7 : mpath7 ( e00d2b b ) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:6 sdh 8:112 [active][ready] _ 6:0:0:6 sdp 8:240 [active][ready] e00d2b b : rename mpath16 to mpath8 : mpath8 ( e00d2b b ) FUJITSU,ETERNUS_DXH [size=20g][features=0][hwhandler=0][n/a] _ round-robin 0 [prio=50][undef] _ 5:0:0:7 sdi 8:128 [active][ready] _ 6:0:0:7 sdq 65:0 [active][ready] # 9 対象の LUN をマウントします 35

36 第 12 章 ストレージマイグレーションについて 10 /etc/fstab ファイルを編集し 対象の LUN をマウントするように変更します # vi /etc/fstab /dev/volgroup00/logvol00 / ext3 defaults 1 1 LABEL=/boot /boot ext3 defaults 1 2 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode= sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 /dev/volgroup00/logvol01 swap swap defaults 0 0 /dev/mapper/mpath1p1 /mnt/lun0 ext3 defaults 0 0 f コメントを解除 /dev/mapper/mpath2p1 /mnt/lun1 ext2 defaults 0 0 f コメントを解除 /dev/mapper/mpath5p1 /mnt/lun4 ext3 defaults 0 0 f コメントを解除 /dev/mapper/mpath6p1 /mnt/lun5 ext4 defaults 0 0 f コメントを解除 /dev/vg1/lv1 /mnt/lvm0 ext4 defaults 0 0 f コメントを解除 # 本手順完了後は 移行前と同様に 移行後の ETERNUS DX/AF で LUN を使用できます 36

37 第 13 章無停止ストレージマイグレーションについて 本章では RHEL6.5 が動作する device-mapper multipath の環境を例として 無停止ストレージマイグレーションを実施する場合のパス増設手順 パス減設手順 および留意事項について説明します パス増設手順 移行先ストレージを接続後 サーバ (RHEL6.5) で移行先ストレージのパスを増設する手順を以下に示します 1 マルチパスの状態を確認します 以下の例では 各 LUN が 2 パスずつの構成となっています [root@s6-12 ~]# multipath -ll mpathc (36000b5d0006a a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:1 sdc 8:32 active ready running `- 5:0:1:1 sdo 8:224 active ready running mpathb (36000b5d0006a a0ba ) dm-2 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:0 sdb 8:16 active ready running `- 5:0:1:0 sdn 8:208 active ready running [root@s6-12 ~]# 2 マルチパスを増設します 移行先ストレージでホストアフィニティを追加します 3 HBA の再スキャンを行います [root@s6-12 ~]# for s in /sys/class/fc_host/host*/device/scsi_host/host*/scan; do echo '- - -' > $s; done [root@s6-12 ~]# 37

38 第 13 章 無停止ストレージマイグレーションについて 4 パスが増設されたことを確認します 以下の例では 各 LUN に 2 パスずつ追加され 4 パスの構成となっています [root@s6-12 ~]# multipath -ll mpathc (36000b5d0006a a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:1 sdc 8:32 active ready running - 5:0:1:1 sdo 8:224 active ready running - 6:0:0:1 sdam 66:96 active ready running `- 5:0:0:1 sdaa 65:160 active ready running mpathb (36000b5d0006a a0ba ) dm-2 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:0 sdb 8:16 active ready running - 5:0:1:0 sdn 8:208 active ready running - 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running パスが増設されていない場合 手順. 5 を実施してください 5 マルチパス設定の再読み込みを行います [root@s6-12 ~]# service multipathd reload Reloading multipathd: [ OK ] [root@s6-12 ~]# multipath -ll mpathc (36000b5d0006a a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:1 sdc 8:32 active ready running - 5:0:1:1 sdo 8:224 active ready running - 6:0:0:1 sdam 66:96 active ready running `- 5:0:0:1 sdaa 65:160 active ready running mpathb (36000b5d0006a a0ba ) dm-2 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:0 sdb 8:16 active ready running - 5:0:1:0 sdn 8:208 active ready running - 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running [root@s6-12 ~]# 38

39 第 13 章 無停止ストレージマイグレーションについて パス減設手順 移行元ストレージの切断後 サーバ (RHEL6.5) で移行先ストレージのパスを減設する手順を以下に示します 1 マルチパスの状態を確認します 以下の例では 各 LUN が 4 パスずつの構成となっています [root@s6-12 ~]# multipath -ll mpathc (36000b5d0006a a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:1 sdc 8:32 active ready running - 5:0:1:1 sdo 8:224 active ready running - 6:0:0:1 sdam 66:96 active ready running `- 5:0:0:1 sdaa 65:160 active ready running mpathb (36000b5d0006a a0ba ) dm-2 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 6:0:1:0 sdb 8:16 active ready running - 5:0:1:0 sdn 8:208 active ready running - 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running [root@s6-12 ~]# 2 マルチパスを減設します 移行元ストレージとサーバ間の経路を切断します 3 マルチパス設定の再読み込みを行います [root@s6-12 ~]# service multipathd reload Reloading multipathd: [ OK ] [root@s6-12 ~]# 39

40 第 13 章 無停止ストレージマイグレーションについて 4 パスが減設されたことを確認します 以下の例では 各 LUN から 2 パスずつ削除され 2 パス構成となっています [root@s6-12 ~]# multipath -ll mpathc (36000b5d0006a a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 5:0:0:1 sdaa 65:160 active ready running `- 6:0:0:1 sdam 66:96 active ready running mpathb (36000b5d0006a a0ba ) dm-2 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running [root@s6-12 ~]# 留意事項 移行元ストレージと移行先ストレージで ALUA 設定が異なる場合 パス増設中は (ACTIVE / ACTIVE) のストレージの全パスと (ACTIVE-ACTIVE / PREFERRED_PATH) のストレージの優先パスが優先パスグループとなり パス減設時点で移行先ストレージの ALUA 設定のパスグループ構成となります 移行前 パス増設時 およびパス減設後の状態について以下に示します - 移行前 移行元ストレージが (ACTIVE / ACTIVE) のため 2 パスとも優先パスグループとなります mpathe (36000b5d0006a a0ba0001c0000) dm-5 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=130 status=active - 2:0:1:3 sde 8:64 active ready running `- 1:0:1:3 sdq 65:0 active ready running - パス増設後 移行元ストレージの (ACTIVE / ACTIVE) の 2 パスと 移行先ストレージの (ACTIVE-ACTIVE / PREFERRED_PATH) の 1 つの優先パスが優先パスグループとなります mpathe (36000b5d0006a a0ba0001c0000) dm-5 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw -+- policy='round-robin 0' prio=130 status=active - 2:0:1:3 sde 8:64 active ready running - 1:0:1:3 sdq 65:0 active ready running `- 1:0:0:3 sdac 65:192 active ready running `-+- policy='round-robin 0' prio=10 status=enabled `- 2:0:0:3 sdao 66:128 active ready running 40

41 第 13 章 無停止ストレージマイグレーションについて - パス減設後 移行先ストレージが (ACTIVE-ACTIVE / PREFERRED_PATH) のため パスが 2 つあるうちの優先パスが優先パスグループとなります mpathe (36000b5d0006a a0ba0001c0000) dm-5 FUJITSU,ETERNUS_DX400 size=3.9g features='0' hwhandler='0' wp=rw -+- policy='round-robin 0' prio=130 status=active `- 1:0:0:3 sdac 65:192 active ready running `-+- policy='round-robin 0' prio=10 status=enabled `- 2:0:0:3 sdao 66:128 active ready running 41

42 付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順 パスの縮退が発生した場合 Veritas Volume Manager を使用した環境では その後パスが復旧してもボリュームが正常に認識されないことがあります この場合 各ファイバチャネルカード ベンダーが用意している LUN 状態変更ツールを使用して LUN の認識を復旧させたあと ボリュームを認識させる必要があります 1 ファイバチャネルカードのコントローラーの番号および状態を確認します vxdmpadm コマンドを使用して 正常に認識されていないボリュームに対応したファイバチャネルカードのコントローラー番号およびコントローラーの状態を確認します (1) ETERNUS DX/AF に接続されているパスが存在するファイバチャネルカードのコントローラー番号を確認します # vxdmpadm listctlr all 実行例 (ETERNUS DX410 S2 の場合 ) # vxdmpadm listctlr all CTLR-NAME ENCLR-TYPE STATE ENCLR-NAME ========================================================= c0 Disk ENABLED Disk c6 FJ_DX400 ENABLED fj_dx400 c7 FJ_DX400 ENABLED fj_dx400 この実行例では ETERNUS DX410 S2 に接続されているファイバチャネルカードのコントローラー番号は "c6" と "c7" であることがわかります (2) 手順. (1) で確認した各コントローラー番号を利用して 各ファイバチャネルカードに接続されたボリュームのパスの状態を確認します ここでは "DISABLED" となっているボリュームのコントローラー番号を確認します # vxdmpadm getsubpaths ctlr=c 下線部にはコントローラー番号が表示されます 42

43 付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順 実行例 (ETERNUS DX410 S2 の場合 ) # vxdmpadm getsubpaths ctlr=c6 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ========================================================================= sdb ENABLED - sdb FJ_DX400 fj_dx400 sdc ENABLED - sdc FJ_DX400 fj_dx400 sdd ENABLED - sdd FJ_DX400 fj_dx400 # vxdmpadm getsubpaths ctlr=c7 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ========================================================================= sde DISABLED - sdb FJ_DX400 fj_dx400 sdf ENABLED - sdc FJ_DX400 fj_dx400 sdg ENABLED - sdd FJ_DX400 fj_dx400 この実行例では ボリューム "sde" が "DISABLED" になっています そのためボリュームを認識できない ファイバチャネルカードのコントローラー番号は "c7" となることがわかります 2 LUN 状態変更ツールを入手し 適用します (1) 各ファイバチャネルカード ベンダーが用意している LUN 状態変更ツールを入手します ファイバチャネルカードが QLogic 社製の場合 QLogic 社の Web サイト ( から LUN 状態変更ツールを入手します ファイバチャネルカードが Emulex 社製の場合 Emulex 社の Web サイト ( から LUN 状態変更ツールを入手します 各ツールの詳細等については 各ベンダー Web サイトを参照してください (2) 手順. (1) で用意した LUN 状態変更ツールを各ベンダーで指定されている手順に従い適用し LUN を認識させます 各ツールの使用方法等については 各ベンダー Web サイトを参照してください 3 Veritas Volume Manager を有効にします vxdctl コマンドで Veritas Volume Manager を有効にします # vxdctl enable 4 ボリュームの状態を確認します 手順. (2) で確認した "DISABLED" となっていたボリュームの状態が "ENABLED" になっていることを確認します # vxdmpadm getsubpaths ctlr=c 下線部にはコントローラー番号が表示されます 43

44 付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順 実行例 (ETERNUS DX410 S2 の場合 ) # vxdmpadm getsubpaths ctlr=c7 NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME ========================================================================== sde ENABLED - sdb FJ_DX400 fj_dx400 sdf ENABLED - sdc FJ_DX400 fj_dx400 sdg ENABLED - sdd FJ_DX400 fj_dx400 44

45 FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド ( サーバ接続編 ) ファイバチャネル /Linux 用 発行日 : 2018 年 9 月発行責任 : 富士通株式会社 本書の内容は 改善のため事前連絡なしに変更することがあります 本書の内容は 細心の注意を払って制作致しましたが 本書中の誤字 情報の抜け 本書情報の使用に起因する運用結果に関しましては 責任を負いかねますので予めご了承願います 本書に記載されたデータの使用に起因する第三者の特許権およびその他の権利の侵害については 当社はその責を負いません 無断転載を禁じます

46