目次 [ 本ドキュメントについて ] 環境 設定手順 MSA1040 SAS と DL380p Gen8 でマルチパス共有ディスクの構成を構築 ノード 1 とノード 2 に Red Hat Enterprise Linux 6.6 をイ

Transcription

1 日本ヒューレット パッカード株式会社 Open Source/Linux 技術文書 LifeKeeper for Linux インストレーションガイド HPE MSA1040 SAS Storage マルチパス編 ( 第 1 版 ) 日本ヒューレット パッカード株式会社 2016 年 2 月 22 日

2 目次 [ 本ドキュメントについて ] 環境 設定手順 MSA1040 SAS と DL380p Gen8 でマルチパス共有ディスクの構成を構築 ノード 1 とノード 2 に Red Hat Enterprise Linux 6.6 をインストール SPP(Service Pack for ProLiant) の適用 MSA1040(SAS モデル ) Storage の設定 ノード 1 で Device Mapper Multipath のインストール 設定 ノード 2 で Device Mapper Multipath のインストール 設定 ネットワークの確立 ノード ( ホスト名 ) の名前解決設定 /etc/fstab ファイルの編集 LifeKeeper for Linux で使用するポート SELinux の無効化 LifeKeeper のインストール License Key のインストール LifeKeeper の起動と停止 LifeKeeper GUI の起動 クラスターの設定 ファイルシステムリソースの作成

3 [ 本ドキュメントについて ] 本ドキュメントの内容については充分チェックをしておりますが その正確性を保証する物ではありません また 将来 予告なしに変更することがあります 本ドキュメントの使用で生じるいかなる結果も利用者の責任となります 日本ヒューレット パッカード株式会社は 本ドキュメントの内容に一切の責任を負いません 本ドキュメントの技術情報は ハードウェア構成 OS アプリケーションなど使用環境により大幅に数値が変化する場合がありますので 十分なテストを個別に実施されることを強くお薦め致します 本ドキュメント内で表示 記載されている会社名 サービス名 商品名等は各社の商標又は登録商標です 本ドキュメントで提供する資料は 日本の著作権法 条約及び他国の著作権法にいう著作権により保護されています 3

4 本ドキュメントは HPE MSA1040 ストレージと 2 台の ProLiant サーバーでマルチパス共有ディスクを構成した環境に対して LifeKeeper for Linux v9.0.1 クラスターを導入し マルチパス共有ディスクをファイルシステムリソースとしてリソース登録するためのガイドです 注 ) 当資料が対象とするバージョン以外の OS Device Mapper Multipath LifeKeeper for Linux をご使用の場合は インストールや設定の手順が異なる場合があります その場合は ご使用のバージョンのマニュアルや Release Notes 等に記載された手順に従ってください 1. 環境実際に使用した環境は 以下になります H/W 環境サーバー :HPE ProLiant DL380p Gen8 CPU:Intel(R) Xeon(R) CPU E GHz メモリ :64GB RAID コントローラ :Smart アレイ P420i/1GB FBWC コントローラ SAS 用ホストバスアダプター :HPE H221 PCIe 3.0 SAS HBA ストレージシステム :HPE MSA1040 SAS S/W 環境 O/S:Red Hat Enterprise Linux 6.6 kernel el6.x86_64 クラスターソフトウェア :LifeKeeper for Linux v9.0.1 SAS HBA 用ドライバー :mpt2sas version DMMP ソフトウェア : device-mapper-multipath el6.x86_64 2 台のサーバー (DL380p Gen8) でクラスターを構成します 各サーバーの OS や設定は同一にします それぞれのサーバー上の OS, ホストを 本ドキュメントではクラスターに所属するホストを示すノード 1 ノード 2 と表記します 2. 設定手順実際の手順の流れは以下になります 1) MSA1040 SAS と DL380p Gen8 でマルチパス共有ディスクの構成を構築 2) ノード 1 とノード 2 に Red Hat Enterprise Linux 6.6 をインストール 3) SPP(Service Pack for ProLiant) の適用 4) MSA1040(SAS モデル ) Storage の設定 5) ノード 1 で Device Mapper Multipath のインストール 設定 6) ノード 2 で Device Mapper Multipath のインストール 設定 7) ネットワークの確立 8) ノード ( ホスト名 ) の名前解決設定 9) /etc/fstab ファイルの編集 10) LifeKeeper for Linux で使用するポート 11) SELinux の無効化 12) LifeKeeper のインストール 13) License Key のインストール 14) LifeKeeper の起動と停止 15) LifeKeeper GUI の起動 16) クラスターの設定 17) ファイルシステムリソースの作成 4

5 各項目の具体的な作業内容を以降に記述します 2-1. MSA1040 SAS と DL380p Gen8 でマルチパス共有ディスクの構成を構築 サーバー (DL380p Gen8) とストレージ (MSA1040) を使用してクラスターを構成します それぞれのノードからコントローラ 1/ コントローラ 2 に対して 1 本ずつ SAS ケーブルを接続しマルチパス構成を組みます 2-2. ノード 1 とノード 2 に Red Hat Enterprise Linux 6.6 をインストール ノード 1 とノード 2 に Red Hat Enterprise Linux 6.6 をインストールします この時 今回の構成で必要となる以下のパッケージをインストールしてください bzip el6_0.x86_64.rpm iproute el6.x86_64.rpm iputils el6_4.2.x86_64.rpm patch el6.x86_64.rpm redhat-lsb el6.x86_64.rpm sg3_utils el6.x86_64.rpm sg3_utils-libs el6.x86_64.rpm device-mapper-multipath el6.x86_64.rpm device-mapper-multipath-libs el6.x86_64.rpm 5

6 2-3.SPP(Service Pack for ProLiant) の適用 以下のサイトを参考にして 各ノードに SPP を適用してください SPP に含まれているドライバーよりも新しいバージョンのドライバーが個別に提供されている場合は 新しいバージョンのドライバーを適用することを推奨します al/mgmt/index.html#psp SPP 適用後 ノードを停止します # shutdown h now 6

7 2-4. MSA1040(SAS モデル ) Storage の設定 Storage Management Utility(SMU) にログインして MSA1040 Storage の設定を行います コントローラネットワークポートに割り当てられた初期 IP アドレスや SMU へのログインに必要なアカウントについては HPE MSA1040 ユーザーガイド をご確認ください A) SMU にブラウザーからアクセスしてログインします B) ログイン後は 以下の画面が表示されます 7

8 C) ディスクのグループ化 (RAID 構築 ) を行う為 POOLS タブに移動します D) Action メニューから Add Disk Group を選択します 8

9 E) Add Disk Group 画面が表示されます RAID レベルなどディスクグループを作成する際の設定情報を選択し 右下の Add をクリックします F) ディスクグループが作成されます 完了後 以下の様に POOLS 画面に表示されます 9

10 G) 作成したディスクグループを使用して ボリュームを作成します Action メニューから Create Volumes を選択します H) Create Volumes 画面が表示されます 作成するボリューム数や Volume Name を入力し OK をクリックします 10

11 I) Volumes タブに移動し 作成したボリュームを確認してください J) DL380p Gen8 の電源を投入して BIOS から SAS コントローラが MSA1040 を認識している事を確認してください K) OS が起動した後 SMU の HOST タブで SAS のホスト ID が認識されることを確認します 11

12 L) 認識したホスト ID にボリュームをマッピングする為 Action メニューから Map Initiators を選択します M) Map 画面が表示されます ホスト ID を選択して ホスト ID に割り当てるボリュームを選択して Map をクリックしてマッピングします マッピングが完了してから OK を押します 12

13 N) HOSTS タブで マッピングした情報が表示されます マッピングが完了すると OS からもディスクが認識されます dmesg コマンドや fdisk コマンドを使用して 割り当てられたディスクを確認してください 13

14 2-5. ノード 1 で Device Mapper Multipath のインストール 設定 ホストに割り当てられたディスクは 各 HBA に認識している為 同じディスクが各 HBA 経由で重複して認識されます この重複したデバイスを OS でマルチパス デバイスとして認識させるため Device Mapper Multipath(DMMP) パッケージのインストール および DMMP の設定を行います 以下を実行してください A) ノード 1 に root でログインします B) device-mapper-multipath と device-mapper-multipath-libs の 2 つがインストールされているか確認して 入っていなければインストールしてください 確認 : # rpm -qa grep multipath device-mapper-multipath el6.x86_64 device-mapper-multipath-libs el6.x86_64 インストール : # rpm ivh device-mapper-multipath el6.x86_64.rpm # rpm ivh device-mapper-multipath-libs el6.x86_64.rpm C) multipath.conf ファイルのテンプレートを /etc にコピーします # cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc D) /etc/multipath.conf ファイルが作成されるので MSA1040 用に編集します 今回は 以下のように編集していますが 実際の環境に合わせて編集してください defaults { user_friendly_names yes } blacklist { wwid b1001cec660720fc77b78ad145 <-- 非共有ディスクを WWID で登録 } devices { device { vendor "HP" product "MSA 1040 SAS" path_grouping_policy group_by_prio getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n" prio alua path_selector "round-robin 0" path_checker tur hardware_handler "0" failback immediate rr_weight uniform rr_min_io_rq 1 14

15 } } no_path_retry 18 E) multipathd デーモンを起動し 再起動後も自動的に起動するよう設定します # service multipathd start # chkconfig multipathd on F) MSA1040に作成したLUN(volume) に対応したmultipath deviceが /dev/mapper 下に生成されている事を確認します 今回の環境では multipath device 名に システム定義によるuser_friendly_name(mpatha mpathb mpathc mpath + アルファベットの形式 ) を使用しています # ls /dev/mapper/ -l 合計 0 crw-rw root root 10, 58 1 月 21 17: control lrwxrwxrwx 1 root root 7 1 月 21 17: mpatha ->../dm-2 lrwxrwxrwx 1 root root 7 1 月 21 17: vg_pd061-lv_root ->../dm-0 lrwxrwxrwx 1 root root 7 1 月 21 17: vg_pd061-lv_swap ->../dm-1 G) multipath device(/dev/mapper/mpatha 等 ) 毎に 2 本の path 即ち 2 個の block device (/dev/sdb 等 ) が構成されている事を確認します # multipath -l mpatha (3600c0ff000262be6bbf ) dm-2 HP,MSA 1040 SAS size=33g features='0' hwhandler='0' wp=rw -+- policy='round-robin 0' prio=1 status=active `- 2:0:0:6 sdf 8:80 active ready running `-+- policy='round-robin 0' prio=1 status=enabled `- 3:0:0:6 sdae 65:224 active ready running H) multipath device を構成している block device の 1 つと multipath device に対してパーティションを作成します # fdisk /dev/mapper/mpatha I) パーティションが正常に作成されているか確認します # ll /dev/mapper/ grep mpatha lrwxrwxrwx 1 root root 7 1 月 21 17: mpatha ->../dm-2 lrwxrwxrwx 1 root root 7 1 月 21 17: mpathap1 ->../dm-3 J) 該当デバイスに対してファイルシステムを作成します 下記は ext4 ファイルシステムを作成する例です # mkfs.ext4 /dev/mapper/mpathap1 K) マウントポイントを作成します # mkdir /data L) ファイルシステムを mount し 正常にマウント出来る事を確認します # mount /dev/mapper/mpathap1 /data 15

16 M) 正常にファイルを作成できることを確認します N) 動作確認終了後はアンマウントします # umount /data 2-6. ノード 2 で Device Mapper Multipath のインストール 設定 ノード 2 で Device Mapper Multipath のインストール 設定を行います 以下を実行してください A) ノード 2 に root でログインします B) device-mapper-multipath と device-mapper-multipath-libs の 2 つがインストールされているか確認して 入っていなければインストールしてください 確認 : # rpm -qa grep multipath device-mapper-multipath el6.x86_64 device-mapper-multipath-libs el6.x86_64 インストール : # rpm ivh device-mapper-multipath el6.x86_64.rpm # rpm ivh device-mapper-multipath-libs el6.x86_64.rpm C) multipath.conf ファイルのテンプレートを /etc にコピーします # cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc D) /etc/multipath.conf ファイルが作成されるので MSA1040 用に編集します 今回は 以下のように編集していますが 実際の環境に合わせて編集してください defaults { user_friendly_names yes } blacklist { wwid b1001cec660720fc77b78ad145 <-- 非共有ディスクを WWID で登録 } devices { device { vendor "HP" product "MSA 1040 SAS" path_grouping_policy group_by_prio getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n" prio alua path_selector "round-robin 0" path_checker tur hardware_handler "0" failback immediate 16

17 } } rr_weight uniform rr_min_io_rq 1 no_path_retry 18 E) multipathd デーモンを起動し 再起動後も自動的に起動するよう設定します # service multipathd start # chkconfig multipathd on F) MSA1040に作成したLUN(volume) に対応したmultipath deviceが /dev/mapper 下に生成されている事を確認します 今回の環境では multipath device 名に システム定義によるuser_friendly_name(mpatha mpathb mpathc mpath + アルファベットの形式 ) を使用しています # ls /dev/mapper/ -l 合計 0 crw-rw root root 10, 58 1 月 21 17: control lrwxrwxrwx 1 root root 7 1 月 21 17: mpatha ->../dm-2 lrwxrwxrwx 1 root root 7 1 月 21 17: mpathap1 ->../dm-3 lrwxrwxrwx 1 root root 7 1 月 21 17: vg_pd061-lv_root ->../dm-0 lrwxrwxrwx 1 root root 7 1 月 21 17: vg_pd061-lv_swap ->../dm-1 G) multipath device(/dev/mapper/mpatha 等 ) 毎に 2 本の path 即ち 2 個の block device (/dev/sdb 等 ) が構成されている事を確認します # multipath -l mpatha (3600c0ff000262be6bbf ) dm-2 HP,MSA 1040 SAS size=33g features='0' hwhandler='0' wp=rw -+- policy='round-robin 0' prio=1 status=active `- 2:0:0:6 sdf 8:80 active ready running `-+- policy='round-robin 0' prio=1 status=enabled `- 3:0:0:6 sdae 65:224 active ready running H) マウントポントを作成します マウントポイント名は 必ずノード 1 と同一にしてください # mkdir /data I) ファイルシステムを mount し 正常にマウント出来る事を確認します # mount /dev/mapper/mpathap1 /data J) 先ほど ノード 1 で作成したファイルが正常に見える事を確認します K) 動作確認終了後はアンマウントします # umount /data 17

18 2-7. ネットワークの確立 LifeKeeper for Linux では コミュニケーションパスを 2 経路以上設定します その際 ノード間のネットワークを別々のネットワークセグメントとなるよう設定して それぞれのネットワークで ping による疎通が可能である事を確認してください 2-8. ノード ( ホスト名 ) の名前解決設定 LifeKeeper の GUI では ホスト名を使用して通信を行います その為 ノード間では DNS や /etc/hosts を使用して名前解決できるようにしてください 2-9./etc/fstab ファイルの編集 /etc/fstab ファイルにラベル名を使用している場合は ブロックデバイス名に変更します LifeKeeper では /etc/fstab 内では ラベル名ではなく ブロックデバイス名を使用することが推奨されています LifeKeeper for Linux で使用するポート LifeKeeper for Linux では 以下のポートを使用して 設定や運用を行いますので これらのポートでの通信が行えるよう設定を行ってください 7365(TCP) : コミュニケーションパスの通信で使用 81(TCP) : GUI サーバープロセスで使用 82(TCP) : GUI サーバープロセスで使用 1024(TCP) ~ : GUI のための RMI 通信で使用 10001(TCP) ~ : データリプリケーションで使用 2-11.SELinux の無効化 LifeKeeper for Linux は SELinux を無効化しない限りインストールが行えません /etc/selinux/config ファイルを編集し 以下のパラメータの値を disabled に変更してください SELINUX=disabled 変更後 OS を再起動して SELinux を無効化してください 18

19 2-12.LifeKeeper のインストール LifeKeeper のインストールは インストール CD に含まれる setup スクリプトを実行することによって行われます スクリプトは対話形式となっており 各内容に対して Yes か No を選択して進行します この章では setup スクリプトによる LifeKeeper のインストール方法を記載しています A) setup スクリプトの実行製品の CD-ROM を任意のディレクトリにマウントします 続いて sps_xxx.img(xxx はバージョン番号 ) を任意のディレクトリにマウントし setup を実行します 以下は CD イメージをマウントする際の操作例です # mount /dev/cdrom /media/cdrom # cd /media/cdrom # mount sps_xxx.img /mnt t iso9660 o loop # cd /mnt/ #./setup LifeKeeper のインストールを開始する場合は Enter キーを押してください B) LifeKeeper の基本パッケージのインストール ディストリビューションに対応した LifeKeeper のパッケージのインストールが開始されます Enter キーを押してください 19

20 C) Java パッケージのインストール LifeKeeper の GUI クライアントで使用する Java パッケージをインストールします Enter キーを押してください D) DataKeeper 用途のカーネルモジュールのインストール DataKeeper for Linux を使用する場合は DataKeeper 用のカーネルモジュールをインストールする必要があります DataKeeper を使用する場合は Enter キーを押してください DataKeeper を使用しない場合は n を入力し Enter キーを押してください 今回のように マルチパス構成の共有ディスクをリソースとして登録する場合は必要ありません 20

21 E) NFS の設定 LifeKeeper で NFS サービスを保護する場合は Y を選択して HA 用に NFS を設定する必要があります NFS サービスを保護しない場合は n を入力し Enter キーを押してください F) 必須パッケージのインストール LifeKeeper の動作に必要なパッケージをインストールします Enter キーを押し 全てのパッケージをインストールしてください 21

22 G) SPS core パッケージのインストール SPS core パッケージをインストールします Enter キーを押し インストールを実行してください 22

23 H) LifeKeeper GUI クライアントのグループとログインユーザの設定 GUI クライアントの操作に必要なユーザー グループを作成します y を入力し Enter キーを押すと必要なユーザー グループが自動的に作成されます 任意のグループ ID を割り当てたい場合は以下のプロンプトで n を入力してください そして setup スクリプトが完了した後 後述する注意に書かれている内容を参照しユーザーグループの設定を行なってください I) ライセンスキーインストールの確認 以下のステップで y を入力すると ライセンスキーを入力する画面に移ります 既にインストールに使用できるライセンスキーがある場合には y を入力してライセンスキーの情報を入力してください ライセンスキーを取得していない場合には n を入力して setup 終了後にライセンスキーを lkkeyins コマンドでインストールするようにしてください 23

24 J) オプションの Recovery Kit パッケージのインストール このステップでは構築するクラスタシステムにあわせてオプションの Recovery Kit を選択してインストールします インストールしたいパッケージにカーソルを合わせてスペースキーを押してください インストールパッケージとして選択されます 必要であれば 他の Recovery Kit も同様に選択します 選択した状態で Enter キーを押すと 次の画面でインストールするパッケージが表示されインストールを開始することができます 今回は DMMP デバイスをリソースとして登録する為 lkdmmp Device Mapper (DM) Multipath Recovery Kit をインストールしてください パッケージのインストールが成功すると以下のメッセージが表示されますので Enter を入力し setup スクリプトを終了してください 24

25 K) インストール完了後は LifeKeeper の実行コマンドパスや MAN ページは 環境変数として登録されていません その為 以下のユーザー環境変数 (PATH および MANPATH) を root ユーザーの環境変数として登録してください PATH=$PATH:/opt/LifeKeeper/bin MANPATH=$MANPATH:/opt/LifeKeeper/man L) もう一台のノードでも A) から K) の手順を同じように実行してください 2-13.License Key のインストール LifeKeeper のインストールが完了しましたら 以下の手順で各ノードに License Key をインストールしてください A) LifeKeeper ソフトウェアに同梱されている Entitlement/Activation ID で にアクセスして 各ノードの License Key を入手してください B) 入手した License Key を各ノードにコピーして root で以下のコマンドを実行してください # lkkeyins < License Key ファイル > D) LifeKeeper license key installation was successful! と表示されれば License Key のインストールは成功です 25

26 2-14.LifeKeeper の起動と停止 LifeKeeper を起動するために 両ノードで以下のコマンドを実行してください A) LifeKeeper を起動するには lkstart コマンドを実行します B) LifeKeeper の起動確認を行います 起動確認は lktest コマンドを実行します C) LifeKeeper を停止するには lkstop コマンドを実行します 26

27 2-15.LifeKeeper GUI の起動 A) GUI へのログインが行えましたら 以下のコマンドを実行して LifeKeeper GUI を起動します # lkguiapp & コマンドを実行後 GUI クライアントが起動しログイン画面が立ち上がります Server Name には実行したノード名が入ります ログインユーザ名とパスワードは LifeKeeper の管理ユーザーの情報を入力します 管理ユーザーの情報は初期設定として OS のスーパーユーザ (root) とそのパスワードが設定されます 27

28 B) ログイン後以下の画面が表示されます 28

29 2-16. クラスターの設定 各ノードに LifeKeeper をインストールした後は 各ノードをクラスターノードとして登録します またクラスターとして登録したノード間では コミュニケーションパスを構成する必要があります 以下に この 2 つの作業手順を説明します A) クラスターノードを登録します スタンバイノードとなるノードを登録します 上部のメニューから File -> Connect.. を選択します Cluster Connect の画面が開きますので Server Name には追加するノードのノード名を入力してください ログインユーザ名とパスワードは LifeKeeper の管理ユーザーの情報を入力してください 29

30 B) 追加したサーバーが表示されます この後 コミュニケーションパスを作成します C) コミュニケーションパスの作成は 上部のメニューから Edit -> Server -> Create Comm Path を選択します 以下の画面が出力するので 確認して Next を押します 30

31 D) リモートノードを選択します E) コミュニケーションパスデバイスタイプを選択します TCP が推奨となる為 特別な理由が無い限りは TCP で作成してください 31

32 F) コミュニケーションパスとして登録するローカルノードの IP アドレスを選択します G) コミュニケーションパスとして登録するリモートノードの IP アドレスを選択します 32

33 H) プライオリティを設定します 1 を設定したコミュニケーションパスは優先的に利用されるコミュニケーションパスとなります I) 以下の様に表示されますと作成成功です Next をクリックした後 Done をクリックして コミュニケーションパスが完成となります 33

34 J) LifeKeeper のコミュニケーションは 2 経路以上設定する事を推奨しています その為 C) から I) の手順で もう一経路のコミュニケーションパスを作成してください K) コミュニケーションは ノードのプロパティからステータスを確認してください 正常に作成された場合 State が Alive となります 34

35 2-17. ファイルシステムリソースの作成 クラスター構成が完了しましたら クラスターで保護するリソースを作成します 今回は MSA1040SAS を DMMP で認識したディスクをリソースとして登録します A) 作成した DMMP デバイス (/dev/mapper/mpathap1) を /data ディレクトリにマウントします # mount -t ext4 /dev/mapper/mpathap1 /data B) マウントしたディレクトリを対象に ファイルシステムリソースの作成を開始します 上部のメニューから Edit > Server > Create Resource Hierarch を選択してください 以下の画面が起動します 35

36 C) Switchback type を選択します 後から変更も可能なため 初期設定とします D) リソースをアクティブとするプライマリノードを選択します 36

37 E) /dev/mapper/mpathap1 をマウントしたディレクトリを確認します F) リソースのタブ名を入力します 初期値はマウントポイントとなります Create Instance をクリックすると リソース作成が開始されます 37

38 G) リソースが作成されます エラーとなった場合は 以下のログから原因を判断し対処してください H) リソース作成が完了しましたら リソースの拡張を行う画面に代わります 拡張先のノードを選択してください また Accept Defaults を選択する事で この先の選択をすべてデフォルトでの選択として自動化することが出来ます 38

39 I) 自動的にリソース作成が完了します 2 ノードクラスターの場合 Finish を選択して 次の画面で Done を選択する事でリソース作成が完了となります J) DMMP デバイスをマウントしたファイルシステムは 以下の様なリソース構成となります 39