FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド ( サーバ接続編 ) ファイバチャネル /FCoE/iSCSI/SAS/Linux 用 device-mapper multipath 設定
このページは 空白です
はじめに 本書は ETERNUS DX/AF ETERNUS VX710/VX740 仮想化環境向けストレージを Linux または Oracle Linux が動作するサーバにファイバチャネル /FCoE/iSCSI/SAS 接続し device-mapper multipath を使用して運用するために必要な作業について説明しています 本書は ETERNUS DX/AF ETERNUS VX710/VX740 仮想化環境向けストレージ サーバ OS ドライバソフトウェア および使用するインターフェースカード ( ファイバチャネルカード iscsi カード SAS カード FCoE カード ) の説明書と併せてご使用ください なお 本書に記載している製品の商標 製品名などの表記については 構築ガイド ( サーバ接続編 ) 表記について を参照してください OS がサポートするストレージシステムについては ETERNUS DX/AF のサポート組み合わせ表を参照してください また ETERNUS VX710/VX740 仮想化環境向けストレージを VX700 series と表記しています 第 30 版 2018 年 12 月 本書の内容と構成 本書は以下に示す 5 章から構成されています 第 1 章作業の流れ (6 ページ ) 作業の流れについて説明しています 第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 (7 ページ ) サーバで使用している OS が RHEL7 RHEL6 または Oracle Linux の場合の マルチパス環境の設定および設定後の確認事項について説明しています 第 3 章 Red Hat Enterprise Linux 5 の場合 (12 ページ ) サーバで使用している OS が RHEL5 の場合の マルチパス環境の設定および設定後の確認事項について説明しています 第 4 章 SUSE Linux Enterprise Server 11 以降の場合 (16 ページ ) サーバで使用している OS が SLES15 SLES12 または SLES11 の場合の マルチパス環境の設定および設定後の確認事項について説明しています 第 5 章 SUSE Linux Enterprise Server 10 の場合 (21 ページ ) サーバで使用している OS が SLES10 の場合の マルチパス環境の設定および設定後の確認事項について説明しています 3
目次 第 1 章作業の流れ 6 第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 7 2.1 device-mapper multipath の設定...7 2.1.1 事前準備... 7 2.1.2 /etc/multipath.conf の設定... 7 2.1.3 device-mapper multipath の有効化... 10 2.1.4 Linux サーバの再起動... 10 2.2 device-mapper multipath の確認...11 2.2.1 device-mapper multipath 設定後のデバイス確認... 11 2.2.2 device-mapper multipath の状態確認... 11 第 3 章 Red Hat Enterprise Linux 5 の場合 12 3.1 device-mapper multipath の設定...12 3.1.1 事前準備... 12 3.1.2 /etc/multipath.conf の設定... 12 3.1.3 device-mapper multipath の有効化... 14 3.1.4 Linux サーバの再起動... 14 3.2 device-mapper multipath の確認...14 3.2.1 device-mapper multipath 設定後のデバイス確認... 14 3.2.2 device-mapper multipath の状態確認... 15 第 4 章 SUSE Linux Enterprise Server 11 以降の場合 16 4.1 device-mapper multipath の設定...16 4.1.1 事前準備... 16 4.1.2 /etc/multipath.conf の設定... 16 4.1.3 device-mapper multipath の有効化... 18 4.1.4 Linux サーバの再起動... 18 4.2 device-mapper multipath の確認...19 4.2.1 device-mapper multipath 設定後のデバイス確認... 19 4.2.2 device-mapper multipath の状態確認... 19 第 5 章 SUSE Linux Enterprise Server 10 の場合 21 4
目次 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合...21 5.1.1 device-mapper multipath の設定... 21 5.1.2 device-mapper multipath の確認... 24 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合...25 5.2.1 device-mapper multipath の設定... 25 5.2.2 device-mapper multipath の確認... 27 5
第 1 章作業の流れ device-mapper multipath を使用する場合の設定 および確認を行います 作業の流れは以下のとおりです 作業の流れ device-mapper multipath の設定 device-mapper multipath を設定します device-mapper multipath の確認 device-mapper multipath を設定後のデバイス確認を行います 参照先一覧 本書は 使用する OS のベンダーやバージョン別に構成しています 使用する OS のベンダーやバージョンの章を参照してください 使用する OS Red Hat Enterprise Linux 7 Red Hat Enterprise Linux 6 または Oracle Linux 参照先 第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 (7 ページ ) Red Hat Enterprise Linux 5 第 3 章 Red Hat Enterprise Linux 5 の場合 (12 ページ ) SUSE Linux Enterprise Server 11 以降 第 4 章 SUSE Linux Enterprise Server 11 以降の場合 (16 ページ ) SUSE Linux Enterprise Server 10 SP3 以降 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合 (21 ページ ) SUSE Linux Enterprise Server 10 SP2 以前 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 (25 ページ ) 6
第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 サーバで使用している OS が RHEL7 RHEL6 または Oracle Linux の場合の マルチパス環境の設定および設定後の確認事項について説明しています 2.1 device-mapper multipath の設定 マルチパス環境にするための設定を行います 2.1.1 事前準備 device-mapper multipath は RPM (Red Hat Package Manager) を使用します サポート組み合わせ表に RPM の版数が記載されていない場合は OS に標準添付されている RPM を使用してください device-mapper-multipath パッケージがインストールされていることを確認してください インストールされていない場合は マルチパス設定を行う前に インストールしてください 2.1.2 /etc/multipath.conf の設定 device-mapper multipath の構成ファイルを以下のように設定します 以下の手順でファイルを作成します 1 mpathconf コマンドを実行します このコマンドを実行することにより multipath デーモンがサービスに登録され 設定ファイル (/etc/multipath.conf) が作成されます # mpathconf --enable 上記コマンドで設定ファイルが作成されなかった場合は /usr/share/doc/device-mappermultipath-x.x.x/multipath.conf ファイルを /etc ディレクトリにコピー後 再度 "mpathconf --enable" コマンドを実行してください 2 内蔵ディスクなど マルチパス構成から外したいデバイスがある場合には "blacklist" に外したいデバイス名を記述します 記述方法の詳細は Red Hat 社の Web サイトを参照してください また Oracle Linux を使用している場合も Red Hat 社の Web サイトを参照してください blacklist { 7
第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.1 device-mapper multipath の設定 3 以下の記述があることを確認します ## Use user friendly names, instead of using WWIDs as names. defaults { user_friendly_names yes (*1) queue_without_daemon no (*2) # find_multipaths yes (*3) *1 "user_friendly_names" は ミドルウェアやアプリケーションの必要に応じて "no" と設定することも可能です *2 iscsi 接続の場合は "queue_without_daemon no" の行を追加してください *3 "find_multipaths yes" の記述があった場合には 先頭に "#" を記載してコメントアウトしてください "defaults" と "{" の間には半角スペースを入れてください 4 ファイルの最後に以下を追加します ETERNUS DX/AF の場合 ( 例 ETERNUS DX60 S4 を接続する場合 ) devices { device { vendor "FUJITSU" product "ETERNUS_DXL" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 0 (*1) path_checker tur dev_loss_tmo 2097151 (*2) fast_io_fail_tmo 1 *1 FC 接続で Storage Cluster 機能を使用する場合 または ETERNUS DX S4/S3 series および ETERNUS AF series で 10Gbit/s iscsi 接続の場合は "no_path_retry 10" と設定してください iscsi 接続で Storage Cluster 機能を使用する場合は "no_path_retry 20" と設定してください *2 Oracle Linux 5.6 UEK 以前または Oracle Linux 5.6 以前の場合は "dev_loss_tmo" の行の追加は不要です 8
第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.1 device-mapper multipath の設定 - "devices" と "{" の間には半角スペースを入れてください - "device" と "{" の間には半角スペースを入れてください - Brocade 社製ファイバチャネルカードを使用している場合 "dev_loss_tmo" の設定値が正しく反映されません そのため 電源障害で ETERNUS DX/AF の電源が切断されると デバイスファイルがクリアされることがあります この場合 サーバの再起動が必要になります - ETERNUS DX8100 S3 では Oracle Linux をサポートしていません "product" の設定値は 使用する装置によって異なります 以下の表を確認して設定してください 使用する装置 ETERNUS DX60 S4/DX100 S4/DX200 S4, ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS AF250 S2, ETERNUS AF250, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS DX500 S4/DX600 S4, ETERNUS DX500 S3/DX600 S3, ETERNUS AF650 S2, ETERNUS AF650 ETERNUS DX8900 S4, ETERNUS DX8100 S3/DX8700 S3/DX8900 S3 ETERNUS DX400 S2 series ETERNUS DX8000 S2 series "product" 設定値 ETERNUS_DXL ETERNUS_DXM ETERNUS_DXH ETERNUS_DX400 ETERNUS_DX8000 VX700 series の場合 devices { device { vendor "FUJITSU" product "ETERNUS_VX700" path_grouping_policy multibus getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n" path_checker tur failback manual no_path_retry 120 - "devices" と "{" の間には半角スペースを入れてください - "device" と "{" の間には半角スペースを入れてください - VX700 series では Oracle Linux をサポートしていません 9
第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.1 device-mapper multipath の設定 2.1.3 device-mapper multipath の有効化 device-mapper multipath を有効にします Red Hat Enterprise Linux 7 Oracle Linux 7 の場合以下のコマンドを実行します コマンド実行後に multipathd が正常に起動完了することを確認してください # systemctl start multipathd.service すでに multipathd が動作している場合は reload を行ってください # systemctl reload multipathd.service Red Hat Enterprise Linux 6 Oracle Linux 6 の場合 以下のコマンドを実行します コマンド実行後に multipathd が正常に起動完了することを確認してください # service multipathd start すでに multipathd が動作している場合は reload を行ってください # service multipathd reload 2.1.4 Linux サーバの再起動 Linux サーバを再起動します 実行例 # shutdown -r now 10
第 2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.2 device-mapper multipath の確認 2.2 device-mapper multipath の確認 device-mapper multipath が有効になったあとの各種確認を行います 2.2.1 device-mapper multipath 設定後のデバイス確認 device-mapper multipath によって作成されたデバイスファイルを確認します 実行例 # ls -l /dev/mapper/ total 0 crw-rw----. 1 root root 10, 58 Apr 14 0901 control lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathh ->../dm-1 lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathi ->../dm-0 lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathj ->../dm-5 lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathk ->../dm-6 lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathl ->../dm-3 lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathm ->../dm-2 lrwxrwxrwx. 1 root root 7 Apr 14 0901 mpathn ->../dm-4 2.2.2 device-mapper multipath の状態確認 "multipath -ll" コマンドによってパスの状態を確認します サーバに割り当てたすべてのパス分のデバイスが正常状態で認識されていることを確認してください マルチパス正常状態 ( 例 ETERNUS DX60 S4 を 2 パスで接続している場合 ) 2 つのブロックデバイスでマルチパスが構成され それぞれのパスの状態が "active ready" と表示されることを確認します # multipath -ll mpathh (3600000e00d0000000001000000200000) dm-1 FUJITSU,ETERNUS_DXL size=2.0g features= 1 queue_if_no_path hwhandler= 0 wp=rw -+- policy= round-robin 0 prio=50 status=active - 1000 sdb 816 active ready running -+- policy= round-robin 0 prio=10 status=enabled "active ready" - 2000 sdi 8128 active ready running 2 2 マルチパス ("200X" 側 ) の異常状態 ( 例 ETERNUS DX60 S4 を 2 パスで接続している場合 ) # multipath -ll mpathh (3600000e00d0000000001000000200000) dm-1 FUJITSU,ETERNUS_DXL size=2.0g features='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=50 status=active `- 1000 sdb 816 active ready running OS 11
第 3 章 Red Hat Enterprise Linux 5 の場合 サーバで使用している OS が RHEL5 の場合の マルチパス環境の設定および設定後の確認事項について説明しています 3.1 device-mapper multipath の設定 マルチパス環境にするための設定を行います 3.1.1 事前準備 device-mapper multipath は RPM (Red Hat Package Manager) を使用します サポート組み合わせ表に RPM の版数が記載されていない場合は OS に標準添付されている RPM を使用してください 3.1.2 /etc/multipath.conf の設定 device-mapper multipath の構成ファイルを以下のように設定します 以下の手順でファイルを作成します 1 以下の 3 行をコメントアウトします # blacklist { # devnode "*" # 内蔵ディスクなど マルチパス構成から外したいデバイスがある場合には "blacklist" に外したいデバイス名を記述してください 記述方法の詳細は Red Hat 社の Web サイトを参照してください 2 以下の記述があることを確認します ## Use user friendly names, instead of using WWIDs as names. defaults { user_friendly_names yes 12
第 3 章 Red Hat Enterprise Linux 5 の場合 3.1 device-mapper multipath の設定 "defaults" と "{" の間には半角スペースを入れてください 3 ファイルの最後に以下を追加します ETERNUS DX/AF の場合 ( 例 ETERNUS DX60 S4 の場合 ) devices { device { vendor "FUJITSU" product "ETERNUS_DXL" prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur - "devices" と "{" の間には半角スペースを入れてください - "device" と "{" の間には半角スペースを入れてください "product" の設定値は 使用する装置によって異なります 以下の表を確認して設定してください 使用する装置 ETERNUS DX60 S4/DX100 S4/DX200 S4, ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS AF250 S2, ETERNUS AF250, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS DX500 S4/DX600 S4, ETERNUS DX500 S3/DX600 S3, ETERNUS AF650 S2, ETERNUS AF650 ETERNUS DX8900 S4, ETERNUS DX8100 S3/DX8700 S3/DX8900 S3 ETERNUS DX400 S2 series ETERNUS DX8000 S2 series "product" 設定値 ETERNUS_DXL ETERNUS_DXM ETERNUS_DXH ETERNUS_DX400 ETERNUS_DX8000 13
第 3 章 Red Hat Enterprise Linux 5 の場合 3.2 device-mapper multipath の確認 VX700 series の場合 devices { device { vendor "FUJITSU" product "ETERNUS_VX700" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" path_checker tur failback manual no_path_retry 120 - "devices" と "{" の間には半角スペースを入れてください - "device" と "{" の間には半角スペースを入れてください 3.1.3 device-mapper multipath の有効化 device-mapper multipath を有効にします 以下のコマンドを実行します # multipath -v 1 # chkconfig --add multipathd # chkconfig multipathd on # multipath # /etc/init.d/multipathd start 3.1.4 Linux サーバの再起動 Linux サーバを再起動します 実行例 # shutdown -r now 3.2 device-mapper multipath の確認 device-mapper multipath が有効になったあとの各種確認を行います 3.2.1 device-mapper multipath 設定後のデバイス確認 device-mapper multipath によって作成されたデバイスファイルを確認します 14
第 3 章 Red Hat Enterprise Linux 5 の場合 3.2 device-mapper multipath の確認 実行例 # cd /dev/mapper # ls -l crw------- 1 root root 10, 63 Oct 17 1741 control brw-rw---- 1 root disk 253, 0 Oct 17 1741 mpath0 brw-rw---- 1 root disk 253, 1 Oct 17 1741 mpath1 brw-rw---- 1 root disk 253, 10 Oct 17 1741 mpath10 brw-rw---- 1 root disk 253, 99 Oct 17 1741 mpath100 brw-rw---- 1 root disk 253, 245 Oct 17 1741 mpath246 brw-rw---- 1 root disk 253, 246 Oct 17 1741 mpath247 brw-rw---- 1 root disk 253, 247 Oct 17 1741 mpath248 brw-rw---- 1 root disk 253, 248 Oct 17 1741 mpath249 3.2.2 device-mapper multipath の状態確認 "multipath -ll" コマンドによってパスの状態を確認します サーバに割り当てたすべてのパス分のデバイスが正常状態で認識されていることを確認してください マルチパス正常状態 ( 例 ETERNUS DX60 S4 を 2 パスで接続している場合 ) 2 つのブロックデバイスでマルチパスが構成され それぞれのパスの状態が "active ready" と表示されることを確認します # multipath -ll mpath2 (3600000e00d00000000000f7e00010000) dm-1 FUJITSU,ETERNUS_DXL [size=10g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 4001 sde 864 [active][ready] _ round-robin 0 [prio=10][enabled] "[active] [ready]" _ 3001 sdc 832 [active][ready] 2 2 マルチパス ("300X" 側 ) の異常状態 ( 例 ETERNUS DX60 S4 を 2 パスで接続している場合 ) # multipath -ll mpath2 (3600000e00d00000000000f7e00010000) dm-1 FUJITSU,ETERNUS_DXL [size=10g][features=1 queue_if_no_path][hwhandler=0][rw] _ round-robin 0 [prio=50][active] _ 4001 sde 864 [active][ready] _ round-robin 0 [prio=0][enabled] _ 3001 sdc 832 [failed][faulty] "[failed][faulty]" 15
第 4 章 SUSE Linux Enterprise Server 11 以降の場合 サーバで使用している OS が SLES15 SLES12 または SLES11 の場合の マルチパス環境の設定および設定後の確認事項について説明しています 4.1 device-mapper multipath の設定 マルチパス環境にするための設定を行います 4.1.1 事前準備 device-mapper multipath は RPM (Red Hat Package Manager) を使用します サポート組み合わせ表に RPM の版数が記載されていない場合は OS に標準添付されている RPM を使用してください 4.1.2 /etc/multipath.conf の設定 device-mapper multipath の構成ファイルを以下のように設定します 以下の手順でファイルを作成します 1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic" をコピーし ファイルを作成します # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic" が存在しない場合は 手順. 2 に従い /etc/multipath.conf ファイルを作成してください 2 以下の内容をファイルに追加します "defaults" の最後に以下の内容を追加します defaults { user_friendly_names yes 16
第 4 章 SUSE Linux Enterprise Server 11 以降の場合 4.1 device-mapper multipath の設定 "devices" の最後に以下の内容を追加します ( 例 ETERNUS DX410 S2 の場合 ) devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 0 (*1) path_checker tur dev_loss_tmo 2147483 fast_io_fail_tmo 1 retain_attached_hw_handler "no" detect_prio "no" *1 FC 接続で Storage Cluster 機能を使用する場合は "no_path_retry 10" と設定してください iscsi 接続で Storage Cluster 機能を使用する場合は "no_path_retry 20" と設定してください "defaults" と "{" の間には半角スペースを入れてください "devices" と "{" の間には半角スペースを入れてください "device" と "{" の間には半角スペースを入れてください Brocade 社製ファイバチャネルカードを使用している場合 "dev_loss_tmo" の設定値が正しく反映されません そのため 電源障害で ETERNUS DX/AF の電源が切断されると デバイスファイルがクリアされることがあります この場合 サーバの再起動が必要になります "product" の設定値は 使用する装置によって異なります 以下の表を確認して設定してください 使用する装置 ETERNUS DX60 S4/DX100 S4/DX200 S4, ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS AF250 S2, ETERNUS AF250, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS DX500 S4/DX600 S4, ETERNUS DX500 S3/DX600 S3, ETERNUS AF650 S2, ETERNUS AF650 ETERNUS DX8900 S4, ETERNUS DX8700 S3/DX8900 S3 ETERNUS DX400 S2 series ETERNUS DX8000 S2 series "product" 設定値 ETERNUS_DXL ETERNUS_DXM ETERNUS_DXH ETERNUS_DX400 ETERNUS_DX8000 17
第 4 章 SUSE Linux Enterprise Server 11 以降の場合 4.1 device-mapper multipath の設定 内蔵ディスクなど マルチパス構成から外したいデバイスがある場合には "blacklist" に外したいデバイス名を記述してください 記述方法の詳細は Novell 社の Web サイトを参照してください SLES12 の場合は 内蔵ディスクをマルチパス構成から外したいデバイスとして 必ず "blacklist" にデバイス名を記述してください SLES11 SP2 の場合は設定内容を有効にするため 以下のパッチ ( またはそれ以上の新しいパッチ ) を適用する必要があります xxx はアーキテクチャー名 (x86 など ) を示します - kpartx-0.4.9-0.66.1.xxx.rpm - multipath-tools-0.4.9-0.66.1.xxx.rpm 4.1.3 device-mapper multipath の有効化 device-mapper multipath を有効にします SUSE Linux Enterprise Server 12 以降の場合 1 初期 RAM ディスクを作成します 使用しているカーネルに合わせて 初期 RAM ディスクのイメージファイルを作成します 作成方法は ファイバチャネルカードのマニュアルを参照してください 2 以下のコマンドを実行します # systemctl enable multipathd.service # systemctl start multipathd.service SUSE Linux Enterprise Server 11 の場合 以下のコマンドを実行します # insserv boot.multipath multipathd # chkconfig multipathd on # chkconfig boot.multipath on # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start 4.1.4 Linux サーバの再起動 Linux サーバを再起動します 実行例 # shutdown -r now 18
第 4 章 SUSE Linux Enterprise Server 11 以降の場合 4.2 device-mapper multipath の確認 4.2 device-mapper multipath の確認 device-mapper multipath が有効になったあとの各種確認を行います 4.2.1 device-mapper multipath 設定後のデバイス確認 device-mapper multipath によって作成されたデバイスファイルを確認します 実行例 # cd /dev/mapper # ls -l total 0 lrwxrwxrwx 1 root root 16 Apr 2 0044 control ->../device-mapper brw------- 1 root root 253, 0 Apr 2 0044 mpatha brw------- 1 root root 253, 1 Apr 2 0044 mpathb brw------- 1 root root 253, 2 Apr 2 0044 mpathc brw------- 1 root root 253, 3 Apr 2 0044 mpathd brw------- 1 root root 253, 23 Apr 2 0044 mpathu brw------- 1 root root 253, 24 Apr 2 0044 mpathv brw------- 1 root root 253, 25 Apr 2 0044 mpathw brw------- 1 root root 253, 26 Apr 2 0044 mpathx 4.2.2 device-mapper multipath の状態確認 "multipath -ll" コマンドによってパスの状態を確認します サーバに割り当てたすべてのパス分のデバイスが正常状態で認識されていることを確認してください マルチパス正常状態 ( 例 ETERNUS DX410 S2 を 2 パスで接続している場合 ) 2 つのブロックデバイスでマルチパスが構成され それぞれのパスの状態が "active ready" と表示されることを確認します # multipath -ll mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DX400 size=10g features= 1 queue_if_no_path hwhandler= 0 wp=rw -+- policy= round-robin 0 prio=150 status=active - 3001 sdc 832 active ready running - 4001 sde 864 active ready running "active ready" 2 2 マルチパス ("300X" 側 ) の異常状態 ( 例 ETERNUS DX410 S2 を 2 パスで接続している場合 ) # multipath -ll mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DX400 size=10g features='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=150 status=active `- 4001 sde 864 active ready running OS 19
第 4 章 SUSE Linux Enterprise Server 11 以降の場合 4.2 device-mapper multipath の確認 ストレージクラスタ使用時に ストレージシステム装置がフェイルオーバすると "multipath -ll" でパスごとに以下のメッセージが表示される場合がありますが ストレージシステム装置の動作には問題ありません 以下のメッセージは無視してください # multipath -ll Jul 27 135834 sdn couldn't get asymmetric access state Jul 27 135834 sdc couldn't get asymmetric access state mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DXM size=15g features='1 queue_if_no_path' hwhandler='0' wp=rw -+- policy='round-robin 0' prio=-1 status=active `- 6001 sdn 8208 active ready running `-+- policy='round-robin 0' prio=-1 status=enabled `- 1001 sdc 832 active ready running 2 "couldn't get asymmetric access state" 2 20
第 5 章 SUSE Linux Enterprise Server 10 の場合 サーバで使用している OS が SLES10 の場合の マルチパス環境の設定および設定後の確認事項について説明しています 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合 5.1.1 device-mapper multipath の設定 5.1.1.1 事前準備 マルチパス環境にするための設定を行います device-mapper multipath は RPM (Red Hat Package Manager) を使用します サポート組み合わせ表に RPM の版数が記載されていない場合は OS に標準添付されている RPM を使用してください 5.1.1.2 /etc/multipath.conf の設定 device-mapper multipath の構成ファイルを以下のように設定します 以下の手順でファイルを作成します 1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic" をコピーし ファイルを作成します # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf 2 以下の内容をファイルに追加します "defaults" の最後に以下の内容を追加します defaults { user_friendly_names yes 21
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合 "devices" の最後に以下の内容を追加します ( 例 ETERNUS DX410 S2 の場合 ) devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur "defaults" と "{" の間には半角スペースを入れてください "devices" と "{" の間には半角スペースを入れてください "device" と "{" の間には半角スペースを入れてください "product" の設定値は 使用する装置によって異なります 以下の表を確認して設定してください 使用する装置 ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS DX500 S3/DX600 S3 ETERNUS DX8700 S3/DX8900 S3 ETERNUS DX400 S2 series ETERNUS DX8000 S2 series "product" 設定値 ETERNUS_DXL ETERNUS_DXM ETERNUS_DXH ETERNUS_DX400 ETERNUS_DX8000 内蔵ディスクなど マルチパス構成から外したいデバイスがある場合には "blacklist" に外したいデバイス名を記述してください 記述方法の詳細は Novell 社の Web サイトを参照してください 22
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合 5.1.1.3 device-mapper multipath の有効化 device-mapper multipath を有効にします 以下のコマンドを実行します # insserv boot.multipath multipathd # chkconfig multipathd on # chkconfig boot.multipath on # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start デバイスが多く接続されている環境では "/etc/init.d/boot.multipath start" コマンドの実行後に 以下のメッセージが表示される場合があります Setup multipath targets/etc/init.d/boot.multipath line 102 /sys/block/dm-*/uevent No such file or directory timeout waiting for devices failed または Setup multipath targetstimeout waiting for devices failed これらのメッセージが表示された場合は 5 分ほど時間を空けてから 再度 "/etc/init.d/boot.multipath start" コマンドを実行してください 5.1.1.4 Linux サーバの再起動 Linux サーバを再起動します 実行例 # shutdown -r now 23
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合 5.1.2 device-mapper multipath の確認 device-mapper multipath が有効になったあとの各種確認を行います 5.1.2.1 device-mapper multipath 設定後のデバイス確認 device-mapper multipath によって作成されたデバイスファイルを確認します 実行例 # cd /dev/mapper # ls -l total 0 lrwxrwxrwx 1 root root 16 Apr 2 0044 control ->../device-mapper brw------- 1 root root 253, 0 Apr 2 0044 mpatha brw------- 1 root root 253, 1 Apr 2 0044 mpathb brw------- 1 root root 253, 2 Apr 2 0044 mpathc brw------- 1 root root 253, 3 Apr 2 0044 mpathd brw------- 1 root root 253, 23 Apr 2 0044 mpathu brw------- 1 root root 253, 24 Apr 2 0044 mpathv brw------- 1 root root 253, 25 Apr 2 0044 mpathw brw------- 1 root root 253, 26 Apr 2 0044 mpathx 5.1.2.2 device-mapper multipath の状態確認 "multipath -ll" コマンドによってパスの状態を確認します サーバに割り当てたすべてのパス分のデバイスが正常状態で認識されていることを確認してください マルチパス正常状態 ( 例 ETERNUS DX410 S2 を 2 パスで接続している場合 ) 2 つのブロックデバイスでマルチパスが構成され それぞれのパスの状態が "active ready" と表示されることを確認します # multipath -ll mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0g][features=1 queue_if_no_path][hwhandler=0] _ round-robin 0 [prio=100][active] _ 6006 sdaf 65240 [active][ready] _ 5006 sdh 2 8112 [active][ready] 2 "[active] [ready]" マルチパス ("500X" 側 ) の異常状態 ( 例 ETERNUS DX410 S2 を 2 パスで接続している場合 ) # multipath -ll mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0g][features=1 queue_if_no_path][hwhandler=0] _ round-robin 0 [prio=100][active] _ 6006 sdaf 65240 [active][ready] _ 5006 sdh 8112 [failed][faulty] "[failed][faulty]" 24
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 5.2.1 device-mapper multipath の設定 5.2.1.1 事前準備 マルチパス環境にするための設定を行います device-mapper multipath は RPM (Red Hat Package Manager) を使用します サポート組み合わせ表に RPM の版数が記載されていない場合は OS に標準添付されている RPM を使用してください 5.2.1.2 /etc/multipath.conf の設定 device-mapper multipath の構成ファイルを以下のように設定します 以下の手順でファイルを作成します 1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic" をコピーし ファイルを作成します # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf 2 以下の内容をファイルに追加します "defaults" の最後に以下の内容を追加します defaults { user_friendly_names yes "devices" の最後に以下の内容を追加します ( 例 ETERNUS DX410 S2 の場合 ) devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur 25
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 "defaults" と "{" の間には半角スペースを入れてください "devices" と "{" の間には半角スペースを入れてください "device" と "{" の間には半角スペースを入れてください "product" の設定値は 使用する装置によって異なります 以下の表を確認して設定してください 使用する装置 ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS DX400 S2 series ETERNUS DX8000 S2 series "product" 設定値 ETERNUS_DXL ETERNUS_DX400 ETERNUS_DX8000 内蔵ディスクなど マルチパス構成から外したいデバイスがある場合には "blacklist" に外したいデバイス名を記述してください 記述方法の詳細は Novell 社の Web サイトを参照してください 5.2.1.3 device-mapper multipath の有効化 device-mapper multipath を有効にします 以下のコマンドを実行します # insserv boot.multipath multipathd # chkconfig multipathd on # chkconfig boot.multipath on # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start デバイスが多く接続されている環境では "/etc/init.d/boot.multipath start" コマンドの実行後に 以下のメッセージが表示される場合があります Setup multipath targets/etc/init.d/boot.multipath line 102 /sys/block/dm-*/uevent No such file or directory timeout waiting for devices failed または Setup multipath targetstimeout waiting for devices failed これらのメッセージが表示された場合は 5 分ほど時間を空けてから 再度 "/etc/init.d/boot.multipath start" コマンドを実行してください 5.2.1.4 Linux サーバの再起動 Linux サーバを再起動します # shutdown -r now 26
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 再起動後 /var/log/message に以下の warning メッセージが出力される場合がありますが マルチパスの構築および動作に問題はありません Jun 30 161500 nvcs2 multipathd sdb Using deprecated prio_callout '/sbin/mpath_prio_alua %d' (controller setting) Please fixup /etc/multipath.conf 5.2.2 device-mapper multipath の確認 device-mapper multipath が有効になったあとの各種確認を行います 5.2.2.1 device-mapper multipath 設定後のデバイス確認 device-mapper multipath によって作成されたデバイスファイルを確認します 実行例 # cd /dev/mapper # ls -l total 0 lrwxrwxrwx 1 root root 16 Apr 2 0044 control ->../device-mapper brw------- 1 root root 253, 0 Apr 2 0044 mpatha brw------- 1 root root 253, 1 Apr 2 0044 mpathb brw------- 1 root root 253, 2 Apr 2 0044 mpathc brw------- 1 root root 253, 3 Apr 2 0044 mpathd brw------- 1 root root 253, 23 Apr 2 0044 mpathu brw------- 1 root root 253, 24 Apr 2 0044 mpathv brw------- 1 root root 253, 25 Apr 2 0044 mpathw brw------- 1 root root 253, 26 Apr 2 0044 mpathx 5.2.2.2 device-mapper multipath の状態確認 "multipath -ll" コマンドによってパスの状態を確認します サーバに割り当てたすべてのパス分のデバイスが正常状態で認識されていることを確認してください マルチパス正常状態 ( 例 ETERNUS DX410 S2 を 2 パスで接続している場合 ) 2 つのブロックデバイスでマルチパスが構成され それぞれのパスの状態が "active ready" と表示されることを確認します # multipath -ll mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0g][features=1 queue_if_no_path][hwhandler=0] _ round-robin 0 [prio=100][active] _ 6006 sdaf 65240 [active][ready] _ 5006 sdh 2 8112 [active][ready] 2 "[active] [ready]" 27
第 5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 マルチパス ("500X" 側 ) の異常状態 ( 例 ETERNUS DX410 S2 を 2 パスで接続している場合 ) # multipath -ll mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0g][features=1 queue_if_no_path][hwhandler=0] _ round-robin 0 [prio=100][active] _ 6006 sdaf 65240 [active][ready] _ 5006 sdh 8112 [failed][faulty] "[failed][faulty]" SLES10 を使用する場合 "multipath -ll" コマンド実行後のパスの状態表示の中に 以下のメッセージが出力される場合がありますが マルチパスの構築および動作に問題はありません sdaf Using deprecated prio_callout '/sbin/mpath_prio_alua %d' (controller setting) Please fixup /etc/multipath.conf sdh Using deprecated prio_callout '/sbin/mpath_prio_alua %d' (controller setting) Please fixup /etc/multipath.conf 28
FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド ( サーバ接続編 ) ファイバチャネル /FCoE/iSCSI/SAS/Linux 用 device-mapper multipath 設定 発行日 2018 年 12 月発行責任 富士通株式会社 本書の内容は 改善のため事前連絡なしに変更することがあります 本書の内容は 細心の注意を払って制作致しましたが 本書中の誤字 情報の抜け 本書情報の使用に起因する運用結果に関しましては 責任を負いかねますので予めご了承願います 本書に記載されたデータの使用に起因する第三者の特許権およびその他の権利の侵害については 当社はその責を負いません 無断転載を禁じます