ユーザーマニュアル開発環境編

Transcription

1 ユーザーマニュアル 開発環境編

2 目次 1 はじめに Intel Composer インストールパッケージ 使用するコマンド 環境設定 コンパイラバージョンの変更 ドキュメント サポート期間 Intel Math Kernel Library コンパイルオプション OpenMPI インストールパッケージ 使用するコマンド コンパイラオプション 実行方法 計算ノードの指定 ジョブスケジューラーとの連携方法 PGI Workstation インストールパッケージ 使用するコマンド 環境設定 コンパイラバージョンの変更 ドキュメント ライセンスファイル Gaussian09 ソースコード版での使用 CUDA インストールパッケージ 使用するコマンド 環境設定 GPU の動作確認 CUDA プログラミングガイド トラブルシューティング 大容量スレッドの Infiniband RDMA 通信障害について 付録 A 25 A.1 HPC システムズお問い合わせ先 Copyright HPC SYSTEMS Inc. All Rights Reserved. 1

3 1 はじめに この度は当社計算機をお買い求め頂きまして誠にありがとうございます 本マニュアルは当社計算機で使用する開発環境について概説します 当社の計算機は製品ごとにインストールされている環境は異なり 通常ではここで紹介する全ての開発環境をインストールしておりません 本マニュアルをご覧の際は計算機にインストールされているパッケージをご確認の上 ご使用になる開発環境の項目をご確認頂くようお願い致します Copyright HPC SYSTEMS Inc. All Rights Reserved. 2

4 2 Intel Composer 2.1 インストールパッケージ Intel Composer のパッケージはインテルレジストレーション センターのホームページで配布されています インテルコンパイラのライセンスをお持ちの場合は以下サイトからパッケージをダウンロードすることができます 計算機には最新版の Intel Composer XE 2013 (13.1) と 以前リリースされた安定版の Intel Composer XE 2011 SP1 (12.1) の 2 種類のバージョンがインストールされています 各パッケ ージは計算機の以下ディレクトリにインストールされています パッケージ Intel Composer XE 2013 (13.1) Intel Composer XE 2011 SP1 (12.1) ディレクトリ /opt/intel/composer_xe_2013 /opt/intel/composer_xe_2011_sp1 2.2 使用するコマンド Intel Composer を使うには以下コマンドを使用します 出荷設定では root 以外の全ユーザー が使用できます ifort icc icpc コマンド 内容 Fortran 77 / 90 / 95 / 2003 用 C 言語用 C++ 用 Copyright HPC SYSTEMS Inc. All Rights Reserved. 3

5 2.3 環境設定 Intel Composer を使用するための環境設定を各ユーザーのホームディレクトリのファイルで行っています tcsh をご使用の場合は ~/.cshrc bash をご使用の場合は ~/.bashrc ファイル内で コンパイラの環境設定ファイル iccvars と ifortvars ファイルをロードします 環境設定ファイル内には変数 COMPILER があります 変数 COMPILER に INTEL13.1 を選択してい る場合 ユーザーは Intel Composer XE 2013 (13.1) を使用することができます 出荷標準ではユーザーは Intel Composer XE 2013 (13.1) のコンパイラを使用するように設 定されています 出荷設定では icc / ifort コマンドに以下のエイリアス設定をしています icc / ifort コマ ンドを使用する際 以下オプションが自動で適用されます オプション -D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -assume buffered_io 内容プログラム上で 2GB を超えるサイズのファイルを取り扱うために使用します (icc で標準使用します ) プログラム上で 2GB を超えるサイズのファイルを取り扱うために使用します (icc で標準使用します ) ファイルに書き込みを行う際 ディスクにすぐに書き込まず バッファに蓄積することを指示します (ifort で標準使用します ) Copyright HPC SYSTEMS Inc. All Rights Reserved. 4

6 2.4 コンパイラバージョンの変更 Intel Composer の使用環境は各ユーザーのホームディレクトリのファイルで設定されます 使用するコンパイラのパッケージを変更するには 次のファイルの COMPILER の変数の値を変更 します tcsh をご使用の場合は ~/.cshrc を変更します set COMPILER=INTEL13.1 #set COMPILER=INTEL12.1 #set COMPILER=INTEL11.1 #set COMPILER=PGI13 #set COMPILER=PGI12 #set COMPILER=PGI11 bash を使用の場合は ~/.bashrc を変更します COMPILER=INTEL13.1 #COMPILER=INTEL12.1 #COMPILER=INTEL11.1 #COMPILER=PGI13 #COMPILER=PGI12 #COMPILER=PGI11 各ユーザーが使用するシェルは "echo $0" コマンド等で確認します 次回ユーザーがログインした時からコンパイラのバージョンが変わります バージョンが変更されたことを 念のため "ifort -V" や "icc -V" でご確認下さい コンパイラバージョン変更時の注意上記のインテルコンパイラのバージョンを変更すると 環境変数 LD_LIBRARY_PATH 等が変わります コンパイラのバージョン変更後に以前コンパイルしたプログラムを動作すると 実行ファイルが正しいライブラリを参照できず 正常に動作しない場合があります その際は実行するプログラムをコンパイルし直すか 使用するコンパイラのバージョン毎に新しいユーザーを作成するなどをしてご対応下さい Copyright HPC SYSTEMS Inc. All Rights Reserved. 5

7 2.5 ドキュメント Intel Composer のドキュメントはインストールしたディレクトリ内にあります 詳細につき ましてはこちらのドキュメントをご参照下さい バージョン ディレクトリ Intel Composer XE 2013 (13.1) /opt/intel/composer_xe_2013/documentation Intel Composer XE 2011 SP1 (12.1) /opt/intel/composer_xe_2011_sp1/documentation また Intel Composer の代理店のエクセルソフト ( 株 ) のサイトより 各種ドキュメントが配 布されています 以下 URL をご参照下さい サポート期間 当社で販売している Intel Composer シングルノードライセンスは 1 年間のサポート期間があります 保障期間内は以下の権利があります (1) Intel Composer のパッケージがマイナーバージョンアップした際 新しいパッケージを入手して計算機にインストールすることができます 新しいパッケージはインテルレジストレーション センターから配布されます (2) 開発元の Intel Composer テクニカルサポート対応が受けられます ライセンスが切れた場合は上記の対応が受けられなくなります サポート期限後も引き続きこれらの対応を受ける場合は有償でライセンス更新を行う必要があります サポート期限が切れた後も既に計算機にインストールされているコンパイラを使用することや コンパイルしたプログラムを使用することは可能です Intel Composer のサポート期間はインテルレジストレーション センターでログインして確認できます また 計算機で使用されているライセンスファイルにも記述されています ライセンスファイルは以下をご確認下さい ファイル:/opt/intel/licenses/COM_L_CMP xxxx-xxxxxxxx.lic 確認箇所: 通常は 1 行目に記述があります ファイル例:( 以下例では 2013/4/4 までです ) PACKAGE IBFD56E38 INTEL ED02886BB63C COMPONENTS="DgbL \ Copyright HPC SYSTEMS Inc. All Rights Reserved. 6

8 2.7 Intel Math Kernel Library Intel Composer には Intel Math Kernel Library (MKL) パッケージが同梱されています MKL を使用の際はコンパイル時のオプションでライブラリを指定して下さい 以下がコンパイル時の構文の概要です <files to link> -L<MKL path> -I<MKL include> [-I <MKL include>/{ia32 intel64} {ilp64 lp64}] [-lmkl_blas {95 95_ilp64 95_lp64} ] [-lml_lapack{95 95_ilp64 95_lp64}] [<cluster components>] -lmkl_{intel intel_ilp64 intel_lp64 intel_sp2dp gf gf_ilp64 gf_lp64} -lmkl_{intel_thread gnu_thread pgi_thread sequential} -lmkl_core -liomp5 [-lpthread] [-lm] MKL の blas / lapack 等を使用する場合のコンパイル例は以下のとおりです ( 例 1) lntel LP64 インターフェースを使用したダイナミックリンクでのコンパイル ifort program.f -lmkl_intel_lp64 -lmkl_intel_thread -lmkl_core -liomp5 -lpthread ( 例 2) Intel LP64 インターフェースを使用したスタティックリンクでのコンパイル ifort program.f -Wl,--start-group ${MKLPATH}/libmkl_intel_lp64.a ${MKL_PATH}/libmkl_intel_thread.a ${MKL_PATH}/libmkl_core.a -Wl,--end-group -liomp5 -lpthread ${MKL_PATH} は使用する Intel Composer のバージョンで変わります Intel Composer XE 2013 (13.1) の場合 : /opt/intel/composer_xe_2013/mkl/lib/intel64 Intel Composer XE 2011 SP1 (12.1) の場合 : /opt/intel/composer_xe_2011_sp1/mkl/lib/intel64 MKL の使用の詳細については Intel Composer 付属マニュアルの " Linking Your Application with the Intel Math Kernel Library " 等の項目をご参考下さい Copyright HPC SYSTEMS Inc. All Rights Reserved. 7

9 2.8 コンパイルオプション Intel Composer でよく使用するコンパイルオプションです オプション -parallel -openmp -mcmodel -fp-model 内容作成された実行ファイルはスレッド並列で動作するようになります OpenMP を使用するプログラムをコンパイルする際に使用します 使用するメモリーモデルを指定します ( 例 ) -mcmodel=large 2GB 以上のサイズのデータが使用できます 浮動小数点の扱い方を指定します ( 例 ) -fp-model strict 縮約を無効にし 浮動小数点環境の変更を可能にするプロパティを有効にします Copyright HPC SYSTEMS Inc. All Rights Reserved. 8

10 3 OpenMPI OpenMPI とは 並列 分散プロセス間のメッセージ機能を提供する MPI 規格を実装したソフトウェアの一つです 特徴としては オープンソースであること MPI-1 MPI-2 規格に互換性がある 様々な OS やネットワーク規格に対応しているという点が挙げられます 過去に MPI-1 規格に準拠した mpich や lam MPI-2 規格に準拠した mpich2 で動作していたソースコードは ほとんどの場合はそのまま動作します なお 過去に mpich や mpich2 等でビルドを行ったアプリケーションはそのままでは OpenMPI で動作しません OpenMPI で実行するためには ソースコードから OpenMPI でビルドする必要があります 本項では計算機にセットアップされている OpenMPI について概説します 3.1 インストールパッケージ OpenMPI は から配布されているソースコードを使用してセットアップしています 当社では安定版の をセットアップしています それぞれのコンパイラパッケージ用に OpenMPI をビルドしています 各パッケージ用の OpenMPI は以下ディレクトリにセットアップされています コンパイラ Intel Composer XE 2013 (13.1) 用 Intel Composer XE 2011 SP1 (12.1) 用 ディレクトリ /usr/local/openmpi-intel131 /usr/local/openmpi-intel121 Copyright HPC SYSTEMS Inc. All Rights Reserved. 9

11 3.2 使用するコマンド OpenMPI で使用するコマンドは以下の通りです プログラムをコンパイルする際 内部で使 用するコンパイラが呼び出されて MPI ライブラリのリンクが行われます コマンド mpif90 mpif77 mpicc mpicxx mpirun ompi_info 内容 Fortran90 用 Fortran77 用 C 言語用 C++ 言語用 MPI プログラムの実行 OpenMPI のバージョンの表示使用するコンパイラの表示セットアップされているモジュールの表示 3.3 コンパイラオプション 基本的に通常のコンパイラのオプションをそのまま使用できますが static リンクについては注意が必要です OpenMPI は仕様上 アプリケーションのビルド時には shared リンク (dynamic リンク ) を使用することとなっています static オプションを使用することは可能ですが その場合は可能な限り static リンクを行うという振る舞いになります システム関連のライブラリ群 ( 例えば Infiniband 関連など ) は static リンクされません そのため 全てのライブラリを static にした 完全な単一実行バイナリを作成することはできません この場合 shared リンクされているファイルが実行されるには 実行環境において使用するライブラリが存在し そのライブラリにパスが通っていることが必須です アプリケーションのビルドを行い その環境においてすぐに実行を行う場合には問題はありませんが ノード環境の変更 ( コンパイラを変更する OS やアプリケーションのバージョンアップを行うなど ) 作成したノード以外の環境へコピーされる場合には shared リンクされているファイルも同様にコピーするよう注意して下さい Copyright HPC SYSTEMS Inc. All Rights Reserved. 10

12 3.4 実行方法 mpirun コマンドを使用してプログラムを実行します 形式は以下の通りです mpirun -np [ 並列数 ] [option] [ 実行ファイル ] [ 並列数 ] には 並列計算に使用するプロセスの数が入ります 通常 その数の CPU コアが使 用されます 例えば 4core を使用する並列計算の場合 mpirun -np 4 のように指定します [option] の項目は実行時のオプションです オプションの詳細な解説は OS 上の man コマ ンドより man mpirun でご確認下さい [ 実行ファイル ] 指定時にパスの指定を正確に行う必要があります 特に同名の実行ファイル が複数ある場合や ノード間でプロセスを起動する場合には 安全に実行するため 絶対パスで 指定することを強く推奨します 例えば プログラム test が /usr/local/bin/ に存在し -i オプションで入力ファイル -o オプションで出力ファイルを指定できるとします 入力ファイルに /home/hpc/test_data/inp を使用し 出力先として /home/hpc/test_out/out を指定したい場合 下記のようなコマンドラインになります mpirun -np 4 /usr/local/bin/test -i /home/hpc/test_data/inp -o /home/hpc/test_out/out また 上記の例でカレントディレクトリにプログラム test を置いたときは下記のようなコマ ンドラインになります mpirun -np 4./test -i /home/hpc/test_data/inp -o /home/hpc/test_out/out Copyright HPC SYSTEMS Inc. All Rights Reserved. 11

13 3.5 計算ノードの指定 計算に使用するノードはファイルで指定します 既定では次の設定ファイルを参照します /usr/local/openmpi-"package"/etc/openmpi-default-hostsfile "package" には使用するコンパイラのバージョン等の名前が入ります この設定ファイルの書式は次の通りです node01.sample.jp slots=x node02.sample.jp slots=y node03.sample.jp slots=z 計算に使用するノードのホスト名と slots の後にはそのノードで実行するプロセス数の上限を記述します ホスト名は小文字で FQDN の形で記述します ( node01 ではなく node01.sample.jp のように ) slots には 一般的に そのノードが持っているコア数を記述します また mpirun で MPI プログラムを起動する際に machinefile オプションを使用することで 上記既定とは異なる設定ファイルを用いることもできます 例えば 設定ファイルが hostsfile とした場合 オプション machinefile hostsfile と指定します 各ノードへの MPI プロセス (rank) の割り当ては mpirun のオプションで制御できます 大 別して --byslot -loadbalance --bynode の 3 種類の割り当て方法があります 1 --byslot オプション ( 既定 ) は 上記設定ファイル内に記述されているリストの上から 書かれた順に slot を埋めるように割り当てを行います 2 -loadbalance オプションは ノード間でプロセス群を均等に配分するように割り当てを行います 3 --bynode オプションは -loadbalance と似ていますが ノードに 1 プロセス生成すると次のノードに移るように ラウンドロビンで割り当てを行います 具体例として 次の hostsfile で mpirun を-np に 4,8,16 を指定した際に 各ノードに割り当てられる rank を示します node01.sample.jp slots=4 node02.sample.jp slots=8 node03.sample.jp slots=4 node04.sample.jp slots=8 Copyright HPC SYSTEMS Inc. All Rights Reserved. 12

14 mpirun -np X mpirun -np X -loadbalance mpirun -np X --bynode X=4 (4 並列 ) node01.sample.jp: X=8 (8 並列 ) node01.sample.jp: node02.sample.jp: X=16 (16 並列 ) node01.sample.jp: node02.sample.jp: node03.sample.jp: X=4 (4 並列 ) node01.sample.jp:0 node02.sample.jp:1 node03.sample.jp:2 node04.sample.jp:3 X=8 (8 並列 ) node01.sample.jp:0 1 node02.sample.jp:2 3 node03.sample.jp:4 5 node04.sample.jp:6 7 X=16 (16 並列 ) node01.sample.jp: node02.sample.jp: node03.sample.jp: node04.sample.jp: X=4 (4 並列 ) node01.sample.jp:0 node02.sample.jp:1 node03.sample.jp:2 node04.sample.jp:3 X=8 (8 並列 ) node01.sample.jp:0 4 node02.sample.jp:1 5 node03.sample.jp:2 6 node04.sample.jp:3 7 X=16 (16 並列 ) node01.sample.jp: node02.sample.jp: node03.sample.jp: node04.sample.jp: 実行するプログラムの特性によっては これらのオプション指定がプログラムのパフォーマン スに大きな影響を与えることがあります 以下に その例を 2 つ示します ( 例 1) 局所性の強い連続データを分散保持するプログラム 局所性の強い ABCDEFGH という連続データを分散させる場合 -loadbalance と --bynode 時とで 分散のされ方が次のように異なります node01 node02 node03 node04 mpirun -np X -loadbalance データ A B データ C D データ E F データ G H mpirun -np X --bynode データ A E データ B F データ C G データ D H このようなプログラムの場合に --bynode を使用すると ( 右例 ) 例えば A を処理したプロセ スが B を処理する際に 高速なノード内通信ではなくノード間のネットワーク通信のやり取りを せざるを得なくなることで パフォーマンスが低下する場合があります Copyright HPC SYSTEMS Inc. All Rights Reserved. 13

15 ( 例 2) CPU コア - メモリ間の大量のデータ転送により律速しているプログラム CPU コアの高い処理性能を十分に発揮させるには それに見合った速度でデータをメモリから取り出せなくてはなりません アルゴリズム上 メモリから CPU コア ( のレジスタ ) へのデータ転送速度が性能支配的なプログラムの場合 各プロセスが使用可能な転送速度を勘案しながらノードへのプロセス群の割り当てを選択することが重要です ノード上では ノード上で稼働するプロセス群が CPU-メモリ間のデータ転送速度を分け合って使用します そのため 各プロセスが使用できる転送速度は 稼働しているプロセス数分の 1 になります 例えば 各ノードに 8core を有する 4 ノードクラスタ環境で計 16 プロセス並列を行う場合 --bynode 無の場合は 計 2 ノードを使用し 各ノードで計 8 個プロセス --bynode 有の場合は 計 4 ノードを使用し 各ノードで計 4 個プロセスが起動されます CPU-メモリ間のデータ転送速度全体を 100 とおいた場合 それぞれにおける 各 CPU コア-メモリ間のデータ転送速度は次となります node01 node02 node03 node04 mpirun -np /8 = /8 = 12.5 mpirun -np 16 --bynode 100/4 = /4 = /4 = /4 = 25 つまり --bynode 有の方が 無の場合に比べて 各プロセスが使用できる メモリとの間のデータ転送速度が2 倍になります CPU コア-メモリ間の大量のデータ転送により律速しているプログラムでは このデータ転送速度がプログラム全体の計算速度に大きく影響しますので 注意深くプロセス群の割り当てを選択することが重要です 以上の 2 例は一般論ですので 実際の動作についてはお客様ご自身でご確認いただいた上でご 使用下さい Copyright HPC SYSTEMS Inc. All Rights Reserved. 14

16 3.6 ジョブスケジューラーとの連携方法 ジョブスケジューラー ( LSF / Lava / Torque / GridEngine 等 ) を使用して MPI のプログラムをジョブとして投入すると ジョブスケジューラーが自動でプログラムを実行するノードを選択します ジョブスケジューラーを使用して MPI ジョブを投入する方法につきましては 各ジョブスケジューラーのマニュアルをご確認下さい Copyright HPC SYSTEMS Inc. All Rights Reserved. 15

17 4 PGI Workstation PGI コンパイラは The Portland Group Inc 社の科学技術並びにエンジニアリング分野におけるフラグシップ コンパイラです 多くのソフトウェアで標準のコンパイラとして採用されており 安定性とパフォーマンスを兼ね備えています また PGI アクセラレータコンパイラを使用することで NVIDIA 社の CUDA を対象とした GPGPU に対応した処理を行うことができます 本項では PGI Workstation のセットアップ構成について概説します 4.1 インストールパッケージ PGI Workstation のパッケージは代理店のソフテック社より配布されています 以下 URL からダウンロードしたパッケージをインストールしております PGI Workstation パッケージは /opt/pgi ディレクトリにインストールしています インスト ール時に追加するモジュール ACML CUDA Toolkit Java RE MPICH はすべて一緒にインス トールしています PGI のライセンスサーバーは /etc/rc.d/init.d/lmgrd-pgi スクリプトから OS ブート時に自 動で起動します 4.2 使用するコマンド PGI Workstation では以下コマンドを使用します 出荷設定では root 以外の全ユーザーが使用できます pgf77 pgf90 pgcc pgc++ コマンド 内容 Fortran 77 用 Fortran 90 / 95 /2003 用 C 言語用 C++ 用 Copyright HPC SYSTEMS Inc. All Rights Reserved. 16

18 4.3 環境設定 PGI Workstation を使用するための環境設定は各ユーザーのホームディレクトリのファイル で行っています tcsh をご使用の場合は ~/.cshrc ファイル bash をご使用の場合は ~/.bashrc ファイル内で PGI の環境設定スクリプトをロードします 環境設定ファイル内に変数 COMPILER があります 変数 COMPILER に PGI12 を選択していると ユーザーは PGI Workstation Version12 を使用できます 4.4 コンパイラバージョンの変更 PGI Workstation の使用環境は各ユーザーのホームディレクトリのファイルで設定されます 使用するコンパイラのパッケージを変更する際は次のファイルの COMPILER の変数の値を変更し ます tcsh をご使用の場合は ~/.cshrc を変更します #set COMPILER=INTEL13.1 #set COMPILER=INTEL12.1 #set COMPILER=INTEL11.1 set COMPILER=PGI12 #set COMPILER=PGI11 bash を使用の場合は ~/.bashrc を変更します #COMPILER=INTEL13.1 #COMPILER=INTEL12.1 #COMPILER=INTEL11.1 COMPILER=PGI12 #COMPILER=PGI11 各ユーザーが使用するシェルは "echo $0" コマンド等で確認します 次回ユーザーがログインした時からコンパイラのバージョンが変わります バージョンが変更 されたことを 念のため " pgf90 -V" や "pgcc -V" でご確認下さい Copyright HPC SYSTEMS Inc. All Rights Reserved. 17

19 4.5 ドキュメント PGI Workstation ドキュメントは計算機の以下ディレクトリにあります /opt/pgi/linux86-64/"version"/doc " Version" にはインストールしたパッケージのバージョンが入ります PGI コンパイラ代理店のソフテック社がホームページでドキュメントを公開しています 以 下 URL にコンパイラについての FAQ や TIPS 等様々な情報が掲載されております ライセンスファイル PGI コンパイラのライセンスファイルは /opt/pgi ディレクトリにあります この中の license.dat ファイルにサポート期限の日時が記述されています この期間の間 PGI コンパイラのアップデートを行うことや 開発元へのサポート対応が可能です この期限を過ぎても 現在セットアップされている PGI コンパイラを使用することはできます 4.7 Gaussian09 ソースコード版での使用 Gaussian 社が販売している量子化学計算 Gaussian09 のソース版を Linux EM64T プラットフォームで使用される場合 Gaussian 社は PGI コンパイラを使用することを推奨しています また Gaussian 社では Gaussian09 のリビジョン毎に Gaussian 社がサポートする PGI コンパイラのバージョンを指定しています Gaussian09 ソース版の使用目的で販売しました計算機では PGI コンパイラは最新のものではなく以下バージョンのものをセットアップしております Gaussian09 Revision PGI Workstation バージョン Gaussian09 d01 PGI F Gaussian09 c01 PGI F Gaussian09 b01 PGI F Gaussian09 a02 PGI F Copyright HPC SYSTEMS Inc. All Rights Reserved. 18

20 5 CUDA CUDA は NVIDIA 社が提供する GPU を演算処理で使用するための統合開発環境です 本項では計算機にセットアップされている CUDA について概説します 5.1 インストールパッケージ CUDA のパッケージは NVIDIA DEVELOPER ZONE で配布されています CUDA の各パッケージを以下ディレクトリにインストールしています バージョン CUDA Driver CUDA Toolkit CUDA SDK ディレクトリ rpm でのインストール /usr/local/cuda /usr/local/cuda/nvidia_gpu_computing_sdk CUDA の各パッケージは出荷時での最新のものをインストールしております セットアップされている CUDA のバージョンは以下コマンドで確認できます CUDA Driver nvidia-smi コマンド CUDA Toolkit nvcc コマンド (root 以外のユーザーで使用可能 ) 5.2 使用するコマンド CUDA では以下コマンドを使用します 出荷設定では root 以外の全ユーザーが使用できます nvcc コマンド C 言語 / C++ 用 内容 Copyright HPC SYSTEMS Inc. All Rights Reserved. 19

21 5.3 環境設定 CUDA を使用するための環境設定は各ユーザーのホームディレクトリのファイルで行っています tcsh をご使用の場合は ~/.cshrc ファイル bash をご使用の場合は ~/.bashrc ファイル内で CUDA の環境設定用スクリプトをロードします CUDA 環境設定用スクリプトは以下 2 つです tcsh 用 /home/.common/01-cuda.csh bash 用 /home/.common/01-cuda.sh 5.4 GPU の動作確認 GPU の状態は以下のようにしてご確認下さい (1) nvidia-smi コマンド 計算機に搭載している各 GPU の GPU 温度 GPU 使用率 メモリ使用率等の情報を取得でき ます nvidia-smi には以下オプションがあります オプション内容 -q GPU の全ての情報を出力します複数の GPU が搭載されている場合 0 番として認識している -i 0 GPU に対して処理を実行します nvidia-smi で出力可能な情報のうち MEMORY についてのみ出力を行います -d MEMORY このオプションで指定可能な項目は以下の通りです MEMORY,UTILIZATION,ECC,TEMPERATURE,POWER, CLOCK,COMPUTER 2 秒おきに出力しつづけます -l 2 Ctrl+C で出力を止められます (2) devicequery nvidia-smi と同様に GPU の状態を出力します devicequery プログラムは CUDA SDK パッケージ内のサンプルプログラムのひとつで以下ディレクトリにあります /usr/local/cuda/nvidia_gpu_computing_sdk/c/bin/linux/release Copyright HPC SYSTEMS Inc. All Rights Reserved. 20

22 (3) dmesg コマンド /var/log/xorg.log ファイル NVRM から始まる行の内容が NVIDIA のカードのログになります GPU の使用時に不具合等が発生した際はこちらのログをご確認下さい ~]# dmesg grep NVRM The system logs include some disturbing looking NVRM messages however: NVRM: RmInitAdapter failed! (0x25:0xffffffff:1011) NVRM: rm_init_adapter(1) failed allocation failed: out of vmalloc space - use vmalloc=<size> to increase size. NVRM: RmInitAdapter failed! (0x25:0xffffffff:1011) NVRM: rm_init_adapter(1) failed allocation failed: out of vmalloc space - use vmalloc=<size> to increase size. NVRM: RmInitAdapter failed! (0x25:0xffffffff:1011) NVRM: rm_init_adapter(1) failed [root@hpcs01 ~]# cat /var/log/xorg.log grep NVRM NVRM: loading NVIDIA UNIX x86 Kernel Module Fri Aug 14 17:18:04 PDT 2011 vmap allocation for size failed: use vmalloc=<size> to increase size. NVRM: RmInitAdapter failed! (0x26:0xffffffff:1096) NVRM: rm_init_adapter(0) failed vmap allocation for size failed: use vmalloc=<size> to increase size. NVRM: RmInitAdapter failed! (0x26:0xffffffff:1096) NVRM: rm_init_adapter(0) failed Copyright HPC SYSTEMS Inc. All Rights Reserved. 21

23 5.5 CUDA プログラミングガイド PGI コンパイラを用いて CUDA プログラムを開発する場合には PGI コンパイラ代理店のソ フテック社が購入者向けに載せているテクニカル情報 コラムが有用です ソフテック PGI テクニカル情報 コラム ( ソフテック社お客様専用 ) PGI CUDA Fortran 構文を用いた GPGPU プログラム例と そのコンパイル リンク方法は 次 のページに解説されています PGI CUDA Fortran のコンパイル オプション また OpenACC ディレクティブを用いた GPGPU プログラム例と そのコンパイル リンク 方法は 次のページに解説されています PGI アクセラレータ コンパイル用のオプション 弊社技術員による GPU で最速を極めるブログ では 既存 CPU プログラムを GPU 向けに書き換えたソースコード例や Shared Memory を活用した高速化例 CUDA5 で搭載された新機能の検証結果 最新 GPU の情報など GPGPU をご利用の方を対象に技術情報を発信しています こちらも併せてご活用ください GPU で最速を極めるブログ Copyright HPC SYSTEMS Inc. All Rights Reserved. 22

24 6 トラブルシューティング 6.1 大容量スレッドの Infiniband RDMA 通信障害について 使用するメモリサイズが数 GB に及ぶスレッドが Infiniband RDMA 通信を行う場合 異常なほどに計算終了までに時間がかかったり 計算が終了しないままになったりすることがあります OFED の mlx4 ドライバを用いた VASP や FLUENT といったアプリケーションの一部のインプットにおいて このような障害の発生が確認されています この障害の原因は RDMA 通信に使用する mlx4 ドライバの Memory Translation Table(MTT) の容量が Mellanox OFED の出荷設定だと小さすぎることです この容量を十分な大きさ に設定することで 障害が解消されます これには以下の操作を行います (1) root ユーザーでログインします (2) OFED に含まれている ofed_info コマンドを実行し ( その結果を grep コマンドに渡して出力の一部だけを抽出し ) OFED のバージョンを確認します ofed_info は Mellanox OFED に含まれています /usr/bin/ofed_info が存在しない場合は Mellanox OFED ではありません # ofed_info grep OFED MLNX_OFED_LINUX (OFED ): このように Mellanox OFED である場合には 次に進みます 1 1 Mellanox OFED1.5.3 以外で 異常なほどに計算終了までに時間がかかったり 計算が終了しないままになったりする場合は 弊社サポートまでお問い合わせください Copyright HPC SYSTEMS Inc. All Rights Reserved. 23

25 (3) OS バージョンに応じたドライバ設定ファイル ( 次表参照 ) を vim 等のテキストエディタで開 きます OS バージョン RedHatEL 5.8 CentOS 5.8 RedHatEL 6.2 CentOS 6.2 RedHatEL 6.3 CentOS 6.3 RedHatEL 6.4 CentOS 6.4 設定ファイルの場所 /etc/modprobe.d/mlx4_en.conf /etc/modprobe.d/mlx4_en.conf /etc/modprobe.d/mlx4_en.conf /etc/modprobe.d/mlx4_en.conf (4) 一番下の options 行の末尾に ノードのメモリ搭載量に合わせて log_num_mtt と log_mtts_per_seg の指定を次のように加筆します ( 指定する値は次表を参照してください ) ( 例 ) 64GB 搭載ノードの場合 options mlx4_core pfctx=0 pfcrx=0 log_num_mtt=25 log_mtts_per_seg=0 ノードのメモリ搭載量 log_num_mtt の値 log_mtts_per_seg の値 64GB GB GB GB TB 29 0 なお これらの値は次の関係を満たすように選択されています ノードのメモリ搭載量 2 = ( 2 log_num_mtt ) ( 2 log_mtts_per_seg ) 4KB (5) 変更したドライバ設定ファイルを保存します (6) 次のコマンドを実行して openibd デーモンを再起動させます # service openibd restart Copyright HPC SYSTEMS Inc. All Rights Reserved. 24

26 付録 A A.1 HPC システムズお問い合わせ先 弊社ホームページ サポート案内やお問い合わせの多い内容など様々な情報を掲載しております 是非ご活用ください HPC システムズ株式会社 東京都港区海岸 LOOP-X 8 階 HPC 事業部 営業 サポート お電話によるサポート受付は祝日 弊社指定休日を除く月曜日から金曜日の 9:30~17:30 とさせて頂きます FAX 電子メール hpcs_support@hpc.co.jp Copyright HPC SYSTEMS Inc. All Rights Reserved. 25