Reedbush-Uアカウントの発行

Transcription

1 計算科学概論 ( 第 9 回 ):6 月 12 日 ( 月 ) Reedbush-U スーパーコンピュータシステム の利用と MPI プログラムの実行 松本正晴 大学院情報理工学系研究科コンピュータ科学専攻

2 本日の講義資料 ITC-LMS の授業スライドにある 計算科学概論 0612.pdf を 各自ダウンロードしてください

3 Reedbush-U アカウントの発行 ( 先週までに名簿登録した者のみです ) 1. 本人証明ができるものを用意 学生証 運転免許証 など 無い場合は ECCSにログインできることで証明 2. 名前を呼びます 3. 本人確認の上 アカウントが記載された紙を配布します 4. 授業で指示があるまで ログイン作業を行わないでください

4 ECCS にログイン ( 以降 mac での説明です ) 1. ECCSのマシンにログインする ユーザ名 パスワードを間違えずに! 今配った<スパコンのアカウント>ではない 2. デスクトップ画面下の ターミナル をクリックする 3. コンソール画面が表示される

5 ユーザ名の確認 ユーザ名 ( 利用者番号 ):t24xxx (xxx は 3 桁番号 ) グループ名 ( 課金プロジェクト名 ):gt24 紙に書いてある情報が間違えている場合は教えてください

6 秘密鍵 / 公開鍵の作成 1. ターミナルを起動して 以下を入力する $ ssh-keygen -t rsa 2. 鍵の収納先を聞かれるので リターンを押す ( 以前に別の鍵を作成してそれを使っている場合は ファイル名を変更しないと上書きしてしまうので注意 ) 3. 鍵を使うためのパスワードを聞かれるので 自分の好きなパスワードを入れる ( パスフレーズと呼ぶ ) 4. もう一度 上記のパスフレーズを入れる 5. 鍵が生成される

7 鍵の利用 (1/2) 1. 生成した鍵は以下に入っている.ssh/ 2. 以下を入力する $ cd.ssh/ 3. 以下を入力すると ファイルが見える ( 以下は例 ) $ ls id_rsa id_rsa.pub known_hosts 以下が生成した鍵ファイル id_rsa : 秘密鍵 id_rsa.pub : 公開鍵

8 鍵の利用 (2/2) 4. 以下を入力して 公開鍵を表示する $ cat id_rsa.pub < 公開鍵が表示される > 5. ssh-rsa で始まる部分を マウスでカットアンドペーストし 公開鍵の登録に使う (.u-tokyo.ac.jp まで )

9 公開鍵の登録 (1/2) 1. Web ブラウザ (Safari) を起動 2. 以下のポータルサイトのアドレスを入力する 3. ユーザ名 にセンターから配布された 利用者番号 を入力する 4. パスワード に センターから配布された 初期パスワード を入力する記載されている文字列はパスワードではないので注意 次ページを参照 5. Login ボタンを押すと 初期パスワード を変更するよう指示されるので 新しいパスワードを入力して変更する鍵を作成した際のパスフレーズとは別の文字列を使うこと

10 正しいパスワードの確認とログイン 表示されている文字列の奇数番号 (1, 3, 5, 7, 9, 11, 13, 15) の 8 文字列をつなぎ合わせたもの 例 : P9aesWsbw6oZrrd5 Password

11 ポータル画面 ( ログイン前 ) 利用者番号とパスワードを入力

12 公開鍵の登録 (2/2) 5. パスワードの変更が完了したら 利用者番号と新しいパスワードを入力して Login ボタンを押す 6. ログインメッセージが出る 7. ( Change Language メニューで言語を変更 ) 8. 左側メニューの 公開鍵アップロード をクリック 9. 画面に 公開鍵をカットアンドペーストする 10. 作成 ボタンを押す

13 言語の変更 Change Language で日本語に変更できます Japanese (JA_JP.UTF-8 ) を選んで Change を押す 終わったら ブラウザを再読み込み 1. ここをクリック 3. ここをクリック 2. ここを選択

14 ここをクリック ポータル画面 ( 日本語選択後 )

15 ポータル画面 ( 公開鍵登録 ) 1. ここに公開鍵をペースト 2. ペースト後 クリック

16 ポータル画面 ( 公開鍵登録成功 ) ペーストした鍵が表示されていれば OK

17 Reedbush へログイン ターミナルから 以下を入力 $ ssh reedbush-u.cc.u-tokyo.ac.jp -l t24xxx -l はハイフンと小文字の L t24xxx は利用者番号 (t+ 数字 ) 接続するかと聞かれるので yes を入力する 鍵作成時に自分で決めたパスフレーズを入力する 成功するとログインできる鍵の名前が id_rsa じゃない場合や.ssh/ に無い場合はオプション -i で鍵を指定できる ログイン時は必ず /home/gt24/t24xxx/ に入る

18 Reedbush のデータをローカル PC に取り込む ローカル PC(ECCS) のターミナルで scp コマンドを使う $ scp t24xxx@reedbush-u.cc.u-tokyo.ac.jp:~/a.f90./ t24xxx は利用者番号 上の例は Reedbush-U 上のホームディレクトリにある a.f90 をローカル PC のカレントディレクトリに取ってくる ディレクトリごとダウンロードする場合は -r を指定 $ scp r t24xxx@reedbush-u.cc.u-tokyo.ac.jp:~/sample./ SAMPLE ディレクトリをディレクトリごとダウンロード

19 ローカル PC のファイルを Reedbush に置く 同様にローカル PC(ECCS) のターミナルで scp コマンドを使う $ scp./a.f90 t24xxx@reedbush-u.cc.u-tokyo.ac.jp: t24xxx は利用者番号 上の例はローカル PC のカレントディレクトリにある a.f90 を Reedbush-U 上のホームディレクトリに置く ディレクトリごとアップロードする場合は -r を指定 $ scp r./sample t24xxx@reedbush-u.cc.u-tokyo.ac.jp: SAMPLE ディレクトリをディレクトリごとアップロード

20 GUI によるファイル操作 ( 主に Windows ユーザ向け ) FileZilla や WinSCP を使えば手元のパソコンと Reedbush 間のファイル転送を GUI 操作で行うことができる FileZilla Download Filezilla Client からダウンロード サイトマネージャにてプロトコルを SFTP に設定 ログオンの種類を鍵ファイルにする (Putty 形式の公開鍵ファイルが必要 puttygen によって変換すると良い ) WinSCP プロトコルを SFTP または SCP に設定する ホスト設定画面の設定から SSH- 認証を選び 秘密鍵を指定する (OpenSSH 形式 Putty 形式の両方に対応 )

21 異なるパソコンの公開鍵登録 1. 同様の手順により 異なるパソコンで公開鍵を作成 2. 公開鍵のアップロード メニューの中で 複数登録することが可能

22 Reedbush における注意点 ログイン時に始めに入る /home ファイルシステムは容量が小さく ( 最大 2GB) ログインに必要な設定ファイルだけを置くための場所です /home に置いたファイルは計算ノードから参照できません ジョブの実行もできません ログイン後は /lustre ファイルシステムを利用してください ホームディレクトリ :/home/gt24/t24xxx cd コマンドで移動できます Lustre ディレクトリ :/lustre/gt24/t24xxx cdw コマンドで移動できます

23 Reedbush-U における計算の仕方

24 Reedbush-U 1 ノードの構成 メモリ 128GB メモリ 128GB DDR4 DDR4 DDR4 DDR4 76.8GB/s 76.8GB/s DDR4 DDR4 DDR4 DDR4 Intel Xeon E v4 (Broadwell-EP) 18 コア QPI QPI Intel Xeon E v4 (Broadwell-EP) 18 コア 1 ノード当たり 36 コア 256GB 420 ノード 76.8GB/s G3 x16 Infiniband EDR HCA 一般的なスーパーコンピュータでは ノード単位で計算資源を数えることが多い Reedbush-U の場合 1 ノード当たり 36 コア 256GB(18 コア 128GB が 2 つ ) これが全部で 420 ノードある ノード内は共有メモリ型計算機なので OpenMP による並列化が可能 ノード間で並列化する際は MPI によるデータ通信が必要 ( 分散メモリ型計算機 )

25 Reedbush-U で利用できるコンパイラ Intelコンパイラ Fortranコンパイラ :ifort ( 逐次実行 ) :mpiifort (MPI 実行,Intel MPI) Cコンパイラ :icc ( 逐次実行 ) :mpiicc (MPI 実行,Intel MPI) C++ コンパイラ :icpc ( 逐次実行 ) :mpiicpc (MPI 実行,Intel MPI) ソースファイルをコンパイルして実行ファイルを作成した後にそれを実行するには ジョブ を投げる必要がある

26 Reedbush-U スーパーコンピュータシステムでのジョブ実行形態 Reedbush-U に限らず スパコン環境では以下の 2 通りがほとんど インタラクティブジョブ実行 ( 本実習では利用不可 ) PC での実行のように コマンドを入力して実行 スパコン環境では あまり一般的でない あくまでもデバッグ用 大規模実行はできない Reedbush-U では 以下に限定 1 ノード (36 コア ) 30 分まで 4 ノード (144 コア ) 10 分まで バッチジョブ実行 バッチジョブシステムに処理を依頼して実行する スパコン環境では一般的な方法 大規模実行用 一般利用では 最大 128 ノード (4,608 コア ) 24 時間まで 本実習では最大 8 ノード (288 コア ) 10 分まで

27 バッチ処理とは? 一般的なスパコン環境で大規模計算を行う場合 通常 インタラクティブ実行 ( コマンドラインで実行すること ) はできません ジョブはバッチ処理で実行します キュー (Queue): 待ち行列 バッチキュー ジョブの依頼 バッチ処理システムがジョブを取り出す 実行 ユーザ スパコン

28 バッチキューの設定の仕方 バッチ処理はAltair 社のバッチシステムPBS Professionalで管理され ている 以下 主要なコマンドの説明 ジョブの投入 :qsub < ジョブスクリプトファイル名 > 自分が投入したジョブの状況確認 :rbstat 投入ジョブの削除 :qdel < ジョブID> バッチキューの状態を見る :rbstat --rsc バッチキューの詳細構成を見る :rbstat --rsc -x 投げられているジョブ数を見る :rbstat b 過去の投入履歴を見る :rbstat H 同時に投入できる数 / 実行できる数を見る :rbstat --limit

29 Job スクリプトのサンプルの説明 C 言語,Fortran 共通 #!/bin/bash #PBS -q u-lecture #PBS W group_list=gt24 #PBS -l select=8:mpiprocs=4:ompthreads=9 #PBS -l walltime=00:10:00 cd $PBS_O_WORKDIR. /etc/profile.d/modules.sh mpirun./a.out リソースグループ名 :u-lecture 授業時間中は u-lecture4 利用グループ名 :gt24 利用ノード数 1 ノード当たりの MPI プロセス数 実行時間制限 :10 分 1 プロセス当たり OpenMP スレッド数 カレントディレクトリ設定 環境変数設定 ( 必ず記入しておく ) 上の例では ジョブを 32 プロセス 9 スレッドの 288 並列 ( コア ) で実行 (1 ノード当たり 4 プロセス 9 スレッドでそれが 8 ノード分 ) Reedbush-U は 1 ノード当たり 36 コア

30 本講義でのキュー名 ジョブスクリプトの #PBS -q の部分に記載するキューの種類 本演習時間中のキュー名 : u-lecture4 最大 8 ノード (288 コア ),10 分まで 本演習時間以外 (24 時間 ) のキュー名 : u-lecture 利用条件は上と同じ

31 サンプルプログラムの起動 1. 並列版 Hello プログラムの実行

32 UNIX コマンド備忘録 (1/3) emacs エディタの起動 : emacs 編集ファイル名 ^x ^s (^ は control を押しながら ) : テキストの保存 ^x ^c : 終了 (^z で終了すると スパコンの負荷が上がる 絶対にしないこと ) ^g : 訳がわからなくなったとき ^k : カーソルより行末まで消す 消した行は一時的に記憶される ^y :^k で消した行を 現在のカーソルの場所にコピー ^s 文字列 : 文字列の箇所まで移動 ( 検索 ) ^M x goto-line : 指定した行まで移動 (^M は ESC キーを押して離す )

33 UNIX コマンド備忘録 (2/3) rm ファイル名 : ファイルを消す ls : 現在いるフォルダの中身を見る cd ディレクトリ名 : ディレクトリに移動する cd.. : 一つ上のディレクトリへ移動する cd : ホームディレクトリへ行く cat ファイル名 : ファイルの中身を見る make :Makefileがある場合 実行ファイルを作る make clean : 実行ファイルを消す (cleanがmakefile 内で定義されていないと実行できない )

34 UNIX コマンド備忘録 (3/3) less ファイル名 : ファイルの中身を見る (cat では画面がいっぱいになってしますとき ) スペースキー :1 画面スクロール / 文字列 : 文字列の箇所まで移動 q : 終了 ( 訳がわからなくなったとき )

35 サンプルプログラム名 C 言語版 Fortran 版共通ファイル : Samples.tar tarで展開後 C 言語とFortranのディレクトリが作られる C/ :C 言語用 F/ :Fortran 用 上記ファイルが置いてある場所 /lustre/gt24/t24000

36 並列版 Hello プログラムをコンパイル (1/2) 1. cdwコマンドを実行してlustreファイルシステムへ移動 2. サンプルプログラムの場所 /lustre/gt24/t24000にある Samples.tarを自分のディレクトリにコピーする $ cp /lustre/gt24/t24000/samples.tar./ 3. Samples.tarを展開する $ tar xvf Samples.tar 4. Samplesディレクトリへ移動 $ cd Samples C 言語 : $ cd C Fortran : $ cd F 5. Helloディレクトリへ移動 $ cd Hello

37 並列版 Hello プログラムをコンパイル (2/2) 6. ソースファイルをコンパイルする すでにcompileファイルという実行ファイルが用意されているので それを実行する $./compile ( 以下のコマンドでもコンパイル可 ) C 言語 :mpiicc hello.c o hello Fortran :mpiifort hello.f o hello 7. 実行ファイル (hello) ができていることを確認する $ ls

38 並列版 Hello プログラムの実行 ( ピュア MPI) このサンプルの Job スクリプトは hello.bash です サンプルでは キュー名が u-lecture, グループ名が gt00 になっています $ emacs hello.bash で キュー名とグループ名をそれぞれ書き換えてください u-lecture4 gt24

39 並列版 Hello プログラムの実行 ( ピュア MPI) 1. Hello ディレクトリの中で以下を実行 $ qsub hello.bash 2. 自分の導入されたジョブを確認 $ rbstat 3. 実行が終了すると 以下のファイルが生成される hello.bash.exxxxxx hello.bash.oxxxxxx (xxxxxx は JobID) 4. 上記の標準出力ファイルを見てみる cat hello.bash.oxxxxxx 5. Hello parallel world! が 36 プロセス 8 ノード =288 表示されていたら実行成功

40 バッチジョブ実行時の標準出力と標準エラー出力 バッチジョブの実行が終了すると 標準出力ファイルと標準エラー出力ファイルがジョブ投入時のディレクトリに作成される 標準出力ファイルにはジョブ実行中の標準出力 標準エラー出力ファイルにはジョブ実行中のエラーメッセージが出力される ジョブ名.oXXXXX --- 標準出力ファイルジョブ名.eXXXXX --- 標準エラー出力ファイル (XXXXX はジョブ投入時に表示されるジョブの JobID)

41 並列版 Hello プログラム (C 言語 ) #include <stdio.h> #include <mpi.h> このプログラムは 全 PE で起動される int main(int argc, char *argv[]){ int myid,nprc,ierr; ierr=mpi_init(&argc,&argv); ierr=mpi_comm_rank(mpi_comm_world,&myid); ierr=mpi_comm_size(mpi_comm_world,&nprc); MPI の初期化 printf("hello parallel world! MyID: %d %d n",myid, nprc); 自分の rank ID を取得 : 各プロセスで値は異なる } ierr=mpi_finalize(); return 0; MPI の終了 全体のプロセッサ台数を取得 : 各プロセスで値は同じ ( 演習環境では最大 288)

42 並列版 Hello プログラム (Fortran) program main implicit none include "mpif.h" integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,myid,ierr) call mpi_comm_size(mpi_comm_world,nprc,ierr) print *, "Hello parallel world! MyID:", myid, nprc call mpi_finalize(ierr) stop end program main このプログラムは 全 PE で起動される MPI の初期化 MPI の終了 自分の rank ID を取得 : 各プロセスで値は異なる 全体のプロセッサ台数を取得 : 各プロセスで値は同じ ( 演習環境では最大 288)

43 略語と MPI 用語 MPI は プロセス 間の通信を行います プロセスは プロセッサ ( もしくは コア ) に 1 対 1 で割り当てられる 今後 MPI プロセス と書くのは長いので PE(Processer Elements の略 ) と書くことも 本来はプロセッサやコアの意味 ランク (Rank, MyID) 各 MPI プロセス の 識別番号 のこと 通常 MPI では MPI_Comm_rank 関数で設定される変数で, 0~ 全 PE 数 -1 の数値が入る 全 MPI プロセス数を知るには MPI_Comm_size 関数を使う

44 MPI の起動と Rank の関係 ソースファイルをコンパイルして a.out を作成後 例えばジョブスクリプトで 4MPI 並列を指定 #PBS -l select=1:mpiprocs=4 myid 0 myid 1 myid 2 myid 3 $ qsub hello.bash 各プロセスでは 同じプログラムが動く が データが異なる 大規模なデータを分割し, 各部分について各プロセス ( プロセッサ ) が計算 通信以外は逐次実行と同じ というのが理想 a.out a.out a.out a.out

45 mpi.h, mpif.h #include<stdio.h> #include<mpi.h> int main(int argc, char *argv[]){ int myid,nprc,ierr; ierr=mpi_init(&argc, &argv); ierr=mpi_comm_rank(mpi_comm_world,&myid); ierr=mpi_comm_size(mpi_comm_world,&nprc); } printf( Hello World %d %d n,myid,nprc); ierr=mpi_finalize(); C 言語 MPI に関連した様々なパラメータの定義と初期値が記述 変数名は MPI_ で始まっている ここで定められている変数は,MPI 関数 / サブルーチンの引数として使用する以外は陽に値を変更してはいけない ユーザは MPI_ で始まる変数を独自に設定しないのが無難 program main implicit none include mpif.h integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,myid,ierr) call mpi_comm_size(mpi_comm_world,nprc,ierr) print *, Hello World,myid,nprc call mpi_finalize(ierr) end program main Fortran

46 MPI_Init MPI を起動する 他の MPI 関数 / サブルーチンより前にコールする必要がある 全実行文の前に置くことを勧める call MPI_Init(ierr) - ierr 整数 Out 完了コード program main implicit none Fortran include mpif.h integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,irank,ierr) call mpi_comm_size(mpi_comm_world,isize,ierr) print *, Hello World,myid,nprc call mpi_finalize(ierr) end program main

47 MPI_Finalize MPI を終了する 他の MPI 関数 / サブルーチンより後にコールする必要がある 全実行文の後に置くことを勧める これを忘れると大変なことになる場合が多いので忘れず呼び出すこと 実行が終わったはずなのに終わってない call MPI_Finalize(ierr) - ierr 整数 Out 完了コード program main implicit none Fortran include mpif.h integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,irank,ierr) call mpi_comm_size(mpi_comm_world,isize,ierr) print *, Hello World,myid,nprc call mpi_finalize(ierr) end program main

48 MPI_Comm_rank コミュニケータ comm で指定されたグループ内におけるプロセス ID が rank に戻る 必須ではないが, 利用することは多い call MPI_Comm_rank(comm, rank, ierr) - comm 整数 In コミュニケータを指定 - Rank 整数 Out commで指定されたグループにおけるプロセスid 0から始まる ( 最大はisize-1) - ierr 整数 Out 完了コード program main implicit none Fortran include mpif.h integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,irank,ierr) call mpi_comm_size(mpi_comm_world,isize,ierr) print *, Hello World,myid,nprc call mpi_finalize(ierr) end program main

49 コミュニケータについて call MPI_Comm_rank(MPI_COMM_WORLD, irank, ierr) 通信を実施するためのプロセスのグループを示す MPI において, 通信を実施する単位として必ず指定する必要がある mpiexec で起動した全プロセスは, デフォルトで MPI_COMM_WORLD というコミュニケータのグループに属している 複数のコミュニケータを使用し, 異なったプロセス数を割り当てることによって, 複雑な処理を実行することも可能 例えば, 計算用グループ, 可視化用グループ, この授業では MPI_COMM_WORLD のみで OK

50 MPI_Comm_size コミュニケータ comm で指定されたグループに含まれるプロセス数の合計が size に戻る 必須ではないが, 利用することは多い call MPI_Comm_size(comm, size, ierr) - comm 整数 In コミュニケータを指定 - size 整数 Out commで指定されたグループに含まれるプロセス数の合計 - ierr 整数 Out 完了コード program main implicit none Fortran include mpif.h integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,irank,ierr) call mpi_comm_size(mpi_comm_world,isize,ierr) print *, Hello World,myid,nprc call mpi_finalize(ierr) end program main

51 MPI プロセスを異常終了する MPI_Abort call MPI_Abort(comm, errcode, ierr) - comm 整数 In コミュニケータを指定 - errcode 整数 Out エラーコード - ierr 整数 Out 完了コード

52 MPI_Wtime 時間計測用の関数 短い時間を計測する場合の精度はいまいち良くない time = MPI_Wtime() - time 倍精度実数 Out 過去のある時間からの経過秒数 C 言語 double Stime, Etime; Stime = MPI_Wtime(); for(i=0;i<100000;i++){ <work> } Etime = MPI_Wtime(); printf( %d %lf n,irank, Etime-Stime); Fortran double precision::stime, Etime Stime = MPI_Wtime() do i=1, <work> enddo Etime = MPI_Wtime() print *, irank, Etime-Stime

53 MPI_Wtick MPI_Wtime での時間計測精度の確認 実装 ( ハードウェア, コンパイラ ) によって異なる time = MPI_Wtick() - time 倍精度実数 Out 時間計測精度 ( 単位 : 秒 ) C 言語 double time; time = MPI_Wtick(); printf( %d %lf n,irank, time); Fortran double precision::time time = MPI_Wtick() print *, irank, time

54 MPI_Barrier コミュニケータ comm で指定されたグループに含まれるプロセスの同期を取る コミュニケータ comm 内の全てのプロセスがこの関数 / サブルーチンを通らない限り, 次のステップには進まない 主にデバッグ用に使用 オーバーヘッドが大きいので, 実用計算では使用しないことをお勧めする call MPI_Barrier(comm, ierr) - comm 整数 In コミュニケータを指定 - ierr 整数 Out 完了コード

55 サンプルプログラムの起動 2. 行列 ベクトル積プログラムの実行

56 サンプルプログラムの説明 Hello/ 並列版 Hello プログラム Mat-vec/ 行列 ベクトル積の計算プログラム Wa1/ 逐次転送方法による総和演算プログラム Wa2/ 二分木通信方式による総和演算プログラム

57 行列 ベクトル積の計算プログラム (Mat-vec) 実行結果が (C 言語 ) (Fortran) N = Elapsed time = [sec.] [MFLOPS] OK! N = Elapsed time[sec.] = MFLOPS = OK! のような結果が出たら OK

58 サンプルプログラムの説明 (C 言語 ) #define N (Fortran) integer,parameter::n=10000 Nを変更すると 行列サイズを変更できます (C 言語 ) #define debug 1 (Fortran) integer,parameter::debug=1 1 としてコンパイルすると 演算結果が正しいことがチェックできます

59 レポート課題 (I) 1. サンプルプログラムを並列化せよ このとき 行列 A およびベクトル x y のデータは 全 PE で N N のサイズを確保してよい 2. サンプルプログラムを並列化せよ このとき 行列 A は 初期状態では 各 PE に割り当てられた分の領域しか確保してはいけない

60 レポート課題 (I) の注意 本課題では MPI 通信関数は不要です このサンプルプログラムでは 演算結果検証部分 (debug=1 にした場合に実行される部分 ) が並列化されていないため MatVec 関数のみを並列化しても 検証部でエラーとなります 検証部分も 計算されたデータに各 PE で対応するように 並列化してください 検証部分においても 行列 - ベクトル積と同様のループとなります

61 本実習プログラムの TIPS myid, nprc は大域変数です myid (= 自分の ID) および nprc(= 全プロセス数 ) の変数は大域変数です MyMatVec 関数内で 引数設定や宣言なしに 参照できます myid, nprc の変数を使う必要があります MyMatVec 関数を並列化するには myid および nprc 変数を利用しないと 並列化ができません

62 並列化の考え方 (C 言語 ) SIMD アルゴリズムの考え方 (4PE の場合 ) n 行列 A for ( j=0; j<n/4; j++) { 内積 ( j, i ) } PE0 各 PE で重複して所有する for ( j=0; j<n; j++) { 内積 ( j, i ) } n for ( j=n/4; j<(n/4)*2; j++) { 内積 ( j, i ) } PE1 for ( j=(n/4)*2; j<(n/4)*3; j++) { 内積 ( j, i ) } PE2 for ( j=(n/4)*3; j<n; j++) { 内積 ( j, i ) } ベクトル x PE3

63 並列化の考え方 (Fortran 言語 ) SIMD アルゴリズムの考え方 (4PE の場合 ) n 行列 A PE0 do j=1, N/4 内積 ( j, i ) enddo 各 PE で重複して所有する do j=1, N 内積 ( j, i ) enddo n PE1 PE2 PE3 do j=n/4+1, (N/4)*2 内積 ( j, i ) enddo do j=(n/4)*2+1, (N/4)*3 内積 ( j, i ) enddo do j=(n/4)*3+1, N 内積 ( j, i ) enddo ベクトル x

64 初心者が注意すること 各 PE では 独立した配列が個別に確保されます PE0 PE1 PE2 PE3 A[N][N] A[N][N] A[N][N] A[N][N] myid 変数は MPI_Comm_rank() 関数が呼ばれた段階で 各 PE 固有の値になっています PE0 PE1 PE2 PE3 myid = 0 myid = 1 myid = 2 myid = 3

65 並列化の方針 (C 言語 ) 1. 全 PE で行列 A を N N の大きさ ベクトル x y を N の大きさ 確保してよいとする 2. 各 PE は 担当の範囲のみ計算するように ループの開始値と終了値を変更する ブロック分散方式では 以下になる (N が nprc で割り切れる場合 ) ib = N / nprc; for ( nj=myid*ib; nj<(myid+1)*ib; nj++) { } 3. (2 の並列化が完全に終了したら ) 各 PE で担当のデータ部分しか行列を確保しないように変更する 上記のループは 以下のようになる for ( nj=0; nj<ib; nj++) { }

66 並列化の方針 (Fortran 言語 ) 1. 全 PE で行列 A を N N の大きさ ベクトル x y を N の大きさ 確保してよいとする 2. 各 PE は 担当の範囲のみ計算するように ループの開始値と終了値を変更する ブロック分散方式では 以下になる (N が nprc で割り切れる場合 ) ib = N / nprc do nj=myid*ib+1, (myid+1)*ib. enddo 3. (2 の並列化が完全に終了したら ) 各 PE で担当のデータ部分しか行列を確保しないように変更する 上記のループは 以下のようになる do nj=1, ib. enddo

67 並列化の方針 ( 行列 - ベクトル積 )(C 言語 ) 全 PE で N N 行列を持つ場合 PE0 for ( nj=0; nj<(n/4); nj++) { 内積 ( nj, ni ) } for ( nj=(n/4)*2; nj<(n/4)*3; nj++) { 内積 ( nj, ni ) } PE2 PE1 for ( nj=(n/4)*3; nj<n; nj++) { 内積 ( nj, ni ) } for ( nj=(n/4); nj<(n/4)*2; nj++) { 内積 ( nj, ni ) } PE3 各 PE で使われない領域が出るが 担当範囲指定がしやすいので実装がしやすい

68 並列化の方針 ( 行列 - ベクトル積 )(Fortran 言語 ) 全 PE で N N 行列を持つ場合 PE0 do nj=1, N/4 内積 ( nj, ni ) enddo do nj=(n/4)*2+1, (N/4)*3 内積 ( nj, ni ) enddo PE2 PE1 do nj=n/4+1, (N/4)*2 内積 ( nj, ni ) enddo do nj=(n/4)*3+1, N 内積 ( nj, ni ) enddo 各 PE で使われない領域が出るが 担当範囲指定がしやすいので実装がしやすい PE3

69 並列化の方針 ( 行列 - ベクトル積 ) この方針では y=ax のベクトル y は 以下のように一部分しか計算されないことに注意! PE0 = = PE2 = PE1 = PE3

70 並列化時の注意 演習環境は 最大 288PE です 並列化は < できた > と思ってもバグっていることが多い! このサンプルの検証部分 (debug=1 の時に実行される部分 ) は PE0 がベクトル y の要素すべてを所有することが前提となっています 出力結果を考慮して検証部分も並列化してください N を小さくして printf で結果 ( ベクトル y) を目視することも デバックになります しかし N を目視できないほど大きくする場合にバグることがあります 目視のみデバックは 経験上お勧めしません 数学ライブラリ開発では できるだけ数学 ( 線形代数 ) の知識を利用した方法で 理論的な解と結果を検証することをお勧めします

71 サンプルプログラムの起動 3. 総和演算プログラムの実行

72 サンプルプログラムの説明 Hello/ 並列版 Hello プログラム Mat-vec/ 行列 ベクトル積の計算プログラム Wa1/ 逐次転送方法による総和演算プログラム Wa2/ 二分木通信方式による総和演算プログラム

73 総和演算プログラム (Wa1, 逐次転送方式 ) 各 MPI プロセスが所有するデータを 全プロセスで加算し あるプロセス 1 つが結果を所有するという処理を考える 素朴な方法 ( 逐次転送方式 ) 1. (rankid が 0 でなければ ) 左隣のプロセスからデータを受信 2. 左隣のプロセスからデータが来ていたら 1. 受信する 2. < 自分のデータ > と < 受信データ > を加算する 3. (255 番でなければ ) 右隣のプロセスに <2 の結果 > を送信する 4. 処理を終了する 実装上の注意 左隣とは (myid-1) の ID をもつプロセス 右隣とは (myid+1) の ID をもつプロセス myid=0 のプロセスは左隣はないので 受信はしない myid=p-1 のプロセスは右隣はないので 送信はしない

74 逐次転送方式 ( バケツリレー方式 ) による加算 所有データ 所有データ所有データ所有データ CPU0 CPU1 CPU2 CPU3 送信送信送信 = = = 6 最終結果

75 1 対 1 通信利用例 (Wa1, 逐次転送方式 C 言語 ) void main(int argc, char* argv[]) { 受信用システム配列の確保 MPI_Status istatus; dsendbuf=(double)myid; drecvbuf=0.0; if(myid!=0){ ierr=mpi_recv(&drecvbuf,1,mpi_double,myid-1,0,mpi_comm_world,&istatus); } 自分より一つ少ない ID 番号 (myid-1) から double 型データ 1 つを受信し drecvbuf 変数に代入 } dsendbuf=dsendbuf+drecvbuf; if(myid!=nprc-1){ ierr=mpi_send(&dsendbuf,1,mpi_double,myid+1,0,mpi_comm_world); } if(myid==nprc-1) printf("total=%4.2lf n",dsendbuf); 自分より一つ多い ID 番号 (myid+1) に dsendbuf 変数に入っている double 型データ 1 つを送信

76 1 対 1 通信利用例 (Wa1, 逐次転送方式 Fortran) program main integer istatus(mpi_status_size) dsendbuf=dble(myid) drecvbuf=0.0d0 if(myid/=0) then call mpi_recv(drecvbuf,1,mpi_double_precision,myid-1,0,& mpi_comm_world,istatus,ierr) endif dsendbuf=dsendbuf+drecvbuf if(myid/=nprc-1) then call mpi_send(dsendbuf,1,mpi_double_precision,myid+1,0,& mpi_comm_world,ierr) endif if(myid==nprc-1) then print *,"Total = ",dsendbuf endif end program main 受信用システム配列の確保 自分より一つ少ない ID 番号 (myid-1) から double precision 型データ 1 つを受信し drecvbuf 変数に代入 自分より一つ多い ID 番号 (myid+1) に dsendbuf 変数に入っている double precision 型データ 1 つを送信

77 総和演算プログラム (Wa2, 二分木通信方式 ) 二分木通信方式 (256 プロセスでの計算であることに注意 ) 1. nj = 1; 2. for (ni=0; ni < log2(nprc); ni++) 3. if ( (myid & nj) == nj) (myid nj) 番プロセスからデータを受信 ; 自分のデータと 受信データを加算する ; nj = nj * 2; 4. else (myid + nj) 番プロセスに データを転送する ; 処理を終了する ;

78 総和演算プログラム (Wa2, 二分木通信方式 ) 3 段目 =log2(8) 段目 段目 段目

79 総和演算プログラム (Wa2, 二分木通信方式 ) 実装上の工夫 要点 : プロセス番号の 2 進数表記の情報を利用する 第 ni 段において 受信するプロセスの条件は 以下で書ける : myid & nj が nj と一致ここで nj = 2^(ni-1) つまり プロセス番号の 2 進数表記で右から ni 番目のビットが立っているプロセスが 送信することにする また 送信元のプロセス番号は 以下で書ける : myid + nj つまり 通信が成立するプロセス番号の間隔は 2^(ni-1) 二分木なので 送信プロセスについては 上記の逆が成り立つ

80 総和演算プログラム (Wa2, 二分木通信方式 ) 逐次転送方式の通信回数明らかに nprocs-1 回 二分木通信方式の通信回数 見積もりの前提 各段で行われる通信は 完全に並列で行われる ( 通信の衝突は発生しない ) 段数の分の通信回数となる つまり log2(nprocs) 回 両者の通信回数の比較 プロセッサ台数が増すと 通信回数の差 (= 実行時間 ) がとても大きくなる 1024 プロセス構成では 1023 回対 10 回! でも 必ずしも二分木通信方式がよいとは限らない ( 通信衝突の多発 )

81 レポート課題 (II) 3. 逐次転送方式 2 分木通信方式の実行時間を計測 (MPI_Wtime 関数の利用 ) し どの方式が何台のプロセッサ台数で有効となるかを明らかにせよ また その理由について 考察せよ 4. 二分木通信方式について プロセッサ台数が 2 のべき乗でないときにも動作するように プログラムを改良せよ 5. MPI と OpenMP とは何か? それぞれについて説明せよ

82 基本的な MPI 関数 / サブルーチン

83 C Fortran MPI_Recv(1/2) ierr = MPI_Recv(recvbuf, icount, idatatype, isource, itag, icomm, istatus); call MPI_Recv(recvbuf, icount, idatatype, isource, itag, icomm, istatus, ierr) recvbuf : 受信バッファの先頭番地を指定 icount : 整数型 受信バッファのデータ要素数を指定 idatatype : 整数型 受信バッファのデータの型を指定 (C 言語 ) MPI_CHAR ( 文字型 ) MPI_INT ( 整数型 ) MPI_FLOAT ( 実数型 ) MPI_DOUBLE( 倍精度実数型 ) (Fortran) MPI_CHARACTER, MPI_INTEGER, MPI_REAL, MPI_DOUBLE_PRECISION, MPI_COMPLEX( 複素数型 ) isource : 整数型 受信したいメッセージを送信するrankIDを指定

84 MPI_Recv(2/2) itag icomm : 整数型 受信したいメッセージに付いているタグの値を指定 : 整数型 PE 集団を認識する番号であるコミュニケータを指定 通常ではMPI_COMM_WORLDを指定すればよい istatus :MPI_Status 型 ( 整数型の配列 ) 受信状況に関する情報が入る 必ず専用の型宣言をした配列を確保すること C 言語 : MPI_Status istatus; Fortran: integer istatus(mpi_status_size) ierr : 整数型 戻り値 エラーコードが入る

85 MPI_Send C Fortran ierr = MPI_Send(sendbuf, icount, idatatype, idest, itag, icomm); call MPI_Send(sendbuf, icount, idatatype, idest, itag, icomm, ierr) sendbuf : 送信バッファの先頭番地を指定 icount : 整数型 送信バッファのデータ要素数を指定 idatatype : 整数型 送信バッファのデータの型を指定 idest : 整数型 受信したいメッセージを送信するrankIDを指定 itag : 整数型 受信したいメッセージに付いているタグの値を指定 icomm : 整数型 PE 集団を認識する番号であるコミュニケータを指定 通常ではMPI_COMM_WORLDを指定すればよい ierr : 整数型 戻り値 エラーコードが入る

86 MPI_Send-Recv の概念 (1 対 1 通信 ) PE0 PE1 PE2 PE3 MPI_Send MPI_Recv

87 MPI における 1 対 1 通信の方法 MPI_Send, MPI_Recv はいわゆる ブロッキング (Blocking) 通信を行うもので, デッドロック (dead lock) を引き起こしやすい 受信 (Recv) の完了が確認されないと, 送信 (Send) が終了しない もともと secure な通信を保障するために,MPI の仕様に取り入れられたものであるが, 実用上は不便 アプリケーションレベルで使用されることは少ないように ( 私は ) 思う MPI_Send, MPI_Recv については, そういう機能がある ということを知っておけばよい

88 MPI における 1 対 1 通信の方法 MPI_Isend, MPI_Irecv という ブロッキングしない (nonblocking) MPI 関数 / サブルーチンと, 同期のための MPI_Waitall を組み合わせる 前回の資料を参照 MPI_Sendrecv という関数 / サブルーチンもある

89 C Fortran MPI_Bcast ierr = MPI_Bcast(sendbuf, icount, idatatype, iroot, icomm); call MPI_Bcast(sendbuf, icount, idatatype, iroot, icomm, ierr) sendbuf : 送信および受信バッファの先頭番地を指定 icount : 整数型 送信バッファのデータ要素数を指定 idatatype: 整数型 送信バッファのデータの型を指定 iroot : 整数型 送信したいメッセージがあるrankIDを指定する 全プロセスで同じ値を指定する必要がある icomm : 整数型 PE 集団を認識する番号であるコミュニケータを指定する ierr : 整数型 エラーコードが入る

90 MPI_Bcast の概念 ( 集団通信 ) PE0 PE1 PE2 PE3 MPI_Bcast() MPI_Bcast() MPI_Bcast() MPI_Bcast() iroot 全 PE が同じように関数を呼ぶこと!!

91 Reduction 演算について 加算 乗算 最大値 最小値などのように 各プロセスが持つデータを入力として 1 個の出力データを求める演算 MPI_Reduce 関数 :Reduction 演算の結果を ある一つのプロセスが所有 PE1 PE0 PE2 操作 PE0 MPI_Allreduce 関数 :Reduction 演算の結果を 全てのプロセスが所有 PE0 操作 PE0 PE1 PE2 PE1 PE2

92 C Fortran MPI_Reduce(1/2) ierr = MPI_Reduce(sendbuf, recvbuf, icount, idatatype, iop, iroot, icomm); call MPI_Reduce(sendbuf, recvbuf, icount, idatatype, iop, iroot, icomm, ierr) sendbuf : 送信バッファの先頭番地を指定 recvbuf : 受信バッファの先頭番地を指定 irootで指定したプロセスのみで書き込みがなされる送信バッファと受信バッファは 同一であってはならないすなわち 異なる配列を確保しなくてはならない icount : 整数型 送信バッファのデータ要素数を指定 idatatype: 整数型 送信バッファのデータの型を指定

93 MPI_Reduce(2/2) iop : 整数型 演算の種類を指定 MPI_SUM( 総和 ) MPI_PROD( 積 ) MPI_MAX( 最大 ) MPI_MIN( 最小 ) MPI_MAXLOC( 最大とその位置 ) MPI_MINLOC( 最小とその位置 ) など iroot : 整数型 結果を受け取るプロセスの icomm 内の rankid を指定する全ての icomm 内のプロセスで同じ値を指定する必要がある icomm : 整数型 PE 集団を認識する番号であるコミュニケータを指定する ierr : 整数型 エラーコードが入る

94 MPI_Reduce の概念 ( 集団通信 ) PE0 PE1 PE2 PE3 MPI_Reduce() MPI_Reduce() MPI_Reduce() MPI_Reduce() iroot データ1 データ2 データ3 データ4 iop( 指定された演算 )

95 C Fortran MPI_Allreduce ierr = MPI_Allreduce(sendbuf, recvbuf, icount, idatatype, iop, icomm); call MPI_Allreduce(sendbuf, recvbuf, icount, idatatype, iop, icomm, ierr) sendbuf : 送信バッファの先頭番地を指定 recvbuf : 受信バッファの先頭番地を指定 送信バッファと受信バッファは 同一であってはならない すなわち 異なる配列を確保しなくてはならない icount : 整数型 送信バッファのデータ要素数を指定 idatatype: 整数型 送信バッファのデータの型を指定 iop : 整数型 演算の種類を指定 icomm : 整数型 PE 集団を認識する番号であるコミュニケータを指定 ierr : 整数型 エラーコードが入る

96 MPI_Allreduce の概念 ( 集団通信 ) PE0 PE1 PE2 PE3 MPI_Allreduce() MPI_Allreduce() MPI_Allreduce() MPI_Allreduce() データ0 データ1 データ2 データ3 iop( 指定された演算 ) 演算済みデータの放送

97 Reduction 演算の性能について Reduction 演算は 1 対 1 通信と比較して遅い プログラム中で無駄に多用すべきではない MPI_Allreduce は MPI_Reduce に比べ遅い MPI_Allreduce は 放送処理が入る MPI_Reduce でいいならなるべくそっちを使う

98 C Fortran MPI_Gather(1/2) ierr = MPI_Gather(sendbuf, isendcount, isendtype, recvbuf, irecvcount, irecvtype, iroot, icomm); call MPI_Gather(sendbuf, isendcount, isendtype, recvbuf, irecvcount, irecvtype, iroot, icomm, ierr) sendbuf : 送信バッファの先頭番地を指定 isendcount: 整数型 送信バッファのデータ要素数を指定 isendtype : 整数型 送信バッファのデータの型を指定 recvbuf : 受信バッファの先頭番地を指定 irootで指定したプロセスのみで書き込みがなされる送信バッファと受信バッファは 同一であってはならないすなわち 異なる配列を確保しなくてはならない irecvcount: 整数型 受信バッファのデータ要素数を指定この要素数は 1プロセス当たりの送信データ数を指定すること MPI_Gather 関数では各プロセスで異なる数のデータを収集することはできないので 同じ値を指定すること

99 MPI_Gather(2/2) irecvtype: 整数型 受信バッファのデータ型を指定する iroot : 整数型 収集データを受け取るプロセスの icomm 内でのrankIDを指定する 全てのicomm 内のプロセスで同じ値を指定する必要がある icomm : 整数型 PE 集団を認識する番号であるコミュニケータを指定する ierr : 整数型 エラーコードが入る

100 MPI_Gather の概念 ( 集団通信 ) PE0 PE1 PE2 PE3 MPI_Gather() MPI_Gather() MPI_Gather() MPI_Gather() iroot データA データB データC データD 収集処理 データA データB データC データD

101 C MPI_Scatter(1/2) ierr = MPI_Scatter(sendbuf, isendcount, isendtype, recvbuf, irecvcount, irecvtype, iroot, icomm); Fortran call MPI_Scatter(sendbuf, isendcount, isendtype, recvbuf, irecvcount, irecvtype, iroot, icomm, ierr) sendbuf : 送信バッファの先頭番地を指定 isendcount: 整数型 送信バッファのデータ要素数を指定この要素数は 1プロセス当たりに送られる送信データ数を指定すること MPI_Scatter 関数では各プロセスで異なる数のデータを分散することはできないので 同じ値を指定すること isendtype : 整数型 送信バッファのデータの型を指定 irootで指定したプロセスのみ有効 recvbuf : 受信バッファの先頭番地を指定送信バッファと受信バッファは 同一であってはならないすなわち 異なる配列を確保しなくてはならない irecvcount: 整数型 受信バッファのデータ要素数を指定

102 MPI_Scatter(2/2) irecvtype: 整数型 受信領域のデータ型を指定する iroot : 整数型 収集データを受け取るプロセスの icomm 内でのrankIDを指定する 全てのicomm 内のプロセスで同じ値を指定する必要がある icomm : 整数型 PE 集団を認識する番号であるコミュニケータを指定する ierr : 整数型 エラーコードが入る

103 MPI_Scatter の概念 ( 集団通信 ) PE0 PE1 PE2 PE3 MPI_Scatter() MPI_Scatter() MPI_Scatter() MPI_Scatter() iroot データA データB データC データD 分配処理 データ A データ B データ C データ D