Reedbush-Uアカウントの発行

Transcription

1 計算科学概論 ( 第 2 回 ):4 月 16 日 ( 月 ) Reedbush スーパーコンピュータシステム の利用と MPI プログラムの実行 松本正晴 大学院情報理工学系研究科コンピュータ科学専攻

2 本日の講義資料 ITC-LMSの授業スライドにある 計算科学概論 0409.pdf ( 前回分の資料 ) と 計算科学概論 0416.pdf ( 今回の資料 ) を各自ダウンロードしてください

3 前提とする知識, 条件 C 言語または Fortran によるプログラミングの経験は無くてもいいが 今日は上記の経験がある程度あることを前提に話を進めます UNIX 環境についての基本的な知識と利用経験 UNIX の基本コマンド, 及び, プログラムの基本がわかってないと厳しい 個別に, 集中的に教えるよう配慮しますので, 遠慮なく聞いてください 知ってる人は近くの人にどんどん教えてあげるとよい 知らない人同士で相談しながらやるのもよし 情報基盤センター教育用計算機システム (ECCS) のアカウントを予め取得しておくこと 今日は Reedbush スーパーコンピュータシステムの使い方 ならびに MPI の基礎についての実習です OpenMP や GPU を使った計算は扱いません

4 Reedbush アカウントの発行 ( 先週までに名簿登録した者のみです ) 1. 本人証明ができるものを用意 学生証 運転免許証 など 無い場合は ECCSにログインできることで証明 2. 名前を呼びます 3. 本人確認の上 アカウントが記載された紙を配布します 4. 授業で指示があるまで ログイン作業を行わないでください

5 ECCS にログイン ( 以降 mac での説明です ) 1. ECCSのマシンにログインする ユーザ名 パスワードを間違えずに! 今配った<スパコンのアカウント>ではない 2. デスクトップ画面下の ターミナル をクリックする 3. コンソール画面が表示される

6 ユーザ名の確認 ユーザ名 ( 利用者番号 ):t03xxx (xxx は 3 桁番号 ) グループ名 ( 課金プロジェクト名 ):gt03 紙に書いてある情報が間違えている場合は教えてください

7 秘密鍵 / 公開鍵の作成 1. ターミナルを起動して 以下を入力する $ ssh-keygen -t rsa 2. 鍵の収納先を聞かれるので リターンを押す ( 以前に別の鍵を作成してそれを使っている場合は ファイル名を変更しないと上書きしてしまうので注意 ) 3. 鍵を使うためのパスワードを聞かれるので 自分の好きなパスワードを入れる ( パスフレーズと呼ぶ ) 4. もう一度 上記のパスフレーズを入れる 5. 鍵が生成される

8 鍵の利用 (1/2) 1. 生成した鍵は以下に入っている.ssh/ 2. 以下を入力する $ cd.ssh/ 3. 以下を入力すると ファイルが見える ( 以下は例 ) $ ls id_rsa id_rsa.pub known_hosts 以下が生成した鍵ファイル id_rsa : 秘密鍵 id_rsa.pub : 公開鍵

9 鍵の利用 (2/2) 4. 以下を入力して 公開鍵を表示する $ cat id_rsa.pub < 公開鍵が表示される > 5. ssh-rsa で始まる部分を マウスでカットアンドペーストし 公開鍵の登録に使う (.u-tokyo.ac.jp まで )

10 公開鍵の登録 (1/2) 1. Web ブラウザ (Safari) を起動 2. 以下のポータルサイトのアドレスを入力する 3. ユーザ名 にセンターから配布された 利用者番号 を入力する 4. パスワード に センターから配布された 初期パスワード を入力する記載されている文字列はパスワードではないので注意 次ページを参照 5. Login ボタンを押すと 初期パスワード を変更するよう指示されるので 新しいパスワードを入力して変更する鍵を作成した際のパスフレーズとは別の文字列を使うこと

11 正しいパスワードの確認とログイン 表示されている文字列の奇数番号 (1, 3, 5, 7, 9, 11, 13, 15) の 8 文字列をつなぎ合わせたもの 例 : P9aesWsbw6oZrrd5 Password

12 ポータル画面 ( ログイン前 ) 利用者番号とパスワードを入力

13 公開鍵の登録 (2/2) 5. パスワードの変更が完了したら 利用者番号と新しいパスワードを入力して Login ボタンを押す 6. ログインメッセージが出る 7. ( Change Language メニューで言語を変更 ) 8. 左側メニューの 公開鍵アップロード をクリック 9. 画面に 公開鍵をカットアンドペーストする 10. 作成 ボタンを押す

14 言語の変更 Change Language で日本語に変更できます Japanese (JA_JP.UTF-8 ) を選んで Change を押す 終わったら ブラウザを再読み込み 1. ここをクリック 3. ここをクリック 2. ここを選択

15 ここをクリック ポータル画面 ( 日本語選択後 )

16 ポータル画面 ( 公開鍵登録 ) 1. ここに公開鍵をペースト 2. ペースト後 クリック

17 ポータル画面 ( 公開鍵登録成功 ) ペーストした鍵が表示されていれば OK

18 Reedbush へログイン ターミナルから 以下を入力 $ ssh reedbush-u.cc.u-tokyo.ac.jp -l t03xxx -l はハイフンと小文字の L t03xxx は利用者番号 (t+ 数字 ) 接続するかと聞かれるので yes を入力する 鍵作成時に自分で決めたパスフレーズを入力する 成功するとログインできる鍵の名前が id_rsa じゃない場合や.ssh/ に無い場合はオプション -i で鍵を指定できる ログイン時は必ず /home/gt03/t03xxx/ に入る

19 Reedbush のデータをローカル PC に取り込む ローカル PC(ECCS) のターミナルで scp コマンドを使う $ scp t03xxx@reedbush-u.cc.u-tokyo.ac.jp:~/a.f90./ t03xxx は利用者番号 上の例は Reedbush 上のホームディレクトリにある a.f90 をローカル PC のカレントディレクトリに取ってくる ディレクトリごとダウンロードする場合は -r を指定 $ scp r t03xxx@reedbush-u.cc.u-tokyo.ac.jp:~/sample./ SAMPLE ディレクトリをディレクトリごとダウンロード

20 ローカル PC のファイルを Reedbush に置く 同様にローカル PC(ECCS) のターミナルで scp コマンドを使う $ scp./a.f90 t03xxx@reedbush-u.cc.u-tokyo.ac.jp: t03xxx は利用者番号 上の例はローカル PC のカレントディレクトリにある a.f90 を Reedbush 上のホームディレクトリに置く ディレクトリごとアップロードする場合は -r を指定 $ scp r./sample t03xxx@reedbush-u.cc.u-tokyo.ac.jp: SAMPLE ディレクトリをディレクトリごとアップロード

21 GUI によるファイル操作 ( 主に Windows ユーザ向け ) FileZilla や WinSCP を使えば手元のパソコンと Reedbush 間のファイル転送を GUI 操作で行うことができる FileZilla Download Filezilla Client からダウンロード サイトマネージャにてプロトコルを SFTP に設定 ログオンの種類を鍵ファイルにする (Putty 形式の公開鍵ファイルが必要 puttygen によって変換すると良い ) WinSCP プロトコルを SFTP または SCP に設定する ホスト設定画面の設定から SSH- 認証を選び 秘密鍵を指定する (OpenSSH 形式 Putty 形式の両方に対応 )

22 異なるパソコンの公開鍵登録 1. 同様の手順により 異なるパソコンで公開鍵を作成 2. 公開鍵のアップロード メニューの中で 複数登録することが可能 3. 鍵認証なので 家のパソコンや自分のノートパソコンからでも接続可能です

23 Reedbush における注意点 ログイン時に始めに入る /home ファイルシステムは容量が小さく ( 最大 2GB) ログインに必要な設定ファイルだけを置くための場所です /home に置いたファイルは計算ノードから参照できません ジョブの実行もできません ログイン後は /lustre ファイルシステムを利用してください ホームディレクトリ :/home/gt03/t03xxx cd コマンドで移動できます Lustre ディレクトリ :/lustre/gt03/t03xxx cdw コマンドで移動できます

24 Reedbush における計算の仕方 Reedbush-U( CPU only ) Reedbush-H( w/ GPU ) ( 今回の講義では GPU は扱いません )

25 Reedbush-U 1 ノードの構成 メモリ 128GB メモリ 128GB DDR4 DDR4 DDR4 DDR4 76.8GB/s 76.8GB/s DDR4 DDR4 DDR4 DDR4 Intel Xeon E v4 (Broadwell-EP) 18 コア QPI QPI Intel Xeon E v4 (Broadwell-EP) 18 コア 1 ノード当たり 36 コア 256GB 420 ノード 76.8GB/s G3 x16 Infiniband EDR HCA 一般的なスーパーコンピュータでは ノード単位で計算資源を数えることが多い Reedbush-U の場合 1 ノード当たり 36 コア 256GB(18 コア 128GB が 2 つ ) これが全部で 420 ノードある ノード内は共有メモリ型計算機なので OpenMP による並列化が可能 ノード間で並列化する際は MPI によるデータ通信が必要 ( 分散メモリ型計算機 )

26 G3 x16 G3x 16 G3 x16 G3 x16 EDR ( ちなみに )Reedbush-H ノードのブロック図 128GB DDR4 DDR4 DDR4 DDR4 76.8GB/s Intel Xeon E v4 (Broadwell- EP) 76.8GB/s QPI QPI 76.8GB/s 15.7 GB/s 15.7 GB/s Intel Xeon E v4 (Broadwell-EP) DDR4 DDR4 DDR4 DDR4 76.8GB/s 128GB PCIe sw PCIe sw 120 IB FDR HCA NVIDIA Pascal 20 GB/s NVLinK NVLinK NVIDIA Pascal IB FDR HCA 20 GB/s EDR switch 26

27 Reedbush-U で利用できるコンパイラ Intelコンパイラ Fortranコンパイラ :ifort ( 逐次実行 ) :mpiifort (MPI 実行,Intel MPI) Cコンパイラ :icc ( 逐次実行 ) :mpiicc (MPI 実行,Intel MPI) C++ コンパイラ :icpc ( 逐次実行 ) :mpiicpc (MPI 実行,Intel MPI) ソースファイルをコンパイルして実行ファイルを作成した後にそれを実行するには ジョブ を投げる必要がある

28 Reedbush-H で利用できる GPU 用コンパイラ (PGI) module コマンドを利用して コンパイラ環境 パスを設定 $ module load cuda/( バージョン番号 ) $ module load pgi/( バージョン番号 ) CUDA C $ nvcc gencode arch=compute_60,code=sm_60 [options] hoge.cu CUDA Fortran $ pgfortran Mcuda=cc60 [options] hoge.cuf OpenACC Fortran: $ pgfortran acc ta=tesla,cc60 [options] hoge.f90 C: $ pgcc acc ta=tesla,cc60 [options] hoge.c C++: $ pgc++ -acc ta=tesla,cc60 [options] hoge.cpp

29 Reedbush-U スーパーコンピュータシステムでのジョブ実行形態 Reedbush-U に限らず スパコン環境では以下の 2 通りがほとんど インタラクティブジョブ実行 ( 本実習では利用不可 ) PC での実行のように コマンドを入力して実行 スパコン環境では あまり一般的でない あくまでもデバッグ用 大規模実行はできない Reedbush-U では 以下に限定 1 ノード (36 コア ) 30 分まで 4 ノード (144 コア ) 10 分まで バッチジョブ実行 バッチジョブシステムに処理を依頼して実行する スパコン環境では一般的な方法 大規模実行用 一般利用では 最大 128 ノード (4,608 コア ) 24 時間まで 本実習では最大 8 ノード (288 コア ) 10 分まで

30 バッチ処理とは? 一般的なスパコン環境で大規模計算を行う場合 通常 インタラクティブ実行 ( コマンドラインで実行すること ) はできません ジョブはバッチ処理で実行します キュー (Queue): 待ち行列 バッチキュー ジョブの依頼 バッチ処理システムがジョブを取り出す 実行 ユーザ スパコン

31 バッチキューの設定の仕方 バッチ処理はAltair 社のバッチシステムPBS Professionalで管理され ている 以下 主要なコマンドの説明 ジョブの投入 :qsub < ジョブスクリプトファイル名 > 自分が投入したジョブの状況確認 :rbstat 投入ジョブの削除 :qdel < ジョブID> バッチキューの状態を見る :rbstat --rsc バッチキューの詳細構成を見る :rbstat --rsc -x 投げられているジョブ数を見る :rbstat b 過去の投入履歴を見る :rbstat H 同時に投入できる数 / 実行できる数を見る :rbstat --limit

32 Job スクリプトのサンプルの説明 C 言語,Fortran 共通 #!/bin/bash #PBS -q u-lecture #PBS W group_list=gt24 #PBS -l select=8:mpiprocs=4:ompthreads=9 #PBS -l walltime=00:10:00 cd $PBS_O_WORKDIR. /etc/profile.d/modules.sh mpirun./a.out リソースグループ名 :u-lecture 授業時間中は u-lecture3 利用グループ名 :gt03 利用ノード数 1 ノード当たりの MPI プロセス数 実行時間制限 :10 分 1 プロセス当たり OpenMP スレッド数 カレントディレクトリ設定 環境変数設定 ( 必ず記入しておく ) 上の例では ジョブを 32 プロセス 9 スレッドの 288 並列 ( コア ) で実行 (1 ノード当たり 4 プロセス 9 スレッドでそれが 8 ノード分 ) Reedbush-U は 1 ノード当たり 36 コア

33 本講義でのキュー名 ジョブスクリプトの #PBS -q の部分に記載するキューの種類 本演習時間中のキュー名 :u-lecture3(reedbush-u, CPU only) 最大 8 ノード (288 コア ),10 分まで h-lecture3(reedbush-h, w/gpu) 最大 2 ノード 10 分まで (CPU:36 コア +GPU:2 台 ) 2 ノード 本演習時間以外 (24 時間 ) のキュー名 : u-lecture(reedbush-u) h-lecture(reedbush-h) 利用条件は上と同じ

34 サンプルプログラムの起動 1. 並列版 Hello プログラムの実行 2.MPI 集団通信に関するプログラムの実行

35 UNIX コマンド備忘録 (1/3) emacs エディタの起動 : emacs 編集ファイル名 ^x ^s (^ は control を押しながら ) : テキストの保存 ^x ^c : 終了 (^z で終了すると スパコンの負荷が上がる 絶対にしないこと ) ^g : 訳がわからなくなったとき ^k : カーソルより行末まで消す 消した行は一時的に記憶される ^y :^k で消した行を 現在のカーソルの場所にコピー ^s 文字列 : 文字列の箇所まで移動 ( 検索 ) ^M x goto-line : 指定した行まで移動 (^M は ESC キーを押して離す )

36 UNIX コマンド備忘録 (2/3) rm ファイル名 : ファイルを消す ls : 現在いるフォルダの中身を見る cd ディレクトリ名 : ディレクトリに移動する cd.. : 一つ上のディレクトリへ移動する cd : ホームディレクトリへ行く cat ファイル名 : ファイルの中身を見る make :Makefileがある場合 実行ファイルを作る make clean : 実行ファイルを消す (cleanがmakefile 内で定義されていないと実行できない )

37 UNIX コマンド備忘録 (3/3) less ファイル名 : ファイルの中身を見る (cat では画面がいっぱいになってしますとき ) スペースキー :1 画面スクロール / 文字列 : 文字列の箇所まで移動 q : 終了 ( 訳がわからなくなったとき )

38 サンプルプログラム名 C 言語版 Fortran 版共通ファイル : Samples.tar tarで展開後 C 言語とFortranのディレクトリが作られる C/ :C 言語用 F/ :Fortran 用 上記ファイルが置いてある場所 /lustre/gt03/t03000

39 Samples.tar の中身 Hello/ 並列版 Hello プログラム Mat-vec/ 行列 ベクトル積の計算プログラム MPI/ MPI 集団通信のサンプルプログラム Wa1/ 逐次転送方法による総和演算プログラム Wa2/ 二分木通信方式による総和演算プログラム

40 並列版 Hello プログラムをコンパイル (1/2) 1. cdwコマンドを実行してlustreファイルシステムへ移動 $ cdw 2. サンプルプログラムの場所 /lustre/gt03/t03000にある Samples.tarを自分のディレクトリにコピーする $ cp /lustre/gt03/t03000/samples.tar./ 3. Samples.tarを展開する $ tar xvf Samples.tar 4. Samplesディレクトリへ移動 $ cd Samples C 言語 : $ cd C Fortran : $ cd F 5. Helloディレクトリへ移動 $ cd Hello

41 並列版 Hello プログラムをコンパイル (2/2) 6. ソースファイルをコンパイルする すでにcompileファイルという実行ファイルが用意されているので それを実行する $./compile ( 以下のコマンドでもコンパイル可 ) C 言語 :mpiicc hello.c o hello Fortran :mpiifort hello.f o hello 7. 実行ファイル (hello) ができていることを確認する $ ls

42 並列版 Hello プログラムの実行 ( ピュア MPI) このサンプルの Job スクリプトは hello.bash です サンプルでは キュー名が u-lecture, グループ名が gt00 になっています $ emacs hello.bash で キュー名とグループ名をそれぞれ書き換えてください u-lecture3 gt03

43 並列版 Hello プログラムの実行 ( ピュア MPI) 1. Hello ディレクトリの中で以下を実行 $ qsub hello.bash 2. 自分の導入されたジョブを確認 $ rbstat 3. 実行が終了すると 以下のファイルが生成される hello.bash.exxxxxx hello.bash.oxxxxxx (xxxxxx は JobID) 4. 上記の標準出力ファイルを見てみる cat hello.bash.oxxxxxx 5. Hello parallel world! が 36 プロセス 8 ノード =288 表示されていたら実行成功

44 バッチジョブ実行時の標準出力と標準エラー出力 バッチジョブの実行が終了すると 標準出力ファイルと標準エラー出力ファイルがジョブ投入時のディレクトリに作成される 標準出力ファイルにはジョブ実行中の標準出力 標準エラー出力ファイルにはジョブ実行中のエラーメッセージが出力される ジョブ名.oXXXXX --- 標準出力ファイルジョブ名.eXXXXX --- 標準エラー出力ファイル (XXXXX はジョブ投入時に表示されるジョブの JobID)

45 並列版 Hello プログラム (C 言語 ) #include <stdio.h> #include <mpi.h> このプログラムは 全 PE で起動される int main(int argc, char *argv[]){ int myid,nprc,ierr; ierr=mpi_init(&argc,&argv); ierr=mpi_comm_rank(mpi_comm_world,&myid); ierr=mpi_comm_size(mpi_comm_world,&nprc); MPI の初期化 printf("hello parallel world! MyID: %d %d n",myid, nprc); 自分の rank ID を取得 : 各プロセスで値は異なる } ierr=mpi_finalize(); return 0; MPI の終了 全体のプロセッサ台数を取得 : 各プロセスで値は同じ ( 演習環境では最大 288)

46 並列版 Hello プログラム (Fortran) program main implicit none include "mpif.h" integer::myid,nprc,ierr call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,myid,ierr) call mpi_comm_size(mpi_comm_world,nprc,ierr) print *, "Hello parallel world! MyID:", myid, nprc call mpi_finalize(ierr) stop end program main このプログラムは 全 PE で起動される MPI の初期化 MPI の終了 自分の rank ID を取得 : 各プロセスで値は異なる 全体のプロセッサ台数を取得 : 各プロセスで値は同じ ( 演習環境では最大 288)

47 MPI の集団通信プログラム 前回の資料 ( 計算科学概論 0409.pdf) の 85 ページ からを参照 プログラムをよく読んで コンパイル 実行し 結果 を確認してください

48 サンプルプログラムの起動 3. 行列 ベクトル積プログラムの実行

49 Samples.tar の中身 Hello/ 並列版 Hello プログラム Mat-vec/ 行列 ベクトル積の計算プログラム MPI/ MPI 集団通信のサンプルプログラム Wa1/ 逐次転送方法による総和演算プログラム Wa2/ 二分木通信方式による総和演算プログラム

50 行列 ベクトル積の計算プログラム (Mat-vec) 実行結果が (C 言語 ) (Fortran) N = Elapsed time = [sec.] [MFLOPS] OK! N = Elapsed time[sec.] = MFLOPS = OK! のような結果が出たら OK

51 サンプルプログラムの説明 本プログラムでは 全プロセスが行列 A とベクトル x のデータを持ち y=ax の計算をしている (C 言語 ) #define N (Fortran) integer,parameter::n=10000 Nを変更すると 行列サイズを変更できます (C 言語 ) #define debug 1 (Fortran) integer,parameter::debug=1 1 としてコンパイルすると 演算結果が正しいことがチェックできます

52 レポート課題 (I) 下記について 実験環境 (8 ノード 288 コア ) を駆使して 問題サイズや並列数を変化させるなどにより性能を評価し レポートにまとめよ 1. サンプルプログラムを並列化せよ このとき 行列 A およびベクトル x y のデータは 全 PE で N N のサイズを確保してよい 2. サンプルプログラムを並列化せよ このとき 行列 A は 初期状態では 各 PE に割り当てられた分の領域しか確保してはいけない

53 レポート課題 (I) の注意 本課題では MPI 通信関数は不要です このサンプルプログラムでは 演算結果検証部分 (debug=1 にした場合に実行される部分 ) が並列化されていないため MatVec 関数のみを並列化しても 検証部でエラーとなります 検証部分も 計算されたデータに各 PE で対応するように 並列化してください 検証部分においても 行列 - ベクトル積と同様のループとなります

54 本実習プログラムの TIPS myid, nprc は大域変数です myid (= 自分の ID) および nprc(= 全プロセス数 ) の変数は大域変数です MyMatVec 関数内で 引数設定や宣言なしに 参照できます myid, nprc の変数を使う必要があります MyMatVec 関数を並列化するには myid および nprc 変数を利用しないと 並列化ができません

55 並列化の考え方 (C 言語 ) SIMD アルゴリズムの考え方 (4PE の場合 ) n 行列 A for ( j=0; j<n/4; j++) { 内積 ( j, i ) } PE0 各 PE で重複して所有する for ( j=0; j<n; j++) { 内積 ( j, i ) } n for ( j=n/4; j<(n/4)*2; j++) { 内積 ( j, i ) } PE1 for ( j=(n/4)*2; j<(n/4)*3; j++) { 内積 ( j, i ) } PE2 for ( j=(n/4)*3; j<n; j++) { 内積 ( j, i ) } ベクトル x PE3

56 並列化の考え方 (Fortran 言語 ) SIMD アルゴリズムの考え方 (4PE の場合 ) n 行列 A PE0 do j=1, N/4 内積 ( j, i ) enddo 各 PE で重複して所有する do j=1, N 内積 ( j, i ) enddo n PE1 PE2 PE3 do j=n/4+1, (N/4)*2 内積 ( j, i ) enddo do j=(n/4)*2+1, (N/4)*3 内積 ( j, i ) enddo do j=(n/4)*3+1, N 内積 ( j, i ) enddo ベクトル x

57 初心者が注意すること 各 PE では 独立した配列が個別に確保されます PE0 PE1 PE2 PE3 A[N][N] A[N][N] A[N][N] A[N][N] myid 変数は MPI_Comm_rank() 関数が呼ばれた段階で 各 PE 固有の値になっています PE0 PE1 PE2 PE3 myid = 0 myid = 1 myid = 2 myid = 3

58 並列化の方針 (C 言語 ) 1. 全 PE で行列 A を N N の大きさ ベクトル x y を N の大きさ 確保してよいとする 2. 各 PE は 担当の範囲のみ計算するように ループの開始値と終了値を変更する ブロック分散方式では 以下になる (N が nprc で割り切れる場合 ) ib = N / nprc; for ( nj=myid*ib; nj<(myid+1)*ib; nj++) { } 3. (2 の並列化が完全に終了したら ) 各 PE で担当のデータ部分しか行列を確保しないように変更する 上記のループは 以下のようになる for ( nj=0; nj<ib; nj++) { }

59 並列化の方針 (Fortran 言語 ) 1. 全 PE で行列 A を N N の大きさ ベクトル x y を N の大きさ 確保してよいとする 2. 各 PE は 担当の範囲のみ計算するように ループの開始値と終了値を変更する ブロック分散方式では 以下になる (N が nprc で割り切れる場合 ) ib = N / nprc do nj=myid*ib+1, (myid+1)*ib. enddo 3. (2 の並列化が完全に終了したら ) 各 PE で担当のデータ部分しか行列を確保しないように変更する 上記のループは 以下のようになる do nj=1, ib. enddo

60 並列化の方針 ( 行列 - ベクトル積 )(C 言語 ) 全 PE で N N 行列を持つ場合 PE0 for ( nj=0; nj<(n/4); nj++) { 内積 ( nj, ni ) } for ( nj=(n/4)*2; nj<(n/4)*3; nj++) { 内積 ( nj, ni ) } PE2 PE1 for ( nj=(n/4)*3; nj<n; nj++) { 内積 ( nj, ni ) } for ( nj=(n/4); nj<(n/4)*2; nj++) { 内積 ( nj, ni ) } PE3 各 PE で使われない領域が出るが 担当範囲指定がしやすいので実装がしやすい

61 並列化の方針 ( 行列 - ベクトル積 )(Fortran 言語 ) 全 PE で N N 行列を持つ場合 PE0 do nj=1, N/4 内積 ( nj, ni ) enddo do nj=(n/4)*2+1, (N/4)*3 内積 ( nj, ni ) enddo PE2 PE1 do nj=n/4+1, (N/4)*2 内積 ( nj, ni ) enddo do nj=(n/4)*3+1, N 内積 ( nj, ni ) enddo 各 PE で使われない領域が出るが 担当範囲指定がしやすいので実装がしやすい PE3

62 並列化の方針 ( 行列 - ベクトル積 ) この方針では y=ax のベクトル y は 以下のように一部分しか計算されないことに注意! PE0 = = PE2 = PE1 = PE3

63 並列化時の注意 演習環境は 最大 288PE です 並列化は < できた > と思ってもバグっていることが多い! このサンプルの検証部分 (debug=1 の時に実行される部分 ) は PE0 がベクトル y の要素すべてを所有することが前提となっています 出力結果を考慮して検証部分も並列化してください N を小さくして printf で結果 ( ベクトル y) を目視することも デバックになります しかし N を目視できないほど大きくする場合にバグることがあります 目視のみデバックは 経験上お勧めしません 数学ライブラリ開発では できるだけ数学 ( 線形代数 ) の知識を利用した方法で 理論的な解と結果を検証することをお勧めします

64 時間計測方法 (C 言語 ) double t0, t1, t2, t_w;.. ierr = MPI_Barrier(MPI_COMM_WORLD); t1 = MPI_Wtime(); < ここに測定したいプログラムを書く > t2 = MPI_Wtime(); t0 = t2 - t1; ierr = MPI_Reduce(&t0, &t_w, 1, MPI_DOUBLE,MPI_MAX, 0, MPI_COMM_WORLD); バリア同期後 時間を習得し保存 各プロセッサ ( プロセス ) で t0 の値は異なる この場合は 最も遅いものの値をプロセス ID = 0 (rank0) が受け取る

65 時間計測方法 (Fortran) double precision t0, t1, t2, t_w double precision MPI_WTIME.. call MPI_BARRIER(MPI_COMM_WORLD, ierr) t1 = MPI_WTIME(ierr) < ここに測定したいプログラムを書く > t2 = MPI_WTIME(ierr) t0 = t2 - t1 call MPI_REDUCE(t0, t_w, 1, & MPI_DOUBLE_PRECISION, & MPI_MAX, 0, MPI_COMM_WORLD, ierr) バリア同期後 時間を習得し保存 各プロセッサ ( プロセス ) で t0 の値は異なる この場合は 最も遅いものの値をプロセス ID = 0 (rank0) が受け取る

66 サンプルプログラムの起動 4. 総和演算プログラムの実行

67 Samples.tar の中身 Hello/ 並列版 Hello プログラム Mat-vec/ 行列 ベクトル積の計算プログラム MPI/ MPI 集団通信のサンプルプログラム Wa1/ 逐次転送方法による総和演算プログラム Wa2/ 二分木通信方式による総和演算プログラム

68 総和演算プログラム (Wa1, 逐次転送方式 ) 各 MPI プロセスが所有するデータを 全プロセスで加算し あるプロセス 1 つが結果を所有するという処理を考える 素朴な方法 ( 逐次転送方式 ) 1. (rankid が 0 でなければ ) 左隣のプロセスからデータを受信 2. 左隣のプロセスからデータが来ていたら 1. 受信する 2. < 自分のデータ > と < 受信データ > を加算する 3. (255 番でなければ ) 右隣のプロセスに <2 の結果 > を送信する 4. 処理を終了する 実装上の注意 左隣とは (myid-1) の ID をもつプロセス 右隣とは (myid+1) の ID をもつプロセス myid=0 のプロセスは左隣はないので 受信はしない myid=p-1 のプロセスは右隣はないので 送信はしない

69 逐次転送方式 ( バケツリレー方式 ) による加算 所有データ 所有データ所有データ所有データ CPU0 CPU1 CPU2 CPU3 送信送信送信 = = = 6 最終結果

70 1 対 1 通信利用例 (Wa1, 逐次転送方式 C 言語 ) void main(int argc, char* argv[]) { 受信用システム配列の確保 MPI_Status istatus; dsendbuf=(double)myid; drecvbuf=0.0; if(myid!=0){ ierr=mpi_recv(&drecvbuf,1,mpi_double,myid-1,0,mpi_comm_world,&istatus); } 自分より一つ少ない ID 番号 (myid-1) から double 型データ 1 つを受信し drecvbuf 変数に代入 } dsendbuf=dsendbuf+drecvbuf; if(myid!=nprc-1){ ierr=mpi_send(&dsendbuf,1,mpi_double,myid+1,0,mpi_comm_world); } if(myid==nprc-1) printf("total=%4.2lf n",dsendbuf); 自分より一つ多い ID 番号 (myid+1) に dsendbuf 変数に入っている double 型データ 1 つを送信

71 1 対 1 通信利用例 (Wa1, 逐次転送方式 Fortran) program main integer istatus(mpi_status_size) dsendbuf=dble(myid) drecvbuf=0.0d0 if(myid/=0) then call mpi_recv(drecvbuf,1,mpi_double_precision,myid-1,0,& mpi_comm_world,istatus,ierr) endif dsendbuf=dsendbuf+drecvbuf if(myid/=nprc-1) then call mpi_send(dsendbuf,1,mpi_double_precision,myid+1,0,& mpi_comm_world,ierr) endif if(myid==nprc-1) then print *,"Total = ",dsendbuf endif end program main 受信用システム配列の確保 自分より一つ少ない ID 番号 (myid-1) から double precision 型データ 1 つを受信し drecvbuf 変数に代入 自分より一つ多い ID 番号 (myid+1) に dsendbuf 変数に入っている double precision 型データ 1 つを送信

72 総和演算プログラム (Wa2, 二分木通信方式 ) 二分木通信方式 (256 プロセスでの計算であることに注意 ) 1. nj = 1; 2. for (ni=0; ni < log2(nprc); ni++) 3. if ( (myid & nj) == nj) (myid nj) 番プロセスからデータを受信 ; 自分のデータと 受信データを加算する ; nj = nj * 2; 4. else (myid + nj) 番プロセスに データを転送する ; 処理を終了する ;

73 総和演算プログラム (Wa2, 二分木通信方式 ) 3 段目 =log2(8) 段目 段目 段目

74 総和演算プログラム (Wa2, 二分木通信方式 ) 実装上の工夫 要点 : プロセス番号の 2 進数表記の情報を利用する 第 ni 段において 受信するプロセスの条件は 以下で書ける : myid & nj が nj と一致ここで nj = 2^(ni-1) つまり プロセス番号の 2 進数表記で右から ni 番目のビットが立っているプロセスが 送信することにする また 送信元のプロセス番号は 以下で書ける : myid + nj つまり 通信が成立するプロセス番号の間隔は 2^(ni-1) 二分木なので 送信プロセスについては 上記の逆が成り立つ

75 総和演算プログラム (Wa2, 二分木通信方式 ) 逐次転送方式の通信回数明らかに nprocs-1 回 二分木通信方式の通信回数 見積もりの前提 各段で行われる通信は 完全に並列で行われる ( 通信の衝突は発生しない ) 段数の分の通信回数となる つまり log2(nprocs) 回 両者の通信回数の比較 プロセッサ台数が増すと 通信回数の差 (= 実行時間 ) がとても大きくなる 1024 プロセス構成では 1023 回対 10 回! でも 必ずしも二分木通信方式がよいとは限らない ( 通信衝突の多発 )

76 レポート課題 (II) 下記について レポートとしてまとめよ 3. 逐次転送方式 2 分木通信方式の実行時間を計測 (MPI_Wtime 関数の利用 ) し どの方式が何台のプロセッサ台数で有効となるかを明らかにせよ また その理由について考察せよ 4. 二分木通信方式について プロセッサ台数が 2 のべき乗でないときにも動作するように プログラムを改良せよ 5. MPI と OpenMP とは何か? それぞれについて説明せよ

77 Reedbush を利用する上での注意 Reedbush を利用する上で不明な点があったら ポータル上にマニュアルがありますので それを参考にしてください それでも解決しない場合は まずは松本に聞いてください 情報基盤センターへ直接問い合わせることは止めてください この先 計算科学概論で Reedbush を使うか使わないかは各先生によって異なります 使う先生もいれば 使わない先生もいます Reedbush のアカウントは ( おそらく )8 月末で消滅しますので それまでにバックアップ等が必要な方は各自の責任でお願いします アカウントが消滅するまでは自由に使えますので 余力のある人は GPU を使った計算などにも是非チャレンジしてみて下さい ( 何も説明しないけど )