Microsoft PowerPoint MPI.v...O...~...O.e.L.X.g(...Q..)

Size: px

Start display at page:

Download "Microsoft PowerPoint MPI.v...O...~...O.e.L.X.g(...Q..)"

いおりうとだ
6 years ago
Views:

1 MPI プログラミング Information Initiative Center, Hokkaido Univ. MPI ライブラリを利用した分散メモリ型並列プログラミング分散メモリ型並列処理 : 基礎

2 分散メモリマルチコンピュータの構成プロセッサエレメントが専用のメモリ ( ローカルメモリ ) を搭載スケーラビリティが高い例 :HITACHI SR8000 Interconnection Network CPU Local Memory CPU CPU CPU CPU Local Memory Local Memory Local Memory Local Memory 分散メモリマルチコンピュータ処理 Interconnection Network 解析モデル主記憶容量に依存して分割 CPU Local Memory CPU CPU CPU CPU Local Memory Local Memory Local Memory Local Memory

3 スーパーコンピュータ SR8000 の構造 P0 P1 P2 P3 P4 P5 P6 P7 P8 フローチャートのとおりプログラミング. 自動並列化コンパイラで楽々並列化. ノード占有でスイスイ計算大容量メモリ : ノード当り 6.5 GB または 13 GB MPI ライブラリを利用した複数ノード並列プログラミング大容量なメモリの利用と処理のスピードアップ Node #0 #1 #2 #3 #16 #17 #18 #19 #4 #5 #6 #7 #20 #21 #22 #23 Supercomputer HITACHI SR8000 Supercomputer Processor nodes : 32 (8 PE/Node) Processor elements : 256 RAM : 320 GB 6.5 / 13 GB per node Disk : 1.1 TB #8 #9 #12 #13 #14 High-Speed Bus #10 #11 #15 #24 #25 #28 #29 #30 #26 #27 #31 逐次処理共有メモリ型並列処理 ( ノード内並列処理 ) P1 P2 P8 sleep sleep 並列処理分散メモリ型並列処理 ( 複数ノードを利用した並列処理 ) 逐次処理 Node #1 Node #2 Node #8 並列処理並列処理逐次処理 sleep sleep 逐次処理データ送受信並列処理並列処理逐次処理 sleep sleep 逐次処理データ送受信並列処理は, プログラム中の DO ループをプロセッサ個数分に展開して行われる. したがって, 処理全体に占める DO ループでの処理の割合が多いほど処理は高速に行われる. 自動並列化コンパイラを使用してプログラムの並列化が容易逐次処理および並列処理がすべてのノードで行われる. 共有すべきデータのノード間送受信をプログラム中で指示する. メモリ配置, モデリング等の特別な考慮が必要であるが, 大規模大容量化が可能である. ノード内では共有メモリ型並列処理が行われる.

4 分散メモリ並列計算の利点シングルノードジョブ主記憶 6.5GB 大規模化解析モデルを 4 倍利用可能な主記憶容量 6.5GB 4 ノード = 26 GB 解析時間 1 日利用負担金 86.4 千円高速化費用の軽減解析モデルを 4 分の 1 計算時間 1 日 / 4 ノード = 0.25 日利用負担金 86,400 円 0.25 日 2.5 = 54 千円グスタフソン則より大型のマルチプロセッサでは実際上, より大きな問題を合理的時間内で解くことが可能になる! 並列実行時間が固定と考えるべきである問題を大きくしても, 逐次処理部分はそれほど増加しない

5 グスタフソン則によるスケール化速度向上度 f=1% Speed-up ratio f=5% f=10% プログラム中の逐次処理の割合 : Number of processor f MPI 通信ライブラリ : 概要

6 MPI とは MPI: Message Passing Interface デファクトスタンダードの通信用ライブラリ通信の機能通信の呼び出し方法 MPI ライブラリの目的移植性に優れたプログラミングコード効率のよいプログラミング多彩な機能異機種並列アーキテクチャをサポート

7 MPI プログラミングとは MPI 通信ライブラリ MPI 環境制御ルーチン一対一通信ルーチン集団通信ルーチン派生データタイプコミュニケータプロセストポロジー 100 個以上基本的なライブラリ 40 個利用頻度の高いライブラリ 10 個 MPI プログラミング基礎最初の一歩

8 ヘッダファイル #include <mpi.h> INCLUDE mpif.h 関数サブプログラムの書式 error = MPI_Xxxx(parameter, ); または MPI_Xxxx(parameter, ); CALL MPI_XXXX(parameter,, IERROR) INTEGER IERROR

9 MPI プログラムの初期化 int MPI_Init(int *argc, char ***argv); CALL MPI_INIT(IERROR) INTEGER IERROR MPI 通信ライブラリを使用する場合, 最初に呼ばれる関数 / サブルーチンでなければなならない. MPI プログラムを終了 int MPI_Finalize(); CALL MPI_FINIALIZE(IERROR) INTEGER IERROR 一番最後に実行される MPI ライブラリ

10 プログラムの基本構造 #include <mpi.h> main( int argc, char **argv ) { MPI_Init( &argc, &argv ); } MPI_Finalize( ); exit( 0 ); * * * * PROGRAM mpi01 INCLUDE 'mpif.h' INTEGER*4 ierr CALL MPI_INIT( ierr ) CALL MPI_FINALIZE( ierr ) STOP END MPI プログラミング課題 (1) 課題任意の数のノードを使用して, すべてのノードで Hello! と印字する MPI プログラムを作成せよ.

11 WINE で実行しようコンパイルおよびリンク $ mpicc +DA2.0 +O4 mpi01.c -o mpi01.exe $ mpif90 +DA2.0W +O3 mpi01.f -o mpi01.exe プログラムの実行 $ mpirun -np 4 mpi01.exe Hello! Hello! Hello! Hello! mpi01.exe Node A Node B Node C Hello! Hello! Hello! Node D Hello! MPI 環境制御ルーチン

12 MPI_COMM_WORLD コミュニケータプロセスが属するグループを表すIDのようなもの. コミュニケータ MPI_COMM_WORLD は, プログラム実行時に生成されるすべてのプロセスが属するグループ MPI_COMM_WORLD ランクひとつのプログラムで, 複数のプロセスに異なる処理を実行させるためには! ランク (RANK) という情報が必要になる. MPI_Comm_rank(MPI_Comm comm, int *rank); MPI_COMM_RANK(COMM, RANK, IERROR) INTEGER COMM, RANK, IERROR ランクは PE 番号またはノード名ではない!

13 サイズコミュニケータに含まれるプロセスの数を利用するので, サイズ (SIZE) という情報が必要になる. MPI_Comm_size(MPI_Comm comm, int *size); MPI_COMM_SIZE(COMM, SIZE, IERROR) INTEGER COMM, SIZE, IERROR ノード, ランクおよびサイズ Interconnection Network Node A Node B Node C Node D Node X CPU Local Memory CPU CPU CPU CPU Local Memory Local Memory Local Memory Local Memory Rank 0 Rank 1 Rank 2 Rank 3 MPI_COMM_WORLD Size = 4

14 MPI プログラミング課題 (2) 課題プロセスサイズおよびランクを取得し, 印字出力する MPI プログラムを作成せよ. ランク 0 Isize = 4 myrank = 0 ランク 1 Isize = 4 myrank = 1 ランク 2 Isize = 4 myrank = 2 ランク 3 Isize = 4 myrank = 3 メッセージ通信 Messages

15 通信ライブラリ一対一通信双方向通信 Rank 0 Rank 1 Rank 0 Rank 1 集団通信 Rank 0 Rank 1 Rank 2 Rank 3 Rank 0 メッセージ指定データタイプを含むいくつかの要素 MPI データタイプ基本データタイプ (Basic types) 派生データタイプ (Derived Types) 派生データタイプは基本タイプから構成される基本タイプは,とで異なる

16 基本データタイプ : MPI Datatype MPI_CHAR MPI_SHORT MPI_INT MPI_LONG MPI_UNSIGNED_CHAR MPI_UNSIGNED_SHORT MPI_UNSIGNED MPI_UNSIGNED_LONG MPI_FLOAT MPI_DOUBLE MPI_LONG_DOUBLE C Datatype signed char signed short int signed int signed long int unsigned char unsigned short int unsigned int unsigned long int float double long double MPI_BYTE MPI_PACKED 基本データタイプ : MPI Datatype MPI_INTEGER MPI_REAL MPI_DOUBLE_PRECISION MPI_COMPLEX MPI_LOGICAL Datatype INTEGER REAL DOUBLE PRECISION COMPLEX LOGICAL MPI_CHARACTER CHARACTER (1) MPI_BYTE MPI_PACKED

17 一対一通信 Point-to-Point Communication 一対一通信 MPI_COMM_WORLD Destination Source 2 つのプロセス間で行われる通信 2 つのプロセス : ソースプロセスとデスティネーションプロセス通信はコミュニケータ内 (MPI_COMM_WORLD) で行われるデスティネーションプロセスはコミュニケータ内のランクで区別

18 通信モードブロッキング通信 MPI_SEND MPI_RECV 送信と受信を同期を取って実行受信が完了することで通信が終了するノンブロッキング通信 MPI_ISEND MPI_IRECV MPI_WAIT 送信先の状態によらず, システムバッファに対してデータを送信同期を取る関数 / サブルーチンを利用ブロッキング通信 2 つのプロセス間で同期が取られるソースプロセスが同期モードを指定する MPI_SEND(), MPI_RECV() Rank 0 Rank 1 送信側 1. 送信データバッファを用意 2.MPI_SEND() 受信側 1.MPI_RECV() スリープシステムシステムスリープ 3. 送信完了 4. 次の処理 Blocking 2. 受信完了 4. 次の処理

19 メッセージの送信 int MPI_Send(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm); CALL MPI_SEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG INTEGER COMM, IERROR メッセージの受信 int MPI_Recv(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Status *status); CALL MPI_RECV(BUF, COUNT, DATATYPE, DEST, TAG, COMM, STATUS, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG INTEGER COMM, STATUS(MPI_STATUS_SIZE) INTEGER IERROR

20 通信ステータス情報 source および tag が, MPI_RECV の status パラメータに格納されるステータス情報 source C status.mpi_source status(mpi_source) tag status.mpi_tag status(mpi_tag) Num. data MPI_Get_count() MPI_GET_COUNT() 受信データ数の取得引数 count は, 受信バッファ buf の要素数を指定して, 実際に受信される要素数より大きな値でもよい. このとき, 実際に受信した要素数を次のように求める. int MPI_Get_count( MPI_Status *status, MPI_Datatype datatype, int *count ) MPI_GET_COUNT( STATUS, DATATYPE, COUNT, IERROR ) INTEGER status(mpi_status_size), DATATYPE, COUNT, IERROR

21 通信での注意事項送信側において, 有効なデスティネーションランクを指定する. 受信側において, 有効なソースランクを指定する. 同一のコミュニケータ内で行われること. タグ値 TAG が一致していること. メッセージタイプ MPI_Datatype が一致していること. 受信側のバッファ BUF が, 送信側と同一またはそれ以上であること. 課題 MPI プログラム課題 (3) 1から10の整数の和を求める. ノード0では,1 から 5 までの整数の和を求める. ノード1では,6 から 10 までの整数の和を求める. 各ノードで計算された結果を相互に交換し, 各ノードで 1 から 10 までの合計値を求める. 結果を印字し, 同じ答えになることを確認する.

22 ノンブロッキング通信 Non-Blocking Communication デッドロック COMMUNICATOR Rank #0 Rank #4 Rank #1 Rank #3 Rank #2

23 デッドロック一般的な場合 Rank 0 Rank 1 MPI_SEND( ) MPI_RECV ( ) MPI_RECV( ) MPI_SEND ( ) デッドロック (1) デッドロック (2) Rank 0 Rank 1 Rank 0 Rank 1 MPI_SEND( ) MPI_SEND ( ) MPI_RECV( ) MPI_RECV ( ) MPI_RECV( ) MPI_RECV ( ) MPI_SEND( ) MPI_SEND ( ) ノンブロッキング通信 MPI_ISEND(), MPI_IRECV(), MPI_WAIT() Rank 0 Rank 1 送信側 1. 送信データバッファを用意 2.MPI_ISEND( ) 3. 次の処理を実行 4.MPI_WAIT( ) システムシステム受信側 1.MPI_IRECV( ) 2. 次の処理を実行 3.MPI_WAIT( ) スリープスリープ 5. 送信完了 6. 次の処理 Blocking 4. 受信完了 5. 次の処理

24 ノンブロッキング送信 int MPI_Isend( void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request ) Int MPI_Wait( MPI_Request *request, MPI_Status *status ) MPI_ISEND( buf, count, datatype, dest, tag, comm, request, ierror ) MPI_WAIT( request, status, ierror ) ノンブロッキング受信 int MPI_Irecv( void *buf, int count, MPI_Datatype datatype, int src, int tag, MPI_Comm comm, MPI_Request *request ) Int MPI_Wait( MPI_Request *request, MPI_Status *status ) MPI_IRECV( buf, count, datatype, src, tag, comm, request, ierror ) MPI_WAIT( request, status, ierror )

25 MPI プログラミング課題 (4) 下図に示すリングに沿ってデータの送受信を行う. ランク番号を保存した整数バッファを隣のランクに送信し, 受信した値と自己のランク値の和を求め, その結果を印字する. MPI_COMM_WORLD Rank #0 4 7 Rank #4 Rank #1 1 3 Rank #2 5 Rank #3 双方向通信ライブラリ

26 MPI_SENDRECV MPI_SENDRECV( sendbuf, sendcount, sendtype, dest, sendtag, recvbuf, recvcount, recvtype, source, recvtag, comm, mstatus, ierror ) <type> sendbuf(*), recvbuf(*) MPI_SENDRECV_REPLACE 送受信で同一のバッファを利用する場合 MPI_Sendrecv int MPI_Sendrecv( void *sendbuf, int sendcount, MPI_Datatype sendtype, int dest, int sendtag, void *recvbuf, int recvcount, MPI_Datatype recvtype, int source, int recvtag, MPI_Comm comm, MPI_Status *status )

27 MPI プログラミング課題 (5) MPI プログラミング課題 (4) を MPI_SENDRECV() または MPI_Sendrecv() を利用して書き換えよ. MPI_COMM_WORLD Rank #0 4 7 Rank #4 Rank #1 1 3 Rank #2 5 Rank #3 集団通信 Collective Communications

28 集団通信プロセスの集合 ( グループ ) 内での通信コミュニケータ内のすべてのプロセスへの通信例 Rank 0 Rank 1 Rank 2 Rank 3 Rank 0 MPI_BCAST() MPI_SCATTER() MPI_GATHER() MPI_REDUCE() 集団通信の特徴コミュニケータ内で行われるすべてのプロセスが通信を行うすべてブロッキング通信である

29 Broadcast RANK B MPI_BCAST ROOT int MPI_Bcast( void *buffer, int count, MPI_Datatype datatype, int root, MPI_Comm comm ) B B B B B MPI_BCAST( BUFFER, COUNT, DATATYPE, ROOT, COMM, IERROR ) <type> BUFFER(*) INTEGER COUNT, DATATYPE, ROOT, COMM, IERROR MPI プログラミング課題 (6) 課題ランク 1 において, 光速を変数 c に次のように与える. c = 2.998e8 MPI_BCAST を利用して, この変数をランク 1 から, コミュニケータに含まれるすべてのランクに送信し, その結果を印字するプログラムを作成せよ.

30 Scatter RANK A B C D E ROOT MPI_SCATTER A B C D E A B C D E Scatter の書式 int MPI_Scatter( void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm ) MPI_SCATTER( SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, ROOT, COMM, IERROR ) <type> SENDBUF(*), RECVBUF(*) INTEGER SENDCOUNT, SENDTYPE, RECVCOUNT INTEGER RECVTYPE, ROOT, COMM, IERROR

31 MPI プログラミング課題 (7) 課題ランク 1 において, 変数 c は10 個の要素からなる実数の配列変数とする. 変数 c に適当な実数データを与える. MPI_SCATTER を利用して, ランク 1 からコミュニケータに含まれるすべてのランクにデータを 1 個づつ送信する. 受信したデータを各ランクで印字するプログラムを作成せよ. Gather RANK A B C D E ROOT MPI_GATHER A B C D E A B C D E

32 Gather の書式 int MPI_Gather( void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm ) MPI_GATHER( SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, ROOT, COMM, IERROR ) <type> SENDBUF(*), RECVBUF(*) INTEGER SENDCOUNT, SENDTYPE, RECVCOUNT INTEGER RECVTYPE, ROOT, COMM, IERROR MPI プログラミング課題 (8) 課題各ランクでランク番号の自乗を計算する. MPI_GATHER を使って, 計算結果をランク 1 に集める. ランク 1 で受信したデータを印字するプログラムを作成せよ.

33 計算を伴う集団通信 Reduction 各ランクで計算された数値の合計を求める Rank isum Rank isum MPI_REDUCE itmp MPI_Reduce int MPI_Reduce( void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op opt, int root, MPI_Comm comm ) MPI_REDUCE( sendbuf, recvbuf, count, datatype, op, root, comm, ierror ) <type> sendbuf(*), recvbuf(*) INTEGER count, datatype, op, root, comm, ierror

34 MPI で提供されている演算の種類名称演算 Datatype MPI_SUM MPI_PROD MPI_MAX MPI_MIN MPI_MAXLOC MPI_MINLOC MPI_LAND MPI_LOR MPI_LXOR MPI_BAND MPI_BOR MPI_BXOR 和積最大最小最大最小論理 AND 論理 OR 論理 XOR ビット AND ビット OR ビット XOR MPI_INTEGER, MPI_REAL, MPI_REAL8, MPI_COMPLEX MPI_INTEGER, MPI_REAL, MPI_REAL8 MPI_INTEGER, MPI_REAL, MPI_REAL8 MPI_LOGICAL MPI_INTEGER, MPI_BYTE Reduce RANK A B C D E ROOT MPI_REDUCE A B C D E A+B+C+D+E

35 整数和を求める MPI_Reduce( &x, &result, 1, MPI_INT, MPI_SUM, 0, MPI_COMM_WORLD ) MPI_REDUCE( x, result, 1, MPI_INTEGER, MPI_SUM, 0, MPI_COMM_WORLD, IERROR ) すべての x の和が計算されて, ルートの result に代入上記の場合, ルート ( ランク 0) に計算結果が得られる. MPI プログラミング課題 (9) 下記関数 f (x) の 0 x 15 における積分値を求めよ. f (x) = 0.165x x x f(x) x 積分範囲を任意のプロセス数で分割して, 並列計算する. 各プロセスで求められた結果を MPI_REDUCE を使って, ランク 0 で結果を求める. ランクごとに部分和を求める.

36 派生データタイプ Derived Datatype MPI データタイプ基本データタイプ派生データタイプ

37 派生データタイプメモリ上で連続していない境界部分のデータとびとびのデータを送受信する任意形状のデータセットを集めて, 新しいデータタイプのデータセットにまとめ, 一度に送受信する派生データタイプの種類連続データタイプベクトルデータタイプ構造体

38 データタイプを有効にするデータタイプが定義されたら, 利用する前に新しいデータタイプを発行し, 有効にする. MPI_TYPE_COMMIT を用いて行う. int MPI_Type_commit( MPI_Datatype *datatype ) MPI_TYPE_COMMIT( datatype, ierror ) INTEGER datatype, ierror データタイプを無効にするプログラムを終了 (MPI_FINALIZE) する前にデータタイプを無効にする. MPI_TYPE_FREE を用いて行う. int MPI_Type_free( MPI_Datatype *datatype ) MPI_TYPE_FREE( datatype, ierror ) INTEGER datatype, ierror

39 ベクトルデータタイプ 5 5 配列の 3 2 ブロック oldtype ストライド 5 ( ブロック ) newtype ブロック当り要素数 3 2 ブロック count = 2 stride = 5 blocklength = 3 ベクトルデータタイプの定義 int MPI_Type_vector( int count, int blocklength, int stride, MPI_Datatype oldtype, MPI_Datatype *newtype) MPI_TYPE_VECTOR( count, blocklength, stride, oldtype, newtype, ierror ) INTEGER count, blocklength, stride INTEGER oldtype, newtype, ierror

40 MPI_TYPE_VECTOR Rank # ストライド Rank # count = 3 stride = 3 blocklength = 2 プログラミングのポイント MPI_TYPE_VECTOR( 3, 2, 3, MPI_INTEGER, Inewvect, ierror ) MPI_TYPE_COMMIT( Inewvect, ierror ) ランク 0 MPI_SEND( n(1), 1, Inewvect, 1, 1, MPI_COMM_WORLD, ierror ) ランク 1 MPI_RECV( n(2), 1, Inewvect, 0, 1, mstatus, MPI_COMM_WORLD, ierror )

41 MPI プログラミング課題 (11) 2 ノードを利用してデータの送受信を行う. はじめに, 各ランクで定義されている配列要素は下記のような初期状態にある. ベクトルデータタイプを定義し,1 回の送受信で下記の送受信後の状態にするプログラムを作成せよ. 初期状態 My rank: 0/ My rank: 1/ データ送受信後 wine 32: mpirun -np 2 mpi11.exe My rank: 0/ My rank: 1/ 行列の部分行列を送受信する A(m,n) j (ista,jsta) ilen A(m,n) j i i jlen (jsta,ista) Rank #0 (imax,jmax) Rank #1 count = jlen stride = imax blocklength = ilen

42 プログラム開発のポイント MPI_TYPE_VECTOR( jlen, ilen, imax, MPI_INTEGER, isubmtx, ierror ) MPI_TYPE_COMMIT( isubmtx, ierror ) ランク 0 MPI_SEND( n(1,5), 1, isubmtx, 1, 1, MPI_COMM_WORLD, ierror ) 8 8 正方行列ランク 1 MPI_RECV( n(5,1), 1, isubmtx, 0, 1, MPI_COMM_WORLD, mstatus, ierror ) MPI_TYPE_FREE( isubmtx, ierror ) MPI プログラミング課題 (12) 8 8 正方行列 My rank : 0/ My rank : 1/ 初期状態 wine33: mpirun np 2 mpi12f.exe My rank : 0/ My rank : 1/ 実行結果

スライド 1

スライド 1 目次 2.MPI プログラミング入門この資料は, スーパーコン 10 で使用したものである. ごく基本的な内容なので, 現在でも十分利用できると思われるものなので, ここに紹介させて頂く. ただし, 古い情報も含まれているので注意が必要である. 今年度版の解説は, 本選の初日に配布する予定である. 1/20 2.MPI プログラミング入門 (1) 基本説明 MPI (message passing