かし, 異なったプロセス間でデータを共有するためには, プロセス間通信や特殊な共有メモリ領域を利用する必要がある. このためマルチプロセッサマシンの利点を最大に引き出すことができない. この問題はマルチスレッドを用いることで解決できる. マルチスレッドとは,1 つのプロセスの中に複数のスレッド

Size: px

Start display at page:

Download "かし, 異なったプロセス間でデータを共有するためには, プロセス間通信や特殊な共有メモリ領域を利用する必要がある. このためマルチプロセッサマシンの利点を最大に引き出すことができない. この問題はマルチスレッドを用いることで解決できる. マルチスレッドとは,1 つのプロセスの中に複数のスレッド"

たつぞういくのや
5 years ago
Views:

1 0 並列計算について 0.1 並列プログラミングライブラリのメッセージパッシングモデル並列プログラムにはメモリモデルで分類すると, 共有メモリモデルと分散メモリモデルの 2 つに分けられる. それぞれ次のような特徴がある. 共有メモリモデル複数のプロセスやスレッドが事項する主体となり, 互いに通信や同期を取りながら計算が継続される. スレッド間の実行順序をプログラマが保証してやらないと, 思った結果が得られない. 共有メモリモデルは,pthread や OpenMP などで記述する. メッセージパッシングモデル複数のプロセスがメモリ空間を独立に持ちながら計算が実行されている. そこで, プロセス間でデータ通信の必要が生じた場合には送る側 (sender) と受け取る側 (receiver) の間に通信のチャネルを開く. このとき, 双方の受信の準備ができたことを同時に確認できるので同期を記述する必要はない. メッセージパッシングモデルは,HPF や,PVM,MPI などがある. 0.2 HPF(High Performance Fortran) によるプログラミング HPF は, 構成のコンピューティング用に開発されたプログラミング言語である.Fortran 言語に最小限の指示文を付加することにより, 分散メモリ並列システムで簡単に高い性能を得ることを目視している. 分散メモリシステム上の並列化において, 最も重要となるのは処理対象データの分散メモリ上への配置を行うデータマッピング, および計算処理の各要素プロセッサへの分配を行う計算マッピングである.HPF の本質的な考え方は, データアクセスの局所性を高めるためのデータ分割をユーザが明示的に指示し, それ以外の仕事を処理系 ( コンパイラ ) に任せようというものである.HPF プログラミングの考え方は, 以下のようなものである. (1) 並列化方針の決定プログラム全体の構造把握, 並列化可能ループの同定, 負荷集中ループの把握 (2) データ悪説の抽出並列化すべき主要ループを選択し, 主要配列のデータ分配配置の決定各ループの並列に必要な通信を見積もり, 主要配列以外のデータ分配配置の決定主要ループ以外の並列化 (3) データマッピングの指示文の挿入プロセッサ配列の宣言および指示文の挿入 (4) ループの並列化コンパイラが自動的に並列化を判定できないループについて指示文の挿入 (5) その他の最適化冗長通信の削除, 通信効率の向上 0.3 スレッドスレッドを用いて並列処理を行うときは, マルチスレッドを用いる. マルチプロセッサでは複数のプロセスを並列に動作させることができるため, システム全体の処理能力を高めることができる. し -1-

2 かし, 異なったプロセス間でデータを共有するためには, プロセス間通信や特殊な共有メモリ領域を利用する必要がある. このためマルチプロセッサマシンの利点を最大に引き出すことができない. この問題はマルチスレッドを用いることで解決できる. マルチスレッドとは,1 つのプロセスの中に複数のスレッドが動作することをいい, マルチスレッドを用いると, 同一プロセス中の複数のプログラムコードを同時に実行できる. スレッドは互いに独立して動作するため, スレッドで同期を取る必要がない限り, 他のスレッドで何をしているか気にする必要がない. スレッドによるプログラミングでは, 同期を取るのが難しく, 実行順序なども気にしなければならない. 0.4 PVM(Parallel Virtual Machine) PVM では, プログラマは問題を別々のプログラムに分解し, それぞれのプログラムを C で書いて, ネットワーク内のコンピュータで走るようにコンパイルする必要がある. プログラムの実行前に, まず問題に対して使うコンピュータの集合を定義しなければならず, その集合が仮想並列マシンを構成する. 設定方法は, 利用できるコンピュータ名のリストを PVM がリードするホストファイル中に作ることである. または,PVM の制御コマンドを用いて手動で設定する. プロセス数がプロセッサ数より多いことがある.PVM では, プロセッサ数に無関係に任意のプロセスを生成でき, プロセスはプロセッサに自動的に割り当てられる PVM のプログラムは 1 個のマスタプログラムが最初に実行され, そのマスタプロセスから残りが生み出されるマスター -スレーブ型に構成される. 実行するときにプロセスが最初にしなければならないことの一つに PVM への登録がある. 0.5 PVM と MPI の違い MPI は,PVM を始めとする主要メッセージ通信ライブラリの開発を行った研究者と, 並列計算機ベンダのほとんどが開発に参加している. また, 出来上がった使用が, 数多くの有用な機能を持ち, 多くの並列計算や LAN 環境で高い性能を実現できる.MPI は PVM の機能を包含した形となっている. しかし MPI にはない PVM の特徴として, 動的なプロセス管理, 資源管理, 異種機種間での通信サポートの 3 つがある. プロセス管理では, アプリケーションの中からプロセスを生成したり, 停止したりできる. 資源管理は, 利用可能なノードのグループを管理する機能である. このグループに含まれるノードを動的に増減したり, 調べたりすることができる. 異機種間での通信サポートでは, 複数の異なるアーキテクチャのマシン間の通信を, 幅広いアーキテクチャについてサポートしている. 1 MPI プログラムの枠組みすべての MPI プログラムに共通する枠組みを以下に示す. MPI ヘッダフィルの読み込み MPI の初期化 (..MPI を使う並列処理..) MPI の処理の終了最初に MPI ライブラリを使うためのヘッダファイルを読み込む必要がある. ヘッダファイルには,MPI 独自の定義済み定数や変数の宣言が入っている. 次に,MPI ライブラリを利用するために必要な準備 ( 初期化 ) を, 関数 MPI_Init を呼び出すことで行う.MPI_Init は, 他のすべての MPI 関数の呼び出しに先立って呼び出す必要がある. そして, プログラムの事項を終了する前に,MPI ライブラリの利用の後始末 ( 終了処理 ) を, 関数 MPI_Finarize を呼び出すことで行う. プログラムでは, 以下のようになる. -2-

3 #include "mpi.h" ヘッダファイルの読み込み void main(int argc, char* argv[]){ int error; error = MPI_Init(&argc, &argv); MPI ライブラリ使用の初期化 * MPI による並列処理を行う error = MPI_Finalize(); MPI ライブラリ使用の終了処理 C 言語の場合,MPI のどの関数についても, 最初の MPI の 3 文字は常に大文字で, 次の単語の先頭も大文字で, 次の単語の先頭も大文字で, 以降はすべて小文字である. 2 MPI プログラムの実行 MPI プログラムを実行する際の注意事項!! LAN で接続された PC は同じドメインまたはワークグループに存在していなければならない. また, ユーザ名とパスワードを登録しておく. 実行ファイルは各 PC で同じ場所で事項させる ( メインマシンの C: tmp に実行ファイルを保存したら, 他のマシンでも C: tmp に実行ファイルを保存する.) 実行はコマンドプロンプトより実行する.C: tmp Keisan フォルダに存在する example.exe を 3 台のマシンで並列計算を行う場合, 以下のコマンドを入力する. C:>cd c: tmp Keisan C: tmp Keisan>mpirun np 3 example.exe 実行は mpirun コマンドを使用し,-np でマシン台数を設定し, その後実行ファイルを指定する. もし, 引数を指定したいときは実行ファイルの後に引数を指定し実行する実行すると, 初回のみユーザ名とパスワードを聞かれる. ドメイン / ユーザ名と書かれているが, ユーザ名のみ指定すればよい. 以下,MPI ライブラリを使用した並列計算プログラムの簡単なサンプルを示す. 3 送受信を行うサンプルプログラム 3.1 目的各プロセス間でデータの送受信を行う. 3.2 処理データの送受信には, 大きく分けて, 以下の事項を指定する必要がある. 1) メッセージバッファ 2) 通信相手 3) コンテクストメッセージバッファの指定は, 送信の際には送るべきデータの所在を示し, 受信の際には受け取ったデータをどこに置けば良いかを示す.MPI ではバッファの先頭アドレス ( ポインタ ), データの個数, 単位データ型である. 通信相手は, プロセスを指定できればよいので, プロセスグループとランクの対を指定する. -3-

4 通信コンテクストとは, 通信で転送されるデータが何に関するものかを示すもので, 整数値のタグとコミュニケータである. MPI で最も基本的な送信関数は MPI_Send であり, 以下の引数を持つ. MPI_Send(buffer, count, datatype, destination, tag, communicator) *buffer バッファの先頭アドレス *count データの個数 *datatype 単位データ型 *destination あて先のプロセスランク *tag タグ *communicator コミュニケータ同様に最も基本的な受信関数は MPI_Recv であり, 以下の引数を持つ. MPI_Recv(buffer, count, datatype, destination, tag, communicator, status) *buffer バッファの先頭アドレス *count データの個数 *datatype 単位データ型 *destination あて先のプロセスランク *tag タグ *communicator コミュニケータ *status 受信したメッセージに関する情報ここで, タグは送信側と受信側で一致していなければならない. -4-

5 次にサンプルプログラムの説明を行う. このプログラムは, 各マシンである値を dest で設定したランクを持つマシンに送信し,dest で設定された rank を持つマシンは source で指定した rank を持つマシンよりデータを受信する. rank0 rank1 rank2 1 2 マシン図 1 送受信の例 2 データの流れ 3.3 サンプル #include <stdio.h> #include <string.h> #include "mpi.h" intmain( intargc, char * argv[]){ intmy_rank; カレントプログラムのランク intp; プロセスの数 intsource; 送信プロセスのランク intdest; 受信プロセスのランク inttag=0; メッセージのタグ intmessage = 0; 送信データ MPI_Status status; 受信の戻りステータス MPI_Init(&argc, &argv); MPI のスタートアップ MPI_Comm_rank(MPI_COMM_WORLD, カレントプロセスのランクを求める &my_rank); MPI_Comm_size(MPI_COMM_WORLD, プロセスの数を求める &p); if(my_rank!= 0){ ランクが 0 でないとき ( スレーブの処理 ) message dest=0; = my_rank+1; 送信データの設定 printf( "Greetings\n", from my_rank); process %d! printf("send \n",message); = %d MPI_Send(&message, 1, MPI_INT, dest, データを送信 tag, else { ランクが0のとき ( マスタの処理 ) for(source =1; source<p; source++){ データを受信 -5- MPI_CO MPI_Recv(&message, 1, MPI_INT, source, tag, MP printf( "Greetings\n", from my_rank); process %d! printf("receve \n", message message); = %d

6 MPI_Finalize(); ライブラリ使用の終了処理 getchar(); return 1; 3.4 結果出力結果を以下に示す. 出力結果は, 各ランク ( マシン ) ごとに出力されている. C: tmp Keisan>mpirun -np 3 greetings.exe Greetings from process 1! //rank=1 のマシンの出力結果 send message = 2 Greetings from process 2! //rank=2 のマシンの出力結果 send message = 3 Greetings from process 0! receive message = 2 Greetings from process 0! receive message = 3 //rank=0 のマシンの出力結果 4 シフト通信を行うサンプルプログラム 4.1 目的各プロセスが他のプロセスにメッセージを送信し, それと並行してさらに別のプロセスからメッセージを受信する. 4.2 処理単純なシフトとして,rank0 から n-1 までの n 個のプロセスが存在するとき,rank i (0 i n-1) のプロセスから i+1 のプロセスへのメッセージ渡しがあげられる. 各プロセスが自分の持っているデータを隣に送ると同時に, 反対側の隣のプロセスからデータを受け取る. このサンプルでは最大ランクを持つプロセスがランク 0 のプロセスにメッセージを送ることで, 環状の通信パターンになっている. シフトのように送信と受信を 1 回ずつ並行して行う処理には,MPI_Sendrecv() 関数を用いるのがよい. MPI_Sendrecv(sendbuf, scount, stype, destination, stag, recvbuf, rcount, rtype, source, rtag, comm, status) *sendbuf 送信データ *scount 送信データ数 *stype 送信データの型 *destination 送信先ランク *stag 送信タグ *recvbuf 受信データ *rcount 受信データ数 *rtype 受信データの型 *source 受信元のランク *rtag 受信タグ -6-

7 *comm *status コミュニケータ状態 Sendrecv 関数は,comm で指定したプロセスグループ中の全プロセスが参加して環状のシフト通信を行う. 通信相手は隣のプロセスである.( 図 2) はじめに MPI_Comm_rank により, コードを実行するプロセスのランクを取得し, MPI_Comm_size により,MPI_COMM_WORLD に含まれるプロセス数を求める. これらの値を元に, 送信先プロセスのランクを dest に, 受信しようとするメッセージの発信者のランクを source に求める. そして,MPI_Sendrecv により, 送信と受信をまとめて起動する. アドレス sendbuf にある int がたの値を 1 つのランク dest のプロセスに送ると同時に, ランク source のプロセスが発信したメッセージを,recvbuf を先頭とする int 型変数 1 つ分のバッファに受信する. rank0 rank1 rank マシンデータの流れ r s r s r s r: 受信 s: 送信図 2 シフトの例 4.3 プログラム #include <stdio.h> #include "mpi.h" intmain( intargc, char * argv[]){ * dest 送信先アドレス * source 受信元アドレス intmyrank, size, dest, source; intsendbuf, recvbuf; MPI_Status status; 受信状態をあらわす MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, MPI_Comm_size(MPI_COMM_WORLD, 送受信データを設定 sendbuf recvbuf -1; = = myrank; dest myrank+1; = 送信先ランクを設定 source = -1; myrank 受信先ランクを設定 -7- &myrank); &size);

8 if(myrank -1){ == size 送信先ランクを設定 dest = 0; elseif(myrank == 受信先ランクを設定 0){ source = - 1; size シフトを行う MPI_Sendrecv(&sendbuf, 1, MPI_INT, rce, dest, MPI_COMM_WOR 0, 0, &recvb &status); printf("shift: sendbuf=%d \n", sendbuf, recvbuf%d recvbuf); MPI_Finalize(); return 1; 4.4 結果 C: tmp Keisan>mpirun -np 3 shift.exe shift: sendbuf=2 recvbuf1 shift: sendbuf=0 recvbuf2 shift: sendbuf=1 recvbuf0 5 ブロードキャストを行うサンプルプログラム 5.1 目的ブロードキャストは, ある 1 つのプロセスから, 複数のプロセスすべてに対して同じメッセージを送るというパターンの通信である. 5.2 処理 MPI_COMM_WORLD に属するすべてのプロセスに同じデータを配る場合を扱う. ブロードキャストの範囲をより小さなプロセスグループに絞る方法もある. rank1 のプロセスが他のすべてのプロセスに同じデータを配っている. 例では 3 つのプロセスからなるプロセスグループがあって, その中の 1 つが他の 2 つのプロセスにメッセージを送っている. ブロードキャストの結果, このグループのプロセスはすべて同じデータを持つようになっている. ブロードキャストのための MPI 関数は MPI_Bcast である. MPI_Bcast(message, count, datatype, root, comm) *sendbuf *count 送受信データ送受信データ数 *datatype 送受信データ型 *root *comm. 送信元ランクコミュニケータランク root プロセスの message 中のデータのコピーをコミュニケータ comm の中の全プロセスに送る.bcast では message が入出力パラメータはとされる.root ランクのプロセスでは入力, 他のプロセスでは出力である. ブロードキャストの通信例を図 3 に示す. -8-

9 rank0 rank1 rank マシン図 3 ブロードキャストの例 5.3 プログラム #include <stdio.h> #include "mpi.h" #define MAX 10; intmain( intargc, char * argv[]){ const intmax = 10; intsendbuf[max]; 送受信データ intrank, size,root=1; ランク, プロセスのサイズ, データ送信元のランク MPI_Status status; 送受信結果 MPI_Init(&argc, 並列計算開始 &argv); MPI_Comm_rank(MPI_COMM_WORLD, ランクを求める &rank); MPI_Comm_size(MPI_COMM_WORLD, サイズを求める &size); printf("ra nk:%d size:%d \n", rank, size); 送信データ設定 for(inti=0; i<max; if(rank == 1)sendbuf[i] = i; elsesendbuf[i]=0; for(inti=0; i<max; printf("%d printf(" \n"); ブロードキャストを行う ",sendbuf[i]); MPI_Bcast(&sendbuf,, MPI_COMM_WORLD); max, MPI_INT, 1 printf( "Bcast 呼び出し \n"); 受信データ表示 for(inti=0; i<max; printf("%d ",sendbuf[i]); -9-

10 printf(" \n"); 並列計算終了 MPI_Finalize(); return 1; 5.4 出力結果 C: tmp Keisan>mpirun -np 3 bcast.exe rank:0 size: Bcast 呼び出し rank:1 size: Bcast 呼び出し rank:2 size: Bcast 呼び出し gather を行うサンプルプログラム 6.1 目的各ノードが持っている値を 1 つのノードに集める. このノードをルートという. ルートノードは, そのランクを引数として, 渡すことで指定する. 6.2 処理データを 1 箇所に集める関数は MPI では MPI_Gather が提供されている. MPI_Garher(sendbuf, scount, stype, recvbuf, rcount, rtype, root, comm) * sendbuf 送信データ * scount 送信データ個数 * stype 送信データの型 * recvbuf 受信データ * rcount 受信データ個数 * rtype 受信データの型 * root ルートノード * comm. コミュニケータ MPI_Gather はコミュニケータにおける各プロセスの送信データを集め, ランクの順に root プロセスの受信データにプロセスランクの順にストアする. 仕上がって, データはプロセス 0 が最初に, 次意プロセス 1, プロセス 2 のようになる. 各プロセスの sendbuf で参照されるデータは scount 個の要素を持ち, それぞれの型は stype である.rCount と rtype は scount と stype と同じである. それ -10-

11 らは, 各プロセスからの要素の数と要素の型を指定するが, 受け取るデータの総量については指定しない.recv パラメータはルートプロセスでのみ意味を持つ. パラメータ root と comm はコミュニケータ comm の全プロセスにおいて同一でなければならない. ほとんどのケースで,sCount と stype は全プロセスで同じである. rank0 rank1 rank マシン図 4 gather の例コミュニケータにおける各プロセスの送信データで参照されるデータを集め, ランクの順に,root プロセス 6.3 プログラム #include <stdio.h> #include "mpi.h" intmain( intarg c, char * argv[]){ const intsmax = 5; const intrmax = 15; 送信, 受信データ intsendbuf[smax], recvbuf[rmax]; プロセスのランク, プロセス数 intrank, size; introot=0; MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, MPI_Comm_size(MP I_COMM_WORLD, 送信データ設定 for(inti=0; i<smax; sendbuf[i] 受信データ初期化 for(inti=0; i<rmax; recvbuf[i] = 0; -11- &size); = i+2*10*rank; &rank);

12 printf("rank:%d \n",rank,root); root %d for(inti=0; i<smax; printf("%d ",; sendbuf[i]) printf(" \n"); allgather を行う受信データのサイズは各ランクから受信するデータの数である ( 全受信データ数ではない ) MPI_Gather(sendbuf, smax, MPI_INT, recvbuf, smax, 受信結果を出力 if(rank == root){ printf("gather \n"); for(inti=0; i<rmax; printf("%d MPI_Finalize(); return 1; ",recvbuf[i]); 6.4 結果 C: tmp Keisan>mpirun -np 3 gather.exe rank:1 root rank:2 root rank:0 root gather

13 7 scatter を行うサンプルプログラム 7.1 目的 1 つのノード ( これもルートと呼ぶ ) が持っているデータを各ノードに配る. ブロードキャストとの違いは, ノードごとに配るデータが異なることである. 典型的には, ルートが持っている配列を分割して, その断片を各ノードに配る処理に使う. 7.2 処理 scatter として以下の MPI 関数が提供されている. scatter(sendbuf, scount, stype, recvbuf, rcount, rtype, root, comm) * sendbuf 送信データ * scount 送信データ個数 * stype 送信データの型 * recvbuf 受信データ * rcount 受信データ個数 * rtype 受信データの型 * root ルートノード ( 送信元ノード ) * comm. コミュニティ root プロセス上の送信データを p 個のセグメントに分割する. 各セグメントは, データ型 stype を持つ scount 個のデータからなる. 最初のセグメントはプロセス 0 に, 次のセグメントは, プロセス 1 に, など, ランクの順に送られる.send パラメータはルートプロセスのみで意味を持つ. ほとんどの場合,sCount は rcount とおなじであり,sType は rtype と同じである. rank0 rank1 rank マシン図 5 scatter の例 7.3 プログラム #include <stdio.h> #include "mpi.h" intmain intargc, ( char * argv[]){ const intmax = 30; const intmaxr = max/3; -13-

14 送信受信データ, プロセスのランク, プロセス数, データを集めるランク intsendbuf[max], recvbuf[maxr], rank, size, root=1; MPI_Init(&argc,&argv); MPI_Comm_rank(MPI_COMM_WORLD, MPI_Comm_size(MPI_COMM_WORLD, データ初期化 if(rank == root){ for(inti=0; i<max; sendbuf[i] = i; for(inti=0; i<max; printf("%d printf(" \n"); scatter を行う ",sendbuf[i]); &rank); &size); MPI_Scatter(sendbuf, maxr, MPI_INT, recvbuf, maxr, MPI_Finalize(); printf("rank:%d \n",rank); for(inti=0; i<maxr; printf("%d printf(" \n"); return 1; ",recvbuf[i]); 7.4 出力結果 C: tmp Keisan>mpirun -np 3 scatter.exe rank: rank: rank:

15 8 allgather を行うサンプルプログラム 8.1 目的最初に各ノードが持っている値を集めたものを, 全ノードに配る. ちょうど gather の直後にルートからブロードキャストを行ったのと同じ結果が得られる. 行列の内積などを求める際に使用される. 8.2 処理 allgather として, 以下の MPI 関数が提供されている. MPI_Allgather(sendbuf, scount, stype, recvbuf, rcount, rtype, comm) * sendbuf 送信データ * scount 送信データ個数 * stype 送信データの型 * recvbuf 受信データ * rcount 受信データ個数 * rtype 受信データの型 * comm. コミュニティ各プロセスで送信したデータをランクの順に並べ, それを全プロセスに配布する.allgather を使用した例を図 4 に示す. rank0 rank1 rank マシンプログラム #include <stdio.h> #include "mpi.h" 図 6 allgather の例 intmain( intargc, char * argv[]){ const intsmax = 5; const intrmax = smax*3; プロセスのランク, プロセスの数, 送受信データ intrank, size, sendbuf[smax], recvbuf[rmax]; MPI_Init(&argc, 並列計算開始 &argv); MPI_Comm_rank(MPI_COMM_WORLD, ランクを求める &rank); MPI_Comm_size(MPI_COMM_WORLD, サイズを求める &size); 送信データ作成 for(inti=0; i<smax; -15-

16 sendbuf[i] printf("rank:%d \n",rank); for(inti=0; i<smax; printf("%d printf(" \n"); allgather を行う = i+rank*10; ",sendbuf[i]); プロセスで受信する受信データは送信データの 1 smax だけ受信する MPI_Allgather(sendbuf, smax, MPI_INT, recvbuf, sma 受信データ表示 for(inti=0; i<rmax; printf("%d printf(" \n"); MPI_Finalize(); 並列計算終了 return 1; ",recvbuf[i]); 8.4 出力結果 C: tmp Keisan>mpirun -np 3 allgather.exe rank: rank: rank:

17 9 alltoall を行うサンプルプログラム 9.1 目的すべてのノードからすべてのノードに対して, あて先ノードごとに違う値を配る. 各ノードをルートとして scatter を繰り返しても同様の結果が得られるが,MPI_Alltoall を使用するほうが効率がよい. 転置行列を作成する場合に効率がよい.alltoall は, 各プロセスに同量のデータを送るので, 一見したところ使い道がないように思える. 9.2 処理 alltoall は以下の MPI 関数が提供されている. alltoall(sendbuf, scount, stype, recvbuf, rcount, rtype, comm) * sendbuf 送信データ * scount 送信データ個数 * stype 送信データの型 * recvbuf 受信データ * rcount 受信データ個数 * rtype 受信データの型 * comm. コミュニティプロセス q 上への働きは scount 個の stype 型の要素を各プロセスへ送ることである.sCount 個の最初のブロックはプロセス 0 へ, 第 2 のブロックはプロセス 1 へ送られる. プロセス q はまた, すべてのプロセスから rcount 個の rtype 型の要素を受け取る. プロセス 0 からの要素は recfvbuf の先頭に受け取る. プロセス 1 からの要素はプロセス 0 からの要素の直後に受け取る. rank0 rank1 rank マシンプログラム #include "mpi.h" #include <stdio.h> #include <stdlib.h> 図 7 alltoall の例 intmain( intargc, char * argv[]){ intsendbuf[10]; メッセージの保存場所 intrecvbuf[10]; メッセージの保存場所 intmy_rank; カレントプログラムのランク intnumprocs; プロセス数 inttag=0; メッセージのタグ -17-

18 MPI_Status status; 受信の戻りステータス MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, カレントプロセスのランクを取得 &my_rank); MPI_Comm_size(MPI_COMM_WORLD, numprocs); プロセス数を取得 & printf("myrank:%d \n", my_rank); 送信データ設定 for(inti=0; i<numprocs; sendbuf[i]=my_rank*10+i; printf("sendbuf[%d]=%d \n", i, sendbuf[i]); alltoall を行う MPI_Alltoall(sendbuf, 1, 受信データ出力 for(inti=0; i<numprocs; printf("%d ", recvbuf[i]); printf(" \n"); MPI_Finalize(); getchar(); return 0; MPI_INT, MPI_COMM_WORLD); recvbuf, 1, MPI_ 9.4 出力結果 C: tmp Keisan>mpirun -np 3 matrix.exe Mpd needs an account to launch processes with: account (domain user): arakawa password: myrank:1 sendbuf=2 sendbuf= myrank:2 sendbuf=3 sendbuf= myrank:0 sendbuf=1 sendbuf=

19 10 reduce を行うサンプルプログラム 10.1 目的各プロセスが持っているデータの総和がルートプロセスに得られる. 各プロセスが配列上にデータを持っている場合には, 配列の各要素ごとの総和が得られる処理和を求めるために,MPI では以下の関数が提供されている. MPI_Reduce(sendbuf, recvbuf, count, datatype, operator, root, comm) * sendbuf 送信データ * recvbuf 受信データ * count 送信データ数 * datatype データ型 * operator 計算オプション * root ルートノード * comm. コミュニケータ sendbuf で参照されるメモリ中の複数のオペランドを, 演算 operator を用いて結合し, 結果をプロセス root の recvbuf にストアする.sendbuf,recvbuf はともにデータ型 datatype により,count 個のメモリロケーションを参照する.MPI_Reduce はコミュニケータ個 mm の中のすべてのプロセスに呼ばれ,count,datatype,operator および root は同じでなければならない. パラメータ operator は表 1 に示す定義済みの値のうちの一つが取れる. 総和を求めるパターンを図 4 表 1 MPI の定義済みの操作操作名 MPI_MAX MPI_MIN MPI_SUM MPI_PROD MPI_LAND MPI_BAND MPI_LOR MPI_BOR MPI_LXOR MPI_BXOR 意味最大値最小値和積論理積ビット論理積論理和ビット論理和排他的論理和ビット排他的論理和 MPI_MAXLOC 最大値と位置 MPI_MINLOC 最小値と位置 -19-

20 rank0 rank1 rank マシンプログラム #include <stdio.h> #include "mpi.h" 図 8 reduce の例 intmain( intargc, char * argv[]){ const intmax = 10; const intrmax = max*3; intrank, size, root プロセスのランク =1;, プロセス数, データを集めるランク intsendbuf[max], recvbuf[rmax]; 送信受信データ MPI_Comm comm = MPI_COMM_WORLD; コミュニケータ並列処理 MPI_Init(&argc, &argv); MPI_Comm_rank(comm, MPI_Comm_size(comm, -20- &rank); &size); printf("rank:%d \nsendbuf root:%d \n",rank,root); 送信データ設定 for(inti=0; i<max; sendbuf[i] = i + 10*rank; for(inti=0; i<max; printf("%d printf(" \n"); 受信データ初期化 for(inti=0; i<rmax; recvbuf[i] = 0; printf("reduce -sum \n"); ",sendbuf[i] ); 第 3 引数には送信データの個数を送信する MPI_Reduce(sendbuf, recvbuf, max, MPI_INT, MPI_S ランクがroot のとき if(rank==root){

21 printf("recvbuf \n"); 出力結果表示 for(inti=0; i<max; printf("%d printf(" \n"); printf("end \n"); mpi 並列計算終了 MPI_Finalize(); return 1; ",recvbuf[i]); 10.4 出力結果 C: tmp Keisan>mpirun -np 3 reduce.exe rank:2 root:1 sendbuf reduce-sum end mpi rank:1 root:1 sendbuf reduce-sum recvbuf end mpi rank:0 root:1 sendbuf reduce-sum end mpi -21-

NUMAの構成

NUMAの構成メッセージパッシングプログラミング天野共有メモリ対メッセージパッシング共有メモリモデル共有変数を用いた単純な記述自動並列化コンパイラ簡単なディレクティブによる並列化 :OpenMP メッセージパッシング形式検証が可能 ( ブロッキング ) 副作用がない ( 共有変数は副作用そのもの ) コストが小さいメッセージパッシングモデル共有変数は使わない共有メモリがないマシンでも実装可能クラスタ