mpi-report-j.dvi

Transcription

1 MPI: ( ) MPI MPI

2 MPI: A Message-Passing Interface Standard Message Passing Interface Forum June, This workwas supported in part by ARPA and NSF under grant ASC-0, the National Science Foundation Science and Technology Center Cooperative Agreement No. CCR-0, and by the Commission of the European Community through Esprit project P (PPPE).

3 . : Message Passing Interface Forum MPI : Message Passing Interface Forum (MPIF) MPIF Message Passing Interface MPI Message Passing Interface Forum.0 MPI La TE X MPI mpi-comments@cs.utk.edu MPIF c, University oftennessee, Knoxville, Tennessee. Permission to copy without fee all or part of this material is granted, provided the University oftennessee copyright notice and the title of this document appear, and notice is given that copying is by permission of the UniversityofTennessee.

4 University of Tennessee c Koichi Konishi c Hitachi, Ltd. ( ) - c Shinji Hioki - c Atsushi Nakamura c Ryoichi Shibata - c Hirotaka Ogawa - c NEC Corporation ( ) - -, - c Masao Mori - c Toshio Tange c Naohiko Shimizu - c Hitoshi Yamauchi - c Hiroshi Ohtsuka c Satoru Kumamoto c Takayoshi Shoudai c Yoshihiro Mizoguchi

5 x xii MPI. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : MPI. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. Fortran : : : : : : : : : : : : : : :.. C : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

6 . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : :.. POSIX : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. Probe : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 0. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

7 .. : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. MPI BCAST : : : : : : : : : : : : : : : : : : : : : : : : : : :. Gather : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. MPI GATHER MPI GATHERV : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. MPI SCATTER MPI SCATTER : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. MPI ALLGATHER, MPI ALLGATHERV : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. Reduce : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : :.. MINLOC MAXLOC : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : :.. All-Reduce : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. Reduce-Scatter : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. Scan : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 0.. MPI SCAN : : : : : : : : : : : : : : : : : : : : : : : : : : : 0. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : :.. MPI : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 0.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 0

8 .. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. # : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. # : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. ( ) # : : : : : : : : : : : : : : : : : : : : : : : 0.. # : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. Library Example # : : : : : : : : : : : : : : : : : : : : : : : : : : :.. # : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : 0.. : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 0.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. MPI : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : :

9 .. : MPI DIMS CREATE : : : : : : : : : : : : : : :.. ( ) : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : 0. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : MPI. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : :.. MPI : : : : : : : : : : : : : : : : : : : : : : : : : :.. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Bibliography A A. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : A. C Fortran : : : : : : : : : : : : : : : : A. C : : : : : : : : : : : : : : : : : : : : : A. C : : : : : : : : : : : : : : : : : : : : : : A. C : : : : : A. C : : : : : : : : : : : : : : : : A. C : : : : : : : : : : : : : : : : : : :

10 A. C : : : : : : : : : : : : : : : : : : A. Fortran : : : : : : : : : : : : : : : : : : A. Fortran : : : : : : : : : : : : : : : : : : : A. Fortran : : : : : : : A. Fortran : : : : : : : : : : : : : 0 A. Fortran : : : : : : : : : : : : : : : A. Fortran : : : : : : : : : : : : : : MPI Function Index

11 Message Passing Interface (MPI) JackDongarra, David Walker Ewing Lusk, Bob Knighten Marc Snir, William Gropp, Ewing Lusk Al Geist, Marc Snir, Steve Otto Steve Otto Rolf Hempel Ewing Lusk William Gropp James Cownie Tony Skjellum, Lyndon Clarke, Marc Snir, Richard Littleeld, MarkSears Steven Huss-Lederman MPI

12 Ed Anderson Robert Babb Joe Baron Eric Barszcz Scott Berryman Rob Bjornson Nathan Doss Anne Elster Jim Feeney Vince Fernando Sam Fineberg Jon Flower Daniel Frye Ian Glendinning Adam Greenberg Robert Harrison Leslie Hart Tom Haupt Don Heller Tom Henderson Alex Ho C.T. Howard Ho Gary Howell John Kapenga James Kohl Susan Krauss Bob Leary Arthur Maccabe Peter Madams Alan Mainwaring Oliver McBryan Phil McKinley Charles Mosher Dan Nessett Peter Pacheco Howard Palmer Paul Pierce Sanjay Ranka Peter Rigsbee Arch Robison Erich Schikuta Ambuj Singh Alan Sussman Robert Tomlinson Robert G. Voigt Dennis Weeks Stephen Wheat Steven Zenith anonymous FTP MPI ( ) ARPA NSF ESPRIT

13 ( ) (Hiroyuki Araki) NEC C&C (, ) (Hiroshi Ohtsuka) (,, ) (Hirotaka Ogawa) (Uichi Katsuta) ( ) (Satoru Kumamoto) (Koichi Konishi) NEC Research Institute (, ) (Nobutoshi Sagawa) (Ryoichi Shibata) (Naohiko Shimizu) ( ) (Takayoshi Shoudai) (Masanori Tamura) ( ) ( ) (Toshio Tange) NEC (Kenta Nakamura) ( ) (Atsushi Nakamura) (Takeshi Hayasaka) ( )

14 (Kei Harada) ( ) (Shinji Hioki) ( - ) (Yoshihiro Mizoguchi) (Maso Mori) (Hitoshi Yamauchi) (Jiro Kanayama) (Jun Nakano) IBM (Hideaki Murata) (Youichi Yabuki) ( )SRA NEC PHASE( ) NEC Research Institute ftp

15 Chapter MPI. MPI MPI IBM T. J. Watson Research Center [, ] Intel NX/ [] Express [] ncube Vertex [] p [, ] PARMACS [, ] Zipcode [, ] Chimp [, ] PVM [, ] Chameleon [] PICL [] MPI 0 MPI [] (Workshop on Standards for Message Passing in a Distributed Memory Environment) - (Center for Research on Parallel Computing)

16 Chapter MPI Dongarra Hempel Hey, Walker MPI [] MPI MPI MPI MPI High Performance Fortran Forum MPI MPI Supercomputing MPI MPI C Fortran

17 .. PVM NX Express p. Fortran C. MIMD SPMD MPI MPI MPI Unix MPI

18 Chapter MPI MPI MPI [, ]. Fortran C.

19 .. MPI. MPI MPI MPI send receive MPI MPI MPI MPI MPI

20 Chapter MPI A Fortran C MPI MPI MPI C Fortran

21 Chapter MPI MPI. MPI MPI. MPI

22 Chapter MPI.. MPI MPI MPI C C void copyintbuffer( int *pin, int *pout, int len ) { int i; for (i=0; i<len; ++i) *pout++ = *pin++; } int a[]; copyintbuffer ( a, a+, ); C MPI Fortran MPI ANSI C Fortran

23 ... MPI ( ) MPI... MPI MPI ( ) MPI MPI Fortran C Fortran C

24 Chapter MPI MPI MPI MPI.. MPI TYPE COMMIT MPI Wait Test.... MPI MPI C Fortran POSIX Fortran

25 .. MPI COMM GROUP.. MPI len

26 Chapter MPI len.. MPI MPI ERRHANDLER SET MPI ERRORS ARE FATAL MPI ERRORS RETURN.. MPI MPI ANY TAG MPI ANY TAG MPI MPI COMM WORLD Fortran MPI BOTTOM MPI MPI INIT() ) MPI MPI FINALIZE().. MPI ( Fortran <type> C (void *).. MPI

27 ... MPI Fortran ANSI C Fortran 0 C++ Fortran ANSI C Fortran 0 C++ PARAMETER( ) Fortran argument ( ) C parameter C argument (C ) Fortran.. Fortran MPI MPI MPI MPI Fortran MPI MPI SUCCESS Fortran MPI F ANSI Fortran ANSI Fortran Fortran

28 Chapter MPI double precision a integer b... call MPI_send(a,...) call MPI_send(b,...).: MPI MPI MPI. Fortran MPI SEND MPI FORTRAN PARAMETER mpif.h Fortran mpif.h MPI ADDRESS (INTEGER*) (INTEGER*) MPI Fortran MPI MPI BOTTOM.... C ANSI C MPI MPI

29 .. MPI sf mpi.h C MPI SUCCESS C void* MPI MPI Aint int MPI C. MPI MIMD MPI MPI MPI MPI MPI MPI ( ) MPI : C MPI Wtime MPI Wtick double

30 Chapter MPI MPI MPI MPI MPI MPI MPI MPI MPI MPI. MPI MPI MPI MPI

31 .. MPI MPI MPI MPI MPI MPI MPI. MPI MPI MPI MPI MPI MPI MPI

32 Chapter MPI. MPI MPI.. MPI Fortran date write ANSI C printf malloc MPI INIT MPI FINALIZE MPI MPI COMM WORLD ANSI C int rank; MPI_Init( argc, argv ); MPI_Comm_rank( MPI_COMM_WORLD, &rank ); if (rank == 0) printf( "Starting program\n" ); MPI_Finalize(); Fortran MPI MPI_Comm_rank( MPI_COMM_WORLD, &rank ); printf( "Output from task rank %d\n", rank );

33 .... POSIX MPI UNIX MPI MPI MPI MPI MPI MPI MPI UNIX SIGALRM MPI MPI MPI MPI MPI MPI MPI MPI MPI MPI MPI SIGALRM SIGFPE SIGIO MPI MPI Unix man.

34 Chapter. MPI (send) (receive) #include "mpi.h" main( argc, argv ) int argc; char **argv; { char message[]; int myrank; MPI_Status status; MPI_Init( &argc, &argv ); MPI_Comm_rank( MPI_COMM_WORLD, &myrank ); if (myrank == 0) /* 0 */ { strcpy(message,"hello, there"); MPI_Send(message, strlen(message), MPI_CHAR,,, MPI_COMM_WORLD); } else /* */ { MPI_Recv(message,, MPI_CHAR, 0,, MPI_COMM_WORLD, &status); printf("received :%s:\n", message); }

35 .. } MPI_Finalize(); 0 (myrank = 0) MPI SEND message 0 message ( :,.. ) (myrank = ) MPI RECV message...

36 Chapter MPI SEND(buf, count, datatype, dest, tag, comm) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) int MPI Send(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm) MPI SEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, IERROR... MPI SEND datatype count buf datatype count count 0 Fortran Fortran

37 .. MPI datatype MPI INTEGER MPI REAL MPI DOUBLE PRECISION MPI COMPLEX MPI LOGICAL MPI CHARACTER MPI BYTE MPI PACKED Fortran datatype INTEGER REAL DOUBLE PRECISION COMPLEX LOGICAL CHARACTER() C C types are listed below. MPI datatype MPI CHAR MPI SHORT MPI INT MPI LONG MPI UNSIGNED CHAR MPI UNSIGNED SHORT MPI UNSIGNED MPI UNSIGNED LONG MPI FLOAT MPI DOUBLE MPI LONG DOUBLE MPI BYTE MPI PACKED C datatype signed char signed short int signed int signed long int unsigned char unsigned short int unsigned int unsigned long int float double long double MPI BYTE MPI PACKED Fortran C MPI BYTE MPI PACKED.

38 Chapter MPI Fortran ANSI C MPI longlong int C MPI LONG LONG INT DOUBLE PRECISION Fortran MPI DOUBLE COMPLEX REAL* REAL* REAL* Fortran MPI REAL MPI REAL MPI REAL INTEGER* INTEGER* INTEGER* Fortran MPI INTEGER MPI INTEGER MPI INTEGER MPI MPI.... ID dest tag 0,...,UB UB MPI TAG UB MPI UB comm

39 .. \ " dest 0,..., n- n MPI MPI COMM WORLD MPI MPI COMM WORLD comm MPI COMM WORLD ID..

40 Chapter MPI RECV (buf, count, datatype, source, tag, comm, status) buf ( ) count ( ) datatype ( ) source ( ) tag ( ) comm ( ) status ( ) int MPI Recv(void* buf, int count, MPI Datatype datatype, int source, int tag, MPI Comm comm, MPI Status *status) MPI RECV(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, STATUS, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, SOURCE, TAG, COMM, STATUS(MPI STATUS SIZE), IERROR. datatype count buf. MPI PROBE MPI status MPI

41 .. source tag comm source MPI ANY SOURCE / tag MPI ANY TAG / comm source= MPI ANY SOURCE tag= MPI ANY TAG tag source MPI ANY SOURCE source f0,...,n-g[fmpi ANY SOURCEg n \ " \ " =... MPI..

42 Chapter MPI RECV status status MPI C status MPI SOURCE MPI TAG MPI ERROR status.mpi SOURCE status.mpi TAG status.mpi ERROR Fortran status MPI STATUS SIZE INTEGER MPI SOURCE MPI TAG MPI ERROR status(mpi SOURCE) status(mpi TAG) status(mpi ERROR).. MPI ERR IN STATUS MPI WAIT MPI \ " MPI GET COUNT MPI GET COUNT(status, datatype, count) status ( ) datatype ( ) count ( ) int MPI Get count(mpi Status status, MPI Datatype datatype, int *count) MPI GET COUNT(STATUS, DATATYPE, COUNT, IERROR) INTEGER STATUS(MPI STATUS SIZE), DATATYPE, COUNT, IERROR

43 .. datatype datatype status.. MPI GET COUNT MPI UNDEFINED count tag source MPI ANY TAG \ " datatype MPI GET COUNT MPI PROBE buf count datatype source dest tag comm status MPI SEND MPI RECV......

44 Chapter MPI INTEGER MPI INTEGER MPI REAL MPI REAL. MPI PACKED MPI INTEGER INTEGER Fortran Fortran C.. MPI BYTE MPI PACKED. MPI PACKED MPI BYTE ( MPI BYTE ) ( MPI BYTE ) MPI BYTE MPI PACKED. CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank.EQ.0) THEN CALL MPI_SEND(a(),, MPI_REAL,, tag, comm, ierr) ELSE CALL MPI_RECV(b(),, MPI_REAL, 0, tag, comm, status, ierr) END IF a b Fortran a() (equiv-

45 .. alence ) a b. CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank.EQ.0) THEN CALL MPI_SEND(a(),, MPI_REAL,, tag, comm, ierr) ELSE CALL MPI_RECV(b(),, MPI_BYTE, 0, tag, comm, status, ierr) END IF. CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank.EQ.0) THEN CALL MPI_SEND(a(),, MPI_BYTE,, tag, comm, ierr) ELSE CALL MPI_RECV(b(), 0, MPI_BYTE, 0, tag, comm, status, ierr) END IF a b MPI BYTE MPI SEND MPI buf Fortran CHARACTER MPI BYTE Fortran CHARACTER

46 Chapter MPI CHARACTER MPI CHARACTER CHARACTER Fortran CHARACTER Fortran. Fortran CHARACTER CHARACTER* a CHARACTER* b CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank.EQ.0) THEN CALL MPI_SEND(a,, MPI_CHARACTER,, tag, comm, ierr) ELSE CALL MPI_RECV(b(:),, MPI_CHARACTER, 0, tag, comm, status, ierr) END IF b 0 a MPI CHARACTER Fortran (. ) MPI CHARACTER MPI MPI MPI CHARACTER Fortran CHARACTER MPI

47 .... MPI REAL INTEGER IEEE MPI MPI MPI MPI BYTE MPI CHARACTER MPI CHAR EBCDIC ASCII MPI.. a b REAL a

48 Chapter b XDR MPI C Fortran C Fortran MPI MPI MPI Fortran MPI INT MPI CHAR \C MPI " C Fortran... :

49 .. MPI.. MPI MPI MPI : MPI MPI. MPI.

50 Chapter B S R MPI BSEND (buf, count, datatype, dest, tag, comm) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) int MPI Bsend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm) MPI BSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, IERROR

51 .. MPI SSEND (buf, count, datatype, dest, tag, comm) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) int MPI Ssend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm) MPI SSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, IERROR MPI RSEND (buf, count, datatype, dest, tag, comm) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) int MPI Rsend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm) MPI RSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, IERROR

52 Chapter MPI : : : :

53 ... MPI : MPI ANY SOURCE MPI CANCEL MPI WAITANY. CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_BSEND(buf, count, MPI_REAL,, tag, comm, ierr) CALL MPI_BSEND(buf, count, MPI_REAL,, tag, comm, ierr)

54 Chapter ELSE! CALL MPI_RECV(buf, count, MPI_REAL, 0, MPI_ANY_TAG, comm, status, ierr) CALL MPI_RECV(buf, count, MPI_REAL, 0, tag, comm, status, ierr) END IF. CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_BSEND(buf, count, MPI_REAL,, tag, comm, ierr) CALL MPI_SSEND(buf, count, MPI_REAL,, tag, comm, ierr) ELSE! CALL MPI_RECV(buf, count, MPI_REAL, 0, tag, comm, status, ierr) CALL MPI_RECV(buf, count, MPI_REAL, 0, tag, comm, status, ierr) END IF 0 MPI

55 .. MPI MPI MPI MPI.. CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_SEND(sendbuf, count, MPI_REAL,, tag, comm, ierr) CALL MPI_RECV(recvbuf, count, MPI_REAL,, tag, comm, status, ierr) ELSE! CALL MPI_RECV(recvbuf, count, MPI_REAL, 0, tag, comm, status, ierr)

56 Chapter CALL MPI_SEND(sendbuf, count, MPI_REAL, 0, tag, comm, ierr) END IF. CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_RECV(recvbuf, count, MPI_REAL,, tag, comm, status, ierr) CALL MPI_SEND(sendbuf, count, MPI_REAL,, tag, comm, ierr) ELSE! CALL MPI_RECV(recvbuf, count, MPI_REAL, 0, tag, comm, status, ierr) CALL MPI_SEND(sendbuf, count, MPI_REAL, 0, tag, comm, ierr) END IF. CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_SEND(sendbuf, count, MPI_REAL,, tag, comm, ierr) CALL MPI_RECV(recvbuf, count, MPI_REAL,, tag, comm, status, ierr) ELSE! CALL MPI_SEND(sendbuf, count, MPI_REAL, 0, tag, comm, ierr) CALL MPI_RECV(recvbuf, count, MPI_REAL, 0, tag, comm, status, ierr) END IF count

57 .. \ ". \ " \ ".. MPI BUFFER ATTACH( buer, size) buer size int MPI Buffer attach( void* buffer, int size)

58 Chapter MPI BUFFER ATTACH( BUFFER, SIZE, IERROR) <type> BUFFER(*) INTEGER SIZE, IERROR MPI MPI BUFFER DETACH( buer, size) buer ( ) size ( ) ( ) int MPI Buffer detach( void** buffer, int* size) MPI BUFFER DETACH( BUFFER, SIZE, IERROR) <type> BUFFER(*) INTEGER SIZE, IERROR MPI. #define BUFFSIZE 000 int size char *buff; MPI_Buffer_attach( malloc(buffsize),buffsize); /* 000 MPI_Bsend */ MPI_Buffer_detach( &buff, &size); /* 0 */ MPI_Buffer_attach( buff, size); /* 000 */ MPI Buer attach MPI Buer detach void* MPI Buer attach

59 .. MPI Buer detach void* void* void** char** &bu MPI Buer detach void** MPI MPI MPI MPI MPI MPI.... pending message entries=pme

60 Chapter PME n n MPI BSEND count,datatype,comm MPI PACK SIZE( count, datatype, comm, size ). MPI MPI BSEND OVERHEAD n PME MPI PACK.

61 .. MPI \ " MPI \ " \ "

62 Chapter.... B S R I( immediate

63 .. MPI ISEND(buf, count, datatype, dest, tag, comm, request) buf count datatype dest tag comm request int MPI Isend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI ISEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI IBSEND(buf, count, datatype, dest, tag, comm, request) buf count datatype dest tag comm request int MPI Ibsend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI IBSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR

64 0 Chapter MPI ISSEND(buf, count, datatype, dest, tag, comm, request) buf count datatype dest tag comm request int MPI Issend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI ISSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI IRSEND(buf, count, datatype, dest, tag, comm, request) buf count datatype dest tag comm request int MPI Irsend(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI IRSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR)

65 .. <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI IRECV (buf, count, datatype, source, tag, comm, request) buf count datatype dest tag comm request int MPI Irecv(void* buf, int count, MPI Datatype datatype, int source, int tag, MPI Comm comm, MPI Request *request) MPI IRECV(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERROR request.. MPI WAIT MPI TEST

66 Chapter MPI REQUEST NULL. tag = MPI ANY TAG source = MPI ANY SOURCE MPI GET- COUNT MPI GET ELEMENTS count = 0 MPI WAIT(request, status) request status int MPI Wait(MPI Request *request, MPI Status *status) MPI WAIT(REQUEST, STATUS, IERROR) INTEGER REQUEST, STATUS(MPI STATUS SIZE), IERROR MPI WAIT request MPI WAIT MPI REQUEST NULL MPI WAIT status.. MPI TEST CANCELLED. request MPI WAIT status

67 .. MPI IBSEND MPI WAIT MPI BUFFER ATTACH. MPI CANCEL MPI WAIT MPI TEST(request, ag, status) request ag status int MPI Test(MPI Request *request, int *flag, MPI Status *status) MPI TEST(REQUEST, FLAG, STATUS, IERROR) LOGICAL FLAG INTEGER REQUEST, STATUS(MPI STATUS SIZE), IERROR MPI TEST request ag = true MPI REQUEST NULL ag = false MPI TEST.. MPI TEST CANCELLED. MPI TEST request ag = true status

68 Chapter MPI WAIT MPI TEST MPI TEST MPI TEST MPI TEST MPI WAIT ag = true status Wait Test. MPI WAIT CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank.EQ.0) THEN CALL MPI_ISEND(a(),, MPI_REAL,, tag, comm, request, ierr) **** **** CALL MPI_WAIT(request, status, ierr) ELSE CALL MPI_IRECV(a(),, MPI_REAL, 0, tag, comm, request, ierr) **** **** CALL MPI_WAIT(request, status, ierr) END IF MPI REQUEST FREE(request) request int MPI Request free(mpi Request *request) MPI REQUEST FREE(REQUEST, IERROR) INTEGER REQUEST, IERROR request MPI REQUEST NULL

69 .. MPI REQUEST FREE MPI REQUEST FREE MPI WAIT MPI TEST MPI REQUEST FREE MPI REQUEST FREE. MPI REQUEST FREE CALL MPI_COMM_RANK(MPI_COMM_WORLD, rank) IF(rank.EQ.0) THEN DO i=, n CALL MPI_ISEND(outval,, MPI_REAL,, 0, req, ierr) CALL MPI_REQUEST_FREE(req, ierr) CALL MPI_IRECV(inval,, MPI_REAL,, 0, req, ierr) CALL MPI_WAIT(req, status, ierr) END DO ELSE! CALL MPI_IRECV(inval,, MPI_REAL, 0, 0, req, ierr) CALL MPI_WAIT(req, status) DO I=, n- CALL MPI_ISEND(outval,, MPI_REAL, 0, 0, req, ierr) CALL MPI_REQUEST_FREE(req, ierr) CALL MPI_IRECV(inval,, MPI_REAL, 0, 0, req, ierr) CALL MPI_WAIT(req, status, ierr) END DO CALL MPI_ISEND(outval,, MPI_REAL, 0, 0, req, ierr) CALL MPI_WAIT(req, status)

70 Chapter END IF..... CALL MPI_COMM_RANK(comm, rank, ierr) IF (RANK.EQ.0) THEN CALL MPI_ISEND(a,, MPI_REAL,, 0, comm, r, ierr) CALL MPI_ISEND(b,, MPI_REAL,, 0, comm, r, ierr) ELSE! CALL MPI_IRECV(a,, MPI_REAL, 0, MPI_ANY_TAG, comm, r, ierr) CALL MPI_IRECV(b,, MPI_REAL, 0, 0, comm, r, ierr) END IF CALL MPI_WAIT(r,status) CALL MPI_WAIT(r,status) MPI WAIT MPI WAIT. CALL MPI_COMM_RANK(comm, rank, ierr) IF (RANK.EQ.0) THEN CALL MPI_SSEND(a,, MPI_REAL,, 0, comm, ierr)

71 .. CALL MPI_SEND(b,, MPI_REAL,,, comm, ierr) ELSE! CALL MPI_IRECV(a,, MPI_REAL, 0, 0, comm, r, ierr) CALL MPI_RECV(b,, MPI_REAL, 0,, comm, ierr) CALL MPI_WAIT(r, status, ierr) END IF MPI MPI TEST ag = true MPI TEST ag = true.. MPI WAITANY MPI TESTANY MPI WAITALL MPI TESTALL MPI WAITSOME MPI TESTSOME MPI WAITANY (count, array of requests, index, status) count array of requests index status int MPI Waitany(int count, MPI Request *array of requests, int *index, MPI Status *status) MPI WAITANY(COUNT, ARRAY OF REQUESTS, INDEX, STATUS, IERROR)

72 Chapter INTEGER COUNT, ARRAY OF REQUESTS(*), INDEX, STATUS(MPI STATUS SIZE), IERROR index status C 0 Fortran MPI REQUEST NULL array of requests index = MPI UNDEFINED status MPI WAITANY(count, array of requests, index, status) MPI WAIT(&array of requests[i], status) i index MPI UNDEFINED index MPI WAITANY MPI WAIT MPI TESTANY(count, array of requests, index, ag, status) count array of requests requests index MPI UNDEFINED ag status int MPI Testany(int count, MPI Request *array of requests, int *index, int *flag, MPI Status *status) MPI TESTANY(COUNT, ARRAY OF REQUESTS, INDEX, FLAG, STATUS, IERROR) LOGICAL FLAG INTEGER COUNT, ARRAY OF REQUESTS(*), INDEX, STATUS(MPI STATUS SIZE), IERROR ag = true index status

73 .. MPI REQUEST NULL Fortran ag = false MPI UNDEFINED index status ag = false index = MPI UNDEFINED status MPI TESTANY(count, array of requests, index, status) i=0,,..., count- ag = true MPI TEST(&array of requests[i], ag, status) index i MPI UNDEFINED MPI TESTANY MPI TEST ag = true MPI TESTANY MPI WAITANY MPI WAITANY MPI TESTANY Wait Test MPI WAITALL( count, array of requests, array of statuses) count array of requests array of statuses int MPI Waitall(int count, MPI Request *array of requests, MPI Status *array of statuses) MPI WAITALL(COUNT, ARRAY OF REQUESTS, ARRAY OF STATUSES, IERROR) INTEGER COUNT, ARRAY OF REQUESTS(*) INTEGER ARRAY OF STATUSES(MPI STATUS SIZE,*), IERROR array of statuses i

74 0 Chapter i MPI REQUEST NULL MPI WAITALL(count, array of requests, array of statuses) i=0,..., count- MPI WAIT(&array of request[i], &array of statuses[i]) MPI WAITALL MPI WAIT MPI WAITALL MPI WAITALL MPI ERR IN STATUS MPI SUCCESS MPI ERR PENDING MPI WAITALL MPI SUCCESS MPI TESTALL(count, array of requests, ag, array of statuses) count array of requests ag array of statuses int MPI Testall(int count, MPI Request *array of requests, int *flag, MPI Status *array of statuses) MPI TESTALL(COUNT, ARRAY OF REQUESTS, FLAG, ARRAY OF STATUSES, IERROR) LOGICAL FLAG INTEGER COUNT, ARRAY OF REQUESTS(*), ARRAY OF STATUSES(MPI STATUS SIZE,*), IERROR

75 .. ag = true MPI REQUEST NULL ag = false MPI TESTALL MPI WAITALL MPI WAITSOME(incount, array of requests, outcount, array of indices, array of statuses) incount array of requests array of requests outcount array of indices array of statuses int MPI Waitsome(int incount, MPI Request *array of requests, int *outcount, int *array of indices, MPI Status *array of statuses) MPI WAITSOME(INCOUNT, ARRAY OF REQUESTS, OUTCOUNT, ARRAY OF INDICES, ARRAY OF STATUSES, IERROR) INTEGER INCOUNT, ARRAY OF REQUESTS(*), OUTCOUNT, ARRAY OF INDICES(*), ARRAY OF STATUSES(MPI STATUS SIZE,*), IERROR array of requests outcount array of requests outcount array of requests Fortran array of status outcount MPI REQUEST NULL outcount=mpi UNDEFINED

76 Chapter MPI WAITSOME outcount array of indices array of statuses MPI ERR IN STATUS MPI SUCCESS MPI TESTSOME(incount, array of requests, outcount, array of indices, array of statuses) incount array of requests array of requests outcount array of indices array of statuses int MPI Testsome(int incount, MPI Request *array of requests, int *outcount, int *array of indices, MPI Status *array of statuses) MPI TESTSOME(INCOUNT, ARRAY OF REQUESTS, OUTCOUNT, ARRAY OF INDICES, ARRAY OF STATUSES, IERROR) INTEGER INCOUNT, ARRAY OF REQUESTS(*), OUTCOUNT, ARRAY OF INDICES(*), ARRAY OF STATUSES(MPI STATUS SIZE,*), IERROR MPI WAITSOME outcount = 0 outcount=mpi UNDEFIN MPI TESTSOME MPI WAIT- SOME MPI WAITSOME MPI TESTSOME

77 .. MPI TESTSOME MPI WAITSOME MPI TESTSOME MPI TESTANY MPI WAITSOME MPI WAITSOME MPI WAITANY MPI TESTSOME. CALL MPI_COMM_SIZE(comm, size, ierr) CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank > 0) THEN! DO WHILE(.TRUE.) CALL MPI_ISEND(a, n, MPI_REAL, 0, tag, comm, request, ierr) CALL MPI_WAIT(request, status, ierr) END DO ELSE! 0 -- DO i=, size- CALL MPI_IRECV(a(,i), n, MPI_REAL, 0, tag, comm, request_list(i), ierr) END DO DO WHILE(.TRUE.) CALL MPI_WAITANY(size-, request_list, index, status, ierr) CALL DO_SERVICE(a(,index))! CALL MPI_IRECV(a(, index), n, MPI_REAL, 0, tag, comm, request_list(index), ierr) END DO

78 Chapter END IF. MPI WAITSOME CALL MPI_COMM_SIZE(comm, size, ierr) CALL MPI_COMM_RANK(comm, rank, ierr) IF(rank > 0) THEN! DO WHILE(.TRUE.) CALL MPI_ISEND(a, n, MPI_REAL, 0, tag, comm, request, ierr) CALL MPI_WAIT(request, status, ierr) END DO ELSE! 0 -- DO i=, size- CALL MPI_IRECV(a(,i), n, MPI_REAL, 0, tag, comm, request_list(i), ierr) END DO DO WHILE(.TRUE.) CALL MPI_WAITSOME(size, request_list, numdone, index_list, status_list, ierr) DO i=, numdone CALL DO_SERVICE(a(, index_list(i))) CALL MPI_IRECV(a(, index_list(i)), n, MPI_REAL, 0, tag, comm, request_list(i), ierr) END DO END DO END IF. Probe MPI PROBE MPI IPROBE probe status

79 .. Probe MPI CANCEL MPI IPROBE(source, tag, comm, ag, status) source MPI ANY SOURCE( ) tag MPI ANY TAG ( ) comm ( ) ag ( ) status ( ) int MPI Iprobe(int source, int tag, MPI Comm comm, int *flag, MPI Status *status) MPI IPROBE(SOURCE, TAG, COMM, FLAG, STATUS, IERROR) LOGICAL FLAG INTEGER SOURCE, TAG, COMM, STATUS(MPI STATUS SIZE), IERROR MPI IPROBE(source, tag, comm, ag, status) source tag,comm ag = true MPI RECV(..., source, tag, comm, status) MPI RECV() status ag = false status.. MPI IPROBE ag = true probe probe MPI IPROBE status probe MPI PROBE source MPI ANY SOURCE tag MPI ANY TAG probe

80 Chapter comm probe probe MPI PROBE(source, tag, comm, status) source MPI ANY SOURCE ( ) tag MPI ANY TAG ( ) comm ( ) status ( ) int MPI Probe(int source, int tag, MPI Comm comm, MPI Status *status) MPI PROBE(SOURCE, TAG, COMM, STATUS, IERROR) INTEGER SOURCE, TAG, COMM, STATUS(MPI STATUS SIZE), IERROR MPI PROBE MPI IPROBE MPI MPI PROBE MPI IPROBE MPI PROBE probe probe MPI PROBE MPI IPROBE MPI IPROBE ag = true. probe CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_SEND(i,, MPI_INTEGER,, 0, comm, ierr) ELSE IF(rank.EQ.) THEN CALL MPI_SEND(x,, MPI_REAL,, 0, comm, ierr) ELSE! DO i=, CALL MPI_PROBE(MPI_ANY_SOURCE, 0,

81 .. Probe comm, status, ierr) IF (status(mpi_source) = 0) THEN 0 CALL MPI_RECV(i,, MPI_INTEGER, 0, 0, status, ierr) ELSE 0 CALL MPI_RECV(x,, MPI_REAL,, 0, status, ierr) END IF END DO END IF. has a problem. CALL MPI_COMM_RANK(comm, rank, ierr) IF (rank.eq.0) THEN CALL MPI_SEND(i,, MPI_INTEGER,, 0, comm, ierr) ELSE IF(rank.EQ.) THEN CALL MPI_SEND(x,, MPI_REAL,, 0, comm, ierr) ELSE DO i=, CALL MPI_PROBE(MPI_ANY_SOURCE, 0, comm, status, ierr) IF (status(mpi_source) = 0) THEN 0 CALL MPI_RECV(i,, MPI_INTEGER, MPI_ANY_SOURCE, 0, status, ierr) ELSE 0 CALL MPI_RECV(x,, MPI_REAL, MPI_ANY_SOURCE, 0, status, ierr) END IF END DO END IF 0 0 source MPI ANY SOURCE. MPI PROBE probe

82 Chapter MPI PROBE(source, tag, comm, status) MPI RECV(..., source, tag, comm, status) s t c probe MPI ANY TAG probe c s probe t c s MPI CANCEL(request) request ( ) int MPI Cancel(MPI Request *request) MPI CANCEL(REQUEST, IERROR) INTEGER REQUEST, IERROR MPI CANCEL MPI REQUEST FREE MPI WAIT MPI TEST MPI WAIT MPI WAIT busy wait MPI TEST MPI CANCEL. MPI CANCEL MPI WAIT MPI TEST

83 .. Probe MPI TEST CANCELLED(status, ag) status ag ( ) int MPI Test cancelled(mpi Status status, int *flag) MPI TEST CANCELLED(STATUS, FLAG, IERROR) LOGICAL FLAG INTEGER STATUS(MPI STATUS SIZE), IERROR ag = true count tag status ag = false MPI TEST CANCELLED \eager" MPI CANCEL

84 0 Chapter. \ " MPI SEND INIT(buf, count, datatype, dest, tag, comm, request) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) request ( ) int MPI Send init(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI SEND INIT(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*)

85 .. INTEGER REQUEST, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI BSEND INIT(buf, count, datatype, dest, tag, comm, request) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) request ( ) int MPI Bsend init(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI BSEND INIT(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER REQUEST, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI SSEND INIT(buf, count, datatype, dest, tag, comm, request) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) request ( ) int MPI Ssend init(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request)

86 Chapter MPI SSEND INIT(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI RSEND INIT(buf, count, datatype, dest, tag, comm, request) buf ( ) count ( ) datatype ( ) dest ( ) tag ( ) comm ( ) request ( ) int MPI Rsend init(void* buf, int count, MPI Datatype datatype, int dest, int tag, MPI Comm comm, MPI Request *request) MPI RSEND INIT(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR MPI RECV INIT(buf, count, datatype, source, tag, comm, request) buf ( ) count ( ) datatype ( ) source MPI ANY SOURCE ( ) tag MPI ANY TAG ( ) comm ( ) request ( ) int MPI Recv init(void* buf, int count, MPI Datatype datatype, int source,

87 .. int tag, MPI Comm comm, MPI Request *request) MPI RECV INIT(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERROR) <type> BUF(*) INTEGER COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERROR MPI RECV INIT buf MPI START MPI START(request) request int MPI Start(MPI Request *request) MPI START(REQUEST, IERROR) INTEGER REQUEST, IERROR request. MPI SEND INIT MPI START MPI ISEND MPI BSEND INIT MPI START MPI IBSEND

88 Chapter MPI STARTALL(count, array of requests) count ( ) array of requests ( ) int MPI Startall(int count, MPI Request *array of requests) MPI STARTALL(COUNT, ARRAY OF REQUESTS, IERROR) INTEGER COUNT, ARRAY OF REQUESTS(*), IERROR array of requests MPI STARTALL(count, array of requests) i=0,..., count- MPI START (&array of requests[i]), MPI START MPI STARTALL MPI WAIT MPI TEST.. MPI START MPI STARTALL MPI REQUEST FREE.. MPI REQUEST FREE Create (Start Complete) Free ; 0 MPI START MPI START

89 ... probe MPI SENDRECV(sendbuf, sendcount, sendtype, dest, sendtag, recvbuf, recvcount, recvtype, source, recvtag, comm, status) sendbuf ( ) sendcount ( ) sendtype ( ) dest ( ) sendtag ( ) recvbuf ( ) recvcount ( ) recvtype ( ) source ( ) recvtag ( ) comm ( ) status ( ) int MPI Sendrecv(void *sendbuf, int sendcount, MPI Datatype sendtype,

90 Chapter int dest, int sendtag, void *recvbuf, int recvcount, MPI Datatype recvtype, int source, MPI Datatype recvtag, MPI Comm comm, MPI Status *status) MPI SENDRECV(SENDBUF, SENDCOUNT, SENDTYPE, DEST, SENDTAG, RECVBUF, RECVCOUNT, RECVTYPE, SOURCE, RECVTAG, COMM, STATUS, IERROR) <type> SENDBUF(*), RECVBUF(*) INTEGER SENDCOUNT, SENDTYPE, DEST, SENDTAG, RECVCOUNT, RECVTYPE, SOURCE, RECVTAG, COMM, STATUS(MPI STATUS SIZE), IERROR MPI SENDRECV REPLACE(buf, count, datatype, dest, sendtag, source, recvtag, comm, status) buf ( ) count ( ) datatype ( ) dest ( ) sendtag ( ) source ( ) recvtag ( ) comm ( ) status ( ) int MPI Sendrecv replace(void* buf, int count, MPI Datatype datatype, int dest, int sendtag, int source, int recvtag, MPI Comm comm, MPI Status *status) MPI SENDRECV REPLACE(BUF, COUNT, DATATYPE, DEST, SENDTAG, SOURCE, RECVTAG, COMM, STATUS, IERROR) <type> BUF(*)

91 .. INTEGER COUNT, DATATYPE, DEST, SENDTAG, SOURCE, RECVTAG, COMM, STATUS(MPI STATUS SIZE), IERROR \ ". \ " MPI PROC NULL MPI PROC NULL MPI PROC NULL MPI PROC NULL source = MPI PROC NULL source = MPI PROC NULL tag = MPI ANY TAG count = 0. ( ) ( ) - MPI

92 Chapter MPI MPI MPI A ( ) ( ) ( ) T ypemap = f(type 0 ;disp 0 );:::;(type n0 ;disp n0 )g; type i disp i T ypesig = ftype 0 ;:::;type n0 g buf n i buf + disp i type i n T ypesig MPI SEND(buf,, datatype,...) buf datatype datatype MPI RECV(buf,, datatype,...) buf datatype.. count

93 .... MPI INT f(int; 0)g(int,0) int 0 T ypemap = f(type 0 ;disp 0 );:::;(type n0 ;disp n0 )g; lb(t ypemap) = min j disp j ; ub(t ypemap) = max(disp j + sizeof(type j )); j extent(t ypemap) = ub(t ypemap) 0 lb(t ypemap) +: (.) type i k i extent(t ypemap) max i k i. Type = f(double; 0); (char; )g ( 0 double char ) double ( () ) double.. union.. Contiguous MPI TYPE CONTIGUOUS MPI TYPE CONTIGUOUS(count, oldtype, newtype) count ( ) oldtype ( ) newtype ( ) int MPI Type contiguous(int count, MPI Datatype oldtype, MPI Datatype *newtype)

94 0 Chapter MPI TYPE CONTIGUOUS(COUNT, OLDTYPE, NEWTYPE, IERROR) INTEGER COUNT, OLDTYPE, NEWTYPE, IERROR newtype oldtype count. oldtype f(double; 0); (char; )g; count = newtype f(double; 0); (char; ); (double; ); (char; ); (double; ); (char; )g; double char 0; ; ; ; ; oldtype f(type 0 ; disp 0 );:::;(type n0 ;disp n0 )g; ex newtype count n f(type 0 ; disp 0 );:::;(type n0 ;disp n0 ); (type 0 ; disp 0 + ex);:::;(type n0 ;disp n0 + ex); :::; (type 0 ; disp 0 + ex (count 0 )); :::; (type n0 ; disp n0 + ex (count 0 ))g: Vector MPI TYPE VECTOR MPI TYPE VECTOR( count, blocklength, stride, oldtype, newtype) count ( ) blocklength ( ) stride ( ) oldtype ( ) newtype ( ) int MPI Type vector(int count, int blocklength, int stride, MPI Datatype oldtype, MPI Datatype *newtype)

95 .. MPI TYPE VECTOR(COUNT, BLOCKLENGTH, STRIDE, OLDTYPE, NEWTYPE, IERROR) INTEGER COUNT, BLOCKLENGTH, STRIDE, OLDTYPE, NEWTYPE, IERROR. f(double; 0); (char; )g; oldtype MPI TYPE VECTOR(,,, oldtype, newtype) f(double; 0); (char; ); (double; ); (char; ); (double; ); (char; ); (double; ); (char; ); (double; 0); (char; ); (double; ); (char; )g: ( ). MPI TYPE VECTOR(,, -, oldtype, newtype) f(double; 0); (char; ); (double; 0); (char; 0); (double; 0); (char; 0)g: oldtype f(type 0 ; disp 0 );:::;(type n0 ;disp n0 )g; ex blocklength bl count bl n f(type 0 ; disp 0 );:::;(type n0 ;disp n0 ); (type 0 ; disp 0 + ex); :::; (type n0 ; disp n0 + ex); :::; (type 0 ; disp 0 +(bl 0 ) ex); :::; (type n0 ; disp n0 +(bl 0 ) ex); (type 0 ; disp 0 + stride ex);:::;(type n0 ;disp n0 + stride ex);:::; (type 0 ; disp 0 +(stride + bl 0 ) ex); :::; (type n0 ;disp n0 +(stride + bl 0 ) ex); ::::; (type 0 ; disp 0 + stride (count 0 ) ex); :::; (type n0 ; disp n0 + stride (count 0 ) ex); :::; (type 0 ; disp 0 +(stride (count 0 ) + bl 0 ) ex); :::;

96 Chapter (type n0 ; disp n0 +(stride (count 0 ) + bl 0 ) ex)g: MPI TYPE CONTIGUOUS(count, oldtype, newtype) MPI TYPE VECTOR(count,,, oldtype, newtype) MPI TYPE VECTOR(, count, n, oldtype, newtype), n ) Hvector MPI TYPE HVECTOR stride MPI TYPE VECTOR.. ( H "heterogeneous"( ) ) MPI TYPE HVECTOR( count, blocklength, stride, oldtype, newtype) count ( ) blocklength ( ) stride ( ) oldtype ( ) newtype ( ) int MPI Type hvector(int count, int blocklength, MPI Aint stride, MPI Datatype oldtype, MPI Datatype *newtype) MPI TYPE HVECTOR(COUNT, BLOCKLENGTH, STRIDE, OLDTYPE, NEWTYPE, IERROR) INTEGER COUNT, BLOCKLENGTH, STRIDE, OLDTYPE, NEWTYPE, IERROR oldtype f(type 0 ; disp 0 );:::;(type n0 ;disp n0 )g; ex blocklength bl countbln f(type 0 ; disp 0 );:::;(type n0 ;disp n0 ); (type 0 ; disp 0 + ex); :::; (type n0 ; disp n0 + ex); :::; (type 0 ; disp 0 +(bl 0 ) ex); :::; (type n0 ; disp n0 +(bl 0 ) ex); (type 0 ; disp 0 + stride); :::; (type n0 ; disp n0 + stride);:::;

97 .. (type 0 ; disp 0 + stride +(bl 0 ) ex); :::; (type n0 ; disp n0 + stride +(bl 0 ) ex); ::::; (type 0 ; disp 0 + stride (count 0 )); :::; (type n0 ;disp n0 + stride (count 0 )); :::; (type 0 ; disp 0 + stride (count 0 )+(bl 0 ) ex); :::; (type n0 ; disp n0 + stride (count 0 ) + (bl 0 ) ex)g: INDEXED MPI TYPE INDEXED ( ) MPI TYPE INDEXED( count, array of blocklengths, array of displacements, oldtype, newtype) count { array of displacements array of blocklengths ( ) array of blocklengths ( ) array of displacements oldtype ( ) oldtype ( ) newtype ( ) int MPI Type indexed(int count, int *array of blocklengths, int *array of displacements, MPI Datatype oldtype, MPI Datatype *newtype) MPI TYPE INDEXED(COUNT, ARRAY OF BLOCKLENGTHS, ARRAY OF DISPLACEMENTS, OLDTYPE, NEWTYPE, IERROR) INTEGER COUNT, ARRAY OF BLOCKLENGTHS(*), ARRAY OF DISPLACEMENTS(*), OLDTYPE, NEWTYPE, IERROR

98 Chapter. f(double; 0); (char; )g; oldtype B = (, ) D = (, 0) MPI TYPE INDEXED(, B, D, oldtype, newtype) f(double; ); (char; ); (double; 0); (char; ); (double; ); (char; ); (double; 0); (char; )g: 0 oldtype f(type 0 ; disp 0 );:::;(type n0 ;disp n0 )g; ex B array of blocklength D array of displacements n P count0 i=0 B[i] f(type 0 ; disp 0 + D[0] ex); :::; (type n0 ;disp n0 + D[0] ex);:::; (type 0 ; disp 0 +(D[0]+B[0] 0 ) ex);:::;(type n0 ; disp n0 +(D[0]+B[0] 0 ) ex);:::; (type 0 ; disp 0 + D[count 0 ] ex);:::;(type n0 ;disp n0 + D[count 0 ] ex);:::; (type 0 ; disp 0 +(D[count 0 ]+B[count 0 ] 0 ) ex);:::; (type n0 ; disp n0 +(D[count 0 ]+B[count 0 ] 0 ) ex)g: MPI TYPE VECTOR(count, blocklength, stride, oldtype, newtype) MPI TYPE INDEXED(count, B, D, oldtype, newtype) D[j] =j stride; j =0; :::; count 0 ; B[j] =blocklength; j =0;:::;count 0 :

99 .. Hindexed MPI TYPE HINDEXED array of displacements oldtype MPI TYPE INDEXED MPI TYPE HINDEXED( count, array of blocklengths, array of displacements, oldtype, newtype) count { array of displacements array of blocklengths ( ) array of blocklengths ( ) array of displacements ( ) oldtype ( ) newtype ( ) int MPI Type hindexed(int count, int *array of blocklengths, MPI Aint *array of displacements, MPI Datatype oldtype, MPI Datatype *newtype) MPI TYPE HINDEXED(COUNT, ARRAY OF BLOCKLENGTHS, ARRAY OF DISPLACEMENTS, OLDTYPE, NEWTYPE, IERROR) INTEGER COUNT, ARRAY OF BLOCKLENGTHS(*), ARRAY OF DISPLACEMENTS(*), OLDTYPE, NEWTYPE, IERROR oldtype f(type 0 ; disp 0 );:::;(type n0 ;disp n0 )g; ex B array of blocklength D array of displacements n P count0 i=0 B[i] f(type 0 ; disp 0 + D[0]);:::;(type n0 ; disp n0 + D[0]);:::; (type 0 ; disp 0 + D[0]+(B[0] 0 ) ex); :::; (type n0 ; disp n0 + D[0]+(B[0] 0 ) ex); :::; (type 0 ; disp 0 + D[count 0 ]); :::; (type n0 ;disp n0 + D[count 0 ]);:::;

100 Chapter (type 0 ; disp 0 + D[count 0 ]+(B[count 0 ] 0 ) ex);:::; (type n0 ; disp n0 + D[count 0 ]+(B[count 0 ] 0 ) ex)g: Struct MPI TYPE STRUCT MPI TYPE STRUCT(count, array of blocklengths, array of displacements, array of types, newtype) count { array of displacements array of blocklengths array of types ( ) array of blocklength ( ) array of displacements ( ) array of types ( ) newtype ( ) int MPI Type struct(int count, int *array of blocklengths, MPI Aint *array of displacements, MPI Datatype *array of types, MPI Datatype *newtype) MPI TYPE STRUCT(COUNT, ARRAY OF BLOCKLENGTHS, ARRAY OF DISPLACEMENTS, ARRAY OF TYPES, NEWTYPE, IERROR) INTEGER COUNT, ARRAY OF BLOCKLENGTHS(*), ARRAY OF DISPLACEMENTS(*), ARRAY OF TYPES(*), NEWTYPE, IERROR. type f(double; 0); (char; )g; B=(,,) D = (0,, ) T = (MPI FLOAT, type, MPI CHAR) MPI TYPE STRUCT(, B, D, T, newtype) f(oat; 0); (oat; ); (double; ); (char; ); (char; ); (char; ); (char; )g:

101 .. MPI FLOAT 0 type MPI CHAR (oat ) array of types argt T[i] typemap i = f(type i 0 ;dispi 0); :::; (type i n i 0 ; dispi n i 0)g; ex i B array of blocklength D array of displacements c count P c0 i=0 B[i] n i f(type 0 0 ; disp0 0 + D[0]);:::;(type 0 n 0 ; disp 0 n 0 + D[0]); :::; (type 0 0 ; disp0 0 + D[0]+(B[0] 0 ) ex 0);:::;(type 0 n 0 ;disp 0 n 0 + D[0]+(B[0] 0 ) ex 0 );:::; (type c0 0 ; disp c0 0 + D[c 0 ]); :::; (type c0 nc0 ;dispc0 nc0 + D[c 0 ]);:::; (type c0 0 ; disp c0 0 + D[c 0 ]+(B[c 0 ] 0 ) exc0);:::; (type c0 nc0 ; dispc0 nc0 + D[c 0 ]+(B[c 0 ] 0 ) ex c0)g: MPI TYPE HINDEXED( count, B, D, oldtype, newtype) MPI TYPE STRUCT( count, B, D, T, newtype) T oldtype MPI BOTTOM buf MPI BOTTOM MPI ADDRESS MPI ADDRESS(location, address) location ( ) address ( ) int MPI Address(void* location, MPI Aint *address)

102 Chapter MPI ADDRESS(LOCATION, ADDRESS, IERROR) <type> LOCATION(*) INTEGER ADDRESS, IERROR ( ). MPI ADDRESS REAL A(0,0) INTEGER I, I, DIFF CALL MPI_ADDRESS(A(,), I, IERROR) CALL MPI_ADDRESS(A(,), I, IERROR) DIFF = I - I! DIFF 0*REAL I, I C MPI ADDRESS & & ANSI C ( ) MPI ADDRESS C MPI TYPE EXTENT(datatype, extent) datatype ( ) extent ( ) int MPI Type extent(mpi Datatype datatype, int *extent) MPI TYPE EXTENT(DATATYPE, EXTENT, IERROR) INTEGER DATATYPE, EXTENT, IERROR datatype.

103 .. MPI TYPE SIZE(datatype, size) datatype ( ) size ( ) int MPI Type size(mpi Datatype datatype, int *size) MPI TYPE SIZE(DATATYPE, SIZE, IERROR) INTEGER DATATYPE, SIZE, IERROR MPI TYPE SIZE datatype datatype MPI TYPE COUNT(datatype, count) datatype count int MPI Type count(mpi Datatype datatype, int *count) MPI TYPE COUNT(DATATYPE, COUNT, IERROR) INTEGER DATATYPE, COUNT, IERROR..... C MPI LB MPI UB (extent(mpi LB) =extent(mpi UB) =0)

104 0 Chapter. D = (-, 0, ); T = (MPI LB, MPI INT, MPI UB) B=(,,) MPI TYPE STRUCT(, B, D, T, type) (- ( )) 0 f(lb, -), (int, 0), (ub, )g MPI TYPE CONTIGUOUS(, type, type) f(lb, -), (int, 0), (int,), (ub, )g (ub ub ub lb lb lb ) T ypemap = f(type 0 ;disp 0 );:::;(type n0 ;disp n0 )g; T ypemap lb(t ypemap) = < : min j disp j min j fdisp j such that type j = lbg Similarly, the upper bound of T ypemap is dened to be ub(t ypemap) = < : max j disp j + sizeof(type j ) max j fdisp j such thattype j = ubg extent(t ypemap) =ub(t ypemap) 0 lb(t ypemap) + type i lb otherwise ub otherwise k i extent(t ypemap) max i k i MPI TYPE LB( datatype, displacement) datatype ( ) displacement ( ) int MPI Type lb(mpi Datatype datatype, int* displacement) MPI TYPE LB( DATATYPE, DISPLACEMENT, IERROR)

105 .. INTEGER DATATYPE, DISPLACEMENT, IERROR MPI TYPE UB( datatype, displacement) datatype ( ) displacement ( ) int MPI Type ub(mpi Datatype datatype, int* displacement) MPI TYPE UB( DATATYPE, DISPLACEMENT, IERROR) INTEGER DATATYPE, DISPLACEMENT, IERROR.. MPI TYPE COMMIT(datatype) datatype ( ) int MPI Type commit(mpi Datatype *datatype) MPI TYPE COMMIT(DATATYPE, IERROR) INTEGER DATATYPE, IERROR

106 Chapter MPI TYPE FREE(datatype) datatype ( ) int MPI Type free(mpi Datatype *datatype) MPI TYPE FREE(DATATYPE, IERROR) INTEGER DATATYPE, IERROR datatype datatype MPI DATATYPE NULL datatype. MPI TYPE COMMIT INTEGER type, type CALL MPI_TYPE_CONTIGUOUS(, MPI_REAL, type, ierr)! CALL MPI_TYPE_COMMIT(type, ierr)! type type = type! type! (type ) CALL MPI_TYPE_VECTOR(,,, MPI_REAL, type, ierr)! CALL MPI_TYPE_COMMIT(type, ierr)! type.. MPI SEND(buf, count, datatype,...) count > count