|
|
|
- ふじよし のたけ
- 5 years ago
- Views:
Transcription
1 MPI
2
3 ( 2) MPI iii
4
5 MPI_BCAST MPI_GATHER MPI_REDUCE MPI_MAXLOC/MPI_MINLOC MPI MPI_TYPE_CREATE_SUBARRAY C MPI MPI MPI_IN_PLACE v
6 (I/O ) (I/O ) MPI_GATHERV MPI_ALLGATHERV MPI_ALLTOALLV (ICCG ) (ADI ) MPMD MPI LU ICCG SOR SOR vi
7 MPI 265 MPI_INIT MPI_FINALIZE MPI_COMM_SIZE MPI_COMM_RANK MPI_ABORT MPI_WTIME MPI_BCAST MPI_SCATTER MPI_SCATTERV MPI_GATHER MPI_GATHERV MPI_ALLGATHER MPI_ALLGATHERV MPI_ALLTOALL MPI_ALLTOALLV MPI-2 MPI_ALLTOALLW MPI_REDUCE MPI_ALLREDUCE MPI_SCAN MPI-2 MPI_EXSCAN MPI_REDUCE_SCATTER MPI_OP_CREATE MPI_BARRIER MPI-2 MPI_IN_PLACE MPI_SCATTER MPI-2 MPI_IN_PLACE MPI_SCATTERV MPI-2 MPI_IN_PLACE MPI_GATHER MPI-2 MPI_IN_PLACE MPI_GATHERV MPI-2 MPI_IN_PLACE MPI_ALLGATHER MPI-2 MPI_IN_PLACE MPI_ALLGATHERV MPI-2 MPI_IN_PLACE MPI_REDUCE MPI-2 MPI_IN_PLACE MPI_ALLREDUCE MPI-2 MPI_IN_PLACE MPI_SCAN MPI-2 MPI_IN_PLACE MPI_REDUCE_SCATTER MPI_SEND MPI_RECV MPI_SENDRECV MPI_ISEND MPI_IRECV MPI_WAIT MPI_GET_COUNT MPI_TYPE_SIZE vii
8 MPI_TYPE_CONTIGUOUS MPI_TYPE_VECTOR/HVECTOR MPI-2 MPI_TYPE_CREATE_INDEXED_BLOCK MPI_TYPE_INDEXED/HINDEXED MPI_TYPE_STRUCT MPI-2 MPI_TYPE_CREATE_SUBARRAY MPI_TYPE_COMMIT MPI-2 MPI_TYPE_CREATE_RESIZED MPI_COMM_SPLIT viii
9 1 OS Fortran C Fortran I J K L M N (4 ) (8 ) IMPLICIT REAL*8(A-H,O-Z) IMPLICIT REAL*8(A-H,O-Z) REAL A REAL*8 B DIMENSION C(10) D Fortran AA Aa aa aa Fortran 1 Fortran REAL A(2): A(1) A(2) C float a[2]: a[0] a[1] Fortran Fortran REAL A(2,2): A(1,1) A(2,1) A(1,2) A(2,2) C float a[2][2]: a[0][0] a[0][1] a[1][0] a[1][1] 1
10 1 1-1 (1) CPU CPU UNIX Linux ( OS) ( I/O) 1 2 ( DO 1 2 ) (2) CPU OS CPU 2 CPU CPU CPU 2 CPU (3) CPU 1 OS 1 SMP (Symmetric Multi-Processing) 2 CPU UNIX
11 (1) (2) CPU (3) (4-7-2 ) (4) CPU PE (Processing Element) (1) (3) (2) (4) (1) (2) (3) ABAQUS LS-DYNA3D PAM-CRASH MARC NASTRAN RADIOSS STAR-CD FLUENT STREAM SCRYU DISCOVER HONDO GAMESS GAUSSIAN 3 3
12 1 1-2 SPMD MPMD (1) a.out 3 A SPMD (Single Program Multiple Data) MPMD (Multiple Program Multiple Data) 2 SPMD (2) 1 a.out (ID) ( ) A (1) (1) SPMD MPMD (3) a.out b.out 2 4 ( + ) (4) 1 a.out b.out MPMD SPMD SPMD MPMD ( MPMD ) (1) (2) ) (SPMD (3) (MPMD ) (4) (MPMD ) 4
13 1-2 SPMD (1) SPMD 1 1 (1) (1) IS IE 3 IS IE ( 6 ) 3 DO (Fortran ) for (C ) 4 (2) SPMD (1) SPMD (2) a.out a.out 3 (ID) ( 0 1 2) SPMD 3 SPMD IS IE IS IE 4 3 IS IE SPMD 4 5
14 (1) (2) SPMD 6
15 1-2 (1) 3 ( (2) 5 ) = (2) 4 1/3 4 1/n ( n ) (2) ( (2) 5 ) (2) 4 1/ (1) 5 0 7
16 1 SPMD (2) SPMD (1) SPMD (2) (2) IS IE 1/ (2) ( ) 0 0 ( = 45) (2) ( ) (1) (2) SPMD 8
17 2 9
18 hello.f 1 MPI MPI_INIT MPI_FINALIZE 2 hello.f 3 a.out a.out 4 a.out 2 5 a.out CPU 0 1 CPU 6 7 PRINT (WRITE(6) PRINT ) 0 (4-4-2 )
19 2-1 (3) (5) (1) (2) MPI (3) dbx Fortran PRINT (4) CPU UNIX prof gprof (5) 11
20
21 3 1 13
22 3 3-1 MPI 2 MPI MPI PVM (Parallel Virtual Machine) MPI MPI (Message-Passing Interface) 1995 ( [15] [27] ) MPI-1 MPI-1 MPI-2 MPI-1 MPI-1 MPI-2 MPI Fortran C ( Fortran ) MPI No! 128 MPI 20 ( 10 ) 20 14
23 3-1 MPI [15] [27] Fortran MPI Fortran C C [15] [27] C Fortran MPI ( MPI_TYPE_CREATE_RESIZED ) INTEGER(KIND=MPI_ADDRESS_KIND) N CALL MPI_xxx(,N, ) (1) Fortran 2 2 A(3,4) (2) (1) (2) 3 C Fortran 2 2 a[3][4] (2) (1) (Fortran) 2 A(3,4) (1) (C ) 2 a[3][4] (2) (Fortran) A(3,4) (2) (C ) a[3][4] 15
24 3 3-2 Fortran Fortran (1) (2) 3 SPMD (1) MPI (1) (2) mpif.h (2) 1 mpif.h /usr MPI mpif.h (1) MPI_xxx ( MPI_COMM_WORLD ) MPI PARAMETER MPI_xxx MPI PARAMETER MPI_ PMPI_ MPI (1) mpif.h 16
25 3-2 mpif.h (1) CALL MPI_ ( ) MPI MPI 1 INCLUDE mpif.h Fortran INCLUDE MPIF.H mpif.h (2) a ( USE IMPLICIT ) b MPI_STATUS_SIZE ( 3-4 ) MPI MPI_STATUS_SIZE a PARAMETER b a (3) c INCLUDE mpif.h MODULE (Fortran 90 ) (4-8-1 ) (2) (3) MPI_INIT MPI_INIT (1) 2 MPI MPI 1 MPI_INIT MPI_INIT ierror ( (1) IERR) MPI IERR IERR MPI MPI_SUCCESS ( mpif.h ) MPI MPI IERR IERR segmentation fault IERR IERR MPI_SUCCESS CALL MPI_ERROR_STRING MPI_FINALIZE MPI_FINALIZE (1) 6 MPI MPI 1 MPI_FINALIZE MPI_INIT MPI_FINALIZE MPI_FINALIZE (STOP END ) 1 MPI_FINALIZE 17
26 3 MPI_COMM_SIZE/MPI_COMM_RANK MPI_COMM_SIZE MPI_COMM_RANK mpirun -np 3 a.out MPI_COMM_WORLD ( MPI_COMM_WORLD MPI mpif.h PARAMETER ) IWORLD2 0 1 ( ) (1) 3 3 MPI_COMM_SIZE MPI_COMM_WORLD (1) 3 NPROCS 3 NPROCS IWORLD2 3 MPI_COMM_WORLD IWORLD2 NPROCS 2 1 (4-8-2 (1) ) (NPROCS) 1 (4-8-1 (5) ) (1) 4 MPI_COMM_RANK MYRANK 0 2 MYRANK IWORLD2 4 MPI_COMM_WORLD IWORLD2 MYRANK NPROCS MYRANK (2) (1) (NPROCS) (MYRANK) MPI 1 4 MPI_ABORT MPI_ABORT
27 SPMD CALL MPI_COMM_RANK (MYRANK) 1 MYRANK 1 MYRANK IF (1) MYRANK IF IF (1) (2) 19
28 3 2 MYRANK DO MYRANK DO (1) N 9 ISUM ( (2) ) DO DO I=1, DO I=1,3 DO I=4,6 DO I=7, (1) (2) MYRANK DO (3) 1 2 MYRANK ISTA IEND DO I=1,9 I=ISTA,IEND 3 ISUM (4) DO DO (9) (3) N1 N2 NPROCS (3) 1/n ( n ) ISUM ISUM (3)
29 (3) (4) 21
30 3 3-3 MPI (1) (2) 3 CALL MPI_BCAST (1) MPI_COMM_WORLD CALL MPI_BCAST MPI_COMM_WORLD (2) IWORLD2 IWORLD2 2 SPMD (2) (1) (2) 22
31 (1) A A B 1 2 B (2) (3) ( 2 B ) 0 B 1 2 B 0 1 MPI MPI_BARRIER MPI_BARRIER MPI_BARRIER (1) (2) (3) 23
32 MPI MPI (* MPI-2 ) ( 1) ( 3) ( 1) MPI_BCAST ( 2) MPI_GATHER MPI_SCATTER MPI_ALLGATHER MPI_ALLTOALL MPI_GATHERV MPI_SCATTERV MPI_ALLGATHERV MPI_ALLTOALLV *MPI_ALLTOALLW ( 3) MPI_REDUCE MPI_ALLREDUCE MPI_SCAN *MPI_EXSCAN MPI_REDUCE_SCATTER MPI_BARRIER MPI_OP_CREATE MPI_OP_FREE MPI-1 ( ) 24
33 MPI_BCAST MPI_BCAST (1) 4 IMSG 0 IMSG 1 4 IMSG 0 MPI_BCAST 0 IMSG IMSG MPI_BCAST (1) (2) (3) (1) (2) (3) 25
34 (2) 1 3 (NPROCS) (MYRANK) NPROCS IMSG 1 4 IMSG 0 5 IMSG MPI_BCAST 7 MPI_BCAST 1 (IMSG) MPI_BCAST 1 ( 0 ) ( 0 ) 7 IMSG (4) (5) 7 ( 6 8 ) IMSG (4) (5) (6) (7) (8) 26
35 3-3 MPI MPI_BCAST 2 3 MPI MPI (3-5 ) MPI Fortran (9) C (9) (1) (2) MPI_INTEGER (4) (5) (6) (7) (8) 1 ( ) MPI 2 1 MPI (3-5 ) 27
36 3 MPI_BCAST (1) 0 0 SPMD (2) CALL MPI_BCAST MPI_BCAST (10) 4 MYRANK MYRANK (10) MPI_BCAST (2) MPI_COMM_WORLD 5 CALL MPI_BCAST SPMD (2) CALL MPI_BCAST CALL MPI_BCAST SPMD (11) CALL MPI_BCAST (11) ( 0 IMSG KMSG) (11) (12) (11) (12) MPI Segmentation fault MPI MPI ( [15]) MPI MPI MPI_BCAST (ierror) MPI_SUCCESS 28
37 MPI_GATHER MPI_GATHER MPI_GATHER (1) MPI_GATHER MPI_GATHER MPI_BCAST MPI_GATHER 1 MPI _BCAST 1 1 MPI_BCAST (MPI_BARRIER ) 2 ( 2) V MPI_SCATTER(V) MPI_ALLGATHER(V) MPI_ALLTOALL(V)(W) ( 2) MPI_GATHER MPI_SCATTER MPI_ALLGATHER MPI_ALLTOALL MPI_GATHERV MPI_SCATTERV MPI_ALLGATHERV MPI_ALLTOALLV MPI_ALLTOALLW V (MPI_GATHER ) (1) (1) (2) V (MPI_GATHERV ) (1) (2) (2) (1) MPI_GATHER (2) MPI_GATHERV 29
38 3 ( 2) MPI_GATHER MPI_SCATTER MPI_ALLGATHER MPI_ALLTOALL MPI_GATHERV MPI_SCATTERV MPI_ALLGATHERV MPI_ALLTOALLV(W) ( 3) MPI_REDUCE MPI_ALLREDUCE MPI_SCAN MPI_REDUCE_SCATTER (4-5-7 ) ( (2) ) (1) A A ( (1) A(1) A(2) A(3)) 0 0 A A(1) 1 A(2) 2 A(3) MPI_GATHER (1) 0 MPI_GATHER (2) B MPI_SEND MPI_RECV (1) MPI-2 MPI_IN_PLACE (1) (2) 30
39 MPI_REDUCE MPI_REDUCE MPI_ALL REDUCE MPI_SCAN MPI_REDUCE_SCATTER MPI_REDUCE MPI_REDUCE (1) (2) (3) (1) (2) (3) 31
40 (1) N ISUM ISUM (15 24) MPI_GATHER MPI_REDUCE (2) MPI_REDUCE MPI (MPI ) (1) (2) (C 3-7 ) (2) 2 ISUM MPI_SUM (1) (2) MPI (1) (2) MPI MPI_SUM MPI_MAX MPI_MIN MPI_PROD MPI_MAXLOC MPI_MINLOC ( 1) MPI_INTEGER4 ( 2) MPI_REAL4 ( 3) MPI_REAL8 ( 4) MPI_COMPLEX16 MPI_DOUBLE_COMPLEX ( 5) MPI_2REAL (1) MPI_2INTEGER = {MPI_INTEGER, MPI_INTEGER} MPI_2REAL = {MPI_REAL, MPI_REAL} MPI_2DOUBLE_PRECISION = {MPI_DOUBLE_PRECISION, MPI_DOUBLE_PRECISION} (2) ( 1) (1) ( 1) DO MPI_REDUCE ( MPI_ALLREDUCE) MPI (2) 2 MPI_SUM MPI_REDUCE MPI_ALLREDUCE MPI_MAX (MPI_MIN) MPI_REDUCE MPI_ALLREDUCE 32
41 3-3 MPI_GATHER MPI-2 MPI_IN_PLACE (2) ISUM ITMP 4 ISUM ITMP 4 ISUM ISUM ITMP 3 ITMP ISUM ISUM DO a b c (a + b) + c = a + (b + c) (a + b) + c a + (b + c) A(1) A(8) (2 ) (4 ) (A) (B) (C) [ ] (A) A(1) + A(2) + A(3) + A(4) + A(5) + A(6) + A(7) + A(8) (B) (2 ): [A(1) } + A(2) {{ + A(3) + A(4) } ] + [A(5) } + A(6) {{ + A(7) + A(8) } ] 0 1 (C) (4 ): [A(1) }{{ + A(2) } ] + [A(3) }{{ + A(4) } ] + [A(5) }{{ + A(6) } ] + [A(7) }{{ + A(8) } ] (C) MPI_REDUCE (MPI_SUM ) [1] [2] (CG ) DO (2 ) (4 ) [2] (4 ) MPI_ALLREDUCE MPI_ALLGATHER MPI_ALLREDUCE 33
42 MPI_MAXLOC/MPI_MINLOC (1) MPI_MAXLOC MPI_MINLOC (2) DO (1) N (IMAX = 90) (LOC = 4) (3) 2 N (ISTA IEND) 4 MPI_REDUCE MPI_MAX 1 2 ISEND 3 ISEND 1 2 (IMAX) (ILOC) 4 MPI_MAXLOC MPI_2INTEGER (1) 0 IRECV 1 2 MPI_MAXLOC MPI_MAXLOC (1) 2 MPI MPI_2INTEGER C MPI MPI (MPI_FLOAT_INT ) (3-7 ) Fortran MPI (4) 1 MPI (1) MPI_2REAL MPI_2DOUBLE_PRECISION ( ) (4) (1) (2) (3) 34
43 (1) (2) (0 1) 2 = 0 (1 2) (0 1) [ ] (0 1 = 1 0 ) TRUE..TRUE. 0 (1 2) (1 2) 0 1 (0 2) (0 2) 1 2 (0 1) (0 1) 2 0 (2 1) (2 1) 0 1 (2 0) (2 0) 1 2 (1 0) (1 0) 2 [ ] ( ) FALSE. 3 A B C (A B) C = A (B C) A B B A 0 (1 2) (0 1) 2 ( (1) MPI_SUM ) MPI MPI_OP_CREATE EXTERNAL 2 [ ].TRUE. [ ].FALSE. 3 3 ( (1) MPI_SUM ) 2 MPI ID ISUM ISUM COMMON MODULE 3 4 IN INOUT LEN ITYPE C 4 ANSI-C ( [15] [27] ) typedef void (void *invec, void *inoutvec, int *len, MPI_Datatype *datatype); 35
44 3 SAMPLE.TRUE. 2 2.TRUE. 5 IN INOUT 3 4 IN INOUT ( 3 ISEND) ( (1) (2) ) LEN 3 3 ( 1) ITYPE 3 4 ( MPI_INTEGER) Fortran 6 IN INOUT (1) (2) INOUT INOUT 4 MPI MPI_ABORT.FALSE. 2 2.FALSE..TRUE. ( ISEND ) IN INOUT (3) (4) IN INOUT 6.FALSE (1) (3) (2) (4) 36
45 3-3 MPI Fortran MPI_REDUCE MPI_MAXLOC MPI_MAXLOC (2) (1) A I KOUZOUTAI (2) 1 X XX 4 9 PARA_MAXLOC MPI_MAXLOC XINOUT (1) (60.) (9 6) MPI_MAXLOC (6) PARA_MAXLOC IMAXLOC MPI 3 6 (3-5-4 ) IKOUZOU IKOUZOU 8 7 X 8 IMAXLOC MPI_REDUCE (1) ( 60.0) ( 9 6 6) 0 XX (1) (2) 37
46 (1) 2 Z ( 60.0) MPI_REDUCE MPI_MAXLOC 1 2 MPI_MAXLOC (3) (2) 1 J 3 2 (3-5-4 ) 4 J (60.) (2) MPI_MAXLOC FALSE. 5 XIN XINOUT (1) (2) (3) 38
47 (1) MPI ( [15] [27]) MPI_SUM MPI_PROD (MPI_COMPLEX16 MPI_DOUBLE_COMPLEX) (1) (2) (1) (2) 4 1 MPI_REDUCE 2 1 (4-1-2 ) (1) (2) (1) (2) 39
48 ( 1 1 ) MPI_SEND MPI_RECV SPMD 1 1 MPI 1 2 MPI ( MPI_SEND) MPI_SEND MPI ( MPI_RECV) MPI_RECV
49 MPI 1 1 MPI 1 1 MPI_SEND MPI_RECV MPI_SENDRECV MPI_ISEND MPI_IRECV + MPI_WAIT + MPI_WAIT (MPI_SEND) MPI_SEND MPI_SEND MPI_SEND MPI_SEND 4 2 MPI_SEND MPI_SEND buf buf 2 MPI_RECV ( MPI_IRECV) MPI_ISEND
50 3 (MPI_ISEND) MPI_ISEND MPI_WAIT MPI_ISEND MPI_WAIT MPI_ISEND 4 2 MPI_SEND MPI_WAIT 6 MPI_ISEND 2 MPI_WAIT 3 (ID) MPI_ISEND 3 request request 3 5 MPI_ISEND MPI_WAIT MPI_ISEND MPI_WAIT request MPI_WAIT MPI_ISEND MPI_WAIT MPI_SEND MPI_ISEND 2 (1) (1) MPI_SEND MPI_ISEND + MPI_WAIT 2 (3-4-4 ) (2) CPU CPU ( 2 2 )
51 (MPI_RECV) MPI_RECV MPI_RECV buf MPI_RECV 2 6 MPI_RECV buf buf
52 3 (MPI_IRECV) MPI_IRECV MPI_WAIT MPI_IRECV MPI_WAIT MPI_IRECV 3 8 MPI_RECV buf 8 4 MPI_WAIT 5 MPI_IRECV 3 MPI_WAIT 2 (ID) MPI_IRECV 2 request request 2 4 MPI_IRECV MPI_WAIT MPI_IRECV MPI_WAIT request MPI_WAIT MPI_IRECV MPI_WAIT MPI_RECV MPI_RECV MPI_IRECV + MPI_WAIT MPI_ISEND 2 (3-4-4 ) ( CPU CPU )
53 (1) 0 ISEND 1 IRECV (1) SPMD 1 1 MPI_SEND MPI_ISEND MPI_RECV MPI_IRECV MPI_SEND MPI_ISEND MPI_RECV MPI_IRECV (2) (2) 45
54 MPI_(I)SEND MPI_SEND MPI_ISEND MPI_WAIT
55 (1) MPI_SEND (2) 2 MPI_ISEND MPI_WAIT (3) 3 MPI_WAIT (1) (2) (3) MPI_SEND MPI_SEND (1) (2) 1 4 MPI_(I)RECV (3) (2) 1 MPI_SEND 0 2 [2] 4 MPI_(I)RECV 0 MPI_SEND (2) 0 1 MPI_SEND 4 4 MPI_(I)RECV MPI_SEND MPI_ISEND MPI_WAIT (3) MPI_ISEND MPI_(I)RECV
56 (1) MPI_RECV (2) 2 MPI_IRECV MPI_WAIT (3) 3 MPI_WAIT (1) (2) (3) MPI_RECV (1) 1 4 MPI_(I)SEND (2) (1) 1 MPI_RECV 0 2 [1] 4 MPI_(I)SEND 0 MPI_RECV (1) 0 1 MPI_RECV 4 4 MPI_(I)SEND MPI_RECV MPI_IRECV MPI_WAIT (3) MPI_IRECV MPI_(I)SEND
57 (1) (1) ( MPI_WAIT ) IF (2) (2) (1) (2) (2) (1) MPI_SENDRECV 1 1 MPI_SENDRECV (1) (2) ( ) MPI_SEND MPI_RECV MPI_ISEND MPI_IRECV MPI_SENDRECV (1) (2) 49
58 ( ) (MPI_SEND ) 2 1 MPI (4-6-2 ) (1) (2) ( 1 3) (1) (2) 50
59 (1) 0 A 1 B (1) (2) MPI (1) 0 A TEMP 1 TEMP B TEMP (2) TEMP (1) (2) (1) (2) 51
60 (1) IBUF MPI INEWTYPE1 MPI_INTEGER MPI MPI (3-3-4 ) INEWTYPE1 INEWTYPE1 MPI_BCAST (1) IBUF(4) 1 INEWTYPE1 0 IBUF IBUF (1) (2) INEWTYPE2 IBUF(4) 3 INEWTYPE (2) (3) (3) 52
61 MPI MPI MPI_TYPE_SIZE MPI (MPI_INTEGER ) (1) MPI_TYPE_CONTIGUOUS ( 3 ) (2) MPI_TYPE_VECTOR/MPI_TYPE_HVECTOR (2) (5) (1 ) MPI_TYPE_VECTOR MPI_TYPE_HVECTOR (3) MPI_TYPE_CREATE_INDEXED_BLOCK MPI-2 ( (7) ) ( ) (4) MPI_TYPE_INDEXED/MPI_TYPE_HINDEXED ( (7) ) MPI_TYPE_INDEXED MPI_TYPE_HINDEXED 53
62 3 (5) MPI_TYPE_STRUCT ( (7) ) (3-5-4 ) (6) MPI_TYPE_COMMIT (2) (1) MPI_TYPE_CONTIGUOUS 2 MPI_TYPE_COMMIT MPI 1 1 MPI_TYPE_COMMIT (7) MPI (MPI_INTEGER ) (1) (2) (8) (9) (3) (4) (5) (1) 2 MPI_TYPE_CONTIGUOUS (1) (2) (8) (9) (1) (2) 54
63 3-5 (8) (1) (MPI_TYPE_STRUCT ) (5) MPI_TYPE_STRUCT (3) 1 0 MPI_LB (LB Lower Bound ) 1 0 MPI_UB (UB Upper Bound ) 2 MPI_TYPE_CONTIGUOUS (3) (3) MPI (MPI_INTEGER ) (1) (4) (1) (4) (4) MPI_TYPE_STRUCT MPI_LB MPI_UB (3) (4) (9) (2) (MPI_TYPE_CREATE_RESIZED ) MPI-2 MPI_TYPE_CREATE_RESIZED MPI (MPI_INTEGER ) (1) (5) (5) (7) (3) (4) (5) (6) (6) MPI_TYPE_CREATE_RESIZED (5) (6) 55
64 (1) 0 Fortran 2 1 (C ) (3-1 ) (2) (3) (4) (4-5-7 ) (5) (6) 1 ( 1 ) (6) (7) (1) (2) (3) (4) (1) (5) (6) (7) (2) (2) (3) (6) (7) (2) (3) (6) (7) (1) (2) (1) (2) MPI 1 MPI-2 MPI_TYPE_CREATE_SUBARRAY MPI-2 MPI_TYPE_CREATE_SUBARRAY (Fortran ) MPI_TYPE_CREATE_SUBARRAY MPI-1 MPI-2 MPI-2 MPI_TYPE_CREATE_SUBARRAY 56
65 MPI_TYPE_CREATE_SUBARRAY MPI-2 MPI_TYPE_CREATE_SUBARRAY (1) N(2:5,-1:4) (2) MPI_TYPE_CREATE_SUBARRAY MPI (2) 1 MPI_TYPE_CREATE_SUBARRAY (1) ISIZE ISUBSIZE 4 [0] ( (1) ) ISTART 5 2 C MPI_ORDER_C 5 N INEWTYPE 6 INEWTYPE MPI INEWTYPE 7 INEWTYPE N ( N(2,-1)) 7 3 N 1 INEWTYPE (1) (2) 57
66 MPI_TYPE_CREATE_SUBARRAY MPI-2 MPI-2 MPI-1 (Fortran ) PARA_TYPE_BLOCK2A PARA_TYPE_BLOCK2 PARA_TYPE_BLOCK2A (1) 2 N INEWTYPE PARA_TYPE_BLOCK2A (2) (1) PARA_TYPE_BLOCK2A (1) INEWTYPE ( MPI_TYPE_CREATE_SUBARRAY ) INEWTYPE 2 N(3,1) 2 3 N(3,1) 1 INEWTYPE (1) (2) PARA_TYPE_BLOCK2 MPI_TYPE_BLOCK (2) (1) (1) INEWTYPE N ( MPI_TYPE_CREATE_SUBARRAY ) INEWTYPE 4 N ( N(2,-1)) 2 3 N 1 INEWTYPE (1) (2) 3 PARA_TYPE_BLOCK3A PARA_TYPE_BLOCK3 58
67 (2) (4) MPI_TYPE_SIZE MPI_TYPE_EXTENT MPI_TYPE_SIZE (MPI_TYPE_EXTENT ) PARA_TYPE_BLOCK2A ioldtype 2 (imin:imax, ) ilen jlen 2 inewtype MPI CALL PARA_TYPE_BLOCK2A(imin, imax, ilen, jlen, ioldtype, inewtype) imin: 2 1 imax: 2 1 ilen: 2 1 jlen: 2 2 ioldtype: MPI_INTEGER inewtype: (1) 59
68 3 PARA_TYPE_BLOCK (2) MPI_TYPE_SIZE MPI_TYPE_EXTENT MPI_TYPE_SIZE (MPI_TYPE_EXTENT ) ioldtype 2 (imin:imax, jmin: ) (ista:iend, jsta: jend) inewtype MPI CALL PARA_TYPE_BLOCK2(imin, imax, jmin, ista, iend, jsta, jend, ioldtype, inewtype) imin: 2 1 imax: 2 1 jmin: 2 2 ista: 2 1 iend: 2 1 jsta: 2 2 jend: 2 2 ioldtype: MPI_INTEGER inewtype: (2) 60
69 3-5 PARA_TYPE_BLOCK3A (3) MPI_TYPE_SIZE MPI_TYPE_EXTENT MPI_TYPE_SIZE (MPI_TYPE_EXTENT ) ioldtype 3 (imin:imax, jmin:jmax, ) ilen jlen klen 3 inewtype MPI CALL PARA_TYPE_BLOCK3A(imin, imax, jmin, jmax, ilen, jlen, klen, ioldtype, inewtype) imin: 3 1 imax: 3 1 jmin: 3 2 jmax: 3 2 ilen: 3 1 jlen: 3 2 klen: 3 3 ioldtype: MPI_INTEGER inewtype: (3) 61
70 3 PARA_TYPE_BLOCK (4) MPI_TYPE_SIZE MPI_TYPE_EXTENT MPI_TYPE_SIZE (MPI_TYPE_EXTENT ) ioldtype 3 (imin:imax, jmin:jmax, kmin: ) (ista: iend, jsta:jend, ksta:kend) 3 inewtype MPI CALL PARA_TYPE_BLOCK3(imin, imax, jmin, jmax, kmin, ista, iend, jsta, jend, ksta, kend, ioldtype, inewtype) imin: 3 1 imax: 3 1 jmin: 3 2 jmax: 3 2 kmin: 3 3 ista: 3 1 iend: 3 1 jsta: 3 2 jend: 3 2 ksta: 3 3 kend: 3 3 ioldtype: MPI_INTEGER inewtype: 62
71 (4) 63
72 MPI (MPI_INTEGER ) (1) (2) (1) KOUZOUTAI 2 WORK 3 8 WORK IKOUZOU MPI MPI_TYPE_STRUCT MPI_TYPE_STRUCT (1) KOUZOUTAI 3 3 MPI_TYPE_STRUCT 3 (= ) [ 1] 4 2 [ 2] 8 1 [ 3] IBLOCK 5 IDISP ( (1) ) 6 ITYPE 7 MPI MPI_TYPE_STRUCT IKOUZOU KOUZOUTAI 8 IKOUZOU MPI IKOUZOU MPI 9 0 WORK 10 IKOUZOU 10 WORK(2) 2 CALL MPI_BCAST (WORK,2,IKOUZOU, ) (1) (2) 64
73 MPI MPI_COMM_WORLD 3-1 MPI MPI_COMM_SPLIT MPI_COMM_SPLIT MPI_COMM_SPLIT ( 1995 ) MPI ( ) MPI_COMM_SPLIT ( IKOUZOU) ( IRYUTAI) ( 0 1 2) IKOUZOU MPI_COMM_WORLD
74 3 3-7 C MPI C MPI MPI_BCAST C Fortran C MPI Fortran MPI Fortran C C [15] [27] C C MPI [37] [38] C MPI MPI (MPI_COMM_WORLD ) Fortran C Fortran ierror C MPI int ierr; ierr = MPI_Finalize(); Fortran mpif.h C mpi.h Fortran INTEGER ISTATUS(MPI_STATUS_SIZE) C MPI_Status istatus; MPI 66
75 3-7 C MPI C MPI MPI MPI_FLOAT_INT (Fortran MPI _2REAL ) 2 (3-3-6 ) (1) (2) MPI_FLOAT_INT = {MPI_FLOAT, MPI_INT} MPI_DOUBLE_INT = {MPI_DOUBLE, MPI_INT} MPI_LONG_INT = {MPI_LONG, MPI_INT} MPI_2INT = {MPI_INT, MPI_INT} MPI_SHORT_INT = {MPI_SHORT, MPI_INT} MPI_LONG_DOUBLE_INT = {MPI_LONG_DOUBLE, MPI_INT} 67
76 3 3-8 MPI MPI MPI-2 MPI MPI_IN_PLACE ( 2) MPI_GATHER MPI_SCATTER MPI_ALLGATHER MPI_ALLTOALL MPI_GATHERV MPI_SCATTERV MPI_ALLGATHERV MPI_ALLTOALLV MPI_ALLTOALLW ( 3) MPI_REDUCE MPI_ALLREDUCE MPI_SCAN MPI_EXSCAN MPI_REDUCE_SCATTER MPI-2 MPI_ALLREDUCE (1) S MPI_ALLREDUCE (2) SS S SS MPI (1) 1 MPI-2 MPI_IN_PLACE (2) S MPI_ALLREDUCE S SS MPI_IN_PLACE MPI_IN_PLACE MPI MPI-2 MPI_IN_PLACE MPI-2 MPI MPI-2 MPI_IN_PLACE MPI_IN_PLACE (1) (2) (1) (2) 68
77 4 3 69
78 (%) P (%) ( 75%) ( P (%) N ( 3 ) 100 P (%) P (%) N P/N (%) (100 P ) + P/N (%) 1 N (1) (2) (1) (2) (1) 70% % % % N (3) 80% (1) (2) (3) 70
79 (1) 4 80% % 1 15% 4 25% (1) (1) (2) (3) (1) SOR (5-6 ) (4-6-9 ) (2) (DO 4 1/4 ) (3) CPU ( 3 3 ) (2) ( [6] 4 ) (3) (2) (3) 71
80 (latency) (1) 2 (1) A 1 (I ) ( ) (a) (b) 1 I/O CPU
81 4-1 MPI (3-5 ) (1) DO CALL MPI_BCAST DO (2) DO (1) (2) (2) 2 (2) (1) (2) (2) (2 ) (3 ) (1) (2) 73
82 (1) n αn 2 βn 2 n 2 I/O α β / = β/α (1) (2) 1 βn n / = β/αn n (1) (2) % 20% 2 1/2 4 1/ CPU
83 MPI DO DO (1) (2) A(1) 4-8 (2) (1) (2) A(1) (2) (2) 1 0 A(2) A(2) DO ( (1) (4-6-9 )) S = S + A(I) X = MAX(X,A(I)) (4-6-4 ) (1) (1) (2) (2) 75
84 4 DO (1) A(I) A(I-1) (2) ( DO I=10,1,-1) DO (1) (2) DO (1) 1/n (2) (3) (1) (2) (3) 76
85 4-2 (2) DO DO (2) (1) (2) (3) I/O DO I/O DO ( I/O DO ) (2) I/O I/O (1) (2) (4) (1) 1 3 DO (1) (2) (2) ( 3 ) (1) (2) 77
86 4 4-3 DO (1) A 2 A 1 3 W A DO (2) 5 5 1/n 5 A 5 6 A ( (4) ) MPI_ALLGATHER(V) ( ) 6 ( 2 ) W W (4) n n
87 (1) (2) (3) (4) 79
88 4 2 DO (1) (1) (2) ( (4)) /n A B CALL SHIFT ( ) B ( 4 ) 5 B ( OpenMP ) MPI 2 2 DO OpenMP MPI 80
89 (1) (2) (3) (4) 81
90 (1) (1) DO (2) (1) (3) (2) (3) (1) (2) (3)
91 4-3 ( 1 m 2 m... ) (2) (3) 83
92 (READ ) MPI ( 5 ) (1) (3) READ (1) (3) (2) rcp (2) (1) (2) (3) 84
93 (1) (2) 0 MPI_BCAST (3) (4) 0 MPI_SCATTER MPI_SCATTER X Y Y ( ) (1) (3) (2) (4) (5) (6) 0 0 STOP (7) MPI_ABORT (8) STOP MPI_ABORT (5) (6) (7) (8) 85
94 (1) [1] [2] (2) NFS [1] [2] [2] (2) (1) (1) (2) (1) (2) 86
95 (1) (2) (3) (4) (5) (4) (2) (1) (3) (5) MPI MPI-2 MPI-IO I/O MPI-1 MPI-IO 87
96 (WRITE PRINT ) (1) (WRITE(6) PRINT ) (2) (3) (1) MPI (1) (2) (3) (1) (2) (1) (2) MPI_GATHER(V) 0 0 MPI_GATHER Y Y 0 X ( ) X (4-5-7 ) (2) (1) (1) (2) 88
97 (1) 10 1 err= (2) 10 1 err= ( 1) (3) 9 MPI_BARRIER ( 1 ) (1) (2) (3) (1) [1] (2) [2] cat 1 NFS [1] [2] [2] (2) (1) 89
98 (1) (2) (1) (2) 4 6 MPI-2 MPI-IO I/O MPI-1 MPI-IO 90
99 I/O CPU I/O 4-2 I/O I/O I/O I/O WRITE 0 IF WRITE IF IF MPI_FINALIZE ( MPI_FINALIZE )
100 DO DO (1) (3) = (1) DO A B C 1 1 ( (2) ) (3) N DO A (4) DO (5) A DO (1) 1 1 DO (3) (4) (1) (2) (3) (4) (5) 92
101 / (1) 2 1 (4-5-8 ) (1) (2) 1 (4-5-8 ) (2) (3) (4-5-3 ) (3) 93
102 (4) (4) (1) (5) (4-5-7 ) A B A B ( [6] ) (6) (5) (6) (2) (5) (6) 94
103 (2) (2) (1) (2) (3) (3) (2) (1) (2) (3) 95
104 (1) (1) (2) (1) (2) (3) (4) (5) (3) (4) (5) 96
105 (1) ( 5-3 LU ) (2) (1) (2) (1) (12) (1) (2) (1) (2) 97
106 DO ( (1)) (2) DO (1) (2) ( 0 3) (1) (3) (4) (3) (3) (4) (2) (5) (6) ( 2) (5) (6) (3) (5) 98
107 4-5 n1 (= 1) n2 (= 20) nprocs (= 4) irank (= 0) ista (= 1) iend (= 5) (1) (2) CALL PARA_RANGE(, n2, nprocs, irank, ista, iend ) n1 }{{} 1 }{{} 20 }{{} 4 }{{} 0 }{{} 1 }{{} 5 n1: n2: nprocs: irank: 0 irank (nprocs-1) ista: irank iend: irank (1) (2) 2 1 (IEND-ISTA+1) (4-8-2 (2) ) (4-8-1 (5) ) 99
108 (1) A(1) A(N) (N = 1000) PARA_RANGE ( 1) (2) (3) (1) (3) (2) (4) 1 ISTA IEND (5) ( (6) ) (4) (5) (6) 100
109 (1) DO NPROCS (2) (3) MYRANK+N1 1 NPROCS (1) (3) (2) 2 DO I=N1,N (4) (5-3 ) 1 I (MAP) 1 2 DO 3 IF 1 (MYRANK) 4 4 DO 3 IF 4 DO 3 IF (4) MAP (5) (4) (5) 101
110 (IRANK) (6) (1) (1) (2) 102
111 (1) DO NPROCS (2) (3) 1 IBLOCK ( 2) (2) DO II (3) DO I (1) (3) (2) 2 2 (MAP) (4) MAP (5) IF (4) (5) 103
112 (6) (7) MAP ICOUNT (6) 2 MAP ICOUNT (6) (7) 104
113 (1) 256 MB (1) 256 MB A (2) A 1/ (3) A (1) (1) (2) (3) 105
114 Fortran 90 ( [6] 2-6 ) (ALLOCATE ) (DEALLOCATE ) (1) DO N1 N (2) 3 A (1) 106
115 (2) (3) (2) (3) /2 = /4 = 25 A 5 (NCPU) 6 7 A NCPU (NCPU) mpirun -np 3 a.out (NPROCS) (2) 1 3 (ISTA IEND) A I I ISTA A ISTA-ISTA (2) 2 1 I I (2) (3) 107
116 (3) (2) 1 3 A A (4) (4) (3) IEND-ISTA A I I 13 1 I I = 1 14 I+ISTA-1 ISTA 9 I = ISTA 10 ISTA (3) (4) (3) DO (4) STA IEND-STA (4) 108
117 4-5 3 Fortran 90 (C malloc ) (1) [6] REAL*8 A B 1 A(:) 2 B(:,:) 2 A B IMAX JMAX IMAX JMAX 3 A B A B 3 IERR ALLOCATE 3 A B A B (2) (1) (2) COMMON COMMON Fortran 90 MODULE USE MODULE COMMON INCLUDE USE INCLUDE (3) 7 MODULE ( COM) MODULE END USE MODULE USE ( [6] 2-6 ) USE MODULE END INCLUDE USE MODULE END IMPLICIT MODULE END USE IMPLICIT 109
118 4 8 IMAX JMAX SUB IMAX JMAX MODULE COMMON INCLUDE INCLUDE (3) (1) (1) (1) 1 A 2 (ISTA) (IEND) 3 1 A(ISTA:IEND) (2) A (3) (4) DO (2) 110
119 (1) (1) (1) (2) (1) (1) (2) 111
120 (I/O ) I/O (1) A B 1 2 A B (2) (1) (2) DO (1) (2) 5 A (3) (1) (2) (3) 112
121 4-5 (3-5 ) (1) 2 A(6,2) (1) PARA_TYPE_BLOCK2A (1) ITYPE (2) 3 PARA_TYPE_BLOCK2 (MPI-2 MPI-2 MPI_TYPE_CREATE_SUBARRAY ( ) ) (2) ITYPE A (3) (3) 5 6 A (1) (1) (2) (2) (3) (3) 113
122 (I/O ) I/O (1) 1 X(2,6) 2 1 WRITE (2) READ Y(2,6) 4 2 X Y (1) (2) (1) MPI-IO temp temp 2 ( 3 ) (1) X (1) (2) (1) (2) (3) (1) (1) [1] X(2,6) PARA_RANGE 2 JJSTA JJEND [2] 2 JSTA JEND [3] X [4] [5] 0 ( (2) [5] ) (1) X 1 WRITE [5] 1 [6] DO IRANK = ( 0 ) [11] 0 0 [7] 1 temp [8] [9] 10 [10] temp [6] DO IRANK = 2 2 [5] [9] 1 WRITE (1) (2) 1 WRITE 1 ( 3 3 ) (1) (2) (1) 114
123 (2) (1) (2) (1) (2) (3) (2) 115
124 (1) 1 temp 1 temp (1) (2) temp (2) (1) (2) (1) (1) (1) [1] 2 [2] 2 JSTA JEND [3] Y [4] 1 [5] Y 1 [6] (1) (2) (1) (2) (2) (2) 116
125 DO (1) (2) Fortran 2 A A(1,1) A(2,1) (1) C (2) ( [6] 4 ) (1) (2) (1) ( 1/n ) J (1) I (2) (2) (1) (1) (1) (2) 117
126 (1) (2) A B (3) J (4) I 3 Z DO X Y Z (1) (2) (3) (4) (5) (6) (7) (8) (5) (6) (7) (8) 118
127 (1) (2) A B I J (3 ) (3 ) I J (3) J (4) I (1) (2) (3) (4) 119
128 4 2 I J I J (1) (2) (3) ( 2 1 ) 2 ( 4 2 = 8) (1) (2) (3) 120
129 /n (1) DO A DO 1 A(6) (4) (2) (5) A(6) 2 ( 0 1 ) (3) DO 2 2 A(6) DO 1/n ( n ) DO (1) (2) (3) (4) (5) (6) 121
130 (1 ) (1) 1 A 2 A B (2) 3 A B (3) 1 1 A(5) A(8) 2 B(5) B(8) 2 A(4) A(9) A(4) 1 0 A(9) A(4) 0 A(9) 2 1 A(5) 0 A(8) A(4) A(9) (2) (1) (3) (1) (1) (4) ( (1) (4) 6 9 ) A B (3) A B A ( 1 ) 1 N B ( 2 ) 2 N-1 A B 122
131 (1) 3 PARA_RANGE (4-5-4 ) A (1 N) A ( 1 ) (ISTA) (IEND) 3 B ( 2 ) (ISTA2) (IEND1) (3) ISTA2 ISTA IEND2 IEND 0 ISTA2 ISTA 2 IEND1 IEND 0 ISTA IEND ISTA2 IEND (3) A B B (N) 3 ISTA IEND ISTA2 IEND (1) (1) (4) (1) 4 IUP IDOWN ( NPROCS-1) IUP MPI_PROC_NULL ( MPI_ISEND MPI_IRECV ) ( 0) IDOWN MPI_PROC_NULL (1) IUP (4) A(IEND) 8 IDOWN (4) A(ISTA-1) MPI_WAIT MPI_WAIT ISTATUS ISTATUS (1) DO A(I-1) A(I+1) A(I-1) (4) 6 8 MPI_WAIT (1) (1) (2) MPI 1 1 MPI_SENDRECV (3) (3) (2) (1) 123
132 (2) (3) (1) (4) 124
133 (1) 1 A(1) (2) A(1) 0 2 IF (1) (2) (1) (1) (2) A(0) A(1) 0 A(N) A(N+1) (2) ( ) (2) 1 4 ElSEIF (3) ELSEIF IF (3) ( 1 ) (4) (4) WAIT WAIT WAIT 15 ( ) (5) WAIT (5) (6) (1) (3) (4) (2) 125
134 (1) (4) (2) (5) (3) (6) 126
135 MPI_GATHERV 0 (4-4-2 ) ( 1) MPI-2 MPI_IN_PLACE (1) 0 A (3-3-5 ) (2) B MPI-2 MPI_IN_PLACE (3-8-1 ) (MPI-2 ) (3) M N 2 A 2 MPI_GATHER MPI_GATHERV (4) [1] 2 0 [2] [3] MPI_GATHERV ( MPI_IN_PLACE ) [2] MPI_IN_PLACE [3] [3] IRCNT(i): i IDISP(i): i (0 8 (14)) (1) (2) (3) (4) 127
136 4 ( 2) MPI-2 MPI_IN_PLACE MPI-2 MPI_IN_PLACE 1 B A MPI_GATHERV (2) [1] JJSTA(i): i 2 JJLEN(i): i [2] [3] MPI_GATHERV (1) 0 [3] 0 0 [2] A [2] DO (1) (2) 128
137 4-6 ( 3) (1) A 1 (Fortran ) (3) [1] MPI_TYPE_CREATE_SUBARRAY ( ) (MPI-2 ) i ITYPE(i) ( (2) ) 1 MPI_GATHERV 1 2 [2] MPI_IRECV IRANK A 1 ITYPE(IRANK) [3] MPI_ISEND A 1 ITYPE(MYRANK) (1) (2) (3) 129
138 MPI_ALLGATHERV (4-8-1 ) ( 4) MPI-2 MPI_IN_PLACE (1) A (3-3-5 ) (2) B 1 MPI-2 MPI_IN_PLACE (3-8-1 ) (MPI-2 ) (3) M N 2 A 2 MPI_ALLGATHER MPI_ALLGATHERV (4) [1] 2 [2] MPI_ALLGATHERV ( MPI_IN_PLACE ) [2] MPI_IN_PLACE IRCNT(i): i IDISP(i): i (0 8 (14)) (1) (2) (3) (4) 130
139 4-6 ( 5) MPI-2 MPI_IN_PLACE MPI-2 MPI_IN_PLACE 4 B A MPI_ALLGATHERV MPI_BCAST (2) [1] JJSTA(i): i 2 JJLEN(i): i [2] MPI_ALLGATHERV (1) MPI_BCAST [2] (1) (2) 131
140 4 ( 6) (1) A 1 (Fortran ) (3) [1] MPI_TYPE_CREATE_SUBARRAY ( ) (MPI-2 ) i ITYPE(i) ( (2) ) 4 MPI_ALLGATHERV 1 5 [2] MPI_BCAST ( IRANK) A 1 ITYPE(IRANK) IRANK A 1 ITYPE(IRANK) (1) (2) (3) 132
141 MPI_ALLTOALLV FFT ADI (6 ) FFT (4-6-7 ) (4-6-8 ) (1) A (2) B ( A) 1 A B ( A) (1) (2) (1) (2) 133
142 MPI MPI_ALLTOALLV (4-5-7 ) (1) (3-5 ) (1) ISTYPE(i) i IRTYPE(i) i MPI_ALLTOALLV (sendtype recvtype) 1 MPI-2 MPI_ALLTOALLW (MPI-2 ) (2) A A B (3-3-5 ) A A A B (MPI_ALLTOALLW MPI-2 MPI_IN_PLACE (3-8 ) ) (1) (1) [1] (1) PARA_TYPE_BLOCK2 (MPI-2 MPI-2 MPI_TYPE_CREATE_SUBARRAY ( ) ) ISTYPE IRTYPE [2] MPI_ALLTOALLW ISCNT(i) i IRCNT(i) i 1 ISDISP(i) A i IRDISP(i) B i ISTYPE IRTYPE A B (3-5-3 ) 0 [3] B (2) B A A (2) [5] (1) (1) ISTYPE IRTYPE [6] [7] [8] IREQ1 IREQ2 [4] [9] [7] [8] MPI_WAIT (2) (3) [10] I = (2) 1 ( 2 0 ) 1 [10] I = (2) 2 2 [10] I (3) MPI_SENDRECV (4-6-2 ) (4) 134
143 (2) (1) (3) (4) 4 135
144 (1) (2) (2) 2 3 MPI_SUM MPI_REDUCE MPI_ALLREDUCE SUM1 SUM2 MPI_ALLREDUCE SUM1 SUM2 MPI_ALLREDUCE WORKS WORKR (2) 4 MPI_MAX (MPI_MIN) MPI_REDUCE MPI_ALLREDUCE MPI_ALLREDUCE 10 MPI_REDUCE (1) (2) 136
145 (3) (4) 1 MPI_REDUCE 2 1 MPI_REDUCE 3 SUM3 TEMP SUM3 MPI_REDUCE SSUM3 TEMP SUM (3) (4) 137
146 (1) I ( 1 ) (2) 1 0 A(1) 3 A(1) 1 2 A(1) A(1) ( (4) ) (3) 1 2 A(1) 2 0 A(1) (5) 1 2 A(1) 0 A(1) 4 TEMP 5 6 TEMP (1) (2) (3) (4) (5) 138
147 MPI_(ALL)REDUCE (4-6-4 ) (1) DO (2) MAP MAP (3) MAP DO 3 DO X (4) X (4) MPI_GAHTERV 0 0 X MPI_TYPE_CREATE_INDEXED_BLOCK (2) (1) (3) (4) (5) (7) (5) 1 X 2 3 X MPI_REDUCE X 0 XX (4) MPI_REDUCE X XX ( MPI-2 MPI_IN_PLACE ) 139
148 (5) 1 X (6) 4 X (5) (6) (7) (1) (3) (4) (4) (1) (2) (3) 140
149 (1) (2) (1) A X A X ( IND ) A X (3) A X A (5) A MPI_ALLTOALLV A A X (3) (1) (2) (4) 141
150 (4) (6) (4) 1 X 2 A X 4 MPI_REDUCE_SCATTER (MPI_REDUCE MPI_SCATTER ) MPI_REDUCE X (6) MPI_SCATTER 2 ( 3 ) XX (5) MPI_REDUCE_SCATTER X XX ( MPI-2 MPI_IN_PLACE ) (5) (6) 142
151 (ICCG ) (1) (2) (2) ICCG (5-4-1 ) (1) (2) (1) (2) (1) (2) 143
152 (1) X (IBLOCK) ( ) (1) 0 1 (2) (3) (1) [1] 2 JSTA JEND [3] 1 IBLOCK IBLOCK [4] II II 1 1 ( ) [5] IBLKLEN IBLKLEN IBLOCK MX IBLOCK IBLOCK [6] [8] (1) ( 0) 1 ( 2 ) ( [6]) (2) 3 ( [7]) (3) 1 ( 3) ( 2) ( [8]) 1 ( 0 2 ) [2] 144
153
154 4 1 2 ( (2) (4)) (3) (1) (2) (4) (IBLOCK) (1) (2) (3) (1) (3) (1) (2) (3) (1) (3) (3) IBLOCK (1) (2) (3) 146
155 (ADI ) [31] ADI DO (1) (4) 1 ( ) 2 ( ) X DO 3 4 DO X (1) (2) (1) (3) (2) (4) (1) (2) 147
156 (1) (1) (4) (1) (1) 1 IUP IDOWN (2) (1) (2) II JJ JJJ JJ II III III JJJ (3) (1) I J ISTA IEND JSTA JEND PARA_RANGE (4) (5) PARA_TYPE _BLOCK2 (MPI-2 MPI-2 MPI_TYPE_CREATE_SUBARRAY ( ) ) X (1,1) (1) (4) I ITSTA ITEND ITSTAM ITENDP (5) J JTSTA JTEND JTSTAM JTENDP (1) ITSTAM(1,1) 1 ITEND(0,1) X (4-5-7 ) (6) (12) (13) (14) DO (1) (4) (6) DO (1) (6) DO I II (1) 2 3 II = 0 (7) II = 0 J JJ 0 JJ = (1) (8) (10) 1 ( (1) A) ( 2) 1 ITEND ( 1) (11) ( (1) B) 1 ITSTAM (6) II = 2, (10) (11) (9) IF (4-6-7 ) = 2 (1/3) 4 3 =
157 (2) (1) 149
158
159 (1) (6) (3) (13) (4) (14) (2) (12) 151
160 (1) X(I) X(I-1) (4-2 ) (1) X(I) = X(I-1) + ( [18] ) (1) (2) (3) ( [4] ) (1) (2) (3) (1) (1) (2) (1) X(0) Y(1) Y(12) (1) (2) X(0) X(1) X(1) X(2) (1) (2) 152
161 4-6 ( [4] [18] ) X(1) X(12) 4 X (1) (1) (1) (2) (3) (2) (3) 1 N (= 12) X ISTA IEND PARA_RANGE 2 SUM 0 X(0) 3 Y SUM 4 MPI-2 MPI_EXSCAN SUM SSUM MPI_EXSCAN (3) SUM SSUM 4 SUM 0 SSUM MPI-1 MPI_SCAN 5 SSUM 0 X(0) SSUM X(1) X(4) X(7) X(10) ( (1) ) X(1) X(4) X(7) X(10) 7 ( (1) ) 2 m m (2 m )/ (1) (2) 153
162 (3) 154
163 MPI_ALLTOALLV (1) 0 2 MPI_ALLTOALLV ( ) [3] (2) i ISCNT(i) 0 [3] [2] [4] (3) i ISBUF(*,i) [5] MPI_ALLTOALL (2) i IRCNT(i) [6] (3) ISBUF i ISDISP(i) [1] ISBUF 1 10 [6] 10 IRBUF [6] IRDISP [7] MPI_ALLTOALLV [5] IRCNT (3) ISCNT IRCNT (1) (2) (3) 155
164 ( ) (3-4-5 ) MPI_GET_COUNT MPI_GET_COUNT SBUF RBUF [2] [3] 1 0 RBUF RBUF 3 1 [4] MPI_GET_COUNT MPI_GET_COUNT [1] [3] ISTATUS ICOUNT [3] ( 3)
165 MPMD 1 MPMD (Multiple Program Multiple Data) (1-2 ) MPMD 1 MPI (1) (a.out b.out) 0 a.out 1 b.out 2 1 MPMD 1 MPMD (2) a.out a.out MPMD (3) 2 COMMON 4 MPI-1 MPI-2 (3-1 ) (2) (1) (3) 157
166 (1) (2) A 1 5 ( A ) AA 4 MPI_SEND A MPI_RECV 0 AA X A MPI_SEND MPI_RECV MPI_ISEND MPI_IRECV MPI_WAIT (1) (2) ( IKOUZOU IRYUTAI) MPI _COMM_WORLD
167 DO (1) (2) (3) (4) (2) (1) (3) (4) (1) 9 DO (2) (1) (2) 159
168 [0 1 ] 1 10 NSLEEP NSLEEP NSLEEP 0 9 [0 1 ] (1) (2) ( ) (1) (2) END (1) (1) 4 MPI_ANY_SOURCE 4 (IDUMMY) 4 ISTATUS 5 IDEST 6 NSLEEP 7 IDEST ( 4 ) NSLEEP 3 DO 10 8 DO 9 10 NSLEEP DO (= 1) MPI_RECV MPI_IRECV MPI_WAIT 160
169 4-7 (2) (2) 15 ( DO Fortran 90 ) NSLEEP NSLEEP 18 NSLEEP NSLEEP 4 ( ) (2) (1) 161
170 MPI (1) CPU ( SMP) 2 CPU (1) DO CPU 2 CPU (1) MPI 2 CPU DO (2) SMP 2 CPU SMP DO 1 DO SMP DO (DO ) CPU ( CPU ) (3) MPI 2 CPU CPU MPI 2 CPU (2) ( CPU ) (1) (2) (3) 162
171 4-7 4 CPU (1) 4 CPU (4) MPI 4 MPI MPI ( CPU ) (5) MPI 2 DO SMP MPI SMP (2) ( CPU ) A B (4-5-7 ) A (4) (5) (4) A 25% (5) 50% MPI (4) (5) SMP (4) (4) (5) 163
172 (1) (CPU ) prof (2) ( [6] ) CPU prof CPU (3) prof 4-3 CPU CPU 400 n n 4 10 CPU 4 1/ ( ) = 3.64 (4) 164
173 4-8 (5) (1) SUB ( 7 ) N (2) (2) 10 NPROCS MYRANK ( SUB ) Fortran 90 MODULE 8 PARA MODULE NPROCS MYRANK INCLUDE mpif.h 1 1 ISTATUS MODULE MODULE MAIN SUBROUTINE 9 17 USE MODULE (4-8-2 (1) ) 11 1 MPI_FINALIZE MPI_FINALIZE 1 MPI_FINALIZE 2 5 (OPEN CLOSE ) IF ( 4-4 ) 4 IF STOP IF (3) 22 CALL MPI_ABORT 0 18 IF PRINT 21 IF (4-5-4 ) 7 (ISTA) (IEND) ( IEND-ISTA+1) (4-8-2 (2) ) 13 ( 2)
174 (1) (3) (2) 166
175 4-8 (6) (1) (2) P 1 1 P(I-1,J) P(I,J) P(I+1,J) P(I,J) 3 (A B ) (2) (1)
176 4 1 SOR (5-6 ) (1) P (2) II = II = (3) (4) (2) (4) ( 3) (1) (2) (3) (4) 168
177 4-8 ( ) (1) (1) 3 DO (2) 1 ( ISTA IEND ) (1) SHIFT (4-6-2 ) 1 1 A A 1 (4-3 1 ) (2) A DEBUG ( ) A 1 SHIFT DEBUG DEBUG (3) 2 W B DEBUG (2) CALL DEBUG(A) CALL DEBUG (4) 3 X DEBUG W 2 3 W 2 3 CALL DEBUG(W) CALL DEBUG(A) CALL DEBUG(B) (4) CALL DEBUG 5 X (5) (3) GATHER ( ) 0 ( ) CALL DEBUG CALL DEBUG 169
178 (1) (2) (3) (4) (5) (1) SHIFT (2) DEBUG (3) GATHER 170
179 (1) a.out a.out a.out DO (3-3-6 ) MPI MPI MPI MPI MPI ( 10 ) 171
180 4 MPI (4-4-1 ) ( 5 ) ( ) 1 1 (3-4-5 ) 1 1 MPI MPI [15] (3-2 ) MPI_ PMPI_ MPI (3-2 ) MPI_FINALIZE (STOP END ) 1 MPI_FINALIZE (3-3-4 ) MPI Segmentation fault MPI CALL MPI_xxx(,IERR) IERR MPI_RECV MPI_WAIT status INTEGER ISTATUS(MPI_STATUS_SIZE) INCLUDE mpif.h (3-3-4 ) MPI ( [15] MPI MPI MPI_BCAST (ierror) MPI_SUCCESS (3-4-2 ) MPI_ISEND MPI_IRECV MPI_WAIT MPI_ISEND MPI_IRECV MPI_WAIT request MPI_WAIT (3-4-4 ) 1 1 PRINT ( ) 1 1 ( ) 172
181 4-8 (1) 1 ( ) 1 1 (4-8-1 (5) ) (2) (2) (1) A 3 B (3) (4-5-4 ) ISTA IEND (4) ( ) (5) (4-8-1 (5) ) (1) (2) (3) (4) (5) (3) (ISTA) (IEND) ISTA IEND PRINT (4) 173
182 (1) (1) (2) (2) CPU = (1 )/(n ) (1 ) 1 a.out (1) (2) (3) (2) (1) (3) (1) (3) (1) (3) (2) (2) 174
C/C++ FORTRAN FORTRAN MPI MPI MPI UNIX Windows (SIMD Single Instruction Multipule Data) SMP(Symmetric Multi Processor) MPI (thread) OpenMP[5]
![C/C++ FORTRAN FORTRAN MPI MPI MPI UNIX Windows (SIMD Single Instruction Multipule Data) SMP(Symmetric Multi Processor) MPI (thread) OpenMP[5]](/thumbs/73/69613550.jpg "C/C++ FORTRAN FORTRAN MPI MPI MPI UNIX Windows (SIMD Single Instruction Multipule Data) SMP(Symmetric Multi Processor) MPI (thread) OpenMP[5]")
MPI ( ) snozawa@env.sci.ibaraki.ac.jp 1 ( ) MPI MPI Message Passing Interface[2] MPI MPICH[3],LAM/MPI[4] (MIMDMultiple Instruction Multipule Data) Message Passing ( ) (MPI (rank) PE(Processing Element)
Microsoft PowerPoint MPI.v...O...~...O.e.L.X.g(...Q..)
MPI プログラミング Information Initiative Center, Hokkaido Univ. MPI ライブラリを利用した分散メモリ型並列プログラミング 分散メモリ型並列処理 : 基礎 分散メモリマルチコンピュータの構成 プロセッサエレメントが専用のメモリ ( ローカルメモリ ) を搭載 スケーラビリティが高い 例 :HITACHI SR8000 Interconnection
Microsoft PowerPoint - KHPCSS pptx
KOBE HPC サマースクール 2018( 初級 ) 9. 1 対 1 通信関数, 集団通信関数 2018/8/8 KOBE HPC サマースクール 2018 1 2018/8/8 KOBE HPC サマースクール 2018 2 MPI プログラム (M-2):1 対 1 通信関数 問題 1 から 100 までの整数の和を 2 並列で求めなさい. プログラムの方針 プロセス0: 1から50までの和を求める.
スライド 1
目次 2.MPI プログラミング入門 この資料は, スーパーコン 10 で使用したものである. ごく基本的な内容なので, 現在でも十分利用できると思われるものなので, ここに紹介させて頂く. ただし, 古い情報も含まれているので注意が必要である. 今年度版の解説は, 本選の初日に配布する予定である. 1/20 2.MPI プログラミング入門 (1) 基本 説明 MPI (message passing
main() {... } main() { main() { main() {......... } } } main() { main() { main() {......... } } } main() { if(rank==)... } main() { if(rank==)... } main() { if(rank==x)... } P(N) P(N) / P(M) * ( M / N
86
86 86 86 main() {... } main() { main() { main() {......... } } } 86 main() { main() { main() {......... } } } main() { if(rank==)... } main() { if(rank==)... } main() { if(rank==x)... } 86 P(N) P(N) /
untitled
RIKEN AICS Summer School 3 4 MPI 2012 8 8 1 6 MPI MPI 2 allocatable 2 Fox mpi_sendrecv 3 3 FFT mpi_alltoall MPI_PROC_NULL 4 FX10 /home/guest/guest07/school/ 5 1 A (i, j) i+j x i i y = Ax A x y y 1 y i
2 T 1 N n T n α = T 1 nt n (1) α = 1 100% OpenMP MPI OpenMP OpenMP MPI (Message Passing Interface) MPI MPICH OpenMPI 1 OpenMP MPI MPI (trivial p
22 6 22 MPI MPI 1 1 2 2 3 MPI 3 4 7 4.1.................................. 7 4.2 ( )................................ 10 4.3 (Allreduce )................................. 12 5 14 5.1........................................
Microsoft PowerPoint _MPI-03.pptx
計算科学演習 Ⅰ ( 第 11 回 ) MPI を いた並列計算 (III) 神戸大学大学院システム情報学研究科横川三津夫 yokokawa@port.kobe-u.ac.jp 2014/07/03 計算科学演習 Ⅰ:MPI を用いた並列計算 (III) 1 2014/07/03 計算科学演習 Ⅰ:MPI を用いた並列計算 (III) 2 今週の講義の概要 1. 前回課題の解説 2. 部分配列とローカルインデックス
演習準備 2014 年 3 月 5 日神戸大学大学院システム情報学研究科森下浩二 1 RIKEN AICS HPC Spring School /3/5
演習準備 2014 年 3 月 5 日神戸大学大学院システム情報学研究科森下浩二 1 演習準備の内容 神戸大 FX10(π-Computer) 利用準備 システム概要 ログイン方法 コンパイルとジョブ実行方法 MPI 復習 1. MPIプログラムの基本構成 2. 並列実行 3. 1 対 1 通信 集団通信 4. データ 処理分割 5. 計算時間計測 2 神戸大 FX10(π-Computer) 利用準備
120802_MPI.ppt
CPU CPU CPU CPU CPU SMP Symmetric MultiProcessing CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CP OpenMP MPI MPI CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU MPI MPI+OpenMP CPU CPU CPU CPU CPU CPU CPU CP
Microsoft PowerPoint - 講義：コミュニケータ.pptx
コミュニケータとデータタイプ (Communicator and Datatype) 2019 年 3 月 15 日 神戸大学大学院システム情報学研究科横川三津夫 2019/3/15 Kobe HPC Spring School 2019 1 講義の内容 コミュニケータ (Communicator) データタイプ (Datatype) 演習問題 2019/3/15 Kobe HPC Spring School
演習準備
演習準備 2014 年 3 月 5 日神戸大学大学院システム情報学研究科森下浩二 1 演習準備の内容 神戸大 FX10(π-Computer) 利用準備 システム概要 ログイン方法 コンパイルとジョブ実行方法 MPI 復習 1. MPIプログラムの基本構成 2. 並列実行 3. 1 対 1 通信 集団通信 4. データ 処理分割 5. 計算時間計測 2 神戸大 FX10(π-Computer) 利用準備
untitled
I 9 MPI (II) 2012 6 14 .. MPI. 1-3 sum100.f90 4 istart=myrank*25+1 iend=(myrank+1)*25 0 1 2 3 mpi_recv 3 isum1 1 isum /tmp/120614/sum100_4.f90 program sum100_4 use mpi implicit none integer :: i,istart,iend,isum,isum1,ip
Microsoft PowerPoint - 演習２：MPI初歩.pptx
演習 2:MPI 初歩 - 並列に計算する - 2013 年 8 月 6 日 神戸大学大学院システム情報学研究科計算科学専攻横川三津夫 MPI( メッセージ パッシング インターフェース ) を使おう! [ 演習 2 の内容 ] はじめの一歩課題 1: Hello, world を並列に出力する. 課題 2: プロセス 0 からのメッセージを受け取る (1 対 1 通信 ). 部分に分けて計算しよう課題
NUMAの構成
メッセージパッシング プログラミング 天野 共有メモリ対メッセージパッシング 共有メモリモデル 共有変数を用いた単純な記述自動並列化コンパイラ簡単なディレクティブによる並列化 :OpenMP メッセージパッシング 形式検証が可能 ( ブロッキング ) 副作用がない ( 共有変数は副作用そのもの ) コストが小さい メッセージパッシングモデル 共有変数は使わない 共有メモリがないマシンでも実装可能 クラスタ
Microsoft PowerPoint - S1-ref-F.ppt [互換モード]
![Microsoft PowerPoint - S1-ref-F.ppt [互換モード]](/thumbs/86/94184661.jpg "Microsoft PowerPoint - S1-ref-F.ppt [互換モード]")
課題 S1 解説 Fortran 言語編 RIKEN AICS HPC Summer School 2014 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大 計算科学教育センター ) MPI Programming 課題 S1 (1/2) /a1.0~a1.3, /a2.0~a2.3 から局所ベクトル情報を読み込み, 全体ベクトルのノルム ( x ) を求めるプログラムを作成する
MPI usage
MPI (Version 0.99 2006 11 8 ) 1 1 MPI ( Message Passing Interface ) 1 1.1 MPI................................. 1 1.2............................... 2 1.2.1 MPI GATHER.......................... 2 1.2.2
講義の流れ 並列プログラムの概要 通常のプログラムと並列プログラムの違い 並列プログラム作成手段と並列計算機の構造 OpenMP による並列プログラム作成 処理を複数コアに分割して並列実行する方法 MPI による並列プログラム作成 ( 午後 ) プロセス間通信による並列処理 処理の分割 + データの
( 財 ) 計算科学振興財団 大学院 GP 大学連合による計算科学の最先端人材育成 第 1 回社会人向けスパコン実践セミナー資料 29 年 2 月 17 日 13:15~14:45 九州大学情報基盤研究開発センター 南里豪志 1 講義の流れ 並列プログラムの概要 通常のプログラムと並列プログラムの違い 並列プログラム作成手段と並列計算機の構造 OpenMP による並列プログラム作成 処理を複数コアに分割して並列実行する方法
Microsoft PowerPoint _MPI-01.pptx
計算科学演習 Ⅰ MPI を いた並列計算 (I) 神戸大学大学院システム情報学研究科谷口隆晴 yaguchi@pearl.kobe-u.ac.jp この資料は昨年度担当の横川先生の資料を参考にさせて頂いています. 2016/06/23 MPI を用いた並列計算 (I) 1 講義概要 分散メモリ型計算機上のプログラミング メッセージ パシング インターフェイス (Message Passing Interface,MPI)
コードのチューニング
MPI による並列化実装 ~ ハイブリッド並列 ~ 八木学 ( 理化学研究所計算科学研究センター ) KOBE HPC Spring School 2019 2019 年 3 月 14 日 MPI とは Message Passing Interface 分散メモリのプロセス間の通信規格(API) SPMD(Single Program Multi Data) が基本 - 各プロセスが 同じことをやる
課題 S1 解説 Fortran 編 中島研吾 東京大学情報基盤センター
課題 S1 解説 Fortran 編 中島研吾 東京大学情報基盤センター 内容 課題 S1 /a1.0~a1.3, /a2.0~a2.3 から局所ベクトル情報を読み込み, 全体ベクトルのノルム ( x ) を求めるプログラムを作成する (S1-1) file.f,file2.f をそれぞれ参考にする 下記の数値積分の結果を台形公式によって求めるプログラムを作成する
Sae x Sae x 1: 1. {x (i) 0 0 }N i=1 (x (i) 0 0 p(x 0) ) 2. = 1,, T a d (a) i (i = 1,, N) I, II I. v (i) II. x (i) 1 = f (x (i) 1 1, v(i) (b) i (i = 1,
( ) 1 : ( ) Sampling/Imporance resampling (SIR) Kiagawa (1993, 1996), Gordon(1993) EnKF EnKF EnKF 1CPU 1core 2 x = f (x 1, v ) y = h (x, w ) (1a) (1b) PF p(x y 1 ) {x (i) 1 }N i=1, p(x y ) {x (i) }N i=1
コードのチューニング
ハイブリッド並列 八木学 ( 理化学研究所計算科学研究機構 ) 謝辞 松本洋介氏 ( 千葉大学 ) KOBE HPC Spring School 2017 2017 年 3 月 14 日神戸大学計算科学教育センター MPI とは Message Passing Interface 分散メモリのプロセス間の通信規格(API) SPMD(Single Program Multi Data) が基本 -
Microsoft PowerPoint - 阪大CMSI pptx
内容に関する質問は katagiri@cc.nagaoya-u.ac.jp まで 第 2 回 MPI の基礎 名古屋大学情報基盤センター 片桐孝洋 1 講義日程と内容について (1 学期 : 木曜 3 限 ) 第 1 回 : プログラム高速化の基礎 2017 年 4 月 13 日 イントロダクション ループアンローリング キャッシュブロック化 数値計算ライブラリの利用 その他第 2 回 :MPIの基礎
MPI 超 入門 (FORTRAN 編 ) 東京大学情報基盤センター C 言語編は以下 /ohshima/seminars/t2k201111/ (MPI による並列アプリケーション開発入門 2)
MPI 超 入門 (FORTRAN 編 ) 東京大学情報基盤センター C 言語編は以下 http://www.cspp.cc.u-tokyo.ac.jp /ohshima/seminars/t2k201111/ (MPI による並列アプリケーション開発入門 2) Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データ グループ通信 (Collective
Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データタ グループ通信 (Collective Communication) 1 対 1 通信 (Point-to-Point Communication)
MPI 超 入門 (FORTRAN 編 ) 東京大学情報基盤センター Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データタ グループ通信 (Collective Communication) 1 対 1 通信 (Point-to-Point Communication) Fundamental MPI 2 MPI とは (1/2)
MPI コミュニケータ操作
コミュニケータとデータタイプ 辻田祐一 (RIKEN AICS) 講義 演習内容 MPI における重要な概念 コミュニケータ データタイプ MPI-IO 集団型 I/O MPI-IO の演習 2 コミュニケータ MPI におけるプロセスの 集団 集団的な操作などにおける操作対象となる MPI における集団的な操作とは? 集団型通信 (Collective Communication) 集団型 I/O(Collective
MPI () MPIMessage Passing Interface MPI MPI OpenMP 7 ( ) 1
7 MPI / 7 (2014 05 21 ) MPI () MPIMessage Passing Interface MPI MPI OpenMP 7 (2014 05 21 ) 1 (MPI) 7 (2014 05 21 ) 2 (OpenMP) 7 (2014 05 21 ) 3 (MPI + OpenMP) 7 (2014 05 21 ) 4 MPI (1) MPI1 OpenMP 1 pragma
演習 II 2 つの講義の演習 奇数回 : 連続系アルゴリズム 部分 偶数回 : 計算量理論 部分 連続系アルゴリズム部分は全 8 回を予定 前半 2 回 高性能計算 後半 6 回 数値計算 4 回以上の課題提出 ( プログラム + 考察レポート ) で単位
演習 II ( 連続系アルゴリズム ) 第 1 回 : MPI 須田研究室 M2 本谷徹 motoya@is.s.u-tokyo.ac.jp 2012/10/05 2012/10/18 補足 訂正 演習 II 2 つの講義の演習 奇数回 : 連続系アルゴリズム 部分 偶数回 : 計算量理論 部分 連続系アルゴリズム部分は全 8 回を予定 前半 2 回 高性能計算 後半 6 回 数値計算 4 回以上の課題提出
4th XcalableMP workshop 目的 n XcalableMPのローカルビューモデルであるXMPのCoarray機能を用 いて Fiberミニアプリ集への実装と評価を行う PGAS(Pertitioned Global Address Space)言語であるCoarrayのベ ンチマ
4th XcalableMP workshop 目的 n XcalableMPのローカルビューモデルであるXMPのCoarray機能を用 いて Fiberミニアプリ集への実装と評価を行う PGAS(Pertitioned Global Address Space)言語であるCoarrayのベ ンチマークとして整備することも考慮している n Coarrayによる並列化に関する知見を得る 1 n n l
Microsoft PowerPoint - 講義：片方向通信.pptx
MPI( 片方向通信 ) 09 年 3 月 5 日 神戸大学大学院システム情報学研究科計算科学専攻横川三津夫 09/3/5 KOBE HPC Spring School 09 分散メモリ型並列計算機 複数のプロセッサがネットワークで接続されており, れぞれのプロセッサ (PE) が, メモリを持っている. 各 PE が自分のメモリ領域のみアクセス可能 特徴数千から数万 PE 規模の並列システムが可能
<4D F736F F F696E74202D C097F B A E B93C782DD8EE682E890EA97705D>
並列アルゴリズム 2005 年後期火曜 2 限青柳睦 Aoyagi@cc.kyushu-u.ac.jp http//server-500.cc.kyushu-u.ac.jp/ 11 月 29( 火 ) 7. 集団通信 (Collective Communication) 8. 領域分割 (Domain Decomposition) 1 もくじ 1. 序並列計算機の現状 2. 計算方式およびアーキテクチュアの分類
Microsoft PowerPoint - MPIprog-F [互換モード]
![Microsoft PowerPoint - MPIprog-F [互換モード]](/thumbs/91/105868483.jpg "Microsoft PowerPoint - MPIprog-F [互換モード]")
MPI によるプログラミング概要 課題 S1 S2 出題 Fortran 編 2012 年夏季集中講義中島研吾 並列計算プログラミング (616-2057) 先端計算機演習 (616-4009) 1 本授業の理念 より 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速 大規模 大規模 の方が 新しい科学
Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]](/thumbs/89/98092870.jpg "Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]")
MPI によるプログラミング概要 ( その 1) Fortran 言語編 RIKEN AICS HPC Summer School 2015 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大 計算科学教育センター ) 1 本 school の目的 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的
スライド 1
計算科学演習 MPI 基礎 学術情報メディアセンター情報学研究科 システム科学専攻中島浩 目次 プログラミングモデル SPMD 同期通信 / 非同期通信 MPI 概論 プログラム構造 Communicator & rank データ型 タグ 一対一通信関数 1 次元分割並列化 : 基本 基本的考え方 配列宣言 割付 部分領域交換 結果出力 1 次元分割並列化 : 高速化 通信 計算のオーバーラップ 通信回数削減
Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データ グループ通信 (Collective Communication) 1 対 1 通信 (Point-to-Point Communication)
MPI 超 入門 (C 言語編 ) 東京大学情報基盤センター FORTRAN 編は以下 http://www.cspp.cc.u-tokyo.ac.jp /ohshima/seminars/t2k201111/ (MPI による並列アプリケーション開発入門 2) Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データ グループ通信 (Collective
スライド 1
計算科学演習 MPI 基礎 学術情報メディアセンター 情報学研究科 システム科学専攻 中島浩 目次 プログラミングモデル SPMD 同期通信 / 非同期通信 MPI 概論 プログラム構造 Communicator & rank データ型 タグ 一対一通信関数 1 次元分割並列化 : 基本 基本的考え方 配列宣言 割付 部分領域交換 結果出力 1 次元分割並列化 : 高速化 通信 計算のオーバーラップ
±é½¬£²¡§£Í£Ð£É½éÊâ
2012 8 7 1 / 52 MPI Hello World I ( ) Hello World II ( ) I ( ) II ( ) ( sendrecv) π ( ) MPI fortran C wget http://www.na.scitec.kobe-u.ac.jp/ yaguchi/riken2012/enshu2.zip unzip enshu2.zip 2 / 52 FORTRAN
Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データタ グループ通信 (Collective Communication) 1 対 1 通信 (Point-to-Point Communication)
MPI 超 入門 (C 言語編 ) 東京大学情報基盤センター FOTRAN 編は以下 http://nkl.cc.u-tokyo.ac.jp/seminars/t2kfvm/mpiprogf.pdf tokyo pdf Fundamental MPI 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データタ グループ通信 (Collective Communication)
情報処理概論（第二日目）
1 並列プログラミング超入門講習会 九州大学情報基盤研究開発センター MPI コース 2 並列計算機の構成 計算ノード ネットワーク CPU コア メモリ アクセラレータ (GPU 等 ) 例 : スーパーコンピュータシステム ITO サブシステム B ノード数 CPU 数 / ノードコア数 / CPU GPU 数 / ノード 128 2 18 4 MPI (Message Passing Interface)
2012年度HPCサマーセミナー_多田野.pptx
! CCS HPC! I " tadano@cs.tsukuba.ac.jp" " 1 " " " " " " " 2 3 " " Ax = b" " " 4 Ax = b" A = a 11 a 12... a 1n a 21 a 22... a 2n...... a n1 a n2... a nn, x = x 1 x 2. x n, b = b 1 b 2. b n " " 5 Gauss LU
untitled
Fortran90 ( ) 17 12 29 1 Fortran90 Fortran90 FORTRAN77 Fortran90 1 Fortran90 module 1.1 Windows Windows UNIX Cygwin (http://www.cygwin.com) C\: Install Cygwin f77 emacs latex ps2eps dvips Fortran90 Intel
Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]](/thumbs/89/98092878.jpg "Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]")
MPI によるプログラミング概要 ( その 1) C 言語編 RIKEN AICS HPC Summer School 2015 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大 計算科学教育センター ) 1 本 school の目的 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速
Microsoft PowerPoint - MPIprog-C [互換モード]
![Microsoft PowerPoint - MPIprog-C [互換モード]](/thumbs/93/113024702.jpg "Microsoft PowerPoint - MPIprog-C [互換モード]")
MPI によるプログラミング概要 課題 S1 S2 出題 C 言語編 2012 年夏季集中講義中島研吾 並列計算プログラミング (616-2057) 先端計算機演習 (616-4009) 1 本授業の理念 より 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速 大規模 大規模 の方が 新しい科学 という観点からのウェイトとしては高い
Microsoft PowerPoint - 演習1：並列化と評価.pptx
講義 2& 演習 1 プログラム並列化と性能評価 神戸大学大学院システム情報学研究科横川三津夫 yokokawa@port.kobe-u.ac.jp 2014/3/5 RIKEN AICS HPC Spring School 2014: プログラム並列化と性能評価 1 2014/3/5 RIKEN AICS HPC Spring School 2014: プログラム並列化と性能評価 2 2 次元温度分布の計算
PowerPoint プレゼンテーション
計算科学演習 I 第 8 回講義 MPI を用いた並列計算 (I) 2013 年 6 月 6 日 システム情報学研究科計算科学専攻 山本有作 今回の講義の概要 1. MPI とは 2. 簡単な MPI プログラムの例 (1) 3. 簡単な MPI プログラムの例 (2):1 対 1 通信 4. 簡単な MPI プログラムの例 (3): 集団通信 共有メモリ型並列計算機 ( 復習 ) 共有メモリ型並列計算機
<4D F736F F F696E74202D D F95C097F D834F E F93FC96E5284D F96E291E85F8DE391E52E >
SX-ACE 並列プログラミング入門 (MPI) ( 演習補足資料 ) 大阪大学サイバーメディアセンター日本電気株式会社 演習問題の構成 ディレクトリ構成 MPI/ -- practice_1 演習問題 1 -- practice_2 演習問題 2 -- practice_3 演習問題 3 -- practice_4 演習問題 4 -- practice_5 演習問題 5 -- practice_6
Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]](/thumbs/77/75578093.jpg "Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]")
本 school の目的 1 MPI によるプログラミング概要 ( その 1) 言語編 RIKEN AICS HPC Summer School 2014 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大学 計算科学教育センター ) 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速 大規模
目 目 用方 用 用 方
大 生 大 工 目 目 用方 用 用 方 用 方 MS-MPI MPI.NET MPICH MPICH2 LAM/MPI Ver. 2 2 1 2 1 C C++ Fortan.NET C# C C++ Fortan 用 行 用 用 用 行 用 言 言 言 行 生 方 方 一 行 高 行 行 文 用 行 If ( rank == 0 ) { // 0 } else if (rank == 1) {
Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]](/thumbs/82/85056676.jpg "Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]")
MPI によるプログラミング概要 ( その 1) C 言語編 RIKEN AICS HPC Summer School 2014 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大 計算科学教育センター ) 1 本 school の目的 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速
Microsoft PowerPoint - MPIprog-F2.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-F2.ppt [互換モード]](/thumbs/88/116349618.jpg "Microsoft PowerPoint - MPIprog-F2.ppt [互換モード]")
MPI によるプログラミング概要 ( その ) Fortran 言語編 RIKEN AICS HPC Summer School 01 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大学 計算科学教育センター ) 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データ グループ通信 (Collective Communication) 1 対 1 通信
para02-2.dvi
2002 2 2002 4 23 : MPI MPI 1 MPI MPI(Message Passing Interface) MPI UNIX Windows Machintosh OS, MPI 2 1 1 2 2.1 1 1 1 1 1 1 Fig. 1 A B C F Fig. 2 A B F Fig. 1 1 1 Fig. 2 2.2 Fig. 3 1 . Fig. 4 Fig. 3 Fig.
Page 2 本資料は, 東北大学サイバーサイエンスセンターと NEC の共同により作成され, 大阪大学サイバーメディアセンターの環境で実行確認を行い, 修正を加えたものです. 無断転載等は, ご遠慮下さい.
H26 年度 MPI プログラミング入門 2015 年 1 月 27 日 大坂大学サイバーメディアセンター 日本電気株式会社 Page 2 本資料は, 東北大学サイバーサイエンスセンターと NEC の共同により作成され, 大阪大学サイバーメディアセンターの環境で実行確認を行い, 修正を加えたものです. 無断転載等は, ご遠慮下さい. 目次 1. 並列化概要 2. MPI 概要 3. 演習問題 1 4.
Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]](/thumbs/42/22844853.jpg "Microsoft PowerPoint - MPIprog-F1.ppt [互換モード]")
MPIによるプログラミング 概 要 (その1) Fortran 言 語 編 RIKEN AICS HPC Summer School 2014 中 島 研 吾 ( 東 大 情 報 基 盤 センター) 横 川 三 津 夫 ( 神 戸 大 計 算 科 学 教 育 センター) 1 本 schoolの 目 的 並 列 計 算 機 の 使 用 によって,より 大 規 模 で 詳 細 なシミュレー ションを 高
第8回講義（2016年12月6日）
2016/12/6 スパコンプログラミング (1) (Ⅰ) 1 行列 - 行列積 (2) 東京大学情報基盤センター准教授塙敏博 2016 年 12 月 6 日 ( 火 ) 10:25-12:10 2016/11/29 講義日程 ( 工学部共通科目 ) 1. 9 月 27 日 ( 今日 ): ガイダンス 2. 10 月 4 日 l 並列数値処理の基本演算 ( 座学 ) 3. 10 月 11 日 : スパコン利用開始
¥Ñ¥Ã¥±¡¼¥¸ Rhpc ¤Î¾õ¶·
Rhpc COM-ONE 2015 R 27 12 5 1 / 29 1 2 Rhpc 3 forign MPI 4 Windows 5 2 / 29 1 2 Rhpc 3 forign MPI 4 Windows 5 3 / 29 Rhpc, R HPC Rhpc, ( ), snow..., Rhpc worker call Rhpc lapply 4 / 29 1 2 Rhpc 3 forign
(Basic Theory of Information Processing) Fortran Fortan Fortan Fortan 1
(Basic Theory of Information Processing) Fortran Fortan Fortan Fortan 1 17 Fortran Formular Tranlator Lapack Fortran FORTRAN, FORTRAN66, FORTRAN77, FORTRAN90, FORTRAN95 17.1 A Z ( ) 0 9, _, =, +, -, *,
CS
性能並列計算法特論 第 10 回 情報基盤研究開発センター 野謙 2017 年 7 11 ( ) 成績評価 その他の連絡事項 出席点 5 割 + 期末試験 ( レポート作成 )5 割 講義資料は毎回配布予定です 席した場合, 各 でダウンロードしてください http://mercury.cc.kyushu-u.ac.jp/lecture_2017/ PDF 版をその週の 曜の朝までには公開予定 講義開始後約
並列計算プログラミング超入門
< 特集 : 炉物理研究への P クラスタの利用 並列計算プログラミング超入門 > 並列計算プログラミング超入門 佐々木誠 ( 株 ) 日本総合研究所 sasaki.makoto@jri.co.jp さて ここまでの記事であなたの手元には P クラスターが構築されているでしょう ただ そのままでは単なる P をネットワークでつないだシステムにすぎません これからこの上で 並列計算 を行なうソフトウェアを自ら構築するか
Microsoft PowerPoint - 第10回講義（2015年12月22日)-1 .pptx
非同期通信 東京大学情報基盤センター准教授片桐孝洋 1 2015 年 12 月 22 日 ( 火 )10:25-12:10 講義日程 ( 工学部共通科目 ) 10 月 6 日 : ガイダンス 1. 10 月 13 日 並列数値処理の基本演算 ( 座学 ) 2. 10 月 20 日 : スパコン利用開始 ログイン作業 テストプログラム実行 3. 10 月 27 日 高性能演算技法 1 ( ループアンローリング
スライド 1
Parallel Programming in MPI part 2 1 1 Today's Topic ノンブロッキング通信 Non-Blocking Communication 通信の完了を待つ間に他の処理を行う Execute other instructions while waiting for the completion of a communication. 集団通信関数の実装 Implementation
HPCセミナー
並列プログラミング技法 (MPI 詳説 ) 高度情報科学技術研究機構神戸センター 宮内敦 0 本日の講義内容 MPIの基礎知識 MPI 関数各論 並列性能評価 具体的な問題への応用 1 2 MPI の基礎知識 1. MPI 規格 (MPI standard) 2. MPI ライブラリ 3 MPI 規格 (MPI standard) とは プロセス並列を前提としたプロセス間のメッセージ交換に関する標準仕様
HPCセミナー
並列プログラミング技法 (MPI 詳説 ) 高度情報科学技術研究機構神戸センター 宮内敦 0 本日の講義内容 MPIの基礎知識 MPI 関数各論 並列性能評価 具体的な問題への応用 1 2 MPI の基礎知識 1. MPI 規格 (MPI standard) 2. MPI ライブラリ 3 MPI とは プロセス並列を前提としたプロセス間のメッセージ交換に関する標準仕様 適用対象は分散記憶アーキテクチャー上の分散アドレス空間における
01_OpenMP_osx.indd
OpenMP* / 1 1... 2 2... 3 3... 5 4... 7 5... 9 5.1... 9 5.2 OpenMP* API... 13 6... 17 7... 19 / 4 1 2 C/C++ OpenMP* 3 Fortran OpenMP* 4 PC 1 1 9.0 Linux* Windows* Xeon Itanium OS 1 2 2 WEB OS OS OS 1 OS
untitled
OS 2007/4/27 1 Uni-processor system revisited Memory disk controller frame buffer network interface various devices bus 2 1 Uni-processor system today Intel i850 chipset block diagram Source: intel web
040312研究会HPC2500.ppt
2004312 e-mail : m-aoki@jp.fujitsu.com 1 2 PRIMEPOWER VX/VPP300 VPP700 GP7000 AP3000 VPP5000 PRIMEPOWER 2000 PRIMEPOWER HPC2500 1998 1999 2000 2001 2002 2003 3 VPP5000 PRIMEPOWER ( 1 VU 9.6 GF 16GB 1 VU
MPI によるプログラミング概要 Fortran 編 中島研吾 東京大学情報基盤センター
MPI によるプログラミング概要 Fortran 編 中島研吾 東京大学情報基盤センター 1 並列計算の意義 目的 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速 大規模 大規模 の方が 新しい科学 という観点からのウェイトとしては高い しかし, 高速 ももちろん重要である + 複雑 理想 :Scalable
課題 S1 解説 C 言語編 中島研吾 東京大学情報基盤センター
課題 S1 解説 C 言語編 中島研吾 東京大学情報基盤センター 内容 課題 S1 /a1.0~a1.3, /a2.0~a2.3 から局所ベクトル情報を読み込み, 全体ベクトルのノルム ( x ) を求めるプログラムを作成する (S1-1) file.f,file2.f をそれぞれ参考にする 下記の数値積分の結果を台形公式によって求めるプログラムを作成する
Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]](/thumbs/93/113024616.jpg "Microsoft PowerPoint - MPIprog-C1.ppt [互換モード]")
本 school の目的 1 MPI によるプログラミング概要 ( その 1) 言語編 RIKEN AIS HP Summer School 2014 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大学 計算科学教育センター ) 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速 大規模
(Microsoft PowerPoint \211\211\217K3_4\201i\216R\226{_\211\272\215\342\201j.ppt [\214\335\212\267\203\202\201[\203h])
![(Microsoft PowerPoint \211\211\217K3_4\201i\216R\226{_\211\272\215\342\201j.ppt [\214\335\212\267\203\202\201[\203h])](/thumbs/101/148628642.jpg "(Microsoft PowerPoint \211\211\217K3_4\201i\216R\226{_\211\272\215\342\201j.ppt [\214\335\212\267\203\202\201[\203h])")
RIKEN AICS Summer School 演習 3 4 MPI による並列計算 2012 年 8 月 8 日 神戸大学大学院システム情報学研究科山本有作理化学研究所計算科学研究機構下坂健則 1 演習の目標 講義 6 並列アルゴリズム基礎 で学んだアルゴリズムのいくつかを,MPI を用いて並列化してみる これを通じて, 基本的な並列化手法と,MPI 通信関数の使い方を身に付ける 2 取り上げる例題と学習項目
かし, 異なったプロセス間でデータを共有するためには, プロセス間通信や特殊な共有メモリ領域を 利用する必要がある. このためマルチプロセッサマシンの利点を最大に引き出すことができない. こ の問題はマルチスレッドを用いることで解決できる. マルチスレッドとは,1 つのプロセスの中に複 数のスレッド
0 並列計算について 0.1 並列プログラミングライブラリのメッセージパッシングモデル並列プログラムにはメモリモデルで分類すると, 共有メモリモデルと分散メモリモデルの 2 つに分けられる. それぞれ次のような特徴がある. 共有メモリモデル複数のプロセスやスレッドが事項する主体となり, 互いに通信や同期を取りながら計算が継続される. スレッド間の実行順序をプログラマが保証してやらないと, 思った結果が得られない.
nakao
Fortran+Python 4 Fortran, 2018 12 12 !2 Python!3 Python 2018 IEEE spectrum https://spectrum.ieee.org/static/interactive-the-top-programming-languages-2018!4 Python print("hello World!") if x == 10: print
情報処理演習 II
2004 年 6 月 15 日 長谷川秀彦 情報処理演習 II Parallel Computing on Distributed Memory Machine 1. 分散メモリ方式並列計算の基礎 複数の CPU がそれぞれのメモリを持ち 独立に動作するコンピュータを分散メモリ方式並列コンピュータ 正確には Distributed Memory Parallel Computer という これには複数の
2007年度 計算機システム演習 第3回
2014 年度 実践的並列コンピューティング 第 10 回 MPI による分散メモリ並列プログラミング (3) 遠藤敏夫 endo@is.titech.ac.jp 1 MPI プログラムの性能を考える 前回までは MPI プログラムの挙動の正しさを議論 今回は速度性能に注目 MPIプログラムの実行時間 = プロセス内計算時間 + プロセス間通信時間 計算量 ( プロセス内 ) ボトルネック有無メモリアクセス量
並列計算導入.pptx
並列計算の基礎 MPI を用いた並列計算 並列計算の環境 並列計算 複数の計算ユニット(PU, ore, Pなど を使用して 一つの問題 計算 を行わせる 近年 並列計算を手軽に使用できる環境が急速に整いつつある >通常のP PU(entral Processing Unit)上に計算装置であるoreが 複数含まれている Intel ore i7 シリーズ: 4つの計算装置(ore) 通常のプログラム
MPI によるプログラミング概要 C 言語編 中島研吾 東京大学情報基盤センター
MPI によるプログラミング概要 C 言語編 中島研吾 東京大学情報基盤センター 1 並列計算の意義 目的 並列計算機の使用によって, より大規模で詳細なシミュレーションを高速に実施することが可能になり, 新しい科学の開拓が期待される 並列計算の目的 高速 大規模 大規模 の方が 新しい科学 という観点からのウェイトとしては高い しかし, 高速 ももちろん重要である + 複雑 理想 :Scalable
Microsoft PowerPoint - MPIprog-C2.ppt [互換モード]
![Microsoft PowerPoint - MPIprog-C2.ppt [互換モード]](/thumbs/61/45436034.jpg "Microsoft PowerPoint - MPIprog-C2.ppt [互換モード]")
MPI によるプログラミング概要 ( その ) C 言語編 RIKEN AICS HPC Summer School 01 中島研吾 ( 東大 情報基盤センター ) 横川三津夫 ( 神戸大学 計算科学教育センター ) 1 概要 MPI とは MPI の基礎 :Hello World 全体データと局所データ グループ通信 (Collective Communication) 1 対 1 通信 (Peer-to-Peer
Microsoft PowerPoint 並列アルゴリズム04.ppt
並列アルゴリズム 2005 年後期火曜 2 限 青柳睦 Aoyagi@cc.kyushu-u.ac.jp http://server-500.cc.kyushu-u.ac.jp/ 11 月 8 日 ( 火 ) 5. MPI の基礎 6. 並列処理の性能評価 1 もくじ 1. 序並列計算機の現状 2. 計算方式およびアーキテクチュアの分類 3. 並列計算の目的と課題 4. 数値計算における各種の並列化
chap2.ppt
2. メッセージ通信計算 2.1 メッセージ通信プログラミングの基本 プログラミングの選択肢 特別な並列プログラミング言語を設計する occam (Inmos, 1984, 1986) 既存の逐次言語の文法 / 予約語をメッセージ通信を処理できるように拡張する 既存の逐次言語を用い メッセージ通信のための拡張手続のライブラリを用意する どのプロセスを実行するのか メッセージ通信のタイミング 中身を明示的に指定する必要がある
XcalableMP入門
XcalableMP 1 HPC-Phys@, 2018 8 22 XcalableMP XMP XMP Lattice QCD!2 XMP MPI MPI!3 XMP 1/2 PCXMP MPI Fortran CCoarray C++ MPIMPI XMP OpenMP http://xcalablemp.org!4 XMP 2/2 SPMD (Single Program Multiple Data)
untitled
OpenMP MPI OpenMPI 1 2 http://www.es.jamstec.go.jp/ 3 4 http://www.top500.org/ CPU 3GHz, 10GHz 90nm 65nm, 45nm VLIW L3 Intel Hyperthreading CPU Pentium 5 6 7 8 Cell 23400 90nm 221mm2 SPU 1.52Moore s Law
44 6 MPI 4 : #LIB=-lmpich -lm 5 : LIB=-lmpi -lm 7 : mpi1: mpi1.c 8 : $(CC) -o mpi1 mpi1.c $(LIB) 9 : 10 : clean: 11 : -$(DEL) mpi1 make mpi1 1 % mpiru
43 6 MPI MPI(Message Passing Interface) MPI 1CPU/1 PC Cluster MPICH[5] 6.1 MPI MPI MPI 1 : #include 2 : #include 3 : #include 4 : 5 : #include "mpi.h" 7 : int main(int argc,
演習問題の構成 ディレクトリ構成 MPI/ --practice_1 演習問題 1 --practice_2 演習問題 2 --practice_3 演習問題 3 --practice_4 演習問題 4 --practice_5 演習問題 5 --practice_6 演習問題 6 --sample
H26 年度 MPI プログラミング入門 ( 演習補足資料 ) 2014 年 6 月 24 日 大阪大学サイバーメディアセンター 日本電気株式会社 演習問題の構成 ディレクトリ構成 MPI/ --practice_1 演習問題 1 --practice_2 演習問題 2 --practice_3 演習問題 3 --practice_4 演習問題 4 --practice_5 演習問題 5 --practice_6
2 2.1 Mac OS CPU Mac OS tar zxf zpares_0.9.6.tar.gz cd zpares_0.9.6 Mac Makefile Mekefile.inc cp Makefile.inc/make.inc.gfortran.seq.macosx make
Sakurai-Sugiura z-pares 26 9 5 1 1 2 2 2.1 Mac OS CPU......................................... 2 2.2 Linux MPI............................................ 2 3 3 4 6 4.1 MUMPS....................................
MPI
筑波大学計算科学研究センター CCS HPC サマーセミナー MPI 建部修見 tatebe@cs.tsukuba.ac.jp 筑波大学大学院システム情報工学研究科計算科学研究センター 分散メモリ型並列計算機 (PC クラスタ ) 計算ノードはプロセッサとメモリで構成され, 相互結合網で接続 ノード内のメモリは直接アクセス 他ノードとはネットワーク通信により情報交換 いわゆるPCクラスタ 相互結合網
理化学研究所計算科学研究機構研究部門量子系分子科学研究チーム殿 hp170163: 有機半導体 有機分子発光材料の全自動探索シミュレーションシステムの開発 高度化支援作業 2017 年 9 6 ( R405 般財団法 度情報科学技術研究機構利 援部 1
理化学研究所計算科学研究機構研究部門量子系分子科学研究チーム殿 hp170163: 有機半導体 有機分子発光材料の全自動探索シミュレーションシステムの開発 高度化支援作業 2017 年 9 6 ( )@AICS R405 般財団法 度情報科学技術研究機構利 援部 1 Outline 高度化支援の依頼内容 実行環境と計算条件 PWscf フロー図 各ライブラリを使用した場合のプログラム全体の実行時間の比較
OpenMP¤òÍѤ¤¤¿ÊÂÎó·×»»¡Ê£±¡Ë
2012 5 24 scalar Open MP Hello World Do (omp do) (omp workshare) (shared, private) π (reduction) PU PU PU 2 16 OpenMP FORTRAN/C/C++ MPI OpenMP 1997 FORTRAN Ver. 1.0 API 1998 C/C++ Ver. 1.0 API 2000 FORTRAN
インテル(R) Visual Fortran Composer XE 2013 Windows版 入門ガイド
Visual Fortran Composer XE 2013 Windows* エクセルソフト株式会社 www.xlsoft.com Rev. 1.1 (2012/12/10) Copyright 1998-2013 XLsoft Corporation. All Rights Reserved. 1 / 53 ... 3... 4... 4... 5 Visual Studio... 9...
OpenMP¤òÍѤ¤¤¿ÊÂÎó·×»»¡Ê£±¡Ë
2011 5 26 scalar Open MP Hello World Do (omp do) (omp workshare) (shared, private) π (reduction) scalar magny-cours, 48 scalar scalar 1 % scp. ssh / authorized keys 133. 30. 112. 246 2 48 % ssh 133.30.112.246
WinHPC ppt
MPI.NET C# 2 2009 1 20 MPI.NET MPI.NET C# MPI.NET C# MPI MPI.NET 1 1 MPI.NET C# Hello World MPI.NET.NET Framework.NET C# API C# Microsoft.NET java.net (Visual Basic.NET Visual C++) C# class Helloworld
スパコンに通じる並列プログラミングの基礎
2018.06.04 2018.06.04 1 / 62 2018.06.04 2 / 62 Windows, Mac Unix 0444-J 2018.06.04 3 / 62 Part I Unix GUI CUI: Unix, Windows, Mac OS Part II 2018.06.04 4 / 62 0444-J ( : ) 6 4 ( ) 6 5 * 6 19 SX-ACE * 6
GeoFEM開発の経験から
FrontISTR における並列計算のしくみ < 領域分割に基づく並列 FEM> メッシュ分割 領域分割 領域分割 ( パーティショニングツール ) 全体制御 解析制御 メッシュ hecmw_ctrl.dat 境界条件 材料物性 計算制御パラメータ 可視化パラメータ 領域分割ツール 逐次計算 並列計算 Front ISTR FEM の主な演算 FrontISTR における並列計算のしくみ < 領域分割に基づく並列
OpenMP (1) 1, 12 1 UNIX (FUJITSU GP7000F model 900), 13 1 (COMPAQ GS320) FUJITSU VPP5000/64 1 (a) (b) 1: ( 1(a))
OpenMP (1) 1, 12 1 UNIX (FUJITSU GP7000F model 900), 13 1 (COMPAQ GS320) FUJITSU VPP5000/64 1 (a) (b) 1: ( 1(a)) E-mail: {nanri,amano}@cc.kyushu-u.ac.jp 1 ( ) 1. VPP Fortran[6] HPF[3] VPP Fortran 2. MPI[5]
Microsoft PowerPoint - scls_biogrid_lecture_v2.pptx
スパコン コース並列プログラミング編 善之 E-mail:yoshiyuki.kido@riken.jp 理化学研究所 HPCI 計算 命科学推進プログラム企画調整グループ企画調整チームチーム員 次 1. Message Passing Interface (MPI) 2. Open MP 3. ハイブリッド並列 4. 列計算の並列化 計算機ってなんだ? 計算機 計算に いる機械 ( デジタル 辞泉
Reedbush-Uアカウントの発行
計算科学概論 ( 第 9 回 ):6 月 12 日 ( 月 ) Reedbush-U スーパーコンピュータシステム の利用と MPI プログラムの実行 松本正晴 大学院情報理工学系研究科コンピュータ科学専攻 本日の講義資料 ITC-LMS の授業スライドにある 計算科学概論 0612.pdf を 各自ダウンロードしてください Reedbush-U アカウントの発行 ( 先週までに名簿登録した者のみです
スパコンに通じる並列プログラミングの基礎
2016.06.06 2016.06.06 1 / 60 2016.06.06 2 / 60 Windows, Mac Unix 0444-J 2016.06.06 3 / 60 Part I Unix GUI CUI: Unix, Windows, Mac OS Part II 0444-J 2016.06.06 4 / 60 ( : ) 6 6 ( ) 6 10 6 16 SX-ACE 6 17
スパコンに通じる並列プログラミングの基礎
2018.09.10 furihata@cmc.osaka-u.ac.jp ( ) 2018.09.10 1 / 59 furihata@cmc.osaka-u.ac.jp ( ) 2018.09.10 2 / 59 Windows, Mac Unix 0444-J furihata@cmc.osaka-u.ac.jp ( ) 2018.09.10 3 / 59 Part I Unix GUI CUI:
Fujitsu Standard Tool
XcalableMP ワークショップ COARRAY の便利な使い方 2017 年 10 月 31 日富士通株式会社 ) 次世代 TC 開発本部原口正寿 COARRAY 仕様 Fortran 2008 に組み込まれた分散並列機能 指示文とサービスサブルーチンではなく 文法として組み込まれた [, ] ( 角括弧 ) によるプロセス間通信と 同期のための文 アトミックサブルーチンなど組込み手続 SPMDモデル(Single