MPI 通信ライブラリ規格化最前線東京大学石川裕目次 MPI 通信ライブラリとは? MPI 通信ライブラリ規格化の歴史 MPI 通信ライブラリ規格化の最近の動き 2008/12/11 2

Size: px

Start display at page:

Download "MPI 通信ライブラリ規格化最前線東京大学石川裕目次 MPI 通信ライブラリとは? MPI 通信ライブラリ規格化の歴史 MPI 通信ライブラリ規格化の最近の動き 2008/12/11 2"

あつのほがり
5 years ago
Views:

1 MPI 通信ライブラリ規格化最前線東京大学石川裕目次 MPI 通信ライブラリとは? MPI 通信ライブラリ規格化の歴史 MPI 通信ライブラリ規格化の最近の動き 2008/12/11 2

2 MPI 通信ライブラリの概要背景 1990 年初頭各コンピュータベンダは独自の通信ライブラリを提供ユーザプログラムのポータビリティ問題が深刻化あるマシン上で開発したアプリケーションが他のベンダのマシンで動かずプログラムを書き直さなければならない米国国立研究所大学並列計算機メーカが中心となり策定した通信ライブラリ歴史 1994 年 MPI 年 MPI 年 MPI-2.0&MPI /12/11 3 MPI 通信ライブラリ実装いろいろ MPICH Argonne National Laboratory LAM/MPI Indiana University LA-MPI Los Alamos National Laboratory Fault Tolerance FT-MPI University of Tenessee Fault Tolerance MPICH-G2 Northern Illinois University Grid-enabled MPI MPICH/SCore PCCC MPICH2 Argonne National Laboratory Microsoft MPI MPICH-V University Paris Sud Fault-Tolerant MVAPICH Ohio State University Infiniband Intel MPI Open MPI PACX-MPI (Non-native MPI) HLRS Heterogeneous Environment YAMPI University of Tokyo GridMPI AIST under the contract of NaReGI 派生システム統合システム次期システム 2008/12/11 4

3 MPI 規格化の動き MPI-2.1 MPI-1.2 と MPI-2.0 は別のドキュメントとして提供されているこれらをマージして一つのドキュメントにすると共に間違いを修正する MPI-2.2 MPI-2.1 に対するマイナーな変更を行う現存のプログラムが動かなくなるような変更は行わない大きな実装の変更を要求するような変更は行わない MPI-3 MPI-2.2 に対してプラットフォームおよびアプリケーションに対してより良い支援を行うために必要な変更を行う拡張は一貫性があること 2008/12/11 5 MPI-2.1 規格 2008 年 9 月 4 日規格承認 MPI-2.1 準拠処理系公開予定出典 :MPIForum Library MPICH2 Open MPI (in V1.3) Yes mm/yy alpha upcoming IBM 12/2008 Sun Microsy stems (OpenMPI) Microsof t 12/2008 Fujitsu 6/2009 Library Bull Yes mm/yy HP 12/2008 Cray Q NEC Intel 2009 SiCortex 2008/12/11 6

4 MPI-2.2 規格化の現状 SendBufferAccess AddconstkeyworkdtotheCbindings tochangempassertionstoall owmpiimplementationoptimizations(mpi_init_asserted) Addsupport formpi_request_ignore,li kempi_status_ignore MPI_Comm_set_info/get_infoIsettingspercommunicator Fixtextabout freeingerrorcodes AmbiguitywithMPI_TYPE_GET_CONTENTS AmbiguitywithMPI_GRAPH_NEIGHBOR(_COUNT) MPI:: Fintshouldberemoved MPI_Request_freeissues MPI:: F_DOUBLE_COMPLEXMPI-2.1ErrataMPI:: F_DOUBLE_COMPLEX (page495li ne11) MPI-2.1ErrataMPI_MAX_OBJECT_NAME (page237li nes1+3,page563,lines18+20) FixScalabili tyissuesingraphtopologyinterface AddalocalReductionFunction AddalocalProgressionFunction Addacall back functionifarequestcompletes Regular (non-vector) versionof MPI_Reduce_scatter Newbinaryoperators orsegmentedscansetc.) (f on (value,index)pairdatatypes ExtendpredefinedMPI_OPtouserdefineddatatypescomposedof asingle,predefinedtype] Minorconsistencyissue:Samerule formpi_in_placeinmpi_all reduceandmpi_reduce_scatter? 2008/12/11 7 MPI-2.2 規格化の現状 ClarificationtointercommMPI_Barrier Matchedprobe/receive Partialpack/unpack functionali ty AddMPI_IN_PLACEoptiontoAll toall ConsistentErrorReportingRules Errorinexample4.18 NewPredefinedDatatypes MPI_REPLACEinMPI_Accumulate Minortypoindescriptionof MPI_Cart_shift Minortypoindescriptionof MPI_Cart_rank Clarifywhoiscli entinexternal32datarepresentationadvisetoimplementors Movetheclarificationof thethreadapitoamoreprominentplace Support forlargemessagecounts Removedeprecated functions from theexamples Smallclarificationsinchapter10 IbsendandIrsendAdvicetoUsersmisleading InconsistentuseofMPI_ANY_SOURCEinarguments Misleadingrationale formpi_test 2008/12/11 8

5 MPI-2.2 規格化の現状 ManyC++bindingsaremissing"const" MPI_GREQUEST_START functionpointerargsaremissing"*" Consistencyof unctionpointertypedef f names SeveraltextupdatestoLanguageBindingschapter MPI_CANCELargumentisthewrongtype Consistencyof prefixesinnamingconventionssection Removeunnecessary/emptydeprecatedC++binding section Clarifysemanticsof one-sidedsemanticswhenchangingsynchronizationmode Expli citlyencourageroutinesfor"good"one-sidedmemory forallmemoryregions Notethatuseof passivetargetcommunicationforfortranisnotsafe DynamicThreadLevels Pre_MPI_Init_BehaviorPre-MPI_Initbehaviorclarification MPI-2.1Change-Log:Versionnumbermodifiedto2.1 ConcurrentUseof MPI_Init() andmpi_init_thread() Coll ectiveregistrationof datatypesanduser-definedoperations forone-sidedcommunication 2008/12/11 9 MPI-3 規格化動向以下のワーキンググループによる議論 Appli cationbinaryinterface Coll ectiveoperations FaultTolerance FortranBindings Generali zedrequests MPISub-Seting Point-To-PointCommunications RemoteMemoryAccess ToolsSupport( 最近追加 ) Miscelaneous( 最近追加 ) HybridProgramming( 最近追加 ) 2008/12/11 10

6 MPI-3 規格化動向 :Application Binary Interface ABI(Appli cationbinary Interface) とはバイナリレベルでのデータ型手続き呼び出し規約を意味する現状の MPI では例えばあるプログラムを MPICH2 環境でコンパイルしたダイナミックリンク可能なプログラムは OpenMPI 環境では動作しない企業からの要望が強い MPI で記述されたアプリケーションを販売するときユーザの利用環境を聞かないとバイナリが提供できない多くのユーザはどの MPI 通信ライブラリを使っているか知らない問題例 :MPI_Communicator の型 foo.c MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &rank); OpenMPI 環境 Execution MPICH2 の場合 :int 型 (32bit) OpenMPI の場合 :address 型 (64bit) mpi.so 動的リンクライブラリ a.out $ mpicc foo.c mpi.so 動的リンクライブラリ MPICH 環境 $ mpirun np 8 a.out Execution 2008/12/11 11 MPI-3 規格化動向 : Collective Operations (1/2) Non-blockingColectives 1 対 1 通信では blocking/non-blocking があるが coll ective 通信にはない Non-blockingcolective 通信があれば通信の隠ぺいが可能となる検討事項 Non-blocking と blockingcolective 通信を一緒に使うと問題が生じる MPI_Ibarrier(..., &req) MPI_Bcast( ) MPI_Bcast( ) MPI_Ibarrier(, &req) MPI_Wait(&req, ) MPI_Wait(&req, ) 一度に許すoutstanding 数をどうするか Sparse/ToplogicalColl ectives 部分的なalltoall,reduce 2008/12/11 12

7 MPI-3 規格化動向 : Collective Operations (2/2) PersistentColectives Pointtopoint 通信では persistent communication があるが coll ectives にはない MPIPlans Non-blockingcolectives,sparse coll ectives,persistentcoll ectives と拡張していくのではなくこれら coll ectives を効率よく実装できるようにするprimitives を定義しようとする動きもある Persistent communicat ion 使用例 MPI_Recv_init(, &req[0]); MPI_Send_init(, &req[1]); for( ) {.: MPI_Startall(2, &req); MPI_Waitall(2, &req, ); } MPI Plans 使用例 Void my_ibarrier( ) { for ( ) { MPI_Plan_send( ); MPI_Plan_recv(.); } MPI_Plan_init( ); } 2008/12/11 13 MPI-3 規格化動向 : Fault Tolerance ポータブルな耐故障機能を実装できるような支援機能を定義する議論されている項目 ErrorReportingRules エラーをどのように報告するか CommIntegrityVali dation Coll ectiveoperation 時にエラーが発生した時に consistent な状態かどうかを調べる TransactionalMessages 通信エラーをどうモデル化してアプリケーションに伝えるか Piggybacking forpoint-to-pointcommunication 主データ交換にプラスアルファのデータを送れるようにしようとする提案 Faulthandli ng=errorhandli QuiescenceInterface システムレベル checkpoint/restart 機能と協調するための API を定めようという提案 ProcessCreationandManagementExtensions Non-blocking プロセス生成とエラー管理 FaultTolerantMasterWorkerjobs MPISpawn を使った master-worker モデル型アプリケーションでコミュニケータを共有しているときに一つのプロセスの障害が全てのプロセスに波及することを避ける現状 :[MPI_Abort]mayabortallprocesesinMPI_COMM_WORLD (ignoringitscommargument).additionall y,it mayabortconnec tedprocessesaswell,althoughitmakesbestatempttoabortonlytheprocessesincomm." 2008/12/11 14

8 MPI-3 規格化動向 : その他 Generali zedrequests Redefinethegenerali zedrequestsinterface.amore flexibleinterfacebetweentheuser definedrequestsandthempili braryisrequiredinordertoalowtheproviderof the generali zedrequesttointegrateaprogressfunctioninsidethempili brary.theultimate goalistoall owthegenerali zedrequestsprogresstobedonewithoutaspecialtestor wait function. MPISub-Setting Toestabli shamechanismbywhichmpiimplementationscanprovidesupport forasubset of the fullmpistandard,maintaining fullapiandsemanticcompatibili tywiththecomplete MPIstandard.Thisisaimedatall owingoptimizationopportunitiessuchas for performanceorresourcefoot-print. Point-To-PointCommunications Tore-examinetheMPIpeercommunicationsemanticsandinterface,andconsider additionsand/orchangesneededtobetersupportpoint-to-pointdatamovementwithin MPI. RemoteMemoryAccess Tore-examinetheMPIRMAinterfaceandconsideradditionsandorchangesneededto bettersupporttheone-sidedprogrammingmodelwithinmpi. 2008/12/11 15 おわりに MPI-2.1 の日本語化計画を始めています MPI-2.2 規格化 Smallchanges としているがいろいろな提案が出てきている議論のうえ MPI-3 に移動する場合もある MPI-3 規格化あれもこれも新しい機能を追加するとドキュメントは倍に膨れ上がるかもしれない MPISpawn の拡張も議論されているが MPISpawn の実装は現状でも限定的かつ実装は後回しの感があるアッパコンパチビリティを保つことの限界メッセージサイズが 32 ビットを超えることができないために新たなる関数を提供するのか? C 言語は暗黙の型変換で逃げることができるが Fortran は無理ポータブルかつシンプルな通信ライブラリ API および実装が必要になったか? 2008/12/11 16

MPI-Adapter チュートリアル富士通研究所住元真司 PC クラスタワークショップ 2010 All rights reserved, Copyright (C) Fujitsu Laboratories Ltd. 2010

MPI-Adapter チュートリアル富士通研究所住元真司 PC クラスタワークショップ 2010 All rights reserved, Copyright (C) Fujitsu Laboratories Ltd. 2010 MPI-Adapter チュートリアル富士通研究所住元真司 PC クラスタワークショップ 2010 All rights reserved, Copyright (C) Fujitsu Laboratories Ltd. 2010 発表の概要 MPI-Adapterとは何か? MPI-Adapterの概要 MPI-Adapterの仕組み MPI-Adapterの利用デモンストレーション 2 MPI-Adapter

MPI 通信ライブラリ規格化最前線 東京大学石川裕 目次 MPI 通信ライブラリとは? MPI 通信ライブラリ規格化の歴史 MPI 通信ライブラリ規格化の最近の動き 2008/12/11 2

MPI 通信ライブラリ規格化最前線東京大学石川裕目次 MPI 通信ライブラリとは? MPI 通信ライブラリ規格化の歴史 MPI 通信ライブラリ規格化の最近の動き 2008/12/11 2