Fujitsu Standard Tool

Size: px

Start display at page:

Download "Fujitsu Standard Tool"

ありさいりぐら
4 years ago
Views:

低レベル通信ライブラリ ACP の PGAS ランタイム向け機能 2014 年 10 月 24

3 ACE プロジェクトと ACP ライブラリエクサスケールの時代はプロセッサのメニーコア化が進むコアあたりのメモリ容量は減少 Advanced Communication for Exa(ACE) プロジェクト米澤 CREST 第二期南里 T 新しい通信システムソフトウェア技術の創出低遅延だけでなく省メモリにも重点を置く Advanced Communication Primitives(ACP) ライブラリ ACE プロジェクトの中核技術となる低レベル通信ライブラリメモリ消費量を明示的に制御 2 Copyright 2014 FUJITSU LIMITED

4 ACP ライブラリの特徴低レベル通信ライブラリインターコネクトデバイスを直接サポート Ethernet (UDP) InfiniBand Tofuインターコネクト上位層には通信ライブラリ並列言語処理系のランタイムを想定省メモリプロトコルアルゴリズムを提供エクサスケールの実行環境は 1 ノード多プロセス各プロセスにおける通信のメモリ使用量削減が重要 ACP 自身も省メモリ 3 Copyright 2014 FUJITSU LIMITED

6 ACP-1.0 のインタフェース構成チャネル明示的に生成破棄して使用するプロセス間片方向通信チャネルベクタリスト複数プロセスに跨って生成操作破棄できるデータ構造メモリアロケータ任意のプロセスからメモリを確保解放アドレス変換ローカルメモリにグローバルアドレスを割り当てグローバルメモリ参照グローバルアドレス上のデータ転送アトミック演算 5 Copyright 2014 FUJITSU LIMITED

8 チャネルプロセス間の片方向通信チャネル明示的に生成破棄必要十分な期間だけ通信バッファを割当て早期の明示的なチャネル生成によるオーバーヘッド隠蔽を期待 sender send channel receiver receive acp_ch_t ch = acp_create_ch( ); loop { acp_wait_ch(acp_nbsend(ch, )); } acp_free_ch(ch); acp_ch_t ch = acp_create_ch( ); loop { acp_wait_ch(acp_nbrecv(ch, )); } acp_free_ch(ch); チャネルは用途毎に生成することを想定複数用途で通信バッファを共有するためのタグ機能は付けない 7 Copyright 2014 FUJITSU LIMITED

10 ベクタ型データ構造任意のプロセスのメモリ上に生成できる可変長配列単一プロセスのメモリ上で閉じるのでグローバル配列ではない v P1 P2 Pn v = acp_create_vector(, 2) 他のプロセスから参照要素追加要素削除が可能ただし生成したプロセスからベクタのグローバルアドレスを得る必要あり v acp_push_back_vector(v, ) P1 P2 Pn 9 Copyright 2014 FUJITSU LIMITED

11 リスト型データ構造要素毎に異なるプロセスに配置できる双方向リスト管理情報 ( 空リスト ) を配置するプロセスも指定可能要素サイズは固定空リスト生成時に決定 P1 P2 acp_create_list(, 2) Pn head tail head tail P1 P2 Pn P1 P2 Pn acp_push_back_list(, 1) acp_push_back_list(, n) 10 Copyright 2014 FUJITSU LIMITED

13 メモリアロケータ関数割当 : acp_malloc() サイズと割当プロセス番号を指定してメモリ割当て割り当てた領域の先頭グローバルアドレスを返す解放 : acp_free() 解放する領域の先頭グローバルアドレスを指定名称割当解放定義 acp_ga_t acp_malloc(size_t size, int rank); void acp_free(acp_ga_t ga); 12 Copyright 2014 FUJITSU LIMITED

15 アドレス変換関数グローバルアドレスは 64 ビットグローバルアドレス ( ポインタ ) に対するアトミック演算が可能 16 エクサバイトをアドレッシング可能で容量は十分グローバルアドレス取得手順 1. 論理アドレスとサイズを指定してメモリを登録する 2. メモリを登録するとアドレス変換キーが得られる 3. 登録済みメモリのグローバルアドレスはアドレス変換キーを使用して取得名称メモリ登録グローバルアドレス取得メモリ登録解除定義 acp_atkey_t acp_register_memory (void* addr, size_t size, int color); acp_ga_t acp_query_ga(acp_atkey_t atkey, void* addr); int acp_unregister_memory(acp_atkey_t atkey); 14 Copyright 2014 FUJITSU LIMITED

16 グローバルアドレス関連関数逆引きグローバルアドレスからローカルアドレスランク番号に変換可能スターターメモリ ACPライブラリが予め用意するグローバルメモリ静的共有変数の配置場所任意のプロセスのスターターアドレスを取得できる名称論理アドレス取得ランク番号取得スターターアドレス取得定義 void* acp_query_address(acp_ga_t ga); int acp_query_rank(acp_ga_t ga); acp_ga_t acp_query_starter_ga(int rank); 15 Copyright 2014 FUJITSU LIMITED

18 グローバルメモリ参照 (GMA) 関数コピー : acp_copy() 転送元と転送先に任意のグローバルアドレスを指定非ブロッキング GMAハンドルを返す開始条件 (GMA 間依存関係 ) を指定可能不可分比較交換 : acp_cas8(), acp_cas4() コピーと同様だがサイズの代わりに比較交換のオペランドを指定 GMA 完了 : acp_complete() GMA が終了するまで待ち合わせる名称コピー不可分比較交換 GMA 完了定義 acp_handle_t acp_copy(acp_ga_t dst, acp_ga_t src, size_t size, acp_handle_t order); acp_handle_t acp_cas8(acp_ga_t dst, acp_ga_t src, uint64_t oldval, uint64_t newval, acp_handle_t order); void acp_complete(acp_handle_t handle); 17 Copyright 2014 FUJITSU LIMITED

19 GMA 間依存関係指定のサンプルコード非ブロッキングの AllGather 集団通信各プロセスがデータを二分木で全プロセスに Broadcast Broadcast は非ブロッキング集中制御型全プロセスが Broadcast することで全体として AllGather 通信を実現 rank = acp_rank(); procs = acp_procs(); handle[rank] = ACE_HANDLE_NULL; for ( i = 1 ; i < procs ; i++ ) { dst = (rank + i ) % procs; src = (rank + (i>>1)) % procs; handle[dst] = acp_copy( acp_query_startar_ga(dst) + n * rank, acp_query_startar_ga(src) + n * rank, n, handle[src] ); } acp_complete(acp_handle_all); acp_sync(); 18 Copyright 2014 FUJITSU LIMITED

21 ACP のモジュール構成基本層 (Basic Layer) アドレス変換グローバルメモリ参照を実装デバイス依存コミュニケーションライブラリ (Communication Library) チャネルを実装デバイス非依存データライブラリ (Data Library) ベクタリストメモリアロケータを実装デバイス非依存 Basic Communication Data ACP ライブラリの構成 20 Copyright 2014 FUJITSU LIMITED

23 メモリ消費量基本層のメモリ消費量を机上計算プロセス数は 100 万メモリ登録数は 128 を想定 Tofu 版はプロセスあたり約 70MB ノードあたり 8 プロセスの場合ノードあたり合計 0.55GB プロセス数比例メモリ登録数比例その他固定 Tofu 69MB 1 プロセスあたりコマンド受信バッファ 64B Tofu アドレステーブル 4B Tofu 経路テーブル 1B 7KB 1 メモリ登録あたり登録メモリ管理テーブル 40B 論理アドレス検索テーブル 16B 264KB コマンドキュー兼コマンド送信バッファ 64B 4,096 論理アドレス検索テーブル 8B 256 UDP 合計約 70MB 約 19MB 18MB 1 プロセスあたり待ち受け IP アドレス 4B 待ち受けポート番号 2B 送信シーケンス番号 4B 受信シーケンス番号 4B ランク番号 4B 647KB コマンドキュー 80B 4,096 コマンドステーション 1,504B 64 デリゲートステーション 3,

24 評価環境 PC クラスタとスーパーコンピュータで評価 PC Cluster PC クラスタ (GbE) では UDP 版基本層を使用 Supercomputer Node Fujitsu PRIMERGY RX200 S5 Fujitsu PRIMEHPC FX10 CPU Intel Xeon E5520, 2 sockets (4 cores, 2.27 GHz) Fujitsu SPARC64TM IXfx (16 cores, GHz) Memory 48GB, DDR3 1066MHz 64GB, DDR3 1333MHz Network Gigabit Ethernet (125 MB/s) Tofu interconnect (5.0 GB/s) OS Linux version Linux version スーパーコンピュータ (FX10) では Tofu 版基本層を使用 23 Copyright 2014 FUJITSU LIMITED

25 基本層のスループット Communication Bandwidth (MB/s) ACPbl for Tofu MPI on Tofu 0 1.0E E E E+06 Data Size (B) 約 10KB 以上のデータでは ACP は MPI よりスループットが高い MPI のオーバーヘッドは Rendezvous プロトコルが原因と考えられる 24

26 関数実行時間評価対象関数グローバルメモリ割当関数 acp_malloc() グローバルメモリ解放関数 acp_free() リスト要素追加関数 acp_push_back_list() 評価方法割当 : 100 回連続で呼び出し平均実行時間を計測割当先プロセス : 他ノードのプロセス (remote) と自ノードのプロセス (local) 割当サイズ : 1バイト以上 32768バイト以下の乱数で毎回変更解放 : 割当てた 100 個のメモリを連続で解放し平均実行時間を計測解放順序 : 割当順ではなくランダムな順番要素追加 : 100 回連続で呼び出し平均実行時間を計測要素配置プロセス : 他ノードのプロセス (remote) と自ノードのプロセス (local) 25 Copyright 2014 FUJITSU LIMITED

27 Average execution time (usec) 関数実行時間評価結果 acp_malloc (local) acp_free (local) acp_push_back_list (local) acp_malloc (remote) acp_free (remote) acp_push_back_list (remote) Tofu/SPARC64 UDP/x64 Tofu 版ではlocalとremoteで実行時間は2~4 倍しか変わらない UDP 版ではlocalとremoteで実行時間が30~300 倍遅くなる 26 Copyright 2014 FUJITSU LIMITED

29 Ruby, Python への Coarray 拡張実装 Ruby の内部 DSL として CoArray を拡張 array = LLPGAS::CoArray.new(:int, 5) # CoArrayの生成は集団的 x = array[0] # ローカル配列の参照 array.at(1)[3] = y # リモート配列への代入通信部分は ACP を呼び出し内部でRemote-to-remoteコピーも実現 Proxyオブジェクトによりグローバルアドレスの評価を代入まで遅延実装量インターフェース部 (FFI) を除くと500 行程度このうちProxyオブジェクトは40 行程度 Python 版実装量 Proxyオブジェクト以外はRubyと同程度 Proxyオブジェクト部は100 行程度 28 Copyright 2014 FUJITSU LIMITED

33 まとめ ACP は低レベル通信ライブラリインターコネクトデバイスを直接サポートし低オーバーヘッド省メモリプロトコルアルゴリズムを提供明示的にメモリを使用するインタフェースチャネルベクタリストメモリアロケータアドレス変換グローバルメモリ参照モジュール化実装アドレス変換グローバルメモリ参照を含む基本層のみデバイス依存 100 万プロセス時にプロセスあたり数十 MBのメモリ使用量性能評価 Tofu 版ではlocalとremoteで実行時間は2~4 倍しか変わらない UDP 版ではlocalとremoteで実行時間が30~300 倍遅くなる Ruby, Python の CoArray 拡張を 500 行程度の実装量で実現 32 Copyright 2014 FUJITSU LIMITED

[4] ACP (Advanced Communication Primitives) [1] ACP ACP [2] ACP Tofu UDP [3] HPC InfiniBand InfiniBand ACP 2 ACP, 3 InfiniBand ACP 4 5 ACP 2. ACP ACP

[4] ACP (Advanced Communication Primitives) [1] ACP ACP [2] ACP Tofu UDP [3] HPC InfiniBand InfiniBand ACP 2 ACP, 3 InfiniBand ACP 4 5 ACP 2. ACP ACP InfiniBand ACP 1,5,a) 1,5,b) 2,5 1,5 4,5 3,5 2,5 ACE (Advanced Communication for Exa) ACP (Advanced Communication Primitives) HPC InfiniBand ACP InfiniBand ACP ACP InfiniBand Open MPI 20% InfiniBand Implementation