Microsoft PowerPoint - hpc0703nakada_slide.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - hpc0703nakada_slide.ppt"

やすもりかつもと
4 years ago
Views:

1 NAREGI ミドルウェア β- glite 間における相互ジョブ起動実験中田秀基 ( 産総研 ), 佐藤仁 ( 東工大 ), 佐賀一繁 (NII NII), 畑中正行 ( 富士通 ), 佐伯裕治 (NII NII), 松岡聡 ( 東工大,NII) National Institute of Advanced Industrial Science and Technology

2 背景様々なグリッドミドルウェアグリッドミドルウェアの発展 Globus, UNICORE, NAREGI Middleware, glite 実際の運用も始まる異なるグリッドミドルウェアで運用されているグリッド間ではリソースを共有することができない相互運用手法確立が急務 Grid A: A: glite Site Site Grid B: B: UNICORE Site Site

3 背景 (2) OGF(Open Grid Forum) GIN-CG Grid Interoperation Now Community Group 標準化への努力はさておき現在可能な技術で相互運用を行おうという試み

4 目的 GIN-CG の一環一環としてとして下記下記のふたつののふたつのグリッドミドルウェア間でのでの相互運用実験相互運用実験を行う NAREGI Middleware β EGEE glite 相互運用セキュリティ機構情報サービスジョブサブミッション大規模データ転送

5 発表のアウトライングリッドミドルウェアの構造 NAREGI Middleware β glite 相互運用の方針方針と実現測定結論

6 グリッドミドルウェアの役割前提個々のグリッドには複数のサイトが属している個々のサイトには複数の計算機があり, なんらかのローカルスケジューラで管理されているグリッドミドルウェアユーザからのジョブ実行依頼を適切なサイトへ安全にディスパッチ適切 - 負荷分散,VOMなど安全 - 認証認可サイト内部ではローカルスケジューラが実行を司る Grid Site Site

7 一般的なグリッドミドルウェアの構成ユーザがジョブを実行するサイトを決定 Broker Client Information Service 投入各サイトの情報を収集 Site Job Manager local scheduler Job Manager local scheduler Site Job Manager local scheduler Site 個々のサイトを管理バッチスケジューラ SGE,PBS,Condor

8 NAREGI ミドルウェア β NAREGI プロジェクトの開発開発したしたミドルウェアミドルウェア第 2 世代 βという名前に反して,αとは( ほとんど ) 無関係 α: 2004 年度開発 UNICORE ベース β: 2005 年度以降開発 WSRFをベース OGFで定められた標準技術に準拠特徴ワークフローエンジン複数サイトにまたがった並列ジョブ実行自動的に複数サイトへ分配

9 NAREGI ミドルウェア β の概要 SS GridVM SC Client OGSA-DAI IS SS (Super Scheduler) ブローカー兼ワークフローエンジン IS (Information Server) 情報収集機構 DBをOGSA-DAIでラップ LRPS LRPS LRPS GridVM GridVM GridVM local scheduler local scheduler local scheduler GridVM クラスタを管理いわゆる VM ではない GT4 のコンテナを利用

10 NAREGI ミドルウェア情報サービスの概要 DB WSRF Container OGSA-DAI Service Aggregator Service XML-CIM/ WSRF SS 情報は CIM スキーマで表現, DBに格納情報の収集収集は,LRPS(Local Resource Provider Service) から,Aggregator Service を経由してして行う LRPS for GridVM GridVM NAREGI-Middleware-β 情報の検索検索は OGSA-DAI で WSRFでラップされたデータベース検索インターフェイス

11 glite の概要 EU の EGEE (Enabling Grids for E-Science in Europe) のミドルウェア Condor のモジュールモジュールをあちこちでをあちこちで使用 Condor Wisconsin 大学で開発された, スケジューリングシステム Condorで用いられているmatch making をブローカリングに使用ジョブサブミッションはCondor-C

12 glite の概要 WMS Client LDAP BDII WMS Workload Management System classad をもちいたフローカリング BDII (Berkley Directory Information Index) LDAP ベース glite-ce local scheduler LCG-CE local scheduler CE (Compute Element) glite-ce Condor-Cを使用 LCG-CE Globus GRAM2 先行プロジェクトLCG (LHC Computing Grid) からのキャリーオーバー

13 glite-ce におけるジョブ実行の詳細 4 grid ftp Client WMS GRAM client Condor schedd 2 Condor-C 3 glite-ce GRAM Condor schedd 起動 GridManager 1 BLAHPD local scheduler script Job

14 発表のアウトライングリッドミドルウェアの構造 NAREGI Middleware β glite 相互運用の方針方針と実現測定結論

15 相互ジョブ実行の要件認証認可基盤認可基盤の相互運用セキュリティ基盤すべての基礎 - この部分の相互運用は必須情報サービスサービスの相互運用相互の計算機資源の状態が検索可能ジョブの相互投入どこで相互乗り入れするかが問題

16 認証, 認可基盤の相互運用認証ユーザが誰であるかを確認一般に証明書を用いる認可そのユーザに対してなにを許可するか仮想組織の管理すべての基礎 - この部分部分の相互運用相互運用は必須今回はほとんど問題にならなかった認証基盤 GSI 仮想組織管理 VOMS NAREGIがEGEEのVOMSを使用

17 情報サービスの相互運用 DB WSRF Container OGSA-DAI Service Aggregator Service XML-CIM/ WSRF translator LRPS for BDDI LDIF BDII translator CE LRPS for GridVM GridVM NAREGI-Middleware-β glite

18 相互ジョブ起動の 3 つの方法 Client Broker Job Manager Client Broker Job Manager Broker -> JobManager 比較的速いジョブ受け入れ側グリッドの管理ポリシが反映しにくい情報サービスの相互運用が必須 Broker -> Broker 比較的遅い受け入れ側の管理ポリシが反映しやすい JobManager -> Broker さらに遅い受け入れ側の管理ポリシが反映しやすい

19 相互ジョブサブミッションの設計どこからジョブジョブ起動起動を対象対象グリッドグリッドに出すか? どこから受け入れるか? 共有できる標準化されたプロトコルを使用している部分があればそこがよい NAREGIのプロトコルは, 改変可能 glite-ceの内部プロトコル (BLAHP) は個人的によく知っている Client API ライブラリが存在インターフェイスが定義公開されている非公開の内部プロトコル Client SS GridVM SC WMS GridVM GridVM glite-ce LCG-CE local scheduler local scheduler NAREGI-Middleware-β local scheduler glite local scheduler

20 NAREGI glite ジョブ起動の実現 Client Client GridVM SC SS GRAM2 SC WMS LDAP BDII GridVM GridVM GridVM LCG-CE glite-ce local scheduler local scheduler local scheduler local scheduler local scheduler NAREGI-Middleware-β glite

21 NAREGI glite ジョブ起動の実現 GridVM の代わりに GRAM2(LCG-CE) CE) を呼び出す SC を開発 SCは動的にリンクされるモジュールとして実装されているため, 比較的容易 GRAM2では予約が利用できないため, 予約したフリをするどちらの SC を利用利用するかは, 情報サービスサービスからから得た情報によってによって分岐ユーザは特に意識することなく双方を利用することができる

22 glite -> NAREGI ジョブ起動の実現 Client Client SS GridVM SC WMS LDAP BDII GridVM GridVM GridVM local scheduler local scheduler local scheduler Modified glite-ce LCG-CE local scheduler NAREGI-Middleware-β glite

23 実装の詳細 4 grid ftp Client WMS GRAM client Condor schedd 2 Condor-C 3 glite-ce GRAM Condor schedd 起動 GridManager 1 BLAHPD local scheduler script Job

24 実装の詳細 grid ftp SS GridVM Client WMS GRAM client Condor schedd 2 Condor-C 3 glite-ce GRAM Condor schedd 起動 GridManager BLAHPD 1 local scheduler script Job

25 BLAHP プロトコルテキストベースのアダプタアダプタ用プロトコルプロトコル GAHPにコマンドセットを定義したもの GAHP(Globus Ascii Helper Protocol) - Condorから Globus を呼び出すために定義されたテキストプロトコル UNICORE 用 GAHP( 中田 04 04) コマンドセットをベース BLAH_JOB_SUBMIT BLAH_JOB_STATUS BLAH_JOB_CANCEL UNICORE 用 GAHPD のコードコードを流用可能

26 技術的問題点と解決法 CE 上でのでのユーザユーザが仮想的仮想的なユーザユーザになるため NAREGI へのジョブサブミッション時にファイルステージングファイルステージングがうまくいかない一時ディレクトリを作成してファイルをコピーして回避 grid ftp SS GridVM nakada nakada local scheduler script Client GRAM client WMS Condor schedd 2 Condor-C 3 glite-ce nakada GRAM Condor schedd 起動 GridManager BLAHPD 1 nakada nrggin02 nakada Job

27 技術的問題点と解決法プロキシ証明書証明書の段数制限プロキシ証明書 - 子証明書発行機関認証の枠組みを利用理論的には段数に制限はない globusによるgridftp 実装上の問題 openssh ライブラリのデフォルト証明書発行機関段数による制限 - 8 段解決法 gridftpを利用するプログラムを特殊なオプションで起動して回避本来はgridftp を修正するべき

28 発表のアウトライングリッドミドルウェアの構造 NAREGI Middleware β glite 相互運用の方針方針と実現測定結論

29 実験相互ジョブジョブ実行実行にかかるにかかる時間時間を計測比較対照として各ミドルウェア内部での実行時間も測定 10 回測定した平均値実行環境すべてNAREGI 側に配置したノード内で実行

30 実験結果 NMB-Client 66s 134s glite-client 484s 284s 250s gridvm glite-ce LCG-CE 使用機材 Pentium 4 Xeon 3GHz dual, メモリ1Gbyte, RedHat 8 ネットワーク 1000base-T

31 発表のアウトライングリッドミドルウェアの構造 NAREGI Middleware β glite 相互運用の方針方針と実現測定結論

32 結論と今後の課題 NAREGI Middleware β と glite の間でジョブジョブ起動起動に関するする相互運用実験相互運用実験を行い下記下記を確認証明書や仮想組織管理のレイヤでは相互運用性に問題はない情報サービスのレイヤでも相違が吸収できるその情報を用いて相互のジョブ起動が可能である

33 今後の課題より精密精密な測定測定と内訳内訳の解析実運用環境を用いてのいての実験実環境のVOMSでの運用性を確認日欧間のレイテンシの影響より洗練洗練された相互ジョブジョブ実行法実行法の検討 N x N のブリッジングはばかげている標準化されたインターフェイスをすべてのグリッドミドルウェアが利用するのが理想

34 謝辞本研究は文部科学省文部科学省経済活性化経済活性化のためののための重点技術開発プロジェクトプロジェクトの一環一環としてとして実施実施している, 超高速コンピュータ網形成網形成プロジェクト (NAREGI:National National Research Grid Initiative) によるものである.

untitled

untitled 1 6. 2 NAREGIWP5 3 Packaging Grid Programming (WP2) -Grid RPC -Grid MPI Grid-Enabled Nano-Applications (WP6) Grid Visualization Grid Workflow (WFML (Unicore+ WF)) Super Scheduler WP3 WP1 Grid PSE WSRF