RENKEI (REsource liNKage for E-scIence) プロジェクトにおけるPoPの展開配備

Size: px

Start display at page:

Download "RENKEI (REsource liNKage for E-scIence) プロジェクトにおけるPoPの展開配備"

ちかこいなおか
5 years ago
Views:

1 RENKEI (REsource linkage for E-scIence) プロジェクトにおける PoPの展開配備東田学 ( 大阪大学 ) 松岡聡友石正彦實本英之滝澤真一朗 ( 東京工業大学 )

2 ADVNET2008 SACSIS2009 東田学, 下條真司, Linux カーネルの TCP ウゖンドウサズ自動最適化と連動したバルクデータ転送, ADVNET2008 高野了成, HPC ユーザが知っておきたい TCP/IP の話 ~ クラスタグリッド環境の落とし穴 ~, SACSIS2009 チュートリゕル

Mbps cwnd (bytes) 広域分散フゔルシステムの性能検証例ウゖンドウサズの変動に伴うスループットの変化を様々な競合システムと比較検証スループットを追うだけではなく TCPウゖンドウサズの変動などこれまで実地検証されてこなかったパラメータも観測可能 1,000 900 800 700 600 Throughput (RTT=12ms, MTU=9000) Iperf HPN-SSH

3 Mbps cwnd (bytes) 広域分散フゔルシステムの性能検証例ウゖンドウサズの変動に伴うスループットの変化を様々な競合システムと比較検証スループットを追うだけではなく TCPウゖンドウサズの変動などこれまで実地検証されてこなかったパラメータも観測可能 1, Throughput (RTT=12ms, MTU=9000) Iperf HPN-SSH Gfarm v2 Gfarm v2 12MB PVFS2 GlusterFS NFSv4 64KB 12,000,000 10,000,000 8,000,000 cwnd size (RTT=12ms, MTU=9000) Iperf HPN-SSH Gfarm v2 Gfarm v2 12MB PVFS2 GlusterFS NFSv4 64KB 500 6,000, ,000, ,000, sec. sec. スループット TCP ウィンドウサイズ

8-lanes (2GB/s 2) - SATA/SAS 8-ports (300MB/s 8 = 2.

4 1GB/s を維持可能な性能計測原器の配置 10Gbps (9.2942Gbps) 12.8GB/s SINET3 JGN2plus S310 - PCIe 8-lanes (2GB/s 2) - Offload Engines (LRO, TSO, TOE, ) RAID PCIe 8-lanes (2GB/s 2) - SATA/SAS 8-ports (300MB/s 8 = 2.4GB/s) Ram Disk Type-B: ネットワーク性能検証 SSD-SLC RAID-0/8-stripes - Read: 250MB/s 8 = 2.00GB/s - Write: 170MB/s 8 = 1.36GB/s 実証評価環境の安定性不安定性を随時表示開発者性能向上の指標利用者ゕベラビリテゖの把握 Type-A: デゖスク I/O を伴うネットワーク性能検証 ( 初年度に東工大阪大に設置予定 )

H20 成果 : RENKEI-PoP (Point of Presence) の仕様策定目的 : 拠点間の高速データ転送をサポートするアプライアンスを定義広域分散ファイルシステムによる利用推進のインセンティブ高速なローカル I/O とネットワーク I/O の両立した妥協のないサービス拠点 NAREGI ミドルウェアと仮想マシンを組み合わせたアプリケーションホスティング

5 H20 成果 : RENKEI-PoP (Point of Presence) の仕様策定目的 : 拠点間の高速データ転送をサポートするアプライアンスを定義広域分散ファイルシステムによる利用推進のインセンティブ高速なローカル I/O とネットワーク I/O の両立した妥協のないサービス拠点 NAREGI ミドルウェアと仮想マシンを組み合わせたアプリケーションホスティンググリッド認証基盤とアプリケーション実行基盤を平準化仮想マシンによる安定版開発版の同時展開による利用と開発の並行的な促進マルチプロトコル低ハードウェアコスト高性能グリッドセキュリティ他拠点連携研究のテストベットとして安価に利用可能 RENKEI PoP プロトタイプ CPU Core i7 965 Extreme (3.20 GHz) Memory 12GB (DDR3 PC , 2GB*6) NIC 10GbE (with TCP/IP Offload Engine) System Disk 500GB HDD SSD RAID 256GB (RAID 0, Intel SLC 32GB SSD * 8 ) iozone による入出力テスト ( blocksize = 256KB ) File size Write Re-write Read Re-read 16GB 996MB/s 827MB/s 908MB/s 773MB/s 32GB 953MB/s 681MB/s 767MB/s 772MB/s

6 そもそも RENKEI ってなに!?

7 RENKEI: REsource linkage for E-scIence RENKEI is directly not post NAREGI-project NAREGIの後継プロジェクトではない NAREGIミドルウェゕのオープンコミュニテゖによる開発プロジェクト OpenNAREGI ( 仮称 ) は別途企画中 RENKEI is one of derivatives from NAREGI

8 e- サイエンス背景と目的計算機やデータユーザ等からなる研究コミュニティを柔軟に形成することにより実現する新たな科学技術研究手法 e- サイエンスの実現単一のグリッドによる研究基盤とコミュニティの形成からさらに発展の段階へ運用形態の異なる資源間の連携が新たに必要研究室レベルの資源と情報基盤センターレベルの資源の連携異種グリッドミドルウェア間の連携目的研究室の資源 (LLS) 情報基盤センターの高性能資源群 (NIS) 異種グリッドミドルウェア上で提供される計算データデータベース等を柔軟に共有連携させ仮想研究コミュニティを形成しかつ運用するための基盤技術を確立する NIS:National Infrastructure Systems, LLS:Laboratory Level Systems

e- サイエンス実現のためのシステム統合連携ソフトウェアの研究開発計算アプリケーションユーザデータベースユーザアプリケーション開発者サブテーマ (1) 計算連携目的 : 研究室レベル情報基盤センターレベル間でのシームレスなジョブ実行技術に関する研究 H20 年度計画 :

ユーザ認証情報の管理技術に関する研究 H20 年度計画 : データベース連携統合ミドルウェアの設計, 実装方法の検討ユーザ認証情報管理ツールの設計, プロトタイプの実装サブテーマ (4) アプリケーションインタフェース目的 :

ユーザ連携目的 : 実証評価基盤の構築, 情報基盤センターおよびエンドユーザと連携した実証評価 H20 年度計画 : 事前実証評価環境の構築および計測評価技術の開発研究室レベル情報基盤センターレベル間でのデータ共有技術に関する事前評価情報基盤センターユーザ NII CSI 委託事業

9 e- サイエンス実現のためのシステム統合連携ソフトウェアの研究開発計算アプリケーションユーザデータベースユーザアプリケーション開発者サブテーマ (1) 計算連携目的 : 研究室レベル情報基盤センターレベル間でのシームレスなジョブ実行技術に関する研究 H20 年度計画 : ワークフローシステムの検討, プロトタイプ設計および実装着手異種グリッド環境間の相互運用アーキテクチャの検討, プロトタイプ設計および実装着手アプリケーション共有方式検討, プロトタイプ設計サブテーマ (3) データベース連携目的 : 異種データベースの連携統合, ユーザ認証情報の管理技術に関する研究 H20 年度計画 : データベース連携統合ミドルウェアの設計, 実装方法の検討ユーザ認証情報管理ツールの設計, プロトタイプの実装サブテーマ (4) アプリケーションインタフェース目的 : 異種グリッド環境下でのアプリケーション開発者向けインタフェースに関する研究 H20 年度計画 : 要素技術およびユースケース調査設計着手研究室 DB グリッドミドルウェア情報基盤センター群 DB DB 海外とのインターオペレーション DB サブテーマ (5) 実証評価ユーザ連携目的 : 実証評価基盤の構築, 情報基盤センターおよびエンドユーザと連携した実証評価 H20 年度計画 : 事前実証評価環境の構築および計測評価技術の開発研究室レベル情報基盤センターレベル間でのデータ共有技術に関する事前評価情報基盤センターユーザ NII CSI 委託事業サブテーマ (2) データ共有目的 : 研究室レベル情報基盤センターレベル間, 異種グリッド環境下でのデータ共有技術に関する研究 H20 年度計画 : 研究室レベル情報基盤センターレベル間の分散ファイルシステムの設計, 基本機能の実装. 異種グリッドミドルウェア環境下のファイルカタログシステムの基本機能の開発グリッドミドルウェア計算 / データグリッドアプリケーションユーザ

10 超高速コンピュータ網形成プロジェクトの夢の跡

11 100 テラフロップス級 Good Experiences 2 拠点連携 2007/08: 阪大 - 東工大 6 拠点連携 2007/08: + 九大 NII 2007/12: + 分子研名大 10 拠点連携 FY2008: 北大東北大東大名大京大阪大九大 + 東工大筑波大

実ゕプリケーションによるジョブ投入ができる環境を構築する運用関係の評価実運用環境に展開するに先だって支援体制の実地評価を行う GOC (Grid Operation Center) PERT (Performance

12 認証ポリシーが異なるセンター間の相互連携複数の認証局が発行した証明書を利用できるNAREGI 計算機資源環境を構築する実際に運用中の計算機センターの大規模資源に対して NAREGIミドルウェゕからジョブ投入できる環境を構築する VO 形成相互の資源予約管理各拠点から提供された計算機資源のAUP ( 利用規定 ) に対応するVO ( 仮想組織 ) を形成する複数のメタスケジューラが他スケジューラの資源予約の状況を反映した資源予約を行ったうえで実ゕプリケーションによるジョブ投入ができる環境を構築する運用関係の評価実運用環境に展開するに先だって支援体制の実地評価を行う GOC (Grid Operation Center) PERT (Performance Enhancement and Response Team) NAREGI ミドルウェゕで 100TFLOPS 級のグリッド環境を構築できるか!? 動き出したサエンスグリッド NAREGI 研究リソース共有の世界を広げるミドルウェゕを公開平成 20 年 5 月 9 日付けプレスリリースより抜粋

NAREGI 100T Project Phase-2: 3/27時点のノード構成大阪大学東京工業大学分子科学研究所 NAREGI CA RENKEI-Osaka Osaka Univ.

UMS/VOMS Portal UMS/VOMS Portal SS連携 VOMS SS SS SS SS rcs IS-NAS IS-NAS IS-NAS IS-CDAS 名古屋大学 IS-CDAS

sng0001 (sx) GridVM Engines vo1利用 IS-CDAS CDAS/GVM-S dpca064 dpca128 dpcb064 dpcb128 dpcc128 dpcd048

13 NAREGI 100T Project Phase-2: 3/27時点のノード構成大阪大学東京工業大学分子科学研究所 NAREGI CA RENKEI-Osaka Osaka Univ. Grid CA NII GSIC-VOS VO1 RENKEI-Naregi CA/RA CA/RA RA User cert Host cert UMS Portal UMS/VOMS Portal UMS/VOMS Portal UMS/VOMS Portal SS連携 VOMS SS SS SS SS rcs IS-NAS IS-NAS IS-NAS IS-CDAS 名古屋大学 IS-CDAS 内部利用 portal / /cdas IS-CDAS IS-CDAS GridVM pbg2043 松岡研内遊休 GridVM Engines (Linux) (Solaris) GridVM sng0001 (sx) GridVM Engines vo1利用 IS-CDAS CDAS/GVM-S dpca064 dpca128 dpcb064 dpcb128 dpcc128 dpcd048 dpcd049 dpcd057 sr11k 九州大学 GridVM S&E GridVM png1051 dpc.kyushu png1054 GridVM pfg1005 (Linux) GridVM Engines

14 Fact Sheet 1: 管理ノード構成 Phase-1 / Phase-2 SINET3 接続グリッド認証局ポータル SS NAS IS CDAS 大阪大学 10Gbps 東京工業大学 4Gbps 年 8 月九州大学 NII/NAREGI 1Gbps 1 分子科学研究所 2008 年 1 月 1Gbps - - 名古屋大学 2008 年 3 月 1Gbps ヶ所 4 ヶ所 4 ヶ所 3 ヶ所 5 ヶ所 1 NII/NAREGI に SS/RCS (NAREGIv1 の予約サービス機能 ) を設置 2 名古屋大学の管理ノードは学内サービス向けの設定のまま IS-CDAS 以下を連携用に追加設定

15 Fact Sheet 2: 計算ノード構成ゕーキテクチャ OS スケジューラノード数 TFLOPS gridvms1.hpc.cmc SX-8R SUPER-UX NEC NQS-II 大阪大学 gridvms2.hpc.cmc x86 Linux NEC NQS-II gridvms3.hpc.cmc x86 Linux NEC NQS-II 東京工業大学 tggn-vms2.grp.gsic x86+clearspeed Linux Sun GridEngine 九州大学 dpc.kyushu.grid x86 Linux PBS Pro 0.1 NII/NAREGI 分子科学研究所名古屋大学 pbg2043 SX-8 SUPER-UX NEC NQS-II pfg1005, png1051, png1053, png3000 x86 Linux PBS Pro dpca064.grid, dpca128.grid, dpcb064.grid, dpcb128.grid, dpcc128.grid, dpcd048.grid, dpcd049.grid, dpcd057.grid x86 Linux PBS Pro sr11k.grid POWER5 AIX LoadLeveler naregi4.cc x86 Linux PBS Pro ngrd1.cc SPARC Solaris Parallelnavi

16 VO ドメン RENKEI- Osaka RENKEI- Osaka RENKEI- Osaka vo1 PKI ドメン NII/NAREGI 認証局阪大 CMC 認証局 RO 6 拠点九州大学大阪大学名古屋大学分子科学研究所東京工業大学 NII/NAREGI 利用者サービスグリッド認証局と仮想組織 VO: Virtual Organization RO: Real Organization PKI: Public Key Infrastructure

17 ハリボテでもなんとか動くミドルウェゕ We reject kings, presidents and voting; we believe in rough consensus and running code. David Clark (1992) 意訳 ) プロジェクトが終わってやっかいな人たちが去ってまがりなりにも動くコードが残ったってチャンス!? OpenNAREGI ( 仮称 ) を企画中

18 経験を詰め込んだ NAREGI 箱 Point of Presence ンターネットの黎明期 : 回線は来たあとは箱さえあればきっと加藤さんならなんとかしてくれる作戦再び!? そんなの送りつけられて傍迷惑じゃないの!? 認証基盤の普及自律的なゕップデート

Last One Mile: グリッド登録機関の事業化 UPKI の成果を取り入れた NAREGI ミドルウェゕの拡張と NII+ 情報基盤センターによる事業化 MICS プロフゔルに対応したグリッド認証局の運用運用局規定 (CP/CPS) の策定 NAREGI-CA の Shibboleth

19 Last One Mile: グリッド登録機関の事業化 UPKI の成果を取り入れた NAREGI ミドルウェゕの拡張と NII+ 情報基盤センターによる事業化 MICS プロフゔルに対応したグリッド認証局の運用運用局規定 (CP/CPS) の策定 NAREGI-CA の Shibboleth 対応と既存認証局のゕップデート NII/NAREGI 認証局阪大 CMC グリッド認証局 NAREGI ミドルウェゕの Shibboleth SP 対応既存の情報基盤センターの共同利用窓口がそのままグリッド登録局として機能峯尾真一, グリッドにおける Shibboleth 活用 ( 案 ), 2009/01/07.

20 MICS プロフゔルを満たす Shibboleth IdP/SP を介したグリッド証明書の発行業務連携 CA RA 基盤センター A 4 5 Shib SP 2 Shib IdP ID: Kerberos 業務システム 3 DS: W.A.Y.F. 1 Shib SP として実装されたグリッド証明書 2 DS にリダレクトされどの基盤セン発行システムに Web ブターから認証を受けるラウザでゕクセスかを指定 1 6 License ID 7 grid-certreq User Certificate 4+5 RA からラセンス ID の払い出しを行い利用者に通知する 3 基盤センターの全国共同利用登録者であるか否か Shib IdPを経由して認証 UMS Shib IdP ID: LDAP 業務システム MyProxy 基盤センター B

21 Last One-more Mile: NAREGI ミドルウェゕの継続的な維持オープンソース型の開発サクルの立ち上げと統合試験環境との一体化によるラフサクルの持続 NAREGI ミドルウェゕのエコシステムを確立研究開発利用成果配備運用松岡聡, 次世代研究環境の NAREGI グリッドミドルコゕ技術 VO, β2, 管理運用を中心として -, NAREGI シンポジウム 2007.

22 サブテーマ (5) 実証評価コミュニテゖサポート 1. 研究コミュニテゖ構築のための実証基盤としての PoP (Point of Presence) の展開仮想マシンによるゕプリケーションホステゖング各サブテーマの成果物を NLS, NIS と連携し広域展開するための橋頭堡安定版と開発版など複数の世代を管理» ゕプリケーションサービスを維持しながら開発を加速 PoP 間では 1GByte/s 以上のデータ転送を維持ローカル I/O から広域ネットワークまでボトルネックを解消様々な環境を再現し検証するための広域ネットワークシミュレータの役割 2. 研究コミュニテゖの構築と運営次世代スパコン (NLS) 各研究機関スパコン (NIS) 研究室 PC/Cluster (LLS) の連携各拠点や研究室の持つマンパワー計算能力データゕプリケーションの柔軟な融合を目指す

H21 計画 : RENKEI-POP による NIS ストレージ統合 RENKEI-POPを介した複数

NIS 上のデータをRENKEI-POP 経由でゕクセス RENKEI-POP 間は10Gbps

大スパコン RENKEI- POP SSD RENKEI- POP SSD 東工大 TSUBAME XX

23 H21 計画 : RENKEI-POP による NIS ストレージ統合 RENKEI-POPを介した複数 NIS 間高速データ共有サービスの実現高速データ転送と広域分散 FSを用いた複数 NIS 資源の平準化 NIS 上のデータをRENKEI-POP 経由でゕクセス RENKEI-POP 間は10Gbps 閉路網により接続 ( デゖスク帯域ネットワーク帯域 ) Gfarm FileSystem XX 大スパコン RENKEI- POP SSD RENKEI- POP SSD 東工大 TSUBAME XX FileSystem Lustre FileSystem Transfer & Cache Transfer & Cache

24 H21 計画 : RENKEI-POP 上の仮想ホステゖング環境ネットワーク構成を含めた柔軟なゕプリケーションミドルウェゕ実証環境の実現各種設定のパッケージングデプロの自動化様々なネットワーク構成の実現 10Gbps 閉路網を直接用いたベスト環境高遅延低バンド幅環境実証環境の世代管理ユーザが望む環境を実現開発版安定版の使い分け仮想マシンを用いたホステゖング Eucalyptus Rocks Xen Roll などを評価検討ユーザによるネットワーク構成ネットワークエミュレータ各種ラブラリを提供しユーザが設定取捨選択

RENKEI-POPが作る将来の E-Science ンフラ RENKEIクラウド NIS

NISのローカルストレージのグローバル化仮想サービスホステゖング RENKEIクラウド

RENKEI-POPによるNIS間の差を吸収サブテーマ 1 4 の成果物評価環境として運用提供し

25 RENKEI-POPが作る将来の E-Science ンフラ RENKEIクラウド NIS RENKEI-POPによるNIS NLSの統合データ共有データ転送データ仮想化 NISのローカルストレージのグローバル化仮想サービスホステゖング RENKEIクラウド各種基礎グリッドクラウドサービス各種ゕプリケーションサービス異なるバージョンの両立 NIS RENKEI-POP データ転送共有仮想サービスホステゖング仮想ネットワーク LLSからのシームレスなゕクセス仮想ネットワーク仮想研究コミュニティクラウド形成 RENKEI-POPによるNIS間の差を吸収サブテーマ 1 4 の成果物評価環境として運用提供し有用性を検証 RENKEI-POP RENKEI-Net 仮想ネットワーク RENKEI-POP RENKEI-POP LLS User RENKEI-POPを介して NISの資源サービスを仮想化利用 NIS

26 プロジェクトロゴは三浦先生が鋭意作成中

<4D F736F F F696E74202D2091E58B4B96CD98418C678EC08FD88EC08CB195F18D90>

<4D F736F F F696E74202D2091E58B4B96CD98418C678EC08FD88EC08CB195F18D90> 大規模連携実証実験報告大学研究機関 6 機関をつないだ現実の運用を考えた実証評価 Manabu Higashida manabu@cmc.osaka-u.ac.jp 2008/06/06 NAREGIミドルウェアで100TFLOPS 級のグリッド環境を構築できるか!? 動き出したサイエンスグリッド NAREGI 研究リソース共有の世界を広げるミドルウェアを公開平成 20 年 5 月 9 日付けプレスリリースより抜粋