サブテーマ5 - 実 証 評 価 ユーザ 連 携 - 東 京 工 業 大 学
目 的 と 提 案 目 的 e-science 実 現 のための NIS LLS 間 連 携 可 能 なインフラシステムの 提 供 資 源 連 携 サービス( 他 サブテーマ 成 果 物 ) 研 究 者 と 応 用 計 算 (シミュレー ションなど) 研 究 者 間 の 連 携 支 援 提 案 : RENKEI-PoPによるホスティング データ 共 有 クラウド RENKEI-PoP: 仮 想 マシン 管 理 機 能 1GBpsの 理 論 転 送 性 能 を 持 つ サーバアプライアンス Gfarm2による 広 域 共 有 ファイルシステム を 介 した 拠 点 間 データ 共 有 RENKEI-VPEによる 仮 想 マシンの 起 動 停 止 イメージ 管 理
成 果 RENKEI-PoPアプライアンスの 仕 様 策 定 展 開 RENKEI-PoPによる 拠 点 間 データ 転 送 共 有 基 盤 RENKEI-VPEによる 仮 想 マシン 管 理 TSUBAME2.0スーパーコンピュータのグリッド 接 続 RENKEI-PoPとTSUBSAMEのストレージシステム 統 合 ( 進 行 中 )
[RENKEI-PoPアプライアンスの 仕 様 策 定 展 開 ] RENKEI-PoP 仮 想 マシン 実 行 支 援 と 大 容 量 ストレージを 持 ったサーバ アプライアンス 仮 想 環 境 によるe-サイエンスソフトウェア 開 発 実 証 評 価 環 境 を 提 供 RENKEI-VPE: KVM, libvirt, OpenNebulaをベースに 開 発 拠 点 間 のデータ 転 送 共 有 環 境 を 提 供 Gfarm2によるRENKEI-PoPストレージの 統 合 RENKEI-PoP 間 Disk-to-Disk 理 論 転 送 性 能 を1GBpsで 設 計 ファイルシステムIO 性 能 Write Re-Write Read Re-Read CPU Core i7 975 Extreme (3.33 GHz) Memory 12GB (DDR3 PC3-10600, 2GB*6) NIC 10GBASE-SR or LR System Disk 500GB HDD Storage 30TB (RAID 5, 2TB HDD x 16) OS CentOS, globus, gfarm, libvirt, 16GB 750 1030 800 810 単 位 : MBps
[RENKEI-PoPアプライアンスの 仕 様 策 定 展 開 ] RENKEI-PoPによるe-サイエンスシステム 連 携 個 々の 拠 点 にRENKEI-PoPを1つ 設 置 拠 点 リソースにアクセスするための ゲートウェイ PoP 間 は 高 速 ネットワークで 接 続 拠 点 間 ポリシーと 拠 点 内 ポリシー 調 停 認 証 情 報 サービスなど RENKEI-PoP 間 はグリッド 認 証 対 応
[RENKEI-PoPアプライアンスの 仕 様 策 定 展 開 ] RENKEI-PoP 配 備 展 開 H22 新 規 設 置 拠 点 国 立 遺 伝 学 研 究 所 北 海 道 大 学 RENKEI-POP 設 置 拠 点 (H21まで) 東 京 工 業 大 学 (titech, titech2) 大 阪 大 学 (osaka) 国 立 情 報 学 研 究 所 千 葉 (nii) 高 エネルギー 加 速 器 研 究 機 構 (kek) 名 古 屋 大 学 (nagoya) 筑 波 大 学 (tkb) 産 業 技 術 総 合 研 究 所 (aist) 東 北 大 学 (thk) 新 学 術 領 域 研 究 ゲノム 支 援 にて データ 処 理 基 盤 として 使 用 予 定 主 に 遺 伝 研 @ 三 島 => TSUBAME2.0@ 東 工 大 への データ 転 送 に 利 用 VMホスティングが 主 な 用 途 北 大 の 次 期 クラウド 型 システム や 他 クラウドとの 連 携 についての 共 同 研 究 を 開 始 利 用 ポータルの 整 備 : https://rpop-mngr-g.cc.titech.ac.jp/portal BASIC 認 証 User: rpopuser Pass: sub5user
[RENKEI-PoPアプライアンスの 仕 様 策 定 展 開 ] RENKEI-PoPで 利 用 可 能 なサービス 認 証 Unix 認 証 RENKEI-PoP 間 GSI 認 証 9 大 学 学 術 グリッド 認 証 基 盤 (& HPCI?)との 連 携 RENKEI-PoP 間 データ 転 送 共 有 scp, gridftp, gsiscpなど SINET CSI-Grid 上 での Gfarmに よる 約 164TBの 広 域 分 散 ファイルシステム 拠 点 ストレージ 間 データ 転 送 の 中 継 サーバとして 利 用 可 能 e-scinece 連 携 サービスのホスティング
[RENKEI-PoPによる 拠 点 間 データ 転 送 共 有 基 盤 ] RENKEI-Pop 間 通 信 性 能 チューニング 広 帯 域 高 遅 延 なSINET3ネットワーク 上 でのNative 通 信 Gfarm 通 信 の 性 能 向 上 のために 各 種 ネットワークパラメータを 調 整 チューニングパラメータ 一 例 TCPバッファサイズ 送 受 信 キュー 長 帯 域 制 御 各 種 NIC 固 有 機 能 (TSO on/offなど) チューニング 前 後 の 通 信 性 能 (Mbps) 上 段 がチューニング 前 下 段 がチューニング 後
[RENKEI-PoPによる 拠 点 間 データ 転 送 共 有 基 盤 ] Gfarmデータ 転 送 性 能 14GB 単 一 ファイル 転 送 性 能 gfarm 構 成 バージョン 2.3.2 gfarm mds gfarm fs 認 証 通 信 パラメータ 暗 号 化 通 信 管 理 用 サーバ@ 東 工 大 CSI-Grid 接 続 RENKEI-PoP ホスト 間 : 共 有 秘 密 鍵 ホスト ユーザ: gsi 認 証 gfarm デフォルト なし 750
[RENKEI-VPEによる 仮 想 マシン 管 理 ] RENKEI-VPEの 開 発 OpenNebulaをベースに 開 発 した 広 域 分 散 VM 管 理 システム VM 実 行 にはkvmを 使 用 GSI 認 証 Gfarm 上 へのVMイメージ 保 存 に 対 応 利 用 者 毎 のリソース 制 御 ( 実 行 可 能 VM 数 VM 実 行 利 用 可 能 なサイト IPアドレスの 静 的 事 前 割 当 ) VM OSイメージ 定 義 の 再 利 用 VM 実 行 フロー
[RENKEI-VPEによる 仮 想 マシン 管 理 ] RENKEI-VPEのRENKEI-PoPへの 導 入 RENKEI-PoP 上 でのVMによるRENKEIソフトウェア 導 入 実 績 東 工 大 NII KEKにてNAREGI グリッドミドルウェアを 運 用 RENKEI-VPEの 試 験 導 入 東 工 大 NII 北 海 道 大 学 で 試 験 的 に 運 用 他 RENKEI-PoPも 容 易 に 接 続 可 能 実 行 ホスト 選 択 VM 実 行 RENKEI-PoP 管 理 サーバ RENKEI-PoP @Tokyo Tech OSイメージの 転 送 RENKEI-VPE Gfarm MDS 利 用 ポータル RENKEI-PoP @NII Gfarm on RENKEI-PoP RENKEI-PoP @Hokudai 標 準 VM 構 成 Architecture x86_64 CPU Core 1 Memory Disk Network 4GB 256GB 1000Mbps OS CentOS 5.5 Scientific Linux 3.0.9
[TSUBAME2.0スーパーコンピュータのグリッド 接 続 ] NISとしてのTSUBAME2.0グリッド 連 携 TSUBAME2.0 Green Supercomputer TSUBAME2.0 / NAREGI TSUBAME2.0ジョブスケジュー ラにジョブ 投 入 するNAREGI GridVM Schedulerを 導 入 375ノード 計 5つのキュー 最 大 600TFlopsをNAREGIで 利 用 可 能 実 績 8 大 学 基 盤 センター + 筑 波 大 学 + NII 連 携 グリッドへの 接 続 サブテーマ1のWFTからのジョブ 投 入 デモ @ SC10 RENKEI-PoP 上 に 構 成 したNAREGI 環 境 への 接 続
[RENKEI-PoPとTSUBSAMEのストレージシステム 統 合 ] TSUBAME2.0とRENKEI-PoPの 連 携 RENKEI-PoPをTSUBAME2.0ストレージネットワークに 統 合 拠 点 間 データ 共 有 のための ステージングからライフサイクル 管 理 までを 行 う 運 用 モデルの 提 唱 RENKEI-PoPをTSUBAME2.0 IB QDR に 接 続 TSUBAME2.0アカウントと RENKEI-PoPアカウントを 統 合 ( 進 行 中 プロジェクト) RENKEI-PoP 東 工 大 TSUBAME2.0 テープライブラリ 階 層 型 ファイルシステム と 連 動 した 運 用 体 制 の 実 証 Gfarm on RENKEI-PoPと TSUBAME2.0ストレージの 連 携 手 法 について 検 討 中 検 討 中 案 ( 一 例 ) sshfs 経 由 でRENKEI-PoP 上 gfarm 領 域 をマウント ディレクトリSync
まとめ RENKEI-PoPによるNIS LLS 間 共 有 ストレージ VMホ スティング 環 境 を 提 案 e-scienceアプリケーション 研 究 者 のための 共 有 ストレージ e-scinece 資 源 連 ソフトウェアのためのホスティング 機 能 RENKEI-VPEや 共 有 ストレージの 設 計 の 一 部 はHPCI 運 用 仕 様 にも 影 響 招 待 制 ベースの 一 般 サービス 開 始 情 報 公 開 ページ: http://rpop-mngr-g.cc.titech.ac.jp/wiki/ アカウント 申 請 : https://rpop-mngr-g.cc.titech.ac.jp/portal ベーシック 認 証 : User: rpopuser, Password: sub5user