5.2 グリッドシステム飯田好美岩井剛河井裕佐々木節鈴木聡渡瀬芳行八代茂夫概要計算科学センターではグリッドコンピューティングの仕組みを利用し本機構と共同研究を行う研究機関との間でデータ及び計算資源を共有するためにグリッドシステムを構築し運用を行っている混乱を避ける

Size: px

Start display at page:

Download "5.2 グリッドシステム飯田好美岩井剛河井裕佐々木節鈴木聡渡瀬芳行八代茂夫概要計算科学センターではグリッドコンピューティングの仕組みを利用し本機構と共同研究を行う研究機関との間でデータ及び計算資源を共有するためにグリッドシステムを構築し運用を行っている混乱を避ける"

えのやがい
4 years ago
Views:

1 5.2 グリッドシステム飯田好美岩井剛河井裕佐々木節鈴木聡渡瀬芳行八代茂夫概要計算科学センターではグリッドコンピューティングの仕組みを利用し本機構と共同研究を行う研究機関との間でデータ及び計算資源を共有するためにグリッドシステムを構築し運用を行っている混乱を避けるため先に本節で用いられるグリッドシステムという用語に対する解釈を与える図 1 は実際にインストールされた計算科学センターに於いて運用中の要素をサービスに着目しまとめたものである図 1 に示されるように多くの場合グリッドに於けるサービスとは一つ以上の小サービスがお互いに作用することにより形成され複数のサービスによりグリッドに於ける管理単位に相当するサイトが形成されるこれはグリッドの複数機関に跨った計算基盤を利用するという設計思想に基づくこのサイトを形成構築するためのソフトウェアを特に区別してミドルウェアと呼ぶが計算科学センターでは複数のミドルウェア (glite NAREGI irods SRB 等 ) を使用し複数サイトを運用している本節では計算科学センターで運用されるこれら複数のサイトを全て含めグリッドシステムとして扱うこととする次節以降でグリッドシステムを構成しているサイトの利用状況とこれらにより提供される計算基盤上での昨年度活動内容について報告する図 1 計算科学センターにて実運用中の Grid 計算基盤の構成実際には複数のミドルウェア (NAREGI, SRB, irods, glite 等 ) により複数のサイトが構成されているが混乱を避けるため図中には glite ミドルウェアにより構成された LCG (LHC Computing Grid) 計算基盤のみを示した KEK Grid CA (Certificate Authority) KEK Grid CA は世界に 80 程度ある IGTF 1 の策定する規格に準拠承認された認証局の一つである 2006 年 2 月に正式運用を開始して以来主に国内のグリッド利用者及びサー 1 The International Grid Trust Federation: 63

2 ビス提供ホストに対して電子証明書を発行している図 2 に KEK Grid CA が 2009 年度に発行した個人証明書とホスト証明書の発行部数を示す 2009 年度は 232 部の個人証明書と 308 部のホスト証明書が発行され認証局運用開始以来の累計発行部数はそれぞれ 640 部 1195 部に達した図年度の電子証明書発行部数 LCG 計算基盤 JP-KEK-CRC-01 及び JP-KEK-CRC-02( 以降 KEK-1 及び KEK-2 と表記 ) は EGEE 2 が開発を推進する glite ミドルウェアにより構築された計算資源を提供するサイトである約 50 カ国 200 機関から 300 程度のサイトが参加することによって LCG と呼ばれる全世界規模の計算基盤が展開され当センターはそのうちの 2 サイトである KEK-1 及び KEK-2 が運用中である KEK-1 は研究開発用途に KEK-2 は KEK-1 で培われた経験に基づきより安定したサービスを提供するために分離して運用がなされている 2009 年度中は KEK-1 に対して大きな変更や障害が発生しなかったため以降は特に注釈のない限り KEK-2 のみに関する報告であるサービス稼働率図 3 に 2009 年度中に発生したダウンタイムとサービス稼働率を示す 2009 年度は 300 時間程度のダウンタイムが発生しシステムの年間稼働率は 96.5% であった図 3( 上 ) からわかるように 2009 年 4 月に 160 時間以上のダウンタイムが発生しているがこれは 2009 年 3 月に導入された現行の共通情報システムへの移行に於いて逐次段階的に計算資源を供し 1 ヶ月ほどの間縮退運転していたことが原因であるしたがってサービスの全停止を意味していない LCG に於いて定められた月間最小サービス稼働率は 70% に設定されており 3 これは図 3( 下 ) に見ることが出来るように 2009 年 4 月以外の月図年度に発生したダウンタイム次は年度を通じて満足した ( 上 ) とサービス稼働率 ( 下 ) 2 Enabling Grids for E-sciencE: 3 算出式を含む完全な資料はから取得可能 64

3 利用状況図 4 に 2009 年度中に投入されたジョブ数と CPU 消費時間 4 を示した投入ジョブの総数は 23,790 でそのうち 56% は Belle VO で 33% は ILC VO で一方 CPU 消費時間は Belle VO が 31% で ILC VO が 64% であった 2009 年度は段階的に計算資源を増量したため月次毎に全体の資源量が異なるそのため正確な CPU 使用率の算出は難しいが図 4( 下 ) に於けるピーク月 (2009 年 12 月次 ) は全体の 20% 程度に相当するストレージサービスは共通情報システム HPSS をバックエンドに VFS マウントした領域を GridFTP 及び SRM プロトコルでサービスを提供している記憶領域の増設についてはグループ毎にテープカートリッヂを購入してもらう方針で運用している 2009 年後期までは現行の共通情報システム導入に割り当てた初期状態の領域を各 VO で共有していたがこの領域が Belle と ILC の要求には見合わないためテープを購入してもらいそれぞれ 12TB 30TB の独立した領域を割り当てた年間を通じて 2TB の読み出しと 4TB の書き込みが行われた ( 図 5) 図年度のジョブ処理数 ( 上 ) と CPU 消費時間 ( 下 ) いずれも運用開発目的の dteam および ops 仮想組織は含まない B ファクトリー計算機システムとの統合 2009 年 12 月に B ファクトリー計算機システムの一部の計算資源 (192 ノード 1536 コア ) をグリッド環境から利活用するための統合作業を処したこれにより LCG 全体に対して KEK が提供する CPU リソースは 420M SI2K 中 6M SI2K に達した図年度ストレージ利用量 4 SPEC (Standard Performance Evaluation Corporation) が策定したシステムの性能評価を行うベンチマークスコアにより規格化した CPU 消費時間高エネルギー実験分野で使用されるプログラムは SPEC Int にスケールすることが多いためここでは 1000 Spec Int 2000 で CPU 消費時間を規格化している 65

4 中核サービスの変更 VOMS とは仮想組織 (VO) に所属する利用者の情報を管理するサービスで 2006 年 8 月より voms.kek.jp にて Belle を含むいくつかの VO の中核サービスとして稼働中のサービスである 2009 年度は OS の更新と併せてミドルウェアの更新を行い現在は voms.cc.kek.jp 及び vomrs.cc.kek.jp にてサービスを提供しているユーザー対応他グリッドの運転維持には多くの計算資源と人的資源が必要とされるため大学研究室の規模で継続的に運用をまかなうことは困難である当センターでは 2007 年 3 月に国内の共同研究機関 ( 東北大筑波大名古屋大神戸大広工大 ) にシステム一式を構築し拠点間を遠隔相互診断するための計算基盤として KEK を含む 6 拠点間で科学的目標に依存しない加速器科学仮想組織を整備した各拠点のソフトウェアアップデート QA 対応といった運用支援も継続的に行われている 2009 年度は 184 人時間の運用支援が各拠点に対して行われうち 9 割は KEK 以外の拠点に対する支援に費やされた ( 図 6) 図 6 加速器科学仮想組織の運用支援機構内の研究グループ (ILC と BELLE) への支援も継続的に行われている定期的にミーティングを開催し性能向上環境改善に役立てられた 66

5 発表等 [1] Yutaka Kawai and Adil Hasan, High Availability irods System (HAIRS), irods User Meeting, Chapel Hill, US, Mar 2010 [2] Takashi Sasaki, Grid related activities at KEK, ISGC2010, Taipei, Mar 2010 [3] Yutaka Kawai and Yoshimi Iida, Data ISGC2010 Taipei, Mar 2010 [4] Yoshiyuki Watase, Go Iwai, Yutaka Kawai, and Takashi Sasaki, Prototype of Universal Grid File Catalog based on RNS1.1 and SAGA, OGF28, Munich, Germany, Mar 2010 [5] Go Iwai, Yutaka Kawai, Takashi Sasaki, and Yoshiyuki Watase, Updates on SAGA related activities since OGF27 on October 2009, OGF28, Munich, Germany, Mar 2010 [6] Go Iwai, glite deployment and operation toward the KEK Super B factory, FJPPL Workshop, Lyon, France, Feb 2010 [7] 岩井剛, 電子認証を使った安全で内容が正確なウェブ構築, TX テクノロジーショーケース, 筑波大, 2010 年 1 月 [8] Go Iwai et al., Updates related on Grid since last meeting in December 2008: Service, resource, and recent achievements to utilize distributed computing infrastructures, ILC Detector Workshop, Tsukuba, Japan, Dec 2009 [9] Yutaka Kawai and Adil Hasan, High Availability irods System (HAIRS), Interoperability of Digital Repositories Workshop, London, UK, Dec 2009 [10] Go Iwai, Yutaka Kawai, Takashi Sasaki, and Yoshiyuki Watase, Recent updates related on SAGA Belle2 Computing Workshop, Tsukuba, Japan, Nov 2009 [11] Go Iwai et al., Updates related on Grid since last meeting in March 2009: Service and Resource Scale for Belle VO, Belle2 Computing Workshop, Tsukuba, Japan, Nov 2009 [12] Yoshiyuki Watase et al., Demo: Universal Grid API for Multi-Grid, at booth #359 SC09, Portland, Oregon, Nov 2009 [13] Go Iwai et al., Grid infrastructure in Japan and the development of applications in Physics and Biophysics, ACGrid-II, Kuala Lumpur, Malaysia, Nov 2009 [14] Go Iwai, Yutaka Kawai, Takashi Sasaki, and Yoshiyuki Watase, Job execution and Application example in KEK with SAGA Adaptor, OGF27, Banff, Alberta, Canada, Oct 2009 [15] Go Iwai, Yutaka Kawai, Takashi Sasaki, and Yoshiyuki Watase, Recent Update on SAGA-related Activities at KEK, OGF27, Banff, Alberta, Canada, Oct

6 [16] Go Iwai, Yutaka Kawai, Takashi Sasaki, and Yoshiyuki Watase, A Prototyping of Web Interface for Treatment Planning in Radiotherapy in the Multi Grid Infrastructure, Asia Simulation Conference 2009, Ritsumeikan University, Shiga, Japan, Oct 2009 [17] Go Iwai, Current Status and Recent Activities on Grid at KEK, TILC09 - Joint ACFA Physics and Detector Workshop and GDE, Tsukuba, Japan, Apr

KEK Grid CA は世界に 80 程度ある IGTF 1 の策定する規格に準拠承認された認証局の一つである 2006 年 2 月に正式運用を開始して以来国内外のグリッド利用者及びサービス提供ホストに対し電子証明書を発行している図 2 に KEK Grid CA が 2008 年度に発行

KEK Grid CA は世界に 80 程度ある IGTF 1 の策定する規格に準拠承認された認証局の一つである 2006 年 2 月に正式運用を開始して以来国内外のグリッド利用者及びサービス提供ホストに対し電子証明書を発行している図 2 に KEK Grid CA が 2008 年度に発行 5.2 グリッドシステム飯田好美岩井剛川端節彌佐々木節鈴木聡渡瀬芳行八代茂夫 5.2.1 概要計算科学センターではグリッドコンピューティングの仕組みを利用し本機構と共同研究を行う研究機関との間でデータ及び計算資源を共有するためにグリッドシステムを構築し運用を行っている混乱を避けるため先に本節で用いられるグリッドシステムという用語に対する解釈を与える図 1 は実際にインストールされた計算科学センターに於いて運用中の要素をサービスに着眼し