High Performance Computing Infrastructure と学認 合田憲人 国立情報学研究所
背景と目的 2 HPCI 京コンピュータと国内のスーパーコンピュータや大規模ストレージを連携して利用するための革新的ハイパフォーマンス コンピューティング インフラ ロードマップ 2011/03 基本仕様策定 ( ネットワーク, 認証, ユーザ管理支援, 共用ストレージ, 先端ソフトウェア運用 ) 2012/03 詳細設計 2012/10 運用試験 2012/11 運用 北大, 東北大, 筑波大, 東大, 東工大, 名大, 京大, 阪大, 九大, 理研, NII 本講演の目的 HPCI 上でシングルサインオンを実現するための認証基盤の報告
HPCI 基本仕様 ネットワーク (NII) 認証基盤 (NII) 共有ストレージ ( 情報基盤センター, 理研 ) 先端ソフトウェア運用基盤 ( 情報基盤センター ) ユーザ管理支援 ( 情報基盤センター, HPCI 事務局 ) HPCI に対する取り組み 資源提供機関群を接続するためのネットワーク基盤を SINET4 を活用して構築 運用する. HPCI のニーズに対応してネットワーク増強. 商用ネットワークとの接続も確保. 資源提供機関群のリソース ( 計算機 ストレージ等 ) にユーザがシングルサインオンして利用するための認証基盤を構築 運用する. NII が中核拠点となり, 情報基盤センターと連携して認証基盤を運用. 資源提供機関群の計算機からアクセス可能な高性能な共有ストレージを構築 運用する. HPCI 上での将来の利用が想定される先端的なソフトウェア運用実験を行うための実証基盤を構築 運用する. HPCI の課題申請, 利用申請, 障害対応, ヘルプデスク業務等のユーザ管理支援業務を実施する. ロードマップ (NII のこれまでの取り組み ) ネットワーク グリッド 認証 HPCI 2006 2008 2010 SuperSINET SINET3 SINET4 NAREGI UPKI ネットワーク 認証基盤サービス 認証ポータルにサインオンすることにより, 資源提供機関群の計算機やストレージ利用が可能 (1つのアカウントで全ての資源を利用可能). SINET4を活用した高速 高品質ファイル転送が可能. NII ユーザ認証局 認証ポータル ユーザ DB 資源提供機関 ( 情報基盤センター ) グリッド配備 運用タスクフォース /RENKEI 学認 仕様策定 VPN( 必要に応じて ) 大学 LAN 資源提供機関 ( 情報基盤センター ) 2012 構築 運用 IX 商用ネットワーク 品質制御 資源提供機関 (AICS)
source: Y. Ishikawa, Univ. of Tokyo AICS and Supercomputer Centers in Japanese Universities AICS, RIKEN: K computer (10 Pflops, 4PB) Available in 2012 Osaka Univ.: SX-9 (16Tflops, 10TB) SX-8R (5.3Tflops, 3.3TB) PCCluster (23.3Tflops, 2.9TB) Kyoto Univ. T2K Open Supercomputer (61.2 Tflops, 13 TB) Hokkaido Univ.: SR16000 M1 (172TFlops, 22TB) Cloud system (43TFlops, 14TB) Tohoku Univ.: NEC SX-9(29.4Tflops, 18TB) NEC Express5800 (1.74Tflops, 3TB) Kyushu Univ.: PC Cluster (55Tflops, 18.8TB) SR16000 L2 (25.3Tflops, 5.5TB) PC Cluster (18.4Tflops, 3TB) Nagoya Univ.: FX1(30.72Tflops, 24TB) HX600(25.6Tflops, 10TB) M9000(3.84Tflops, 3TB) Univ. of Tsukuba: T2K Open Supercomputer 95.4Tflops, 20TB Univ. of Tokyo: T2K Open Supercomputer (140 Tflops, 31.25TB) A 1 Pflops machine without accelerator will be installed by the end of 2011 Tokyo Institute of Technology : Tsubame 2 (2.4 Pflops, 100TB)
Storage HPCI WEST HUB 10 PB+ storage AICS, RIKEN HPCI EAST HUB 12 PB+ storage University of Tokyo Hokkaido University Gfarm2 is used as the global shared file system Kyushu University Tohoku University University of Tsukuba Tokyo Institute of Technology Nagoya University Osaka University Kyoto University source: Y. Ishikawa, Univ. of Tokyo
SINET4 の構成 6 各県配備の SINET ノードと北海道 - 九州を縦断する 40Gbps ベースの超高速 高信頼バックボーンにより HPCI の計算資源へのアクセスをサポート : コア回線 (40Gbps) : コア回線 (10Gbps) 札幌 : エッジ回線 (40Gbps) : エッジ回線 (10Gbps) : エッジ回線 (2.4Gbps) : コアノード ( ユーザ収容 + 中継 ) : エッジノード ( ユーザ収容 ) 金沢 福岡 広島 仙台 京都 筑波 米国 欧州 大阪 名古屋 東京 アジア 図は平成 23 年度末の構成
HPCI の申請から利用まで 7 (1) 申請 (2) シングルサインオン手続き 課題申請 アカウント取得 HPCI アカウント 証明書 HPCI アカウントとパスワード入力 ブラウザ上の操作 (3) 計算資源へログイン パスワード入力不要 計算機上のでジョブ実行 共用ストレージ上のファイルへのアクセス 計算資源 計算資源 計算資源 HPCI 共用ストレージ
インフラ概要 (2012 年 11 月スタート時 ) 8 ユーザ管理支援 認証基盤 HPCI ID 取得 申請 / 審査 アカウント登録 ヘルプデスク 情報共有ポータル HPCI アカウント HPCI アカウントパスワード シングルサインオン ポータル shib. SP 認証局 証明書証明書 リポジトリ shib. SP shib. IdP shib. IdP shib. IdP HPCI 事務局 ( 予定 ) 計算資源 計算資源 計算資源 NII 理研 ( 京 ) 情報基盤センター (9 大学 ) 理研, 東大 HPCI 共用ストレージ ネットワーク基盤
認証基盤の概要 HPCI アカウントの管理 アカウント管理の分散, および分散したアカウント管理を Shibboleth を用いた連携 ユーザはどこか一つの HPCI システム構成機関にアカウントを持てばよい. ログイン ( シングルサインオン ) Grid Security Infrastructure (GSI) を用いたシングルサインオン グリッドにおけるデファクトスタンダード, パスワード認証よりも安全性高. ユーザ IdP, HPCI アカウント, パスワード シングルサインオン手続 認証ポータル (1) 認証ポータルにアクセスし,HPCI アカウントによりサインオン. 9 % gsi-ssh host.univ.ac.jp (2) 計算機へ SSH ログイン 計算機毎のローカルアカウントやパスワードを入力する必要はない. 計算機資源へのログイン HPCI 共用ストレージ上のファイルへのアクセス
10 GSI grid-mapfile 認証局 /C=JP/O=NII/OU= /CN= /C=JP/O=NII/OU= /CN= : user1 user2 public key 1 1 network secret key パスフレーズ sign 証明書 1 login 検証 代理証明書 代理証明書 2 2 2 2 チャレンジストリング チャレンジストリング 暗号文 暗号文 2 比較 平文
ユーザ証明書申請 シングルサインオン ブラウザ 認証基盤アーキテクチャ 認証ポータル上でのサインオン 認証局運用機関 + 認証ポータル運用機関 認証ポータル (Shib. SP) 代理証明書リポジトリ Shib. DS 証明書管理システム 証明書リポジトリ認証局システム (Shib. SP) 11 計算資源へのログイン GSI-SSH クライアント HPCI システム構成機関 SINET 4 HPCI システム構成機関 ポータル (Shib. SP) Proxy 証明書リポジトリ GSI-SSH サーバ Shib. IdP アカウント DB
ユーザ証明書申請 シングルサインオン ブラウザ 代理証明書 認証基盤アーキテクチャ 資源へのログイン 認証局運用機関 + 認証ポータル運用機関 認証ポータル (Shib. SP) 代理証明書リポジトリ Shib. DS 証明書管理システム 証明書リポジトリ認証局システム (Shib. SP) 12 計算資源へのログイン GSI-SSH クライアント HPCI システム構成機関 SINET 4 HPCI システム構成機関 ポータル (Shib. SP) Proxy 証明書リポジトリ GSI-SSH サーバ Shib. IdP アカウント DB
HPCI と学認 13 現状 HPCI 開始時点では,HPCI アカウントの認証フェデレーションは学認とは別に運用. 今後, 両者の連携を検討. 連携に向けての課題 HPCI アカウントを持つユーザが学認のサービスを利用する場合 HPCI の IdP が学認フェデレーションに参加するだけでよい? 学認のアカウントを持つユーザが HPCI のサービスを利用する場合 HPCI の利用は課題申請制. 採択された課題 ( 研究プロジェクト ) のメンバのみが利用可能. ユーザの属性に HPCI の利用権限を付与すればよい?
まとめ 14 HPCI 上でシングルサインオンを実現するための認証基盤を報告. 現状 9 大学 ( 北大, 東北大, 筑波大, 東大, 東工大, 名大, 京大, 阪大, 九大 ) 情報基盤センター, 理研,NII によるプロトタイプを用いた試験実施中. 本格運用環境の構築中. 今後の課題 HPCI と学認のフェデレーション間の連携 ( または統一?) に関する課題の整理