2011 PC クラスタシンポジウム日立のテクニカルコンピューティングへの取り組み (Web 公開版 ) 2011/12/9 株式会社日立製作所中央研究所清水正明 Copyright Hitachi,Ltd.2011 All rights reserved 1

Size: px

Start display at page:

れいなながおか
4 years ago
Views:

1 2011 PC クラスタシンポジウム日立のテクニカルコンピューティングへの取り組み (Web 公開版 ) 2011/12/9 株式会社日立製作所中央研究所清水正明 1

2 目次日立テクニカルサーバラインナップ日立サーバラインナップ事例紹介 4 分散並列ファイルシステム V6 2

3 1 1 日立テクニカルサーバラインアップ SR16000 HA8000 3

1-1 日立テクニカルサーバ : History & Future CP-PACA(SR2201) は 1996 年の Top500 で 1 位を獲得ヘクトル型 S-810 単体 CPUの理論性能日本国産初の

8GFlops 達成 ( 世界初 ) SR8000 世界初のヘクトルスカラ融合型 HPCマシン CP-PACS(SR2201) 商用ヘース日本初の分散メモリ型並列機ヘクトルスカラ融合型 SR11000

2GFlops( モテル K2) HA8000Series(Xeon Base) SR16000 Power7 フロセッサ採用複数モテルをラインナッフ ( モテル XM1,M1,VM1)

4 1-1 日立テクニカルサーバ : History & Future CP-PACA(SR2201) は 1996 年の Top500 で 1 位を獲得ヘクトル型 S-810 単体 CPUの理論性能日本国産初の 3GFlops 達成ヘクトル型スハコン S-810/S-820 は国立科学博物館より重要科学技術史資料第号として認定されました S-820 S-3800 スカラ並列型単体 CPU の理論性能 8GFlops 達成 ( 世界初 ) SR8000 世界初のヘクトルスカラ融合型 HPCマシン CP-PACS(SR2201) 商用ヘース日本初の分散メモリ型並列機ヘクトルスカラ融合型 SR11000 ノート当り理論性能 147.2GFlops( モテル K2) HA8000Series(Xeon Base) SR16000 Power7 フロセッサ採用複数モテルをラインナッフ ( モテル XM1,M1,VM1) HA8000-tc/RS425 (Opteron Base) クラスタシステム向け高性能サーバ HA8000-tc/HT225 (Opteron Base) HA8000/RS210 (Xeon Base) PC サーバ Next Generation HPC Servers ハイエントの Itanium( 日立独自設計 ) サーハ含め幅広いラインナッフ

5 1-2 日立テクニカルサーバラインアップスカラ SMP から PC クラスタまでラインアップ拡充スカラ SMP クラスタ (SR16000 シリーズ ) PC クラスタ (HA8000 シリーズ ) 大規模 SMP モデル VM1 POWER7 ~256way 最大ノード構成 8.2 TFLOPS 8 TB メモリ HA8000-tc/HT225 AMD/Opteron 最大ノード構成 294 GFLOPS 64 GB メモリ高効率 / 高集積モデル M1 エントリモデル XM1 POWER7 32way 最大ノード構成 980 GFLOPS 256 GB メモリ POWER7 32way 最大ノード構成 844 GFLOPS 256 GB メモリシステム構成 32~512 ノード最大 500 TFLOPS システム構成 1~512 ノード最大 432 TFLOPS HA8000/RS210 次世代 Xeon プロセッサにも対応予定 Intel/Xeon 最大ノード構成 146 GFLOPS 192 GB メモリ InfiniBand QDR サホート Fat-Tree 3D-Torus 5

6 1-3 SR16000 の紹介 SR シリーズの特長を継承強化させ最先端 H/W テクノロジにより高性能低消費電力を両立させる実績と将来性を見据えたシステムアーキテクチャ高性能スカラプロセッサの SMP& & 並列最先端ハードウェアテクノロジの適用最新プロセッサ POWER7 ( 高性能低消費電力 ) 各モデルの特長の明確化設備条件の緩和 ( 空冷モデルの継承耐荷重の軽減 ) 世界最高クラスの高実装密度大規模共有メモリを有する最高性能の SMP サーバ HPC 向け技術の継承チューニング技術 ( アフリまでを見たトータルチューニンク ) 運用技術 : センター運用管理単一システムイメーシ等モデル M1 モデル XM1 6

7 １-４ＳＲ１６０００の紹介 Memory CPU Module NW Hub Module 8 node (CPU Module) / board 7

1-5 HA8000-tc/HT225 の紹介プロセッサ : AMD Opteron 6140/ 6276 気化熱で CPU を冷却 (2.3GHz 16 コア Interlagos) 2 294.4 GF メモリ : 最大 64GB (DDR3-1600) HDD : 2.5 SAS-2.

8 1-5 HA8000-tc/HT225 の紹介プロセッサ : AMD Opteron 6140/ 6276 気化熱で CPU を冷却 (2.3GHz 16 コア Interlagos) GF メモリ : 最大 64GB (DDR3-1600) HDD : 2.5 SAS-2.0 HDD 4 (RAID 0,1,10) 拡張 I/O : PCI-Express(x16) 1 スロット, PCI-Express (x8) 2 スロット電源 : シャーシ内 2 ノードで共用冗長構成サーモサイフォン冷却 Gas phases Radiator Coolant (Water) Cohesion Vaporization Liquid phases Processor Mother board Cooling Fan ラジエータで液化冷却用ファンの回転数低減により省電力低騒音を実現 8

9 2 2 日立サーバラインアップブレードサーバラックマウントサーバ / タワーサーバ 9

2-1 BladeSymphony ラインアップ各製品充実のラインナップで用途に応じた製品を提供仮想化環境やソリューションを含めたシステム提供も可能ターゲットブレードサーバ部ストレージ部ネットワーク部 Web3 階層統合システム大規模データベース等ハイエンドモデル BS2000 Hitachi Storage Solutions CommuniMax PC

10 2-1 BladeSymphony ラインアップ各製品充実のラインナップで用途に応じた製品を提供仮想化環境やソリューションを含めたシステム提供も可能ターゲットブレードサーバ部ストレージ部ネットワーク部 Web3 階層統合システム大規模データベース等ハイエンドモデル BS2000 Hitachi Storage Solutions CommuniMax PC サーバ統合データセンター中小規模の部門サーバ小型高集積モデル BS320 BR1600E BR1600S BR1200 ロードバランサ AX2500 サーバ仮想化日立サーバ仮想化機構 Virtage VMware vsphere TM Windows Server 2008 Hyper-V TM BladeSymphony システム管理ソフトウェアミドルウェア主要 ISV ソフトウェアプラットフォームソリューション / サポートサービス 10

GOLD 認証取得 (*2)) ハードウェア長期保守対応 ( ロンクライフサホートサーヒス 7 年 /10 年 (*3)) スケールアップスケールアウト *1:Essential モデル *2:

11 2-2 ハイエンドモデル BS2000 ミッションクリティカルシステムにフォーカス仮想統合を実現する高信頼スケーラブルブレードサーバ仮想化による集約高速処理に適応した性能拡張性 ( ブレード間 SMP 接続 / 大容量メモリー / I/O スロット拡張装置 ) 日立サーバ仮想化機構 Virtage 標準搭載 (*1) メインフレームの高信頼高可用化技術を継承高効率電源の採用 (80 PLUS GOLD 認証取得 (*2)) ハードウェア長期保守対応 ( ロンクライフサホートサーヒス 7 年 /10 年 (*3)) スケールアップスケールアウト *1:Essential モデル *2: 電源負荷 50% 時の変換効率 92% を実現 *3:BS2000 E タイプにてサポート標準サーハフレート高性能サーハフレートシャーシ : 最大 8 ブレード /10U I/O スロット拡張装置 11

12 2-3 ハイエンドモデル BS2000 <2011 年度の主な強化ポイント > 標準サーバブレード性能強化最新 Intel Xeon 5600 番台プロセッサ 16GB DIMM サポート高性能サーバブレード性能強化最新 Xeon E7 ファミリープロセッサ 16GB DIMM サポート日立サーバ仮想化機構 Virtage 強化標準サーバブレード : 30LPAR 高性能サーバブレード : 60LPAR I/O 系 RAS 機能強化キャパシティオンデマンド初期導入費用低減 & 長期運用時の拡張性シャーシ : 最大 8 ブレード /10U 標準サーハフレートキャハシティオンテマント高性能サーハフレート 2 フレート SMP 構成 4 フレート SMP 構成 I/O スロット拡張装置 12

13 2-4 小型高集積モデル BS320 より軽くより小さく高密度実装を追求幅広い用途に対応する高集積省電力ブレードサーバ高さ6U( 約 27cm) に最大 10ブレード搭載可能最大重量約 98kg/ シャーシの軽量設計用途に応じた多彩なサーバブレードをラインアップ日立サーバ仮想化機構 Virtageに対応 (*1) 高効率電源の採用 (CSCI Silver 基準適合,80 PLUS SILVER 認証取得 (*2)) ハードウェア長期保守対応 ( ロングライフサポートサービス :7 年 ) *1:PCI 拡張サーハフレート Virtage モテルで提供 *2: 負荷 50% 時の変換効率 89% 以上を実現標準サーバブレード SAN 専用サーバブレード HDD 拡張サーバブレード PCI 拡張サーバブレード 13

14 2-5 小型高集積モデル BS320 <2011 年度の主な強化ポイント> 最新 Intel Xeon 5600 番台プロセッサー大容量メモリ / 次世代 SSD 32GB DIMMサポート SSD 搭載サポート日立サーバ仮想化機構 Virtage 強化 LPAR 数増強 (16LPAR) iscsi 対応 N+1コールドスタンバイ省電力機能 & 低電圧プロセッサ / メモリ標準サーバブレード SAN 専用サーバブレード HDD 拡張サーバブレード PCI 拡張サーバブレード 14

15 2-6 HA8000 ラインアップ / ラックサーバ 2010/ 下 2011/ 上 2011/ 下 ~2012/ 上 4 プロセッサー 2 プロセッサー HA8000/RS440(K1) HA8000/RS220(K1) HA8000/RS210(K1) HA8000/RS440(L) HA8000/RS220(L) HA8000/RS210(L) CPU エンハンス低電圧メモリサポート 10G LAN サポート管理ツール添付拡充ハック型の保守商品を追加 CPU エンハンス RAID キャッシュ SC * ハックアッフ 2.5 型 SAS HDD 容量追加管理ツール添付拡充ハック型の保守商品を追加 CPU エンハンス 2.5 型 SAS HDD 容量追加管理ツール添付拡充ハック型の保守商品を追加 HA8000/RS440 継続強化 HA8000/RS220 次世代プロセッサラインアップ拡充等 HA8000/RS210 次世代プロセッサラインアップ拡充等 1 プロセッサー HA8000/RS110(K1) HA8000/RS110(L) SC * : スーパーキャパシタ CPU エンハンス 2.5 型 SAS HDD/SSD サホート 3.5 型 HDD 搭載数アップ RAID キャッシュ SC * ハックアッフ管理ツール添付拡充簡単取り付けラックレールハック型の保守商品を追加 HA8000/RS110 次世代プロセッサラインアップ拡充等 15

16 2-7 HA8000 ラインアップ / タワーサーバ 2010/ 下 2011/ 上 2011/ 下 ~2012/ 上 2 プロセッサー HA8000/TS20(K1) HA8000/TS20(L) CPU エンハンス 2.5 型 SAS HDD 容量追加管理ツール添付拡充ハック型の保守商品を追加 HA8000/TS20 次世代プロセッサラインアップ拡充等 1 プロセッサー HA8000/TS10(K1) HA8000/SS10(K1) HA8000/TS10(L) HA8000/SS10(L) CPU エンハンス 2.5 型 SAS HDD 容量拡大 SSD サポート RAID キャッシュ SC * ハックアッフ管理ツール添付拡充ハック型の保守商品を追加 CPU エンハンス 2.5 型 SAS HDD 容量 / 搭載数拡大 SSD サポート管理ツール添付拡充ハック型の保守商品を追加 HA8000/TS10 次世代プロセッサラインアップ拡充等 HA8000/SS10 継続強化 HA8000-bd/BD10(x1) HA8000-bd/BD10(x2) HA8000-bd Windows サポート SSD サポート iscsi サポート + HDD レスモデル大容量 SSD サポートコンテンツ配信事業者や DC 事業者向けサービスの充実次世代プロセッサラインアップ拡充等 SC * : スーパーキャパシタ 16

17 3 3 事例紹介北海道大学殿北海道大学アカデミッククラウド東京大学医科学研究所殿 17

18 4 4 分散並列ファイルシステム Version6 18

4-1 日立の分散並列ファイルシステム進化 (Hitachi Striping File System) スパコン分野で培った技術を投入した高性能共有ファイルシステム 94

並列性能を求められるスパコン用に開発された日立の共有ファイルシステム 96 SR2001 SR2201 05 06 07 01-00 09 08 04-00 03-00

グリッドバッチなどビジネス案件への対応 SAN 共有機能耐障害性強化大規模クラスタ構成への対応 1024 ノード対応信頼性向上

19 4-1 日立の分散並列ファイルシステム進化 (Hitachi Striping File System) スパコン分野で培った技術を投入した高性能共有ファイルシステム 94 スパコン分野で性能とスケーラビリティを追求 98 SR 技術継承 08 SR16000 SR11000 気象予報業務など大規模 & 並列性能を求められるスパコン用に開発された日立の共有ファイルシステム 96 SR2001 SR 末 V6 初期バージョン AIX への移植グリッドバッチ向け機能強化ファイルのメモリ常駐化 ( インメモリ ) Linux 対応グリッドバッチなどビジネス案件への対応 SAN 共有機能耐障害性強化大規模クラスタ構成への対応 1024 ノード対応信頼性向上ファイルシステムを瞬時に修復するジャーナルファイルシステム耐障害性強化ノード自動縮退共有ファイルシステムとして今後も進化し続けます! 8192 ノード対応キャッシュ利用による高速化フェールオーバ強化オープン基盤製品として耐障害性を強化 19 年度 19

20 4-2 大規模システムにも柔軟に対応する並列 FS 小規模から大規模まで台数に応じた構成を組むことが可能です特長バッチ処理業務の増加に伴い多数のサーバ台数が必要となる場合があります各サーバにディスク装置を接続できない大規模システムでもネットワークによるファイル共有を構築することができます SAN 共有機能とネットワーク共有の混在型も可能です SAN 共有機能型サーバ台数が比較的少ない場合ネットワーク共有型サーバ台数が多くディスク装置を接続できない場合 LAN LAN アクセス可能ジョブジョブジョブジョブジョブジョブジョブジョブファイルファイル最大 1024 サーバまで構成可能 20

21 4-3 ストライピング機能 (2 つのストライプ方式 ) 分散方式特徴適性ファイルストライプブロックストライプファイルストライプ計算ノード I/O ノードファイル単位で分散配置 ( ラウンドロビン ) 複数のファイルを別々のディスクに格納する各ディスクのファイル数を平準化ファイルを複数ブロックに分割してから配置 1 つのファイルをブロック分割 (*1) してからブロックを別々のディスクに並列転送 (*1) ブロックストライプのブロック分割数はシスパラで変更可 client ファイル 1 ファイル 2 LAN client 併設可能計算ノード I/O ノード小サイズファイル I/O で高性能を発揮 MB オーダー未満の I/O プログラム TSS 環境コンパイル環境など巨大なファイルの I/O 時間短縮 ( 小サイズファイルの場合ファイル分割損が生じるため非効率となることがある ) ブロックストライプ巨大ファイル分割 client LAN ブロックブロックブロック client 並列転送同時書込み server server server server server server ファイル1 ファイル2 ファイル3 ファイル4 ファイル5 ファイル6 ブロックブロックブロックラウンドロビンでディスクを選択 21

22 4-4 のコンセプトと Version 6 の特徴大規模 I/O 重視型ファイルシステムをベースに V6 で更に進化します! 小サイズ I/O 性能も大きく向上させインタラクティブ操作の快適性の追求障害発生時の確実な I/O フェンシングとフェールオーバによるユーザ資産保護特長 1 大量 I/O で高性能を発揮ディスク性能を最大限に引き出すスループット重視のファイルシステム特長 2 NEW 大容量メモリを有効活用したキャッシュファイルシステム小サイズ I/O 性能向上メタデータ操作性能向上ログインノードでの作業性向上特長 3 NEW 耐障害性強化日立高信頼障害監視機構 HA モニタ連携 I/O フェンシングフェールオーバ実現 22

23 4-5 特長 1 大規模 I/O で性能を発揮過去の実績ディスク性能を最大限に引き出し大規模大量 I/O に強いファイルシステム SR8000 では OS(HI-UX/MPP) の一機能として提供 [~2002 年 ] - 大学や研究所等の日立スパコンユーザで多数の稼働実績あり - ハードピーク性能の 90% を超える性能を発揮 (1Gbps の FC で 90MB/s) SR11000 で高性能ファイルシステムとして製品化 [2005 年 ] - 納入時の BMT で 20GB/s 達成 (128 ノードでの総スループット ) 1 台の大規模 SMP サーバでの高い性能要求にも対応 [2009 年 ] - 納入時の BMT で 1 台のサーバで 6GB/s 達成 (SR16000,FC48 本直結構成 ) 23

24 4-6 特長 2 快適なインタラクティブ性能を提供特長演算ノード I/O ノードバッファメモリを利用した非同期 I/O をフル実装したキャッシュファイルシステムの I/O バッファを利用した I/O 完全非同期化により新規ファイル生成 / 削除のコストを 1msec 未満に短縮し快適なインタラクティブ性能を提供ユーザアプリケーション files I/O バッファ HAモニタ I/Oバッファストライピング files I/O バッファ Used NEW (1) インタラクティブ操作性向上 I/O は I/O バッファにデータを格納した時点で完了しその後非同期転送する I/O バッファ上に蓄積されるデータは fsync(),close() 時に整合性を保証します (2) I/O データ蓄積 & 一括転送演算ノードの I/O バッファに小サイズデータを蓄積してから一括転送することでノード間ネットワークと DISK のスループットを上げます (3) 大規模データは即時転送巨大データは I/O バッファに長時間置かず即時 I/O ノードに転送することで性能を確保します (4) I/O バッファ有効活用 I/O バッファ枯渇前に I/O データを I/O ノードに押出すことでキャッシュの利用効率を促進します 24

4-7 特長 2-1 バッチジョブ高速化のためのインメモリ機能ファイルのメモリ常駐化機能 ( インメモリ ) により I/O レスを実現特長ジョブ間で引き継ぐ一時的な中間ファイルなどを各サーバのメモリ上に常駐することができます ( 本機能はサーバ間でメモリを共有するものではありません ) 適用前適用後サブジョブ 1 ジョブ群サブジョブ

25 4-7 特長 2-1 バッチジョブ高速化のためのインメモリ機能ファイルのメモリ常駐化機能 ( インメモリ ) により I/O レスを実現特長ジョブ間で引き継ぐ一時的な中間ファイルなどを各サーバのメモリ上に常駐することができます ( 本機能はサーバ間でメモリを共有するものではありません ) 適用前適用後サブジョブ 1 ジョブ群サブジョブ m サブジョブ 1 ジョブ群サブジョブ m 1 ファイルをメモリに常駐中間ファイル 2 同一ファイル名でのディスクへの反映入力ファイル中間ファイル出力ファイル入力ファイル中間ファイル出力ファイルディスク I/O ボトルネックのため処理時間長大化ファイルのメモリ常駐による I/O レス化障害時に備えたディスクミラーリングも可能 25

26 4-8 特長 3 ファイルを保護する耐障害性機能高信頼切換え機能 HA モニタと連携した I/O フェンシングとフェールオーバ特長 I/O ノードの OS スローダウン時やハード障害時ファイルシステムを守るため HA モニタ ( 高信頼障害監視機構 ) と連携し不安定な I/O によるデータ破壊を確実に遮断し安全なフェールオーバを実現します 1~60 秒 26

27 27

28 他社商品名商標等の引用に関する表示製品の内容仕様は改良のために予告なしに変更する場合があります製品写真は出荷時のものと異なる場合がありますインテル Intel Xeon Itanium はアメリカ合衆国およびその他の国における Intel Corporation の商標です AMD Opteron は Advanced Micro Devices, Inc. の商標または登録商標です Microsoft Windows Windows Server Windows ロゴは米国 Microsoft Corpotation の米国およびその他の国における商標または登録商標です Linux は Linus Torvalds 氏の日本およびその他の国における登録商標あるいは商標です Red Hat ならびに Shadow Man ロゴは米国およびその他の国で Red Hat,Inc. の登録商標もしくは商標です VMware は VMware,Inc. の米国およびその他の国における登録商標または商標です AIX は米国およびその他の国における International Business Machines Corporation の商標です AIX 5L は米国およびその他の国における International Business Machines Corporation の商標です Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標または商標です 28

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション PC クラスタシンポジウム日立のテクニカルコンピューティングへの取り組み 2010/12/10 株式会社日立製作所中央研究所清水正明 1 目次 1 2 3 日立テクニカルサーバラインナップ日立サーバラインナップ GPU コンピューティングへの取り組み 4 SC10 日立展示 2 1-1 日立テクニカルサーバ : History & Future Almost 30 Years of Super

2011 PC クラスタシンポジウム 日立のテクニカルコンピューティングへの取り組み (Web 公開版 ) 2011/12/9 株式会社日立製作所中央研究所清水正明 Copyright Hitachi,Ltd.2011 All rights reserved 1

2011 PC クラスタシンポジウム日立のテクニカルコンピューティングへの取り組み (Web 公開版 ) 2011/12/9 株式会社日立製作所中央研究所清水正明 Copyright Hitachi,Ltd.2011 All rights reserved 1