PC クラスタワークショップ in 北海道 ハイパフォーマンス コンピューティングへの取り組み 2012 年 3 月 9 日 富士通株式会社テクニカルコンピューティング ソリューション事業本部藤野秋彦 京 は 2010 年 7 月に理化学研究所様が発表した 次世代スーパーコンピュータの愛称です
目次 富士通のHPC スーパーコンピュータ PRIMEHPCFX10 PC クラスタソリューション TC クラウドサービス 2
富士通の HPC サーバの歴史 30 年以上にわたり HPC 国内市場のトップベンダーとしてビジネスを展開 PRIMEHPC FX10 ベクトル NWT VPP300/70 世界一の性能を実現 (1993,94/11,95, TOP500) VPP50 VPP5000 世界最速のベクトルプロセッサ提供 (1999 年 ) PRIMEPOWERHPC2500 SPARCEnterprise PRIMEQUEST FX1 スーパーコンピュータ 京 世界一の性能を実現 (2011/6,11,TOP500) 世界最高の実行効率を達成 (2008/11,TOP500) X86 クラスタ F230-75APU VP シリーズ AP100 AP300 世界最高のスケーラビリティを実現 (2003 年 ) HX600 クラスタノード PRIMERGYBX90 クラスタノード スカラ PRIMERGYRX20 クラスタノード クラスタ 日本発のスーパーコンピュータ提供 (1977 年 ) PC クラスタ型で日本一の性能を実現 (2004/6,TOP500) ~1980 1985 1990 1995 200 2005 2010 将来 3
富士通の HPC プラットフォームソリューション ~ ハイエンドからローエンドまで ~ ハイエンド PRIMEHPCFX10 飛躍的な性能向上 利用技術向上 ハイエンド / ミッドレンジ ~ ローエンド PC クラスタ (PRIMERGY) TC クラウド ( 解析シミュレーションクラウドサービス ) HPC 市場の広がり ハイエンド ミッドレンジ 高速化要求 ローエンド BX シリーズ BX900/ BX40 x86hpc クラスタ RX シリーズ RX200/ RX30 CX シリーズ 4
目次 富士通のHPC スーパーコンピュータ PRIMEHPCFX10 PC クラスタソリューション TC クラウドサービス 5
スーパーコンピュータ PRIMEHPCFX10 概要 ペタスケールコンピューティングを実現するスーパーコンピュータ スーパーコンピュータ 京 *1 に適用したスパコン技術をエンハンス マルチラックモデル 世界最高レベルの超高速 超大規模スーパーコンピュータ 最大 23.2PFLOPS, 最大 6PB メモリの圧倒的なスケーラビリティ ペタスケールコンピューティングを実現する先進ハードウェアテクノロジー ペタスケールシステムでの高い実行性能と運用性を実現するソフトウェア シングルラックモデル 京 向けアプリ開発機として最適なスーパーコンピュータ 京 向けアプリケーションのコンパイル, デバッグ, 最適化が可能 予算や用途に応じて,12/24/48/96 計算ノードから選択可能 マルチラックモデルに対し, 設置性を向上 6
狙いと特長 高性能と省電力の両立 高性能と省電力を両立した SPARC64IXfx プロセッサ ( マルチコア化の追求,HPC 向け機能強化 ) 環境負荷を低減する高効率冷却システム ( 直接水冷方式の採用, 筐体外への排気熱の拡散防止 ) 高並列アプリの高い実行性能の実現と開発負荷の低減 1CPU/ ノード構成による高いメモリバンド幅 / 通信バンド幅 10 万ノード規模までスケールする Tofu *1 インターコネクト 高効率なハイブリッド並列を容易に実現する VISIMPACT *2 大規模システムでの高い信頼性と運用性の実現 メインフレーム技術を継承した部品レベルでの高い信頼性 高い耐故障性と運用性を兼ね備えた Tofu インターコネクト 大規模システムの効率的な運用を実現するソフトウェア *1) Tofu:TorusFusion *2) VISIMPACT:VirtualSingleProcessorbyIntegratedMulticoreParall elarchitecture 7
FX10 仕様 システム仕様ノード仕様 マルチラックモデル シングルラックモデル 筐体数 4 ~ 1,024 1 計算ノード数 384 ~ 98,304 12 24 48 96 理論ピーク性能 90.8TF~23.2PF 2.5TF 5.0TF 10.1TF 20.2TF 総メモリ容量 12TB~ 6PB 384GB 768GB 1,536GB 3,072GB インターコネクト Tofu インターコネクト 冷却方式 直接水冷 + 空冷 ( オプション : 排気冷却ユニット EXCU) 直接水冷 + 空冷 理論ピーク性能 236.5 GF 211.2 GF プロセッサ SPARC64 IXfx(1.848GHz,16コア )x1 SPARC64 IXfx(1.650GHz,16コア )x1 メモリ容量 32GB,64GB 32GB メモリ転送性能 85GB/s ノード間データ転送性能 5 GB/sx 双方向 / リンク 8
FX10 ソフトウェア体系 アプリケーション HPCPortal/ 運用管理 Portal HPC ミドルウェア TechnicalComputing Suite TechnicalComputingLanguage 自動並列化コンパイラ並列処理機能ツール / 数学ライブラリ Fortran C C++ OpenMP MPI XPFortran プログラミング支援ツール BLAS,SSLI,etc 高性能ファイルシステム FEFS 大容量, 高性能, 高信頼の分散ファイルシステム 帯域制御 システム管理 システム制御 システム管理 システム監視 システム運用支援 ジョブ運用ソフトウェア ジョブマネージャ ジョブスケジューラ ジョブ運用管理 資源管理 並列実行環境 OS 拡張 Linux ベース OS PRIMEHPCFX10 9
目次 富士通のHPC スーパーコンピュータ PRIMEHPCFX10 PC クラスタソリューション TC クラウドサービス 10
富士通の PC クラスタソリューション 高性能 最先端の技術の商品 SuperComputerTop500 世界 No.1 次世代スーパーコンピュータ 京 と 安心 基幹業務と同等レベルのサポート 富士通 PC クラスタ検証センター 世界最高性能高性能ファイルシステム <FEFS> 国内最大級のサポート拠点 2 時間以内対応カバー率 92% 11
選べるハードウェア 設置環境やシステム規模に合わせて選択 PRIMERGYRX200S6 高さ 1U( 約 4.5cm) AC20/100V 電源 最新の業界標準テクノロジを採用品質と信頼性へのこだわり (MadeinJAPAN ( MadeinJAPAN) PRIMERGYBX900S1 シャーシ 高さ 10U( 約 45cm) 18 サーバブレード / ストレージブレード搭載 AC20/100V 電源 業界最高クラスの実装効率と設置性 高効率部品の採用による低電力設計 PRIMERGYBX400S1 シャーシ 高さ 6U( 約 26cm) 8 サーバブレード / ストレージブレード搭載 AC20/100V 電源 PRIMERGYBX400S1 シャーシ ( フロアスタンドキット使用 ) 幅 : 約 37cm 奥行 : 約 82cm 高さ : 約 58cm) 8 サーバブレード / ストレージブレード搭載 AC20/100V 電源 省スペース ( フロアスタンド型 (W 366mm,D819mm, H577mm ) 軽量化 ( 最大 112.5kg 静音性 (45db) H577mm)) 軽量化 112.5kg) 静音性 12
選べる OS ミドルウェア お客様の運用条件に合わせて ハードウェアとの組み合わせ動作検証済みの OS ミドルウェア構成から選択 Windows タイプ Windows ワークステーション +WindowsPC クラスタ構成で プリ処理 ポスト処理とソルバー処理の操作性が統一できる Windows HPCServer2008R2(WindowsServer 208R2HPCEdition+ Microsoft HPCPack2008R2) Linux タイプ レベル 1( フリー OS+OSS) OSS) OSS OS CentOS すべてが OSS の安価な構成 OSS ジョブスケジューラー TORQUE またはPlatform Lava OSS リソース監視 Nagios Gangli a 他 レベル 2( 有償 OS+OSS) OSS) OS RedHatEnterpriseLinux レベル 3( 有償 OS+ 有償ミドルウェア ) OS RedHatEnterpriseLinux OSS 多くの解析アプリベンダ様が動作保証している有償 OS と OSS のミドルウェアを組み合わせた構成 ジョブスケジューラー TORQUE またはPlatform Lava ジョブスケジューラー OSS PBSProfessional OSS リソース監視 Nagios Gangli a 他 OSS ベースのミドルウェア構成で主要コンポーネントは富士通が障害修正対応 Platform Lava Platform LSF Platform ClusterManagerFujitsuEdition OSS PCM FujitsuEditionEnterprisePackage OSS Platform RTM Nagios 他 Platform RTM Nagios 他 13
パートナー様との協調 プラットフォーム 解析アプリケーション PC クラスタ性能検証センター 最新プラットフォームでの解析アプリケーション共同検証 解析分野別 PC クラスタおすすめ構成 ベースモデル CPU 性能強化モデル メモリ I/O 強化モデル 14
解析分野別おすすめモデル 解析分野ごとにプログラム実行性能に影響するハードウェアリソースが異なる CPU 性能 メモリ容量 ディスクアクセス性能それぞれのハードウェアリソース負荷の分析結果から 最適なモデルをおすすめ!! モデル ベースモデル CPU 強化モデル CPU メモリ I/O 強化モデル こんな解析分野に最適 解析全般特に流体解析 電磁波解析 衝突解析 落下解析 計算化学 ( 分子動力学 ) 金融リスクシミュレーション ハードウェアリソースへの負荷 CPU メモリアクセス テ ィスクアクセス 並列効果 中 ~ 大大小大 大中小大 構造解析 計算化学 ( 分子軌道法 密度汎関数法 ) 大 中 ~ 大 中 ~ 大 中 代表的アプリケーション ANSYSFLUENT STREAM SCRYU/Tetra STAR-CD STAR-CCM+ PowerFLOW Poynting LS-DYNA RADIOSS PAM-CRASH Abaqus/Explicit NXNastran MDNastran MSCNastran Marc ANSYSMechanical Abaqus/Standard RADIOSS お客様の解析データによっては 上記のパターンがあてはまらない場合があります 15
システム性能向上の課題 CPU: 周波数 コア数 メモリ : 帯域幅 容量 Compute Node インターコネクト : 伝送速度 InfiniBandNetwork I/O: 応答速度 容量 Fil esystem 2008 2009 2010 201 2012 2013 2014 Xeon 5400 番台 DDR 20Gbps Xeon 5500 番台 QDR 40Gbps Xeon 560 番台 次期 CPU 10 倍の演算性能向上 FDR 56Gbps 5 倍の伝送性能向上 ファイルシステムがシステム性能向上のボトルネック! 高性能ファイルシステム FEFS Lustre を機能強化した世界最高性能のスケーラブルファイルシステム スループット 1GB/s~ 世界最高 1TB/s 数 TByte~ 最大 8EByte の容量拡張性 16
FEFS の機能紹介 FEFS の特長的な機能のご紹介 ラウンドロビン分散機能 ( 高バンド幅の I/O) システムトータルで実効数百 GB/s 超のスループット実現ファイルをラウンドロビンで分散格納しサーバ全体を並列稼動 ユーザー間フェアシェア機能 / ノード間優先制御機能 特定ユーザーに I/O 帯域 ( サーバ処理能力 ) を占有させない クライアント側 : 各ユーザーの I/O 要求をサーバに均等に発行サーバ側 : 各ユーザーの I/O 要求を均等に処理 フェアシェア : なし フェアシェア : あり NotFair Fair ファイル単位のラウンドロビン分散 ストライピングによるラウンドロビン分散 増設により容量 帯域がスケーラブルに向上 ログインノード FEFS ファイルサーバ ログインノード FEFS ファイルサーバ 故障 故障 複数 IB *5 経路 IB *5 マルチパス サーバ動的交代 故障 故障 ジョブ A 実行 夜間 論理コピー ほぼ 0 秒 ( 瞬時にコピー ) 時間 FC *6 マルチパス RAID1+0 RAID RAID6 RAID6 メタサーバ (MDS *1 +MDT *2 ) データサーバ (OSS *3 +OST *4 ) ビジネス分野で実績あるテクノロジーを採用 単点故障のないハード構成 サーバの動的交替で実行中ジョブ継続 バックグラウンド物理コピー ビジネス分野で実績あるテクノロジーを採用 ETERNUS に搭載されている高速コピー アドバンスト コピー機能の OPC(OnePointCopy) と連携 冗長機能 ETERNUS 連携 ( 高速バックアップ ) *1MDS:MetaDataServer( メタデータを管理するサーバ ) *2MDS:MetaDataTarget(MDS に接続するストレージ ) *3OSS:ObjectStorageServer( ファイルデータを制御するサーバ ) *4OST:ObjectStorageTarget(OSS に接続するストレージ ) *5IB:InfiniBand*6:FC:FiberChannel 17
富士通のHPC スーパーコンピュータ PRIMEHPCFX10 PC クラスタソリューション TC クラウドサービス 18
TC クラウドサービス 実用的なシミュレーション アプリケーション (ISV ソフト /OSS 等 ) がオンデマンド ( 柔軟 迅速 ) で使えるサービス ISV ベンダ 衝突解析 構造解析 電磁波解析 熱解析 TC クラウド 解析アプリケーションサービス 解析プラットフォームサービス お客様の価値 開発期間の短縮 産業界 ( 製造業等 ) 建設 試作 試験コストの削減 化学 環境 エネルギー 自動車防衛極端な条件下での検討携帯 PDA オープンソースコミュニティ 専門家 流体解析 伝送線路解析 解析ヘルプデスク 実測困難な挙動解析 設計品質の向上 デバイス 樹脂成型 19 マイクロエレクトロニクス
TC クラウドの特長 ソルバだけでなく プレポストまでもクラウドで実行 クラウド上のプレポストをお客様の PC から遠隔操作 ソルバーの並列実行や同時並行実行による最適化もスケーラブルに お客様各社毎に専有環境を構築 弊社データセンター上で個社毎のセキュリティを確保 個社毎に物理的に計算リソースの専有環境を構築し オンデマンドで追加 ローカル環境での利用インタフェースをそのままに プレ ポスト A 社専有環境 ソルバー オンデマンド増設 A 社 画面表示データ転送 SaaS TC クラウド 富士通データセンター リソースプール 防犯対策災害対策停電対策空調対策 20
企業内クラウドセンターの構築と TC クラウド連携 TC クラウドのミドルウエア群で 企業内にクラウドセンターを構築 企業ユーザは TC クラウドと接続することで 繁忙期のピークカットと高速計算によるターンアラウンド時間の短縮を図れます システム例 A 社内クラウドセンター CAE 解析者 プレ ポストアプリの操作 プレ ポストサーバ プレ ポストアプリケーション 仮想デスクトップソフトウエア ) Windows ワークステーション HPC ポータル他のクラウド ミドルウエア 計算サーバ CAE ソルバーアプリケーション PC クラスター (Linux) ジョブ分散 暗号化通信路 (SSL-VPN) プリポストサーバ 計算サーバ TC クラウドセンタ (A 社専用区画 ) 21
解析アプリケーション TC クラウドの解析プラットフォームサービス上で 様々な解析アプリケーションが利用可能 利用形態は 2 種類 解析アプリケーションの利用形態 SaaS 型 弊社アプリケーションとプラットフォームサービスをセットで利用する形式 ワンストップでサポート PaaS 型 お客様がアプリベンダーとご契約のアプリケーションや内製アプリケーション等をプラットフォームサービス上で利用する形式 解析ヘルプデスクでスタートアップし 利用上の問題解決をサポート 22
SaaS 型アプリケーション構造解析 定額制ライセンスに加えて 従量制ライセンスも選択できます 計板成形 富士通が販売 サポートする SaaS 型アプリケーションです 電磁波解LS-DYNA は 陽解法により構造物の大変形挙動を時析刻履歴で解析するプログラムです 様々な解析に威力を発揮する世界のデファクトスタンダード製品です 算化eta/DYNAFORMは 板成形加工解析向け統合 CAE 学システムです 機能的なプレポストに加えて 解析ソルバも搭載しており 設計の上流工程から活用できます トプレポスeta/VPG は LS-DYNA 用のプリポスト製品です オートメッシュ機能やスポットウェルド など各種条件設定が可能です Poynting は 電磁波解析のための高精度 高速シミュレータです FDTD 法を採用しており 光学解析 高周波解析のための様々な機能を装備しています 計算化学統合プラットフォーム SCIGRESS( サイグレス ) SCIGRESS は 原子 分子レベルの微細な挙動や性質を解析するシミュレーション ソフトウェアです 新材料 新素材の研究開発を協力に支援します 今後品揃えを充実させてゆきます このページに掲載されている会社名 商品名は各社の商標または登録商標です 23
PaaS 型アプリケーション アプリケーションベンダー様と協力して動作検証しているアプリケーションです アプリケーションにより対応状況は異なりますので 詳細は当社までお問い合わせくださ ( 社名アルファベット順 ) い 汎用熱流体解析ソフトウェア 流体解析HyperWorks AcuSolve プラスチック射出成形シミュレーション Moldflow 熱流体解析環境 SimulationCFD 汎用熱流体解析ソフトウェア STAR-CCM+ (PoD) 電子機器専用熱流体解析ツール FloTHERM 三次元熱流体解析ソフトウェア SCRYU/Tetra 三次元熱流体解析ソフトウェア STREAM 最先端数値流体解析ソルバー XFlow HyperWorks 多目的ロバスト設計最適化支援ツール他modeFRONTIER このページに掲載されている会社名 商品名は各社の商標または登録商標です 2012 年 3 月現在 構造解析プレポストプレポスト他モデリング & ビジュアリゼーション 構造解析向け有限要素ソルバー HyperWorks RADIOSS 統合 CAE ツール SimulationMechanical プレス成形解析ソフトウェア PAM-STAMP2G 動的機構応力解析ソフトウェア VirtualPerformanceSolution 汎用機構解析ソフトウェアー Adams 汎用非線型構造解析ソルバー Marc 汎用構造解析ソルバー MSCNastran 複合領域シミュレーションソフトウェア SimXpert CAE 環境統合プリ ポストソフトウェア Patran 24
解析ヘルプデスク 解析における問題解決支援サービス ISV や内製アプリを利用したい アプリケーションのスタートアップ ( 導入支援 ) 問題切分けで困っている 最適な運用構成への助言 運用支援 アプリケーションの利用技術を習得したい 教育支援 解析の手伝いをして欲しい 受託解析 パートナー様とのアライアンスで 多くの解析の専門家の力を活用 導入支援 解析ヘルプデスク 運用支援 教育支援 受託解析 豊富なソリューション提供実績をもつ専門家 プラットフォームから解析アプリの業務適用までのトータルサポート 精密機械 建設 鉄鋼 電気 電子 自動車など多彩な業種分野 アプリケーションベンダー コンサルティング会社など 多くの専門家の力を結集 25
ご清聴ありがとうございました これからも富士通はお客様 パートナー様と共に より良いシステムの提供に励んでまいります よろしくお願いします 詳細は 弊社ホームページで公開中です http://primeserver.fujitsu.com/primergy/pccluster/ http://jp.fujitsu.com/solutions/hpc/ 26