STAR-CCM+ の大規模並列化仕様とクラウドライセンス (PoD) ソリューション 株式会社 CD-adapco 吉田稔彦
大規模モデルと STAR-CCM+ ソフトウエア側の対応機能 クライアント サーバアーキテクチャ ( リリース当初からの設計仕様 ) 区分化 (Partitioning) 機能の実装 (V8.04) パフォーマンス改善 (V8.02, V8.04) パラレルトリマーの実装 (V8.06) ライセンス種別による対応 hpcdomain オプション (Partitioning 数に応じたライセンス ) PowerSession オプション ( 並列無制限ライセンス ) クラウド側のハードウエア利用 Power of Demand ライセンス ( 必要な計算時間での課金システム ) 1 CD-adapco 2013
STAR-CCM+ クライアント サーバアーキテクチャ クライアントプロセス-サーバプロセス STAR-CCM+ は開発当初から GUI 操作などを行うクライアントプロセスと CFD の実態処理を行うサーバプロセスが分離された設計となっています ユーザのプラットフォーム環境に応じた最適パフォーマンスを提供します 新規作成 読み込み画面から並列数を簡単に指定 2 CD-adapco 2013
V8.04 から実装された区分化機能 物理連続体ごとの領域分割 (Continuum-Wide Partitioning) 並列計算時に物理連続体ベースで領域分割をするオプション機能 ( 従来は領域ベース ) 並列計算効率が改善 従来の手法で並列効率が著しく悪くなっていた大きな解析領域中に小さな領域があるようなケースを解決 対象となる解析事例 複数領域のある解析 車両熱害解析など 従来の領域分割 12 並列 新しい領域分割 3 別領域だが 同じ物理連続体 CD-adapco 2013
Elapsed time per step [s] ラグランジェ /DEM ロードバランスの改善 (V8.02) 対象となる解析事例 SCR デバイス スプレードライヤ 化学反応スプレー 計算実行中に自動 且つ計算結果依存した再パーティション分割実行機能を搭載 計算速度 ( 並列性能 ) パフォーマンスを大幅に改善 50 45 40 35 30 25 20 15 10 5 0 4 2.5 倍以上の計算速度改善を達成 With Load Balancing Without Load Balancing 0 8 16 24 32 40 48 56CD-adapco 64 72 2013 80 88 96 104 112 120 128 Cores
直接インターフェイス生成の改善 (V8.04) 不連続メッシュのインターフェース生成の時間短縮定常 & 非定常解析最大 2 倍のスピードアップ 対象となる解析事例 移動メッシュケース 回転翼機 ファン 自動車熱害 STAR-CCM+ 1000 万セル非定常軸流ファン解析インターフェース x2 149k & 228k フェース各時間ステップあたりの所要計算時間 1700 万セル非定常ヘリコプター解析インターフェース x1 560k フェース各時間ステップあたりの所要計算時間 v8.02 21.91s 5,98s v8.04 11.39s 2.72s 5 CD-adapco 2013
パラレルトリマーの実装 (V8.06) トリムメッシュの並列化処理機能を実装 最大で3 倍のスピードアップ シリアルメッシングと同等のメッシュサイズ メッシュ品質を再現できるよう設計 100 万 cell を下回ると予想された区分は自動的にシリアル処理 ロードバランスを意識した均等区分化設計 Image courtesy of Daimler A.G. 6 CD-adapco 2013
STAR-CCM+ パフォーマンステスト STAR-CCM+ のパフォーマンスは開発サイクルを通しモニターされます 毎日 17 ケースのテストデータが実行されます パラレルとシングルコアのパフォーマンスがチェックされます 実行環境 Linux と Windows 64bit ワークステーション 最大 192 コアの Linux クラスタ 24 コア Windows server 2008 R2 クラスタ 毎月そして 主要な開発マイルストーン時に 9 ケースの大規模テストデータが実行されます Linux 64 bit クラスタ上での最大 1152 コアでのパフォーマンステスト 必要に応じて 追加のテストが上記以外にも実行される可能性があります 特定の開発のテスト パートナーであるハードウェアベンダーのクラスタ上にて
実行環境 すべてのテストの実行環境は : 64bit Scientific Linux で実行される 64 ブレードクラスタ 各ブレード 2 Intel E5-2680 2.70 GHz 8 コア CPU 32 GB 物理メモリ Mellanox QDR Infiniband 相互接続 Panassas パラレルファイルシステム 実行環境 使用可能なパラレル I/O MPI CPU 親和性を有効化 前もって 40 イタレーションの助走計算 パフォーマンスは 20 イタレーション以上の平均経過時間を基に計測
データセット : 車両アンダーフード 車両のアンダーフード冷却解析 4 千 6 百万トリムメッシュ 7 Region(76 万セル ~ 4 千万セル ) 分離型ソルバ 物理連続体毎の並列区分化設定のテスト
データセット : HL-20 MACH 10 極超音速の抗力 Polar 640 万セルのポリヘドラルメッシュ 連成型解法 8 イタレーション毎の経過時間 7 6 5 8.06 8.04 4 3 2 1 0 32 64 128 256 512 1024
データセット : ターボチャージャ 複数領域のターボチャージャ CHT 700 万セルのポリヘドラルメッシュ 分離型解法 4.5 イタレーション毎の経過時間 4 3.5 3 2.5 8.06 8.04 2 1.5 1 0.5 0 32 64 128 256 512 1024 1400 1200 1000 Ideal speedup 8.02 パラレル効率 800 8.04 600 400 200 0 0 144 288 432 576 720 864 1008 1152
データセット : 原子炉 内部流れ 900 万セルのポリヘドラルメッシュ 分離型解法 6 イタレーション毎の経過時間 5 4 8.06 8.04 3 2 1 0 32 64 128 256 512 1024
データセット : 民間定期航空機 外部空力 2000 万セルのトリムメッシュ 連成型解法 8 イタレーション毎の経過時間 7 6 5 8.06 8.04 4 3 2 1 0 64 128 256 512 1024
データセット : ルマン車両 外部空力 1700 万セルのポリヘドラルメッシュ 分離型解法 10 9 8 7 6 5 4 3 2 1 0 32 イタレーション毎の経過時間 8.06 8.04 64 128 256 512 1024
データセット : ルマン車両 外部空力 1 億 4 百万セルのトリムメッシュ 分離型解法
大規模モデルと STAR-CCM+ ソフトウエア側の対応機能 クライアント サーバアーキテクチャ ( リリース当初からの設計仕様 ) 区分化 (Partitioning) 機能の実装 (V8.04) パフォーマンス改善 (V8.02, V8.04) ライセンス種別による対応 hpcdomain オプション (Partitioning 数に応じたライセンス ) PowerSession オプション ( 並列無制限ライセンス ) クラウド側のハードウエア利用 Power of Demand ライセンス ( 必要な計算時間での課金システム )
hpcdomain オプションライセンスの特徴 hpcdomain ライセンス 契約並列数に応じた計算利用可 ライセンスファイル内に hpcdomain フィーチャが明記 ccmpsuite フィーチャ ( 通常の STAR-CCM+ 起動ライセンス ) の数だけ指定並列数が使用できます 契約してる Partition 数であれば複数ジョブも利用可能 例 : hpcdomain=100 partition で以下のようなアレンジが可能です 100 partition を 1 ジョブで利用 50 partition を 2 ジョブで利用 25 partition を 4 ジョブで利用
Power Session オプションライセンスの特徴 Power Session ライセンス 1 ジョブにつき並列数無制限利用可 1 ジョブ計算に対して解析対象や ハードウエアの空き状況に応じて自由に並列数を増やせます ライセンスファイル内に ccmppower フィーチャが明記 並列 32 並列 16 並列 8 並列 4 並列
大規模モデルと STAR-CCM+ ソフトウエア側の対応機能 クライアント サーバアーキテクチャ ( リリース当初からの設計仕様 ) 区分化 (Partitioning) 機能の実装 (V8.04) パフォーマンス改善 (V8.02, V8.04) ライセンス種別による対応 hpcdomain オプション (Partitioning 数に応じたライセンス ) PowerSession オプション ( 並列無制限ライセンス ) クラウド側のハードウエア利用 Power of Demand ライセンス ( 必要な計算時間での課金システム )
STAR-CCM+ Power-on-Demand 必要なときに STAR-CCM+ Power Session にアクセスできる革新的な製品ライセンスモデル スループットの向上 非常に多くのパーティションとセッション 柔軟性の向上 クラスター クラウド ネットワークで動作 ( 独自のクラスターを含む ) 強力なライセンス機能 クラウド上の CAE へのゲートウェイ
使い方は? 1 時間単位のリアルタイムライセンス (PoD クレジット ) を購入 (500 時間以上 ) PoD クレジットは 12 か月間有効 カスタマーポータルにログインしライセンスタブを開きます 複数のタブが表示されます Account Activity Account Usage Manage Keys
具体的には... PoD クレジットの使い方 例 500 時間の PoD クレジットが利用できる場合 1 つの Power Session ジョブを 16 コアで 500 時間使用可能 5 つの Power Sessions ジョブを 128 コアで 100 時間ずつ使用可能 500 の Power Sessions ジョブを 64 コアで 1 時間ずつ使用可能 お持ちの PoD クレジットをどのように分割し 使用するかはユーザー次第です 複数のジョブを PoD ライセンスを用いて並列で実行する場合 ジョブ実行の際の合計の PoD クレジット予約時間がお持ちの PoD クレジットを超えることができないという制限があります
キー キーは使用状況の記録に使用されます 1 つのキーでいくつでもジョブを開始できます 必要に応じてキーの作成と削除を行うことができます キーにアクセスしている間 予約時間が使用されます キーには有効期間があります この期間以外は使用できません
キーの作成と管理 キーは [Manage keys] タブで作成して管理します
使用状況の確認 PoD クレジットの使用状況は [Account Usage] タブで確認できます また レポートを作成することもできます
Power-On-Demand の使用 STAR-CCM+ を対話モードで実行すると sim ファイルの読み込み画面から PoD セッションが開始します この操作を行うには 新しいセッションを開始するか 既存の sim ファイルを読み込んで関連するボックスに情報を入力します Power-on-Demand キーをバッチで設定するには 次のフラグを使用します -podkey <key value>
Power-On-Demand クレジット消費に関する注意点 PoD クレジットの持ち時間により 同時実行できるセッション数に制限があります 同時実行されるセッションすべてに対して PoD クレジットの予約時間が確保されます 予約時間の合計がお持ちの PoD クレジットを超えてセッションを実行することができません * 100 時間の PoD クレジットをお持ちの場合 世界標準時で 1 時に計算開始 :23 時間分の予約時間が確保されます 4 つのセッションを実行 :92 時間分の予約時間が確保されます PoD クレジット残は 8 時間ですが 5 つ目のセッションまで実行することが可能です 6 つ目のセッションを起動した際に クレジット残が 0 時間のため 実行することができません
お問い合わせ先 株式会社 CD-adapco 横浜オフィス Tel: 045-475-3285 Fax: 045-475-3295 横浜市港北区新横浜 2-3-12 新横浜スクエアビル 16F 大阪オフィス Tel: 06-4807-7840 Fax: 06-4807-7845 大阪市淀川区宮原 1-6-1 新大阪ブリックビル 9F E-mail Info-jp@cd-adapco.com 28 CD-adapco 2013
Your CAE Partner for Success www.cd-adapco.com/ja