ANSYS Mechanical Release18.1 BMT Results 作成 :2017-06-21 最終編集 :2017-07-03
項 所属 1 ご担当者 1 所属 2 ご担当者 2 ベンチマークテスト実施者 ベンチマークテスト概要 内容 株式会社 本 HP サービスソリューション事業本部技術本部クライアント技術部 清 康輔 株式会社 本 HP ワークステーションビジネス本部 橋秀樹 清 康輔 ベンチマークテスト実施期間 2017/5/10~2017/6/10 ベンチマークテスト実施場所 株式会社 本 HP 本社内 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 2
ハードウェア情報 項 内容 会社名 HP コンピュータモデル Z840 Workstation プロセッサモデル Intel Xeon E5-2699v4 x 2CPUs ノード数 1 総コア数 44 GPUモデル1 NVIDIA Quadro GP100(TCCモード クロックチューニング有 ) GPUモデル2 NVIDIA Tesla K40c(TCCモード クロックチューニング無 ) 総 GPU 数 1+ 1 総メモリ容量 (GB) 128 ストレージ構成 Micron SATA SSD / SATA HDD (7200rpm) / Z Turbo Drive G2 512GB BIOS Version v2.32 BIOS: Turbo Boost Yes BIOS: Snoop mode Cluster On Die OS Microsoft Windows 7 Professional SP1 64bit 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 3
ANSYS Mechanical 標準ベンチマークモデル概略有限要素モデル概要 モデル名 :V17cg-1 Power Supply Module GPUアクセラレータ対応ベンダ : NVIDIA 解析 法と概要 : 定常伝熱線形解析 荷重ステップ数 1 モデル規模 : 節点数 5,266,730 要素数 2,303,613 由度数 5.3MDOF メモリ : トータル 13GB データベース 2500MB ソルバ :JCG( 実数型 対称マトリクス ) 要素タイプ : 次四 体ソリッド, 次六 体ソリッド (SOLID87,SOLID90,SURF152) モデル名 :V17cg-2 Tractor Rear Axle GPUアクセラレータ対応ベンダ : NVIDA 解析 法と概要 : 静的線形構造解析モデル規模 : 節点数 4,109,776 要素数 2,366,046 由度数 12.3MDOF メモリ : トータル22GB データベース1900MB ソルバ :PCG( 実数型 対称マトリクス msave,off) 要素タイプ : 次四 体ソリッド, 次六 体ソリッド (SOLID187,SOLID186,CONTA174,TARGE170,PRETS179) モデル名 : V17cg-3 Engine Block GPUアクセラレータ対応ベンダ : None 解析 法と概要 : 静的線形構造解析モデル規模 : 節点数 4,728,103 要素数 3,181,628 由度数 14.2MDOF メモリ : トータル13GB データベース 2400MB ソルバ : PCG( 実数型 対称マトリクス msave,on) 要素タイプ : 次四 体ソリッド (SOLID187,SURF154) Release17.0 の標準ベンチマークモデルを使 しておりますので モデル名は V17 としております V18 ではありませんのでご注意ください 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 4
ANSYS Mechanical 標準ベンチマークモデル概略有限要素モデル概要 モデル名 :V17sp-1 Peltier Cooling Block GPUアクセラレータ対応ベンダ : NVIDIA 解析 法 : 定常伝熱 - 電気連成場 線形解析モデル規模 : 節点数 319,080 要素数 133,009 由度数 0.6MDOF メモリ : トータル24GB データベース600MB ソルバ :SPARSE( 実数型 対称マトリクス ) 要素タイプ : 次四 体ソリッド 次六 体ソリッド (SOLID226,SOLID227) モデル名 :V17sp-2 Semi-Submersible GPUアクセラレータ対応ベンダ : NVIDIA, Intel 解析 法 : 過渡構造 線形解析 累積イタレーション数 11 モデル規模 : 節点数 793,257 要素数 268,881 由度数 4.7MDOF メモリ : トータル31GB データベース1000MB ソルバ : SPARSE( 実数型 対称マトリクス ) 要素タイプ : 次四 形シェル 次三 形シェル 次ビーム (SHELL281,BEAM189) モデル名 :V17sp-3 Speaker GPUアクセラレータ対応ベンダ : NVIDIA, Intel 解析 法 : 周波数応答解析 周波数 1000Hzのみモデル規模 : 節点数 1,683,465 要素数 1,222,294 由度数 1.7MDOF メモリ : トータル51GB データベース1700MB ソルバ :SPARSE( 複素数型 対称マトリクス ) 要素タイプ : 次四 体ソリッド 次六 体ソリッド (SOLID186,FLUID220,FLUID221) 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 5 Release17.0 の標準ベンチマークモデルを使 しておりますので モデル名は V17 としております V18 ではありませんのでご注意ください
ANSYS Mechanical 標準ベンチマークモデル概略有限要素モデル概要 モデル名 :V17sp-4 Turbine GPUアクセラレータ対応ベンダ : NVIDIA, Intel 解析 法 : 静的構造 線形解析 累積イタレーション数 1 モデル規模 : 節点数 715,008 要素数 483,631 由度数 3.2MDOF メモリ : トータル62GB データベース1200MB ソルバ : SPARSE( 実数型 対称マトリクス ) 要素タイプ : 次四 体ソリッド (SOLID187,TARGE170,CONTA174) モデル名 :V17sp-5 BGA GPUアクセラレータ対応ベンダ : NVIDIA, Intel 解析 法 : 静的構造 線形 累積イタレーション数 1 モデル規模 : 節点数 2,004,837 要素数 1,249,417 由度数 6.0MDOF メモリ : トータル78000MB データベース3000MB ソルバ : SPARSE( 実数型 対称マトリクス ) 要素タイプ : 次六 体ソリッド, 次四 体ソリッド (SOLID186,SOLID187) Release17.0 の標準ベンチマークモデルを使 しておりますので モデル名は V17 としております V18 ではありませんのでご注意ください 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 6
ANSYS Mechanical 標準ベンチマークモデル概略有限要素モデル概要 モデル名 :V17ln-1 Gear Box GPUアクセラレータ対応ベンダ : NVIDIA 解析 法 : モーダル解析 モード数 10 モデル規模 : 節点数 2,588,135 要素数 1,710,122 由度数 7.7MDOF メモリ : トータル19GB データベース1300MB ソルバ : PCG Lanczos( 実数型 対称マトリクス msave,off) 要素タイプ : 次四 体ソリッド (SOLID187) モデル名 :V17ln-2 Radial Impeller GPUアクセラレータ対応ベンダ : NVIDIA, Intel 解析 法 : モーダル解析 周期対称性 モード数 50 モデル規模 : 節点数 337,916 要素数 222,725 由度数 2.0MDOF メモリ : トータル42GB データベース500MB ソルバ : Subspace( 実数型 対称マトリクス ) 要素タイプ : 次四 体ソリッド (SOLID187) Release17.0 の標準ベンチマークモデルを使 しておりますので モデル名は V17 としております V18 ではありませんのでご注意ください 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 7
標準ベンチマークモデル概略 分野 タイプ 線形 / 線形 モデル名ソルバー GPU 由度 (MDOF) 使 要素 備考 構造 静的 線形 線形 V17cg-2 PCG NVIDIA 12.3 SOLID187, SOLID186, TARGE170, CONT174 V17cg-3 PCG None 14.2 SOLID187, SURF154 msave,on V17sp-4 V17sp-5 SPARSE SPARSE 時刻歴 線形 V17sp-2 SPARSE 周波数応答 モーダル 線形 V17sp-3 SPARSE 線形 V17ln-1 V17ln-2 PCG- Lanczos Subspace NVIDIA Intel NVIDIA Intel NVIDIA Intel NVIDIA Intel 3.2 SOLID187, TARGE170,CONTA174 msave,off WB メッシュ 固着接触 標準接触 1 イタレーションのみ 6.0 SOLID187,SOLID186 1 イタレーションのみ 4.7 1.7 SHELL281, BEAM189, SURF154, SURF156 SOLID186,FLUID220, FLUID221 WB メッシュ 変形 ON 計算ポイント数 :1 NVIDIA 7.7 SOLID186 計算モード数 :10 NVIDIA Intel 2.0 SOLID186 計算モード数 :100 伝熱定常線形 V17cg-1 JCG NVIDIA 5.3 SOLID87,SOLID90 荷重ステップ 1 連成電気 - 伝熱 定常 線形 V17sp-1 SPARSE NVIDIA 0.6 SOLID226, SOLID227 Release17.0 の標準ベンチマークモデルを使 しておりますので モデル名は V17 としております V18 ではありませんのでご注意ください TARGET170,CONTA174 は接触要素ペア ;SURF154,SURF156 は表 効果要素 SHELL281 はシェル要素 ;BEAM189 はビーム要素 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 8
9 GPU パフォーマンス CPU only vs. CPU+K40c vs. CPU+GP100
GPU パフォーマンス ハードウェア vs. vs. CPU Only CPU(E5-2699v4 x2): 44core GPU accelerator: No Storage: Micron SATA SSD CPU+K40c CPU(E5-2699v4 x2): 44core GPU accelerator: NVIDIA Tesla K40c Storage: Micron SATA SSD CPU+GP100 CPU(E5-2699v4 x2): 44core GPU accelerator: NVIDIA Quadro GP100 Storage: Micron SATA SSD 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 10
項 ソフトウェア名 GPU パフォーマンス ソフトウェア 内容 ANSYS Release 18.1 並列処理 MPI ANSYS Mechanical APDL 分散メモリ型 Intel-MPI MPI バージョン 5.1.3.180 GPU アクセラレータの使 Yes ジョブ実 時のコア数 2,4,8,16,32,44 SPARSE ソルバのメモリオプション ベンチマークモデル インコア 9 ケース (V17-cg1,V17-cg2,V17-ln1,V17- ln2,v17-sp1,v17-sp2,v17-sp3,v17-sp4,v17- sp5) 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 11
GPU アクセラレータのパフォーマンス 1.7x 2.1x 2.5x 9 ケースの標準ベンチマークモデルを用意し ANSYS Mechanical APDL18.1 でベンチマークを実施しました 並列処理は分散メモリ型 MPI は Intel-MPI を設定しております SPARSE ソルバのメモリオプションはインコアを指定しております 使用したストレージは SATA SSD です 比較検討したプロセッサは 1CPU only 2CPU + NVIDIA Tesla K40c 3CPU + NVIDIA Quadro GP100 です CPU は 2 4 8 16 32 44 コアで計算時間を計測し CPU only の 2 コアで計算した時間を基準とした 1~3 のスケーラビリティをグラフにしております 上のグラフは 9 ケース (V17-cg1, V17-cg2, V17-ln1,V17-ln-2, V17-sp1, V17-sp2, V17-sp3, V17-sp4, V17-sp5) のモデルの平均値を示しております CPU only の場合 32 コア使用時に 6.22 のスケーラビリティが得られておりますが CPU+K40c であれば 16 コア使用時に 5.65 CPU+GP100 であれば 16 コア使用時に 6.33 に達しております また CPU 2 コア使用時に GPU アクセラレータを追加すると 2 倍以上の高速化が計られる点は有効な方法であると考えられます これは CPU 4 コア使用時も同様の傾向が伺えます 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 12
各 BMT モデルの GPU パフォーマンス No data V17-cg3 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 13
各 BMT モデルの GPU パフォーマンス 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 14
各 BMT モデルの GPU パフォーマンス 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 15
16 ストレージのパフォーマンス SATA HDD vs. SATA SSD vs. HP Z Turbo DriveG2
ストレージパフォーマンス ハードウェア vs. vs. SATA HDD CPU(E5-2699v4 x2): 44core Storage: SATA HDD No RAID GPU accelerator: No SATA SSD CPU(E5-2699v4 x2): 44core Storage: Micron SATA SSD No RAID GPU accelerator: No Z TurboDriveG2 CPU(E5-2699v4 x2): 44core Storage: HP Z TurboDriveG2 512GB No RAID GPU accelerator: No 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 17
項 ストレージパフォーマンス ソフトウェア ソフトウェア名 内容 ANSYS Release 18.1 並列処理 MPI ANSYS Mechanical APDL 分散メモリ型 Intel-MPI MPI バージョン 5.1.3.180 GPU アクセラレータの使 No ジョブ実 時のコア数 2,4,8,16,32,44 SPARSE ソルバのメモリオプション ベンチマークモデル アウトオブコア 10 ケース (CG ソルバ 4 ケース :V17-cg1,V17-cg2,V17-cg3,V17-ln1) (SPARSE ソルバ 6 ケース :V17-ln2,V17-sp1,V17-sp2,V17- sp3,v17-sp4,v17-sp5) 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 18
ストレージのパフォーマンス 1.4x 1.4x 1.4x 1.8x 2.6x 2.1x 10 ケースの標準ベンチマークモデルを用意し ANSYS Mechanical APDL18.1 でベンチマークを実施しました 並列処理は分散メモリ型 MPI は Intel-MPI を設定しております SPARSE ソルバのメモリオプションは強制的にアウトオブコアを指定しております プロセッサは CPU only です 比較検討したストレージは 1 SATA HDD 2SATA SSD 3HP Z Turbo DriveG2( いわゆる NVMe SSD) です CPU は 2 4 8 16 32 44 コアで計算時間を計測し 1 の各コアでの計算時間を基準とした 2 と 3 のスケーラビリティをグラフにしております 左側のグラフは反復法ソルバによるモデル 4 ケース (V17-cg1, V17-cg2, V17-cg3, V17-ln1) の平均値を示しており 右側のグラフは SPARSE ソルバによるモデル 6 ケース (V17-ln-2, V17-sp1, V17-sp2, V17-sp3, V17-sp4, V17-sp5) の平均値を示しております どちらも 8 コアまでは 10% 程度の高速化に留まっておりますが それ以上のコア数になると 反復法は 40% 程度 直接法は 70% 以上の高速化が計られております CG ソルバと比較して SPARSE ソルバのパフォーマンスが顕著に良い理由はメモリオプションとして強制的にアウトオブコアを指定することで ストレージに負荷を掛けているためです 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 19
各 BMT モデルのストレージパフォーマンス 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 20
各 BMT モデルのストレージパフォーマンス 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 21
各 BMT モデルのストレージパフォーマンス 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 22
バージョン間のパフォーマンス ANSYS Mechanical R17.0 vs. ANSYS Mechanical R18.1 10 ケースの標準ベンチマークモデルを用意し ANSYS Mechanical APDL でベンチマークを実施しました 並列処理は共有メモリ型 ( 以降 SMP ANSYS) と分散メモリ型 ( 以降 DMP ANSYS) をそれぞれ実施しており SPARSE ソルバのメモリオプションはインコアを指定しております MPI は Intel-MPI を設定しております プロセッサは CPU only です ストレージは HP Z Turbo DriveG2 を使用しております 比較検討したバージョンは 1ANSYS Mechanical APDL Release17.0 2ANSYS Mechanical APDL Release18.1 です CPU は 2 4 8 16 32 44 コアで計算時間を計測し 1 の各コアでの計算時間を基準とした 2 のパフォーマンスをグラフに示しております 本節のみ左側のグラフは SMP ANSYS 右側は DMP ANSYS としております また 上段側のグラフは反復法ソルバを使用したモデル 4 ケース (V17-cg1, V17-cg2, V17-cg3, V17-ln1) の平均値を示しており 下段側のグラフは SPARSE ソルバによるモデル 6 ケース (V17-ln-2, V17-sp1, V17-sp2, V17-sp3, V17-sp4, V17-sp5) の平均値を示しております バージョン間のパフォーマンスとして SMP ANSYS の場合 CG の計算時間は両バージョンを比較しても変わりませんが SPARSE の計算時間は Release18.1 の方が 20%~40% 良好であることが分かります DMP ANSYS の場合 CG の計算時間は 16 コア以上であれば Release18.1 の方が 40% 程度良好なパフォーマンスであることが分かります また SPARSE の計算時間も 16 コア以上であれば Release18.1 の方が 15% 程度良好であることが分かります 23
バージョン間 ハードウェア 項 内容 会社名 HP コンピュータモデル Z840 Workstation プロセッサモデル Intel Xeon E5-2699v4 x 2CPUs ノード数 1 総コア数 44 GPUモデル No 総 GPU 数 0 総メモリ容量 (GB) 128 ストレージ構成 HP Z Turbo Drive G2 512GB No RAID BIOS Version v2.32 BIOS: Turbo Boost Yes BIOS: Snoop mode Cluster On Die OS Microsoft Windows 7 Professional SP1 64bit 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 24
バージョン間 ソフトウェア vs. ANSYS Mechanical APDL Release17.0 Release: 17.0 Parallel Process: SMP,DMP Number of Core: 2,4,8,16,32,44 Benchmark models:10cases(cg 4 cases: V17-cg1,V17- cg2,v17-cg3,v17-ln1; SPARSE 6 cases:v17-ln2,v17- sp1,v17-sp2,v17-sp3,v17-sp4,v17-sp5) Memory Option for SPARSE Solver: In-core ANSYS Mechanical APDL Release18.1 Release: 18.1 Parallel Process: SMP,DMP Number of Core: 2,4,8,16,32,44 Benchmark models:10cases(cg 4 cases: V17-cg1,V17- cg2,v17-cg3,v17-ln1; SPARSE 6 cases:v17-ln2,v17- sp1,v17-sp2,v17-sp3,v17-sp4,v17-sp5) Memory Option for SPARSE Solver: In-core 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 25
バージョン間のパフォーマンス ( 平均 ) SMP ANSYS DMP ANSYS 4 BMT Models CG 1.4x 1.4x 1.4x 6 BMT Models SPARSE 1.2x 1.3x 1.3x 1.3x 1.4x 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 26
各モデルにおけるバージョン間のパフォーマンス SMP ANSYS DMP ANSYS V17-cg1 V17-cg2 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 27
各モデルにおけるバージョン間のパフォーマンス SMP ANSYS DMP ANSYS V17-cg3 V17-ln1 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 28
各モデルにおけるバージョン間のパフォーマンス SMP ANSYS DMP ANSYS V17-ln2 V17-sp1 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 29
各モデルにおけるバージョン間のパフォーマンス SMP ANSYS DMP ANSYS V17-sp2 V17-sp3 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 30
各モデルにおけるバージョン間のパフォーマンス SMP ANSYS DMP ANSYS V17-sp5 V17-sp4 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 31
GPU アクセラレータを使 する場合 可能な最新のグラフィックドライバをインストールしてください 解析実 時 下記エラーメッセージが発 する場合 上記に加えて BIOS も最新にアップデートしてください (2017/6 時点では v2.34 Rev.A が最新 ) 反復法ソルバ使 時の GPU エラー *** FATAL *** CP = 1.997 TIME= 12:24:08 There was an error while initializing the GPU library. Error code = 1. Please check your Mechanical APDL installation. In many cases, simply rebooting your machine may help get past this error. 直接法ソルバ使 時の GPU エラー *** ERROR *** CP = 104.240 TIME= 21:36:18 A generic error has occurred when using the GPU accelerator capability. Error code = 2 which translates to: out of memory. Please rerun without using the GPU accelerator capability. Please send the data leading to this operation to your technical support provider, as this will allow ANSYS, Inc to improve the program. 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 32
お問合せ サイバネットシステム株式会社メカニカル CAE 事業部 e-mail : anssales@cybernet.co.jp web : http://www.cybernet.co.jp/ansys/ 東京 : (03) 5297-3081 大阪 : (06) 6940-3630 名古屋 : (052) 219-5190 33 2017 CYBERNET SYSTEMS CO.,LTD. All Rights Reserved. 33