PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

ありさねぎたや
5 years ago
Views:

1 OpenFOAM を用いた超大規模計算モデル作成とその性能の評価清水建設株式会社 PHAM VAN PHUC 内山学

2 京での OpenFOAM に関する取組み第 1 回 OpenFOAM ワークショップ (2013) コード移植 10 億格子計算の壁解決策 ( プリポスト ) 第 2 回 OpenFOAM ワークショップ (2014) 1 万並列計算の壁解決策 (MPI プラットフォーム ) コードの課題改良策第 3 回 OpenFOAM ワークショップ (2015) 超並列超大規模解析 (10 万並列 1 千億格子 ) 第 4 回 OpenFOAM ワークショップ (2016) 超大規模ポスト処理 (1 千億格子 ) 改良コードの超大規模解析ポスト処理第 2 回 CAE ワークショップ ( 本日 ) 超大規模計算モデル作成とその性能の評価超大規模プリ処理 + 最新改良性能分析

3 内容超大規模のプリ処理 ( フック ) メッシュの作り方コードの最新改良と性能評価 ( 内山 ) OpenFOAM の thread 並列化 3

4 超大規模のプリ処理 4

領域分割シミュレーションデータ結合ポスト処理出力可視化 Computational domain in a

5 プリポスト処理シリアル処理の限界数億格子規模でほぼ限界データの分割結合には時間手間は非常にかかる 10 億格子データ 1TB メモリの利用京のプリポスト処理 PC: 1TB モデル作成 ( プリ処理 ) 初期化領域分割シミュレーションデータ結合ポスト処理出力可視化 Computational domain in a single processor Computational domain, results in a single processor

6 プリポスト処理分散処理の重要性第 1 回 OpenFOAM ワークショップ (2013) 本日紹介モデルの作成 ( プリ ) 初期化領域分割 ( 分散 ) ロードバランスシミュレーションポスト処理データ出力可視化画像処理データ処理等第 4 回 OpenFOAM ワークショップ (2016)

7 大規模プリ処理手法の分類 1. 細分化の手法表面の比較的大きいモデル ( 粗い格子で計算格子を作成できる ) 2. 分散処理の手法独立性のあるモデル ( 小規模の複数ケースの計算 ) 3. マルチカラー処理の手法少ない計算リソースのある場合 7

8 1. 細分化の手法手法のコンセプト対象計算モデル 1) 数千万の粗い格子でのメッシュの作成 (blockmesh/snappyhexmesh / 市販メッシュ作成ソフト ) 2) 領域分割 (decomposepar) processor0 processor1 processorn ロードバランス 3) 計算格子の細分化 (refinehexmesh/refinemesh) 細分化細分化細分化細分化大規模計算モデル ( 数十 ~ 数百億格子 )

9 1. 細分化の手法風洞丸ごとの再現計算事例

10 4)64 億格子の計算モデル 1. 細分化の手法 1) 1 千万格子の作成 ( 市販メッシャー ) 風洞丸ごとの再現計算事例 ( イメージ図 ) 2) 領域分割 (decomposepar: ロードバランス ) 3) 計算格子の細分化 (refinehexmesh/refinemesh)

11 1. 細分化の手法風洞丸ごとの再現計算事例大規模計算 (64 億格子 )

12 2.5m 1. 細分化の手法 Outlet boundary Target Building 複雑形状建物の計算事例 30m No-slip wall Spires U=15m/s Roughness Blocks 1) SnappyHexMesh でのメッシュ作成 2) 領域分割 (6144 領域 : ロードバランス ) 3) 計算格子の細分化 D D Δ=0.5mm=D/170 格子 A: 1.4 億格子 Δ=0.25mm=D/340 格子 B: 11 億格子

13 2.5m 1. 細分化の手法 Outlet boundary Target Building 複雑形状建物の計算事例 30m No-slip wall Spires U=15m/s Roughness Blocks 速度テンソルの第 2 不変量の等値面 (Q=300,000) 風圧

14 2. 分散処理の手法手法のコンセプト ( 独立性のある ) 対象計算モデル ~ 同様の小規模の複数ケースの計算

15 2. 分散処理の手法風 36 風向の風洞実験の再現独立性のある計算モデル風ターンテーブル

16 2. 分散処理の手法 36 風向の風洞実験の再現独立性のある計算モデル京コンピュータ並列実行 (27,648CPU の利用 ) θ=0 θ=10 θ=20 θ=30 θ=40 θ=50 θ=60 θ=70 θ=80 θ=90 θ=100 θ=110 θ=120 θ=130 θ=140 θ=150 θ=160 θ= 風向ケースの計算格子 θ=180 θ=190 θ=200 θ=210 θ=220 θ=230 θ=240 θ=250 θ=260 θ=270 θ=280 θ=290 θ=300 θ=310 θ=320 θ=330 θ=340 θ=350 総格子数 : 1.4 億 x 36 風向 ~ 50 億格子

17 2. 分散処理の手法 36 風向の風洞実験の再現独立性のある計算モデル京コンピュータ並列実行 (27,648CPU の利用 ) 36 風向ケースの並列実行 θ=0 θ=90 =180 θ=80 θ=270 θ=170 θ=260 θ=350

18 2. 分散処理の手法 36 風向の風洞実験の再現独立性のある計算モデル京コンピュータ並列実行 (27,648CPU の利用 ) 36 風向ケースの並列実行 θ=0 θ=10 θ=20 θ=30 θ=40 θ=50 θ=60 θ=70 θ=80 θ=90 θ=100 θ=110 θ=120 θ=130 θ=140 θ=150 θ=160 θ=170 θ=180 θ=190 θ=200 θ=210 θ=220 θ=230 θ=240 θ=250 θ=260 θ=270 θ=280 θ=290 θ=300 θ=310 θ=320 θ=330 θ=340 θ=350 風圧分布の算出

19 2. 分散処理の手法 36 風向の風洞実験の再現独立性のある計算モデル京コンピュータ並列実行 (27,648CPU の利用 ) 正側ピーク外圧係数負側ピーク外圧係数 Cal. Exp. 全風向におけるピーク外圧係数実験結果と同等な精度を確認

20 3. マルチカラー処理の手法手法のコンセプト少ない計算リソースのある場合の対応 ( 既存ツールの改良 ) 9 並列処理 Red-Black の 2 色処理法

21 3. マルチカラー処理の手法手法のコンセプト少ない計算リソースのある場合の対応 ( 既存ツールの改良 ) 8 8=64 領域 4 色で色付け ( 黒赤青緑 ) 独立でメッシュを作成 4 ステップで順次に処理空いている少ない計算リソースの利用全領域のメッシュ作成完了

22 3. マルチカラー処理の手法計算格子の作成 1km 1km 22

23 2km 3. マルチカラー処理の手法 30km Slip 計算事例 AIJ(Ⅰ) の乱れの無い勾配流 ( U 10 =36m/s) Slip

24 3. マルチカラー処理の手法計算格子の作成 Tacoma Narrows Bridge 垂直 + 回転運動 24

25 3. マルチカラー処理の手法計算格子の作成 25

26 内容超大規模のプリ処理 ( フック ) メッシュの作り方コードの最新改良と性能評価 ( 内山 ) OpenFOAM の thread 並列化 Xeon-phi 上での非構造格子の thread 並列化 26

27 OpenFOAM 本体の高速化とスレッド並列化本報告では thread 並列化まで入り組んだC++ コードの展開とチューニング (2 倍高速化 ) 連立方程式解法の変更, 改良流速:BiCG Additive Schwartzに変更 ( 演算量 1/2) 圧力:AMG-CG CG 法のアルゴリズム改変 ( 安定化 ) 独自のblock multicolorでilu smootherをスレッド並列化 * 連立方程式以外の部分も細部まで並列化 loopタイプは数種類しかない数種類の方法を考えれば良い行列イメージで, バンド幅の狭い問題と広い問題で手法を開発 * 各境界領域内も再帰参照しないようにリオーダリング* ストロングスケールで40 倍以上の性能 (64スレッド) 対象コード :OpenFOAM (pisofoam) 使用する計算機 :Oakforest-PACS( 東大筑波 ) 27

28 格子のオーダリング ( 連立方程式解法 ) METIS でグラフ分割連成項を後ろに回す例 : グループ数 :(32, 4, 2) 連成項連成項 AMG 法の Coarse Grid にも適用係数行列の非零項の分布イメージ格子の 99% 以上が level=0, 1 に含まれる対角ブロック内と連成項は独立した番号付け連立方程式解法前後で並び替えを行う 28

+= tmp; } 行列イメージだと, 非対角項に関する計算を行って, 非対角項の位置 i と j に対応する 2 つの項に加算バンド幅が狭い場合

29 良く現れるループの並列化良く現れるループの形 :face の数で回るループ for(label fi=0; fi<nfaces; fi++) { label i=owner[fi], j=neighbor[fi]; scalar tmp = (some computation); a[i] += tmp; a[j] += tmp; } 行列イメージだと, 非対角項に関する計算を行って, 非対角項の位置 i と j に対応する 2 つの項に加算バンド幅が狭い場合バンド幅が広い場合 work[ ] a[ ] level0 level1 level2 非零項の配置は対称で Compressed Row Storage( 上三角 ) 29

30 良く現れるループの並列化境界領域 for(label ipt=0; ipt<npatches; ipt++) { const LabelUList& facecells = boundary[ipt].facecells(); } 境界の数 face の数 for(label fi=0; fi<patchsizes[ipt]; fi++) { label i=facecells[ipt][fi]; scalar tmp = (some computation); a[i] += tmp; } 再帰参照される並び替えて, 再帰参照されるものを後ろに回せば良い for(label ipt=0; ipt<npatches; ipt++) { const LabelUList& facecells = boundary[ipt].facecells(); const label fi1 = cp1[ipt].fi1; const label * restrict old1 = cp1[ipt].old1; #pragma omp for #pragma ivdep 再帰参照しない for (label ffi=0; ffi<fi1; ffi++) { label fi = old1[ffi]; label i = facecells[fi]; scalar tmp = (some computation); a[i] += tmp; } 前 loopの残り #pragma omp single for (label ffi=fi1; ffi<patchsizes[ipt]; ffi++) { label fi = old1[ffi]; label i = facecells[fi]; scalar tmp = (some computation); a[i] += tmp; } } 30

31 計算例 : 高層ビル : バンド幅狭い風速 36m/s 1 t= s, Δt=0.001 s 圧力の修正回数 =3 31

32 elapsed time (s) 高速化率計算例 : 高層ビル : バンド幅狭い others( 連立方程式解法以外 ) が 40% 程度連立方程式解法だけ並列化や高速化をしても駄目 Xeon-phi 1.4GHz MCDRAM 16GB を cache として使用 AdditiveSchwartz GAMG_CG others 60 ideal all AdditiveSchwartz GAMG_CG others 倍 s/step threads threads 計算時間 (5 s 6 s) 高速化率バンド幅が狭い場合 :436 ブロック ( 最少ブロックサイズ =3000) 32

33 計算例 :motorbike: バンド幅広い風速 20m/s 2 t= s, Δt= s. 33

34 高速化率高速化率計算例 :motorbike : バンド幅広い others( 連立方程式解法以外 ) が 40% 程度連立方程式解法だけ並列化や高速化しても駄目 Xeon-phi 1.4GHz MCDRAM 16GB を cache として使用 ideal all AdditiveSchwartz GAMG_CG others ideal all AdditiveSchwartz GAMG_CG others 倍 0.8 s/step 変化無し threads 移植直後の高速化率バンド幅が狭い場合の方法 :117 ブロックしかない threads 改良後の高速化率バンド幅が広い場合の方法 : 各 256グループ (level=0,1) 34

35 高速化率高速化率 Xeon(Broadwell) で計算してみたがスレッドを増やしても性能が上がりにくいメモリー帯域が足りない? cache memory が競合? Xeon E5-2687W 3.00GHz 2 CPU, 12 core/cpu, 30MB Cache ideal all AdditiveSchwartz GAMG_CG others 14 ideal all AdditiveSchwartz GAMG_CG others 倍倍 threads 高速化率 : 高層建物 threads 高速化率 :motorbike 35

36 結語 Oakforest-PACS 上で pisofoam の thread 並列化を行った連立方程式解法以外の部分も細部に渡って thread 並列化細部まで並列化し, ストロングスケールで 40 倍以上の性能課題 SIMD 化 36

PowerPoint Presentation

PowerPoint Presentation OpenFOAM の性能強化と 1 千億格子規模データのポスト処理の試み清水建設株式会社 PHAM VAN PHUC 内山学京における OpenFOAM に関する取組み第 1 回 OpenFOAM ワークショップ (2013) 京への移植 10 億格子計算の壁解決策 (Int32, プリポスト ) 第 2 回 OpenFOAM ワークショップ (2014) 1 万並列計算の壁解決策