TSUBAME-KFC: 液 浸 冷 却 を 用 いた ウルトラグリーンスパコン 研 究 設 備 遠 藤 敏 夫 額 田 彰 松 岡 聡 東 京 工 業 大 学 学 術 国 際 情 報 センター
現 在 ~ 将 来 のスパコンは 電 力 あ たり 性 能 で 決 まる 現 実 的 なスパコンセンターの 電 力 の 限 界 は20MW 程 度 とされる Exaflopsのシステムを 実 現 する には 50GFlops/W を 実 現 する 技 術 は 不 可 欠 From Wu Feng s presentation @Green500 SC13 BoF Exaflops 2020 年 ごろ 冷 却 などの 設 備 電 力 も 考 慮 する 必 要
3 年 前 のTSUBAME2.0 TSUBAME 2.0は0.96GFlops/Wを 実 現 2010/11Green500にて 2 位 ( 事 実 上 3 位 ) Greenest Production Supercomputer 賞 2015~16のTSUBAME3.0やその 後 へ 向 け さらにグリーンにする 必 要 性!!
さらにグリーンにするアプローチ 計 算 機 電 力 の 削 減 プロセッサのプロセス 縮 小 スループット 重 視 コア アクセラレータ 活 用 アーキテク チャ およびソフトウェア 技 術 冷 却 設 備 電 力 の 削 減 空 冷 より 液 冷 のほうが 有 利 高 い 比 熱 熱 容 量 冷 たすぎる 冷 媒 生 成 の 除 去 本 研 究 では 液 浸 冷 却 に 着 目 し テストベッドTSUBAME-KFCを 構 築 TSUBAME2では チラー 電 力 が 全 体 電 力 の25%!
今 回 の 成 果 2015 年 度 末 稼 働 予 定 のTSUBAME3.0のプロトタイプである TSUBAME KFCが11 月 SC13 国 際 会 議 にて 発 表 されたスパコ ンの 電 力 効 率 ランキングGreen500, Green Graph 500の 両 方 において 世 界 一 位 となり 世 界 初 の 二 冠 を 達 成 両 リストとも 日 本 のスパコンが 一 位 になるのは 初 めて Green500において 達 成 した 電 力 効 率 は4.508GigaFlops/Wと 前 回 の 一 位 から5 割 近 く 向 上 今 回 の 二 位 も24% 引 き 離 す
TSUBAME-KFC KFC: Kepler Fluid Cooling = ( 液 浸 冷 却 技 術 + 外 気 冷 却 技 術 +アクセラレータ 付 高 密 度 ノード) を20フィートコンテナ 中 に
TSUBAME KFC: ウルトラグリーン スパコンテストベッド 液 浸 冷 却 + 大 気 冷 却 + 高 密 度 スパコン 技 術 を 統 合 した コンテナ 型 研 究 設 備 TSUBAME3.0プロトタイプ 実 証 実 験 用 計 算 サーバ 群 K20X GPU NEC LX104Re 1G 改 40 台 サーバ1 台 あたり Intel IvyBridge 2.1GHz 6core 2 NVIDIA Tesla K20X GPU 4 DDR3メモリ 64GB, SSD 120GB 4x FDR InfiniBand 56Gbps 合 計 理 論 性 能 210TFlops ( 倍 精 度 ) 630TFlops ( 単 精 度 ) ねらい GRC 製 液 浸 サーバラック プロセッサチップ 60~80 冷 媒 油 35~45 熱 交 換 器 冷 媒 油 35~45 水 25~35 コンテナ 型 研 究 設 備 20フィートコンテナ(16m 2 ) 冷 却 塔 : 水 25~35 自 然 大 気 へ 世 界 トップクラスの 電 力 性 能 比, 3GFlops/Watt 以 上 平 均 PUE 1.05 ( この 点 は 未 実 現 将 来 課 題 ) ULP HPC 技 術 の 実 証 実 験 蒸 散 熱 自 然 大 気 中 へ
なぜ 効 率 的 な 冷 却 と 期 待 される? 60~80 一 般 的 な 冷 却 (TSUBAME2の 場 合 ) air water 17 9 chiller < 自 然 大 気 0~35 外 気 温 より 低 温 の 冷 媒 水 を 作 るためのチラーが 電 力 を 食 う 冷 蔵 庫 クーラーと 同 様 に コンプレッサーなどを 使 うた め チラー 電 力 が 全 体 電 力 の25%!
なぜ 効 率 的 な 冷 却 と 期 待 される? 一 般 的 な 冷 却 (TSUBAME2の 場 合 ) air water chiller 自 然 大 気 60~80 17 9 0~35 TSUBAME KFC 油 浸 ラック 熱 交 換 器 冷 却 塔 oil water 自 然 大 気 60~80 35~45 25~35 0~35
なぜ 効 率 的 な 冷 却 と 期 待 される? KFCでは 高 温 部 低 温 部 に 熱 が 流 れる 液 体 の 比 熱 > 空 気 の 比 熱 のため 有 利 原 則 的 に 冷 媒 を 動 かすための 電 力 のみ(ポンプ) 真 夏 にどうなるかの 評 価 は 将 来 課 題 TSUBAME KFC 油 浸 ラック 熱 交 換 器 冷 却 塔 oil water 自 然 大 気 60~80 35~45 25~35 0~35
東 京 において 自 然 冷 却 可 能 な 時 期 外 気 湿 球 温 度 ( ) 冷 却 塔 の 性 質 より 冷 却 水 温 度 外 気 湿 球 温 度 青 : 問 題 なし 黄 : 冷 却 可 能 見 込 み 赤 : 冷 媒 高 温 時 の 調 査 必 要 独 SuperMUCスパコンの 温 液 冷 却 の 成 果 を 見 ると 赤 の 時 期 ですらokな 見 込 み
KFC 計 算 ノード NEC LX 1U-4GPU Server, 104Re-1G (SUPERMICRO OEM) 2X Intel Xeon E5-2620 v2 Processor (Ivy Bridge EP, 2.1GHz, 6 core) 4X NVIDIA Tesla K20X GPU 1X Mellanox FDR InfiniBand HCA 1X 120GB SATA SSD K20X GPU Peak Performance (DP) Single Node 5.26 TFLOPS System (40 nodes) 210.61 TFLOPS CentOS 6.4 64bit Linux Intel Compiler, GCC CUDA 5.5 OpenMPI 1.7.2
冷 媒 油 の 選 定 GRC 社 標 準 の 冷 媒 が, 日 本 では 第 四 類 危 険 物 に 相 当 すると 判 明 検 討 の 結 果, ExxonMobil SpectraSyn Polyalphaolefins (PAO) を 選 定 4 6 8 40 動 粘 度 19 cst 31 cst 48 cst Specific Gravity@15.6C 0.820 0.827 0.833 Flash point (Open Cup) 220 C 246 C 260 C Pour point 66 C 57 C 48 C 田 園 調 布 消 防 署 消 防 法 における 危 険 物 該 当 外 である, 引 火 点 が250 超 の 油 を 選 定 消 防 署 との 協 議 により, 危 険 物 の 安 全 規 定 を 考 慮 油 槽 の 周 りの 間 隔,コンテナ 扉 の 材 質 など
計 算 ノードの 改 造 (2) 冷 却 ファン(12 個 )を 除 去 (1) 熱 伝 導 グリスを 除 去, 熱 伝 導 シートに 置 き 換 え (3) ファームウェアを 変 更 し, 冷 却 ファンが 除 去 停 止 しても 稼 働 可 能 に
Green Revolution Cooling 社 CarnotJet システム 油 出 口 油 入 口 GPU2 PU CPU0 GPU1 冷 却 された 油 が 噴 出 され る CPU1 油 浸 ラック GPU3 GPU0
油 水 の 熱 交 換 器 チューブ 型 熱 交 換 器 3 冷 媒 油 ポンプ 2 ポンプの 流 速 は 油 温 水 温 に 従 って インテリジェントに 調 整
コンテナ 外 冷 却 塔 ファンあり: 大 気 を 下 から 上 へ 吹 上 冷 媒 水 は 上 から 下 へ 冷 媒 水 用 ポンプ 2
電力測定システム TSUBAME KFCでは 毎秒毎に 各計算ノード ネットワークスイッチ の電力を記録 Panasonic AKL1000 Data Logger Light Panasonic KW2G Eco-Power Meter RS485 Servers and switches AKW4801C sensors PDU
TSUBAME-KFC 外 観 2013 年 9 月 インストール 完 了
電 力 性 能 評 価 指 標 PUE (Power Usage Effectiveness) PUE = 1が 理 想 2 以 上 だとへぼいセンターと 言 われる TSUBAME2は 年 間 平 均 1.3 KFCで1に 近 づける! IT 機 器 の 効 率 性 は 入 らない 指 標 Green500ランキングの 指 標 効 率 (Flops/W) = (IT 機 器 に 使 う 電 力 + 冷 却 等 電 力 ) IT 機 器 に 使 う 電 力 Linpack 性 能 (Flops) Linpack 時 IT 機 器 電 力 (W) Linpack 時 の 効 率 を 考 慮 冷 却 等 電 力 は 入 らない KFCであまり 有 利 でない 指 標 分 母 に 冷 却 電 力 も 含 めれば まあまあよい 指 標 か 2020 年 に50GFlops/Wめざす!
TSUBAME-KFCのPUE 評 価 Power (kw) 40 35 30 25 20 15 10 5 0 Air cooling TSUBAME-KFC compute node network air conditioner oil pump water pump cooling tower fan 空 冷 ではPUE=1.3と 仮 定 KFCのPUE = 1.15 GPU DGEMM 時 空 冷 時 ノード 電 力 を 基 準 にす ると1.068 油 ポンプ (60%) 水 ポンプ 冷 却 塔 ファン 冷 却 電 力 合 計 0.53 kw 2.40 kw 1.40 kw 4.33 kw 水 ポンプの 電 力 が 想 定 より 大 きく, PUEがやや 悪 化 今 後 の 課 題
計 算 ノード 内 温 度 と 電 力 GPU0 GPU1 CPU0 CPU1 プロセッサ 温 度 はIPMIで 取 得 GPU3 GPU2 油 温 の 低 下 によりプロセッサ 温 度 低 下 空 冷 液 浸 で8% 電 力 減 ノード 内 ファンの 除 去 リーク 電 流 減 少 Air 26 deg. C CPU0 50 (43) CPU1 46 (39) GPU0 52 (33) GPU1 59 (35) GPU2 57 (48) GPU3 48 (30) Node Power 上 : GPU 上 でDGEMM( 行 列 積 ) 実 行 時 749W (228W) 下 : アイドル 時 Oil Oil 28 deg. C 19 deg. C 40 (36) 47 (29) 46 (27) 40 (27) 49 (30) 693W (160W) 31 (29) 28 の 油 は42 26 の 空 気 (36) より 冷 える ~8% 電 力 減! 33 (28) 42 (20) 43 (18) 33 (18) 42 (18) 691W (160W)
外 気 環 境 のシステムへの 影 響 雨 天 Oct. 29 th 17pm 曇 天 Oct. 30 th 17pm 晴 天 Oct. 31th 17pm 外 気 温 14.8 C 19.7 C 19.8 C 外 気 露 点 温 度 15.2 CDP 15.9 CDP 11.7 CDP 湿 度 99% 75% 56% 冷 媒 水 温 14.8 C 16.8 C 14.9 C 油 槽 上 部 温 度 (2センサー) 25.7 / 28.0 C 27.0 / 29.4 C 25.4 / 27.4 C 冷 媒 油 温 (out) 24.2 C 23.3 C 23.5 C 熱 交 換 (in) 18.0 C 19.3 C 17.8 C 熱 交 換 (out) 18.9 C 19.9 C 18.5 C 熱 交 換 器 電 力 ( 主 に 油 ポンプ) 572W 566W 555W
Top500とGreen500ランキング (www.top500.org, www.green500.org) Top500: Linpackベンチマークの 速 度 性 能 (Flops)でランク Green500:ワットあたりのLinpack 速 度 性 能 (Flops/Watt)でランク 速 度 性 能 がTop500 500 位 以 上 であることが 出 場 条 件 Power Efficiency (GFLOPS/Watt) 電 力 効 率 最 良 記 録 をGreen500に 登 録 各 種 パラメータを 変 更 しては Linpack 実 行 の 繰 り 返 し 最 速 記 録 を Top500に 登 録 Performance (TFLOPS)
KFCがGreen500で 有 利 である 理 由 計 算 ノードデザインによる 利 点 GPU:CPU 比 が4:2 (TSUBAME2.5では3:2) 省 電 力 Ivy Bridge CPU (TSUBAME2.5ではWestmere) 冷 却 方 法 の 影 響 :ノード 内 ファンの 除 去,チップ 温 度 低 下 ソフトウェア チューニングによる 利 点 Linpackソフトウェア 今 回 はNVIDIA 提 供 のバージョンが 最 良 ( 遠 藤 版 は 勝 てず) 行 列 サイズはGPUメモリに 収 まる 範 囲 GPUクロック 周 波 数 電 圧 のチューニング K20Xで 選 択 可 能 な 周 波 数 (MHz): 614 (best), 640, 666, 705, 732 (default), 758, 784 クロック 電 圧 を 落 とすほうが 電 力 効 率 良 Linpackパラメータのチューニング 主 にブロックサイズ (NB),プロセスグリッド (P&Q)
Linpack 中 の 電 力 推 移 とGreen500 提 出 記 録 Core phase, avg. 31.18 kw Middle 80%, avg. 32.10kW 1min. Avg. 27.78kW 電 力 (KWatt) 125.1TFlops / 27.78kW = 4.503GFlops/W Green500 提 出 記 録 冷 却 コスト 込 みでは 125.1TFlops / (31.18+4.3kW) = 3.52GFlops/W
2013/11 Green500ランキング
おわりに TSUBAME KFCは4.5GFlops/Wで Green500 世 界 一 国 内 スパコンとしては 初 二 位 と24% 差 冷 却 コスト 込 み3.5GF/W 50GF/Wへ 向 け 邁 進 日 本 電 気 NVIDIA Green Revolution Cooling Super Micro Mellanox 東 工 大 関 連 部 署 をはじめとする 皆 様 に 深 く 感 謝 します