ラックマウントに関する注意事項【JDCC】

Copyright(c) Japan Data Center Council (JDCC) 2 はじめに本書の利用者想定データセンターの利用者 ( データセンター事業者 : 顧客サポートラックマウント担当者を含む ) 目的どのようなことが原因でサーバのトラブルが発生するか? 事例を挙げ説明することにより正しいラックマウントの方法を理解していただく設置の目的と具体的な効果温度異常障害を発生させないラックマウントの方法ネットワーク機器を設置する場合の留意事項電源ケーブルの選定 ( 温度異常障害防止 ) 可燃物対策 etc ラックマウントに伴って発生する様々なトラブルを未然に防止する

目次ラック前面 ( コールドアイル側 ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 1 サーバ電力の増加に伴う温度異常障害の防止対策温度異常障害の発生原因とによる対策事例各種の紹介材を利用したエアフロー改善事例 2 の一部を設置しない場合の問題 3 高負荷サーバの設置による温度異常障害の防止対策重量の軽いネットワーク機器等はラック上部への設置を推奨します棚板上に設置する機器は耐震用ゲルニックや耐震用バンドなどで固定して下さい 4 隙間のないラックマウントによる温度異常障害の防止対策 5 大型ネットワーク機器による温度異常障害防止対策大型ネットワーク機器専用エアダクトの事例 6 小型ネットワーク機器の温度異常障害防止対策エアフローの改善対策が必要な機器の種類とエアフローネットワーク機器のラックマウントにおける改善対策 7 電源ケーブルによる温度異常障害の防止対策機器の取り付けはしっかりとボルトで固定して下さい機器の連続設置は発熱を考慮して下さい機器の連続設置は発熱を考慮して下さい機器間は1Uの空きを確保することを推奨します常時オペレーションが伴うテープ装置やランプ確認が必要な機器または作業用の常時オペレーションが伴うテープ装置等はラック PC を設置する場合はラック中部への設置を推奨しますラック収納に適した汎用サーバ用電源ケーブル HPE DELLの保守サービスを受けられる電源ケーブル 8 ラックへの貼紙による温度異常障害の防止対策 9 ラック内の可燃物設置制限とPCのラックマウント方法機器の前面 ( 吸気側 ( 吸気口 ) が必ずコールドアイル側に ) がコールドアイル側になるようなるように設置して下さい設置してください参考-1 サーバの冷却からエアフローの確保( 抜熱 ) へ参考-2 エアフローの改善方法参考-3 隙間の違いによるラック内温度の検証事例重量の重いストレージ機器等はラック下部への設置を推奨します各 CFD 解析においてラック内のケーブル類はモデル化されていないのでそれによるエアフローの障害までは計算されていない Copyright(c) Japan Data Center Council (JDCC) 3

1 サーバ電力の増加に伴う温度異常障害の防止対策の設置による温度異常障害の防止サーバ電力の増加に伴う温度異常障害事例解決策 : の設置 2KW/ ラック 3KW/ ラックに負荷が増加すると架列端部等エアフローの障害がおこりやすいラックではサーバ排気が吸気側に回り込み温度異常が発生しますを設置することで架列端部のラックでもサーバ排気が吸気側に回り込まなくなりサーバの吸気温度を規定値以下に抑えることができます排気が逆流排気の逆流なし架列端部で温度異常が発生架列端部の温度異常が解消計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 4

温度異常障害の発生原因とによる対策事例温度異常の発生原因ラック内で機器の排気が吸気側に回り込み機器の吸気温度異常障害が発生するフランクハネルの設置方法マウントフレーム部に隙間の無いラックの場合機器排熱の回り込みマウントフレーム部に隙間のあるラックの場合フランクハネルサイトフランクハネル ( エアシャッター側壁 ) 開口パネル開口パネル資料提供 :NEC フィールティンク Copyright(c) Japan Data Center Council (JDCC) 5

各種の紹介の燃焼性クラスは下記燃焼性クラスを参考に選定し可燃性の材料は使用しないこと 20U 綴りで 1U 毎に分割可能個体プラスチック材料薄手プラスチック材料発砲材料材質 :UL94HBF( 遅燃性素材 ) 出展 :Future Facilities 27U 綴りで 1U 毎に分割可能 10U 綴りで 1U 毎に分割可能取付け例材質 :UL94V-0( 難燃性素材 ) 出展 :TileFlow Japan 材質 :UL94-VTM-0( 難燃性素材 ) 出展 : 日東工業 Copyright(c) Japan Data Center Council (JDCC) 6

Copyright(c) Japan Data Center Council (JDCC) 7 材を利用したエアフロー改善事例材を利用したエアフロー改善事例ラック上部への取付ラック下部のケーブル開口を塞ぐケーブル穴を塞ぐラック脇の縦の隙間を塞ぐ出展 :TSCP ガイドライン出展 :TSCP ガイドライン出展 :TileFlow Japan 出展 TileFlow Japan

2 の一部を設置しない場合の問題サイドが未設置の場合サイドが両側とも未設置の場合 2U 分のが未設置の場合 2U 分のを未設置にした場合ラック上部で温度障害が発生する恐れがありますラック上部で温度障害が発生する恐れがあります計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 8

3 高負荷サーバの設置による温度異常障害の防止対策の設置による温度上昇の防止高負荷サーバの設置による温度異常障害事例高負荷サーバ (NVidia DGX-1:10KVA) の排気側に設置されたラックに向かって高負荷サーバの排気が侵入し背面のラックに温度異常を発生させています解決策 : の設置を設置することで高負荷ラックからの排気がサーバの吸気側へ侵入することを防止します高負荷ラックフランクハネル : 無高負荷ラックの背面に設置されたラックに温度異常障害が発生高負荷サーバの排気が背面に設置されたサーバの吸気側に回り込み温度異常を発生させているフランクハネル : 有高負荷ラック :10KVA 分の NVidia DGX-1 を搭載計算条件ラックドア開口率 :64% 3KW/ ラック x 63 10KW/ ラック x 1 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH CFD 解析 :Future Facilities が排気の回り込みをシャットアウト Copyright(c) Japan Data Center Council (JDCC) 9

4 隙間のないラックマウントによる温度異常障害の防止対策の設置による温度異常障害の防止サーバの高密度設置による温度異常障害事例解決策 : の設置サーバを隙間なく高密度でラックマウントした場合サーバ排気が吸気側に回り込み温度異常が発生しますを設置することで高密度にマウントしたラックでもサーバ排気が吸気側に回り込まなくなり給気温度を規定値以下に抑えることができます排気が逆流排気の逆流なし高密度設置ラック 15KVA 計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 10

5 大型ネットワーク機器による温度異常障害防止対策専用エアダクトの設置による温度異常障害の防止大型ネットワーク機器による温度異常障害事例大型ネットワーク機器はサーバと異なり前面吸気裏面排気になっておらず大型ネットワーク機器サーバ相互の排気を吸い込むことにより両方の機器に温度異常障害を発生させます * を設置しても温度異常障害は防止できません解決策 : 専用エアダクトの設置ネットワーク機器専用のエアダクトを設置し前面吸気裏面排気にエアフローを改善し温度異常障害の発生を防止することができます大型ネットワーク機器計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH 専用のエアダクトを設置し前面吸気裏面排気にエアフローを改善温度異常なし温度異常が発生 CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 11

大型ネットワーク機器専用エアダクトの事例大型ネットワーク機器に対しては多くの大型ネットワーク機器に対して専用のエアダクトは提供されていませんがを加工してエアダクトを製作することにより温度異常障害の防止が可能です * エアダクトの材質 : 可燃性素材を使用しないことフィラーパネルバッフルシート大型ネットワーク機器用 ( 側面吸気 ) 用エアダクト資料提供 : 野村総合研究所,TileFlow Japan,Future Facilities, 日東工業 PlenaVertical PlenaFill 製エアダクト Copyright(c) Japan Data Center Council (JDCC) 12

6 小型ネットワーク機器の温度異常障害防止対策吸排気面をそろえたラックマウントによる温度異常障害の防止機器の吸排気面が揃っていない場合の障害事例配線の都合からラック裏面側を小型ネットワーク機器の吸気面側にしたマウントをしてしまうとサーバの排気をネットワーク機器が吸込みネットワーク機器に温度異常障害を発生させます解決策 : 吸排気面が揃ったマウントの実施小型ネットワーク機器の吸排気面をサーバと揃える ( 吸気をラック前面排気をラック背面 ) にすることによりネットワーク機器の温度異常障害を防止することができます温度異常が発生スイッチ吸排気面が揃ったラックマウント機器の吸気 : ラック前面側機器の排気 : ラック裏面側温度異常なしロードバランサ計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 13

エアフローの改善対策が必要な機器の種類とエアフローエアフローが統一されている機器サーバ機器エアフローの改善対策が必要な機器ネットワーク機器ストレージ機器 UPS 資料提供 :NEC フィールティンク Copyright(c) Japan Data Center Council (JDCC) 14

ネットワーク機器のラックマウントにおける改善対策ネットワーク機器のラックマウント方法吸排気方向をサーバ等他の機器と統一する吸排気方向を他の機器と統一できない場合は吸排気の干渉を少なくするために 4U 程度の隙間を空けるネットワーク機器専用ラックの採用サーバと吸排気方向が異なる機器毎にラックを分ける資料提供 :NEC フィールティンク Copyright(c) Japan Data Center Council (JDCC) 15

7 電源ケーブルによる温度異常障害の防止対策ラック収納に適した長さ (1m 以下 ) でメーカ保守が受けられる電源ケーブルの採用電源ケーブルによる温度異常障害の発生サーバに付属する電源ケーブルは通常 2m~3m でありラック収納の際余ったケーブルがサーバの排気口を塞ぎエアフロー障害によるサーバの温度異常障害を発生させる原因となります * 勝手に電源ケーブルを交換するとメーカから一般的な保守サービスが受けられなくなるため注意が必要です解決策 : ラック収納に適した電源ケーブルの採用ラック収納に適した長さ (1m 以下 ) でメーカの保守サービスを受けることができる電源ケーブルを選定することにより温度異常障害の防止ともに保守サービスの問題も解決することができますラック収納に適した長さの電源ケーブル使用事例電源ケーブルがサーバの排気口を塞ぎエアフロー障害による温度異常が発生計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH 温度異常が解消 CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 16

ラック収納に適した汎用サーバ用電源ケーブル長さ 1m 以下でメーカ保守サービスが受けられる電源ケーブル電源ケーブルの提供方法メーカ純正の電源ケーブル (1m 以下 ) を提供他社製電源ケーブル (1m 以下 ) が使用可能メーカ名富士通 Huawei HPE DELL 日立製作所汎用サーバ名 ( 型番 ) 電源ケーフル仕様備考 100V 200V PRIMERGY RX2530 M2 ケーフル長 :0.5m,1m 線径 :14AWG フラク :NEMA5-15P ケーフル長 :0.5m,1m フラク :IEC-C14 ケーフル長 :1.5m,3m も標準で提供 (100V 200V とも ) UNIX サーハ SPARC M10 [M10-1(1U)] ケーフル長 :1m,2m,3m 100V 用 :NEMA 5-15P 200V 用 :NEMA L6-15P [M10-4(4U)] ケーフル長 :0.5m,1m,2m,3m 100V 用 :IEC-C20 200V 用 :NEMA L6-20P 1288H ケーフル長 0.5m 0.75m 1m 線径 :12AWG フラク :NEMA 5-15P ケーフル長 0.5m 0.75m 1m フラク :IEC-C14 要望に応じた仕様の電源ケーフルを提供可能 2288H 要望に応じた仕様の電源ケーフルを提供可能 ProLiant DL360 Gen9 ケーフル長 : 0.5m 0.75m 1m フラク :NEMA 5-15P 電源ケーブルメーカ : コムラックケーフル長 : 0.5m 0.75m 1m フラク :IEC-C14 電源ケーブルメーカ : コムラック上記電源ケーブルが原因で故障した場合は保守サービスの対象外になりますが通常の故障であれば通常の保守サービスを提供してもらえます上記電源ケーブル ( 弊社正規以外 ) が原他社製のケーブルを使用するにあたっては安全認証 (PSE 認証 ) が取れているものであり接続にあたって挿抜に問題がなく機器定格を満足しているものであれば基本的には問題ありません ( サーバ本体の保守契約が無くなることはあ因で故障した場合はりません ) 保守サービスの対象外になりますが通常但し使用した他社の故障 ( 電源ケーブ製のケーブルに起因ル起因以外 ) であれするトラブルについてば通常の保守サーは責任を負うことは出ビスを提供してもらえ来ませんのでケーブますルを採用使用した側の責任となります NEC: 正規品以外の電源ケーブルを使用する場合の保守サービス対応は個別相談となりますので個別に確認願います上表に記載されていない電源ケーブルを使用する場合は各メーカに個別確認願います Copyright(c) Japan Data Center Council (JDCC) 17

HPE DELL の保守サービスを受けられる電源ケーブル Copyright(c) Japan Data Center Council (JDCC) 18

8 ラックへの貼紙による温度異常障害の防止対策の設置による温度異常障害の防止ラック前面の張り紙による温度異常障害の発生ラックの前面に手順や確認事項の張り紙をするとサーバ吸気の妨げになり温度異常障害を発生させる原因となりますラック裏面の張り紙による温度異常障害の発生ラックの裏面に手順や確認事項の張り紙をするとサーバ排気の妨げになり温度異常障害を発生させる原因となります解決策 : 貼紙はやめてください解決策 : 貼紙はやめてください温度異常が発生貼紙貼紙温度異常が発生計算条件ラックドア開口率 :64% 3KW/ ラック x 64 空調機吹出し :18 空調機冷却能力合計 :320kW 空調機風量合計 :60,000CMH CFD 解析 :Future Facilities Copyright(c) Japan Data Center Council (JDCC) 19

9 ラック内の可燃物設置制限と PC のラックマウント方法ラック内の可燃物設置制限段ボールやマニュアルポストイット等の可燃物や可燃性交換部品についてはラック内に残置しないでください保守用 PC のラックマウント方法保守用 PC はラックマウントドロワー ( 引き出し型保管スペース ) に設置し無駄な空きユニットを作らないでください * 保守用 PC を棚置きにすると開いて操作する高さ分のの設置ができなくなるため一般的なラックマウント方法段ボールやマニュアル等の可燃物は設置できません可燃性の交換用部品 ( メティアケーフル等 ) も設置できません持込禁止品保管用ロッカー等での保管推奨するラックマウント方法マニュアル CD/DVD スペアパーツ等の可燃物は専用の保管用ロッカーに収納をお願いいたします資料提供 :TSCP ガイドライン NRI Copyright(c) Japan Data Center Council (JDCC) 20

参考 -1 サーバの冷却からエアフローの確保 ( 抜熱 ) へ資料提供 : 大谷技術士事務所 Copyright(c) Japan Data Center Council (JDCC) 21

Copyright(c) Japan Data Center Council (JDCC) 22 参考 -2 エアフローの改善方法床下不要ケーフルの撤去によるエアフローの改善多量のケーブルが床下部分に敷設されると冷気の通り道を塞ぎホットスポットや温度異常障害を発生させる原因となります給気口を塞いでいる例多量のケーブルが床下を塞いでいる例ラック架列の適正配置によるエアフローの改善空調機の気流と同じ方向にラック架列 ( コールトアイルホットアイル ) を配置することで適切なエアフロー (IT 機器への適正な冷気供給と効率的な発生熱の抜熱 ) を実現することができます空調機空調機空調機空調機不要になったケーブルの撤去エアフローが改善し温度異常障害の発生を防止する効果がありますコールドアイルホットアイルによるエアフローの改善ラックの前面 ( 吸気側 ) 及び背面 ( 排気側 ) を向かい合わせる配置をすることで排気による温度異常障害を防止する効果があります空調機空調機空調機空調機

参考 -3 隙間の違いによるラック内温度の検証事例隙間 (1U) を空けてマウントした場合隙間 (2U) を空けてをマウントした場合温度異常障害が多発内部温度が高い資料提供 :NEC フィールティンク温度異常障害の発生が無い Copyright(c) Japan Data Center Council (JDCC) 23

Copyright(c) Japan Data Center Council (JDCC) 24 おわりにラックマウントに関する注意事項 2017 年 10 月発行本書及び付属動画について JDCC 会員以外による無断での転載を禁止いたしますファシリティスタンダード WG リーダ : 市川技術士事務所市川孝誠ワーキンググループメンバーリストアイネット IDC フロンティア青い森クラウドベース朝日工業社アズビルアット東京エクイニクスジャパン SCSK STNet NEC ネッツエスアイエヌティティテータ先端技術 NEC フィールディング NTT ファシリティーズ大谷技術士事務所大林組鹿島建設川崎重工業河村電器産業関電システムソリューションズきんでん京阪神ビルディングコムラックさくらインターネット三機工業篠原電機シュナイダーエレクトリック昭電新日本空調新菱冷熱工業 GIT アソシエイツ JSOL ジョンソンコントロールズセコムトラストシステムズソフトバンク大成建設 TIS THK ダイキン工業ダイダンダイトロン DNP デジタルソリューションズ中央製作所 TOKAI コミュニケーションズ東洋熱工業トランスコスモス日商エレクトロニクス日東工業日本電気 ( 一財 ) 日本品質保証機構日本ユニシスネットワンシステムズ能美防災野村総合研究所日立製作所日比谷総合設備ヒラオカ石油 BBIX Future Facilities 富士ソフト富士通富士古河 E&C ブロードバンドタワー丸の内ダイレクトアクセス三井情報三菱倉庫三菱商事三菱電機三菱総合研究所三菱電機インフォメーションネットワーク三菱総研 DCS 明豊ファシリティワークスヤフーラリタンジャパン両備システムズ