Big Data ウェビナー シリーズ Hadoopサイジング ガイドライン

Transcription

1 Big Data ウェビナーシリーズ ビッグデータの中心的技術 Hadoop を知る Hadoop サイジングガイドライン シスコシステムズ合同会社

2 Big Data ウェビナーシリーズ 期間 : 2015 年 3 月 11 日 7 月 15 日毎週水曜日時間 : 基本夕方 30 分間 (16:00 17:00の間 ) 対象 : シスコパートナー様 シスコ製品ユーザ様スピーカー : シスコ社員 エコパートナー様 目的 : ビッグデータ初心者に対してビッグデータの一般知識 製品知識をお伝えする また シスコの製品とシスコエコパートナーの組み合わせで実現できるビッグデータ &IoEソリューションについて言及する

3 ビッグデータウェビナーシリーズ予定 * 現時点での予定でスピーカーの都合などにより予定は変更の可能性がございます 3/11 ビッグデータ シスコパートナー様にとってビッグデータってなに? 3/18 を取り巻くビジネスとは ビッグデータってどういう技術で成り立っているの? 3/25 シスコビッグデータポートフォーリオ 4/8 ビッグデータ Hadoopベーシック 4/15 の中心的技術 Hadoopを知る シスコのHadoopリセールについて 4/22 Hadoopサイジングガイドライン 5/13 シスコのビッグデータ用統合インフラ CPA 5/20 ゲストスピーカー MapR 社の製品概要とシスコとの協業 5/27 ゲストスピーカー Cloudera 社の製品概要とシスコとの協業 6/3 ゲストスピーカー Hortonworks 社の製品概要とシスコとの協業 6/10 Hadoopと Hadoop 環境で考慮すべきネットワークの設計 6/17 ネットワーク Cisco Application Centric Infrastructure (ACI) とビッグデータ

4 Cisco Analytics Framework for the Internet of Everything エコパートナー Tableau SAS Platfora Elasticsearch Informatica Qlik MicroStrategy Splunk Wi-Fi 屋外 室内 キャンパス データセンター 工場サーバルーム 様々なものをつなぎ 情報収集できるものは現場で処理 次世代データ処理基盤ソフトウェアデファインドコンピュート ルータ Cisco UCS 車両 産業用ルーター CGR 1120 IOx Cisco ISR シスコ産業用スイッチ IE2K,4K Nexus & ACI 店舗 Cisco CGR

5 ビックデータ :Hadoop 基盤としての Cisco UCS 検証済ソリューションパックで Hadoop 基盤をシンプル & 迅速に構築 Why Cisco UCS? スモールスタート可能で 100 台超への拡張も容易 労力削減! 物理サーバ Hadoop クラスタの展開は テンプレートをコピーして適用するだけ 数 10 台の環境セットアップも数 10 分で完了 Big Data に最適な性能を提供 ( 大容量メモリと広帯域接続 ) 集中的な Hadoop クラスタと物理インフラストラクチャの可視化 インベントリ トラブルシューティングも容易に! 大量のデータを保管するストレージとしても! ビッグデータのスタンダード HW としての豊富な実績 Web で簡単アクセス UCS Director Express OS/ Hadoop インストール UCS Director Express for Big Data UCS Director Express による一元的な ラックサーバネットワーク Hadoop ソフトの展開 管理 Hadoop Manager アプリモニター 検証済ソリューションパック (CPA: Common Platform Architecture) v3 UCS Manager シスコから Cloudera, Hortonworks, MapR の Hadoop ソフトウェアサブスクリプションも購入できます ソリューションパック名 サーバ プロセッサ スターターパック UCS C220 M4 (8 台 ) 2 x Intel Xeon E v3 ハイパフォーマンスパック パフォーマンス最適化パック キャパシティ最適化パック 大規模キャパシティパック UCS C220 M4(8 台 ) UCS C240 M4(16 台 ) UCS C240 M4(16 台 ) UCS C3160(2 台 ) 2 x Intel Xeon E v3 2 x Intel Xeon E v3 2 x Intel Xeon E v3 2 x Intel Xeon E v2 メモリ 256G 384G 256G 128G 256G ストレージ容量 IO 帯域 8 x1.2-tb 10K SAS SFF HDD UCS VIC GE 2 x 1.2-TB 10K SAS SFF HDD,, 6 x400- GB SAS SSD UCS VIC GE 2 x120-gb SATA SSD, 24 x 1.2-TB 10K SAS SFF HDD UCS VIC GE 2 x120-gb SATA SSD. 12 x 4-TB 7.2K SAS LFF HDD UCS VIC GE 2 x 120-GB SATA SSD, 60 x 4-TB 7.2K SAS LFF HDD 2 UCS VIC GE 型番 UCS-SL-CPA3-S UCS-SL-CPA3-H UCS-SL-CPA3-P UCS-SL-CPA3-C UCS-SL-CPA3-D 用途 アナリティクス NoSQL, エントリーレベル Hadoop 非常にパフォーマンスと密度を要求されるアナリティクス Hadoop, NoSQL, MPP 等スケールアウトアプリでパフォーマンス重視 ディスク容量が必要な Hadoop やスケールアウトストレージ 大容量ディスク テラバイト単価がお得 & 高密度 Cloudera MapR Hortonworks

6 Agenda Hadoop サイジングの考慮点 - サーバサイジング (HDD/Memory/NIC) - ネットワークスイッチ

7 Hadoop 大量のデータを分割して複数のコンピュータで並列に処理するためのオープンソースフレームワーク 耐障害性を重視して設計されており 処理中に一部の構成ノードが故障しても 別ノードへ処理を振り分けられる ファイルシステム HDFS (Hadoop Distributed File System) 読み書きを高速化するため ファイルを一定の大きさ ( デフォルト 64MB) に分割 分散処理アルゴリズム MapReduce Map データ抽出 Reduce 抽出してデータを集約

8 Hadoop ノードの役割 各ブロックは複製され 異なる 3 サーバ ( スレーブサーバ ) に格納される冗長を考慮して N+1 で DataNode=4 台 Cloudera/Hortonwworks 7 Server = (2NN+RM+DN Server(N+1)) MapR 4 Server (N+1) Master Node データ管理 分散処理ジョブの管理 HDFS NN SNN MapReduce Resource Manager NN DN NN DN NN NN Slave Node DN DN DN DN 分散処理の実行 データの実態を保存 Node Manager Node Manager Hadoop2 系

9 HDFS アーキテクチャ Switch Name Node Data Node のマッピング情報をメモリー上に格納 /usr/sean/foo.txt:blk_1,blk_2 /usr/jacob/bar.txt:blk_3,blk_4 Data node 1:blk_1 Data node 2:blk_2, blk_3 Data node 3:blk_ Cisco and/or its affiliates. All rights reserved. Cisco Public 9

10 Map Reduce の基本 基本概念 ジョブの複雑さ (Map と Reduce) はジョブの利用方法に依存しており またネットワーク負荷に対して大きな影響を与える 例 : 過去の気象データ ( 各年ごとの最大気温 ) Maps: 気温と年を巨大な過去のデータから取り出す Reducers: 各年の最大気温を計算 例 : サーチエンジンインデクシング ( すべての in-links を見つける ) Map: 各サイトの tourl (outlink) のリストを作成 ( 各サイトへ inlink) Reduce: 同種の tourl を統合 Source: O Reilly Hadoop A definitive Guide 2015 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

11 ネットワークトラフィックパターンを理解する事は重要 NameNode JobTracker ZooKeeper Hadoop Map and Reduce トラフィック Many-to-Many トラフィックパターン Map 1 Map 2 Map 3 Map N シャッフル Reducer 1 Reducer 2 Reducer 3 Reducer N HDFS アウトプットレプリケーション Hadoop クラスタの Keep-Alive 等 ( マウス ) のトラフィックが エレファントトラフィックに影響を受ける可能性がある

12 サーバサイジング データ量 メモリ (Hadoop エコシステム ) ネットワーク I/O

13 Cloudera 推奨スペック ネームノード ジョブトラッカー スタンバイネームノードに対して推奨スペック ( ドライブ数は冗長性に応じて変動 ) 1TB のハードディスクを JBOD 構成で 4-6 台 (1 つは OS 用, 2 つを RAID1 で fsimage 用に, 1 つを Apache ZooKeeper, そして 1 つを Journal node に使用する ) 最低でも 2-2.5GHz の 2 つの 4 コア /6 コア /8 コア CPU GB の RAM ボンディングされたギガビットあるいは 10 ギガビットイーサネット データノード / タスクトラッカー用に推奨スペック 1-4TB のハードディスクを JBOD(Just a Bunch Of Disks) 構成で 台 最低でも 2-2.5GHz の 2 つの 4 コア /6 コア /8 コア CPU GB の RAM ボンディングされたギガビットあるいは 10 ギガビットイーサネット 軽い処理用の構成 (1U/machine): 2 つの 4 コア CPU, メモリ 24-64GB, 8 台のディスクドライブ (1TB あるいは 2TB) ストレージインテンシブな構成 (2U/machine): 2 つの 4 コア CPU, メモリ 48-96GB, 16 台から 24 台のディスクドライブ (2TB 4TB) この構成は複数のノード / ラック障害時に激しいトラフィックが生じる バランスがとれた構成 (1U/machine): 2 つの 4 コア CPU, メモリ GB, 12 台から 16 台のディスクドライブ (1TB あるいは 2TB) が マザーボードコントローラに直接アタッチしていること ひとつの 2U キャビネットに 2 つのマザーボードと 24 台のディスクドライブを対にして利用できることも多い 計算処理インテンシブな構成 (2U/machine): 2 つのヘキサコア CPU, メモリ GB, 4 台から 8 台のディスクドライブ (1TB or 2TB) ( 注 : Cloudera は初期構築では および 2 12 のコア構成適用を想定しています ) ( 参考 )

14 MapR サイジング Nexus 9372PX 10GE DataNode 内に NameNode が存在するため 全台同じ構成で良い UCS C240 M4 LLF 構成例 : 2RU,(6 コア x 2 ソケット合計 12 コア /24 スレッド ) 96GB(1 コアあたり 8GB) 24TB(2TB 3.5inch 7.2Krpm x 12) Linux OS (SSD SATA 120GB x 2) 10G SFP+ x 2 2 年間で必要なデータ容量 格納データ量 = 毎日 100GB 増加 100GB x 365 日 x 2 年 = 73TB 必要なストレージ容量 = 73TB x 3 コピー x 1/3 圧縮 / 0.75 格納率 = 97.3TB 必要なサーバ台数 = 97.3TB / 24TB 5 台

15 HDD の設定例 OS 用 2 台 RAID 1 DataNode 用 1 コアあたり 1 HDD がお薦め HDFS の RAID 設定 (JBOD or RAID0)

16 Hadoop 構成要素 エコシステムとの組合せにより 必要なメモリー要件はかわる Impala はほとんどの動作にメモリを使用します デフォルトで 使用可能な RAM リソースの最大 80% を消費するため ノードあたり少なくとも 96GB の RAM が推奨されます ( 参照 ) 各種インターフェース エコシステム ETL Tools BI Reporting RDBMS PIG Hive Sqoop バッチ処理 (MapReduce / Spark) 全文検索エンジン (Solr) ストリーミング処理 (Spark Streaming) SQL (Hive / Impala) NoSQL (HBase) 分散データ処理 Map-Reduce HBASE 分散ファイルシステム Hadoop Distributed File System (HDFS) 2015 Cisco and/or its affiliates. All rights reserved. Cisco Public 16

17 ネットワークの考慮点 トラフィックの負荷 クライアントからデータを投入 データリプリケーション (3 回 ) Map Reduce 処理 HDD/Node 障害時に 他のNode 間でコピー インターフェース 1GB x 2 4 or 10G x 2 VLAN 数 2 4 HDFS, Mgmt, Data (SAN/NAS, ETL), PXE

18 CPA v3 (Common Platform Architecture) ビッグデータのための統合基盤 サイジングを考えるスタートポイント 用途に合わせてパッケージを用意 検証済みで Cisco Validated Design で構成ガイドを公開 なるべくチューニング無しで使えるよう考慮 既存の仮想基盤との運用統合可能 ソリューションパック名 スターターパック ハイパフォーマンスパック パフォーマンス最適化パック キャパシティ最適化パック 大規模キャパシティパック サーバ UCS C220 M4 (8 台 ) UCS C220 M4 (8 台 ) UCS C240 M4 (16 台 ) UCS C240 M4 (16 台 ) UCS C3160(2 台 ) プロセッサ 2 x Intel Xeon E v3 2 x Intel Xeon E v3 2 x Intel Xeon E v3 2 x Intel Xeon E v3 2 x Intel Xeon E v2 リスクの削減 : テストと検証が済んでいるアーキテクチャは 短期間で価値を実現し リスクや導入に関する問題を軽減します 集中統合管理 : Cisco UCS Manager と Cisco UCS Central Software による統合統一管理を実現し 最大 10,000 台のサーバと関連インフラストラクチャを管理できるようにします この機能により 導入と運用のタスクが大幅に簡易化されます ストレージコントローラ メモリ 256GB 384GB 256GB 128GB 256GB ストレージ容量 IO 帯域 ファブリック / ネットワーク Cisco 12-Gbps SAS Raid コントローラ 8 x1.2-tb 10K SAS SFF HDD UCS VIC GE 2xUCS 6248UP ファブリックインターコネクト Cisco 12-Gbps SAS Raid コントローラ 2 x 1.2-TB 10K SAS SFF HDD, 6 x400-gb SAS SSD UCS VIC GE 2xUCS 6248UP ファブリックインターコネクト Cisco 12-Gbps SAS Raid コントローラ 2 x120-gb SATA SSD, 24 x 1.2-TB 10K SAS SFF HDD UCS VIC GE 2 x UCS 6296UP ファブリックインターコネクト Cisco 12-Gbps SAS Raid コントローラ 2 x120-gb SATA SSD. 12 x 4-TB 7.2K SAS SFF HDD UCS VIC GE 2 x UCS 6296UP ファブリックインターコネクト Cisco 12-Gbps SAS Raid コントローラ 2 x 120-GB SATA SSD, 60 x 4-TB 7.2K SAS SFF HDD 2 UCS VIC GE 既存または新規の UCS と Nexus のインフラに統合 型番 UCS-SL-CPA3-S UCS-SL-CPA3-H UCS-SL-CPA3-P UCS-SL-CPA3-C UCS-SL-CPA3-D 用途 アナリティクス NoSQL, エントリーレベル Hadoop 非常にパフォーマンスと密度を要求されるアナリティクス Hadoop, NoSQL, MPP 等スケールアウトアプリでパフォーマンス重視 ディスク容量が必要な Hadoop やスケールアウトストレージ 大容量ディスク テラバイト単価がお得 & 高密度

19 CPA サイジングの考え方 サイジングを考えるスタートポイント CPU:12/24 コア HDD:1 コアあたり 1 HDD メモリー :1 コアあたり 8GB メモリー (In memory エコシステムに対応 ) NIC: 10G x 2 但し C3160 は除く

20 Hadoop クラスタ構成 Client Tableau Qlik SAS MicroStrategy Splunk Nexus 9372PX Hadoop クラスタ Cisco UCS C220/240

21 選べる Switch Nexus N3172PQ N9372PX Form factor 1RU 1RU 40GE ports GE ports /10 GE ports L2 Switching Capacity All are Line Rate 1.4 Tbps 1.44 Tbps Buffer Size 12MB 共有 52MB 共有 L2 Latency nsec 600nsec ~ サイズ 4.4 x 43.9 x 50.5 cm 4.4 x 43.9 x 50.5 cm Power (Typical/Max) 360/440W 228W/508W VXLAN L2-Gateway L3-Routing

22 BigData テストネットワークトポロジー N7K/N5K+N2K トポロジー ユニファイドファブリック構成 N9K/N3K トポロジー L2/L3 ToR 構成 N7K N7K N7K N9k N9k N9k FabricPath vpc N5k N2k N5k N2k UCS N9k N9k N9k Nexus2000 は 1G/10G サーバの収容が可能 Nexus の特徴 : ノンブロッキングスイッチ 大容量のバッファ領域 マルチプロトコルストレージの収容 Note: この 2 つのトポロジーは BigData 以外の要件を統合的に満たすことができるデータセンターネットワークとしてデザインされ 実際のテストで使用されています

23 ACI ファブリックでの解決

24 稼働状況の見える化と最適化 ACI は今までにない分析機能を提供 システムのイベント発生 イベントやクエリーをトリガー アクション : 新規物理サーバの追加 既存仮想サーバのライブマイグレーション 負荷分散の再設定 アプリケーション テナント インフラ毎の情報を提供 : ヘルススコア 遅延 アトミックカウンタ リソースの利用状況 開発環境 Leaf 1 and 2 Spine 1 3 Atomic counters 本番環境 Leaf 2 and 3 Spine 1 2 Atomic counters 検証環境 Leaf 3 and 4 Spine 2 3 Atomic counters APIC ワークロードの配置 移動にも柔軟に対応 ホップごとの見える化 物理環境と仮想環境の統合管理

25 Dynamic Load Balancing 従来のネットワークでは : ECMP 50% Usage Congested Link Leaf 1 は Spine 2 と Leaf 2 の間に発生している混雑を知らない Spine 1 Spine 2 ダイレクト I/F ではない部分のネットワークの混雑を知る事は最適なトラフィック転送に必須 Leaf 1 Leaf 2 66% Usage 33% Usage DLB Spine 1 Spine 2 Leaf 1 Leaf 2

26 Dynamic Packet Prioritization Prioritize Flows with higher SLAs Large Flows Small Flows ラージフローはリソースを多く消費する : Bandwidth Buffer スモールフローに優先度を付けられなければ ラージフローは潜在的にスモールフローへ影響を与える可能性がある Impact of large flows on small flows Without Dynamic Packet Prioritization

27 Dynamic Packet Prioritization ( 制御パケット等の救済 ) NoSQL Perfromance (Using Memcached) Tests with Memcached Dynamic Packet Prioritization helps improve memcached performance 最大 10 倍程度改善 Note: These tests were disk bound Will be testing with servers containing higher number of drives

28 Cisco Hadoop PoC 東京ミッドタウン UCS Manager によるサーバ全体管理 連携 UCS Director Express for BigData Baremetal Agent Red Hat ISO - RHEL6.x/7.x Hadoop ディストリビューション (Cloudera / MapR / Hortonworks) 10GE PoC メニュー例データはお客様に持ち込んでいただできます 導入 運用管理性 UCS C220 M3 CPU E v2 6C/2.10 GHz x 2 Memory 64GB (16GB x 4) HDD 300GB SAS 10K RPM x 8 MegaRAID 9271CV x 1 Cisco VIC 1225 x 1 SQL や BI でのアクセス Hadoop へのデータの出し入れ バックアップ

29