非構造化データの世界と構造化データの世界を繋ぐ！

Size: px

Start display at page:

Download "非構造化データの世界と構造化データの世界を繋ぐ！"

ありさくだら
5 years ago
Views:

5 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 5 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

7 Hadoop を有名にした代表的な事例 New York Times 社の TimesMachine 目的年発行の新聞イメージのオンラインサービス化 4TB の TIFF イメージデータを 1,100 万ページの PDF に変換 Amazon EC2 を 100 インスタンス利用 Hadoop アプリケーションによって 24 時間で処理特徴 (2007 年当時としては ) 巨大なサイズの非定型データが対象 PDF へ変換という全く同じ処理を 72 年分繰り返したこと他のデータとのマッチングや条件検索等は殆ど無し 7 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

12 オラクルが考える Big Data の 3 大要件エンタープライズ用途に求められる要素エンタープライズクラスのセキュリティ高可用性ソフトウェアとハードウェアを融合して提供する超高性能莫大な非構造化データの取り扱い構造化データと非構造化データを体系化非構造化データ格納管理 : 分散ファイルシステム非構造化データと構造化データを繋ぐ : Connectors ビッグデータに対する高度な分析機能直観的なインターフェース新たに広まりつつある良いテクノロジーの利活用非構造化分散ファイルシステム Key Value 型データベース統計解析 12 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

13 個別ソリューションの課題扱う情報の種類により求められる技術スキルが異なる非構造化データ分散ファイルシステムトランザクション (Key-Value ストア ) MapReduce ソリューション NoSQL 柔軟性特化型開発者中心非スキーマデータ SQL スキーマデータデータベース ( オンライン系 ) データベース ( 分析系 ) 分析ツール信頼性セキュア高い管理性取得体系化分析 13 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

あらゆるデータを網羅的に活用するための統合情報基盤 Oracle R Connector for Hadoop Hadoop HDFS 非構造化データ非スキーマデータスキーマデータ HDFS Oracle Direct Connector for HDFS Oracle NoSQL DB RDBMS (OLTP) Hadoop Oracle Loader for Hadoop Data

14 あらゆるデータを網羅的に活用するための統合情報基盤 Oracle R Connector for Hadoop Hadoop HDFS 非構造化データ非スキーマデータスキーマデータ HDFS Oracle Direct Connector for HDFS Oracle NoSQL DB RDBMS (OLTP) Hadoop Oracle Loader for Hadoop Data Integrator Application Adapters for Hadoop RDBMS (DW) In-DB Analytics R + Spatial Graph Mapreduce Oracle BI EE Oracle NoSQL DB 準構造化データの蓄積高速処理高拡張性 Oracle Big Data Connectors 非構造化データからデータベースへの連携高速データローディングデータベースから非構造化データへのアクセス In-DB Analytics 非構造化データの蓄積処理開発運用管理に実績あるCloudera オープン言語 R の採用大量データを用いた統計解析マイニング取得体系化分析 14 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

例えば従来の方法で Hadoop システムを構築するとするとラックを組み上げる時間は? ソフトウェアを最適に構成するのにかかる時間は?

Fabric ラック間 / ノード間 10 Gb/s Ethernet データセンターのネットワークへ接続 18

18 Oracle Big Data Appliance ハードウェア 18ノードのSun X4270 M2 Servers 864 GB メモリ 216 コア 648 TB ストレージ 40 Gb/s InfiniBand Fabric ラック間 / ノード間 10 Gb/s Ethernet データセンターのネットワークへ接続 18 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

19 ノード Sun Fire X4270 M2 プロセッサメモリディスク 2 Six-Core Intel Xeon X5675 プロセッサ (3.06 GHz) 48GB (6 * 8GB), 96 GB または 144GB に拡張可能 12 x 3 TB 7.2K RPM 高容量 SAS (hot-swap) ディスクコントローラ 512MB バッテリーバックドキャッシュ, HBA ネットワークリモート管理電源 2 InfiniBand 4XQDR (40Gb/s) ポート (1 Dual-port PCIe 2.0HCA) 4 Gigabit Ethernet Ports 内臓 1 Gigabit Ethernet portを備えたilom 冗長構成のホットスワップ可能な電源とファン 19 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

20 メモリ拡張キット特定のノードがより多くのメモリを必要とする場合例 48GB から 96Gb (12 x 8GB) または 144GB (18 x 8GB) に変更可能クラスター内の全ノード一部のノード (Name Node, HBase master etc.) 注意点 144GBへのアップグレードはメモリ帯域削減のため若干のパフォーマンス減退につながる可能性あり ( クロック :1333MHz->800MHz) 20 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

水平型拡張モデル ( スケールアウトモデル ) InifiniBand を用いてラックを接続し拡張同じ方法で Exadata に接続

22 Oracle Big Data Appliance ソフトウェア最高のパフォーマンスを出せるように調整済みのソフトウェアがインストール済み Oracle Linux 5.6 Java Hotspot VM Cloudera CDH Cloudera Manager Open Source R Distribution Oracle NoSQL Database Oracle Big Data Connectors 22 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

Hadoop は Cloudera ディストリビューションを採用 Cloudera s Distribution Including Apache

26 Cloudera ディストリビューションを選択した理由重要機能を迅速に進化コミュニティにおける Hadoop 専門家が構築難解ではなく実践的大型クラスターで必要なものにフォーカス大規模環境で実証済み Hadoop を使用する大規模な本番環境で使用これらの環境において極めて安定的に稼働 Cloudera で管理およびテストオープンソースでありながらコンポーネントをきちんと管理リッチな管理 GUI ツールを包含 26 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

27 CDH に梱包されるコンポーネントディストリービューションの詳細 Apache Hadoop Apache Hive Apache Pig Apache HBase Apache Zookeeper Apache Flume Apache Sqoop Apache Mahout Apache Whirr Apache Oozie Fuse-DFS Hue 最新の詳細はこちらをご参照ください : 27 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

28 CDH のバージョン CDH3 最新のものがインストールされる BDA 出荷開始時点 (2012/1/10) では update 2 現時点 (2012/4/6) では CDH3 update 3 HDFS パフォーマンスの大幅改善 MapReduce TaskTracker の Disk 障害に対する耐性の向上 CDH4 現在ベータ版 BDA への適用は現時点では時期未定 28 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

Hadoop ソフトウェアレイアウト ( 標準 ) 2 3 ノード 1: Name Node, Balancer, HBase Master* ノード 2: Secondary Name Node, Cloudera Manager, Zookeeper*, NoSQL Database Administration ノード 3: JobTracker, HUE, MySQL

29 Hadoop ソフトウェアレイアウト ( 標準 ) 2 3 ノード 1: Name Node, Balancer, HBase Master* ノード 2: Secondary Name Node, Cloudera Manager, Zookeeper*, NoSQL Database Administration ノード 3: JobTracker, HUE, MySQL Master, ODI Agent, Hive その他のノードもしくは追加 BDA HDFS Data Node, NoSQL DB Storage Node* ( ノード4) 1 Name Node data backup * 構成上のオプション 29 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

Cloudera Manager の管理画面 30 Copyright 2012,

次世代 HDFS:HDFS Federation とデータブロックのプール化広帯域のネットワークが益々必要 http://hadoop.apache.org/common/docs/r0.23.

33 Oracle NoSQL Database アプリケーション NoSQL ドライバ削除読み取りアプリケーション NoSQLドライバ更新読み取りキーバリュー型データベースデータモデルの容易な変更高い拡張性と可用性透過的な負荷分散 BerkeleyDBを元に開発 Nodes Nodes West Nodes Central Nodes East Nodes 33 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

Oracle NoSQL DB のスケーラビリティ処理に使用するノードの数処理スピード = 一定メモリ :16ms 処理に使用するノードの数 15:28:55 ( ほぼ

36 HDFS と Oracle NoSQL Database の比較 Hadoop Distributed File System (HDFS) ファイルシステム並列検索特定の構造なし大量の書き込みバッチ指向 Oracle NoSQL Database データベースインデックスシンプルなデータ構造大量のランダムな読み取りと書き込みリアルタイム 36 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

非構造化データ非スキーマデータスキーマデータ Oracle Big Data Connectors HDFS 4) Oracle

Connector for Hadoop Hadoop(MapReduce ) 1)Oracle Loader for Hadoop

Analytics R + Spatial Graph Mapreduce Oracle BI EE 1)Oracle Loader

3)Oracle R Connector for Hadoop 4)Oracle Direct Connector for HDFS

38 非構造化データ非スキーマデータスキーマデータ Oracle Big Data Connectors HDFS 4) Oracle Direct Connector for HDFS Oracle NoSQL DB RDBMS (OLTP) 3) Oracle R Connector for Hadoop Hadoop(MapReduce ) 1)Oracle Loader for Hadoop 2) Data Integrator Application Adapters for Hadoop RDBMS (DW) In-DB Analytics R + Spatial Graph Mapreduce Oracle BI EE 1)Oracle Loader for Hadoop 2)Oracle Data Integrator Application Adapters for Hadoop 3)Oracle R Connector for Hadoop 4)Oracle Direct Connector for HDFS 取得体系化分析 38 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

コードを自動生成 Oracle Loader for Hadoop プロセスを管理データウェアハウスへロード

39 Oracle Data Integrator Oracle Loader for Hadoop と一体になり MapReduce コードを簡素化 Oracle Data Integrator MapReduce コードを自動生成 Oracle Loader for Hadoop プロセスを管理データウェアハウスへロード 39 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

41 Oracle Loader for Hadoop INPUT1 MAP MAP ORACLE LOADER FOR HADOOP MAP MAP MAP MAP シャッフル / ソート REDUCE REDUCE REDUCE MAP MAP REDUCE REDUCE MAP MAP MAP シャッフル / ソート REDUCE REDUCE MAP MAP REDUCE MAP REDUCE MAP REDUCE MAP REDUCE MAP MAP REDUCE INPUT2 MAP シャッフル / ソートシャッフル / ソート MAP シャッフル / ソート REDUCE 41 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

42 Oracle Loader for Hadoop Hadoop クラスターを使用し Oracle DB への高速ロードを実現 ORACLE LOADER FOR HADOOP MAP MAP MAP シャッフル / ソート REDUCE REDUCE MapReduce ワークフローの最終段階として利用 MAP REDUCE パーティションテーブルもサポート MAP MAP シャッフル / ソート REDUCE REDUCE オンラインとオフラインのロード 42 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

43 Oracle Loader for Hadoop の優位点入出力および中間処理が高速化最新のオープンソースと Oracle の know-how の結晶 Oracle Database に最適化 Oracle Database の機能を最高に生かす仕組み MapReduce ジョブとして独自に実装可能 API を提供 43 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

44 優位点の詳細 : ロードバランシング全ての Reducer に対する負荷をほぼ均等 MapReduce パーティショニングスキームを作成 Oracle Database に最適なサンプリングのノウハウを反映同時にロードも調整パーティション間で分布が均一でない場合ロードの速度低下を防ぐ Reducer へのバランスが悪いロードの場合 Apache Commons Math ライブラリを使用 44 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

46 優位点の詳細 : 出力処理 ( オンライン ) 2 つの方式をサポート JDBC OCI Direct Path 複数の Oracle Database パーティション表への高速な転送 Oracle Wallet サポート実行時に oraclepki.jar が必要 HADOOP CLUSTER JDBC or OCI LOAD MAPPER PARTITIONER REDUCERS 46 Copyright 2012, Oracle and/or its affiliates. All rights reserved. 46

47 優位点の詳細 : 出力処理 ( オフライン ) Data Pump フォーマット外部表のためのバイナリファイル外部表のための SQL Direct Path の並行処理をサポート外部表に対する最速のオプション CSV, delimited text SQL*Loader 等でロード HADOOP CLUSTER EXTERNAL TABLES LOAD (DATA PUMP AND CSV FORMATS) MAPPER PARTITIONER REDUCERS 47 Copyright 2012, Oracle and/or its affiliates. All rights reserved. 47

48 Oracle Direct Connector for HDFS Oracle Database から直接アクセス HDFS Oracle Database SQL クエリ外部表 HDFS への SQL アクセス外部テーブルビュー Infini Band DCH DCH DCH HDFS クライアントデータクエリまたはインポート 48 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

49 Oracle R Hadoop Connector Hadoop へのネイティブ R アクセス Client Host R エンジン ORE ORHC Oracle Big Data Appliance R エンジン ORHC Oracle Exadata ネイティブ R MapReduce Hadoop クライアントソフトウェア MapReduce ノード HDFS R エンジン ORE ネイティブ R HDFS アクセス 49 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

51 Big Data 利活用の 3 ステップ構造化データの利活用既存の業務系情報系データベースに蓄積されたデータを事業におけるコスト削減と売上向上に貢献する仕組みとして確立非構造化構造化データを融合した利活用非構造化データの取得体系化分析に先進的に取り組んできた企業からの要望は既存の構造化データと非構造化データを融合したデータ利活用ビジネスインテリジェンスビジネスインサイトとしての利活用データマイニングや統計解析などの高度なデータ分析によりそれぞれの企業や事業にとって価値がある洞察を掘り出すことを実現 51 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

Oracle and Big Data : Big Data for Enterprise 52

OTN(Oracle Technology Network) での情報交換 53 Copyright

PowerPoint Presentation

PowerPoint Presentation ビッグデータのためのオラクル製品と技術製品戦略統括本部戦略製品ソリューション本部下道高志 1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. 2 Copyright 2012, Oracle and/or its affiliates. All rights reserved. Russia 17 18 April