PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

しょうすけつちかね
5 years ago
Views:

1 1

2 Oracle Big Data Connectors Hadoop と Oracle Database の世界をつなぐ架け橋日本オラクル株式会社製品事業統括テクノロジー製品事業統括本部ソリューション本部基盤技術部能仁信亮

3 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 3

4 本日お伝えしたい内容 Oracle Big Data Connectorsの概要 HadoopとOracle Databaseの連携方式連携の方式 Oracle Direct Connectors for HDFS Oracle Loader for Hadoop アーキテクチャ連携のパフォーマンスデモ 4

Facebook Hadoop と RDBMS の連携 Facebook のような Hadoop を多用している企業でも最終的に RDBMS にデータを格納して活用 Hadoop と RDBMS の連携の需要は大きい主な利用用途定期的なレポート生成広告キャンペーンの効果測定ページビュー滞在時間等の集計リコメンド情報の生成ログデータの長期保持

5 Facebook Hadoop と RDBMS の連携 Facebook のような Hadoop を多用している企業でも最終的に RDBMS にデータを格納して活用 Hadoop と RDBMS の連携の需要は大きい主な利用用途定期的なレポート生成広告キャンペーンの効果測定ページビュー滞在時間等の集計リコメンド情報の生成ログデータの長期保持ログデータを利用したスパムボットからのユーザの保護出典 Apache Hadoop FileSystem and its Usage in Facebook Dhruba Borthakur RDBMS との併用 Hadoop 単体ではリアルタイム処理に弱いため高速なレスポンスが求められるデータに関しては RDBMS(Oracle / MySQL) に最終的に格納 5

6 Big Data Appliance General Usage Model Oracle Big Data Appliance Oracle Exadata Oracle Exalytics InfiniBand InfiniBand Acquire Organize Analyze 6

7 Hadoop の環境 Hadoop を動かすための HW および SW Oracle Big Data Appliance Oracle Exadata Oracle Exalytics Oracle Big Data Appliance InfiniBand InfiniBand Acquire Organize Analyze 7

8 データを連係する機能 Hadoop と Oracle Database の連携 Oracle Big Data Appliance Oracle Loader for Hadoop Oracle Direct Connector for HDFS InfiniBand Oracle Exadata ODI Application Adapter for Hadoop Acquire Organize Analyze InfiniBand Oracle Exalytics 8

9 データを利活用する機能統計処理 ( データマイニング他 ) Oracle Big Data Appliance Oracle Exadata Oracle Exalytics Oracle R Connector for Hadoop InfiniBand Oracle R Enterprise Acquire Organize Analyze InfiniBand 9

10 Oracle Big Data Connectors Hadoop クラスタと Oracle Database および R 言語と連携させるためのツール群 Big Data Connector Oracle Loader for Hadoop Oracle Direct Connector for Hadoop Distributed File System Oracle Data Integrator Application Adapters for Hadoop Oracle R Connector for Hadoop 利用用途 Hadoop 環境から Oracle Database へ高速にデータをロードするためにオラクルが提供するユーティリティ Oracle Database から HDFS 上のデータに外部表として SQL でアクセスするためのツール Hadoop クラスタから Oracle Database へのロード処理を GUI で定義実行するためのツール HDFS 上のデータに対する R 言語処理を可能にするオラクル提供のコンポーネント 10

Oracle Data Integrator Application Adapters for Hadoop

内でのデータ変換と Oracle Database の連携を GUI で定義実行するためのアダプタ

へのロード HDFS 内での変換 HDFS と Oracle Database の連携 Hadoop

Big Data の変換処理の生産性を向上 Oracle Loader for Hadoop を利用して Big

11 Oracle Data Integrator Application Adapters for Hadoop データ連携ツールである Oracle Data Integrator を使って Hive を使った Hadoop 内でのデータ変換と Oracle Database の連携を GUI で定義実行するためのアダプタ MapReduce(HIVE) による変換 Oracle Data Integrator 起動機能 HDFS へのロード HDFS 内での変換 HDFS と Oracle Database の連携 Hadoop Cluster Oracle Loader for Hadoop ロード Oracle Exadata 特徴 Big Data の変換処理の生産性を向上 Oracle Loader for Hadoop を利用して Big Data のロード処理を最適化 GUI での定義により Hadoop 内での処理の複雑さを低減一般のデータ連係と同一のツールを利用可能 11

12 Oracle Data Integrator Application Adapters for Hadoop 12

のインターフェースから HDFS Database ファイルシステムへのデータアクセス / 生成が可能

13 Oracle R Connector for Hadoop Hadoop と HDFS を有効活用して R による分析を実行 MAP Oracle R Client MAP MAP MAP Hadoop R のインターフェースから HDFS Database ファイルシステムへのデータアクセス / 生成が可能 REDUCE REDUCE HDFS R のインターフェースから MapReduce を記述および実行可能 13

14 ( ご参考 ) Oracle R Enterprise R データベース内で R と同等の統計機能を提供データフレーム上または Oracle 表 /View 上で R を実行可能コマンドコンソールワークスペースは R と同じものを提供 R を Enterprise で利用するための課題を解決データベース内のデータに対してダイレクトかつ透過的に処理 Rのメモリサイズの制約を排し大規模データセットを扱うことが可能プログラミングレスで並列処理をDB 内にて実装 14

15 Oracle Big Data Connectors ORACLE LOADER FOR HADOOP ORACLE DIRECT CONNECTOR FOR HDFS 15

16 Hadoop からのデータのロードおよび参照 INPUT 1 MAP MAP Oracle Big Data Connectors MAP REDUCE REDUCE MAP REDUCE MAP MAP MAP MAP SHUFFLE /SORT REDUCE LOG FILE など MAP MAP REDUCE MAP REDUCE INPUT 2 MAP MAP SHUFFLE /SORT REDUCE MAP SHUFFLE /SORT Oracle Database 16

17 Hadoop と Oracle Database を連携させる際の課題と解決策 Hadoop から Oracle Database へのロードでは Hadoop 側で処理を並列化し分散処理によりロードを高速に行うアプローチが一般的にとられる Oracle Database 側で並列処理を効率に行うためには Database が持つロード処理を効率よく行う仕組み (Direct Path Load/Insert, Parallel Query/DML など ) を活用する必要があるが既存の連係ツールではそういった仕組みを十分に活用できていない Oracle Database が持つ並列処理の仕組みを活用した高速な連携ツール = Oracle Big Data Connectors 17

18 Oracle Big Data Connectors の性能 1 時間に最大 12TB のロード性能 DB サーバーの CPU 時間は 50 分の 1 Oracle Loader for Hadoop およびサードパーティ製品は Exadata X2-8 の 2 台のデータベースサーバーのうち一台のみ利用 Big Data Appliance と Exadata X2-8 を利用して計測詳細は以下のホワイトペーパーをご参照ください 18

19 従来のデータロード手法との対応従来のデータロード手法 SQL*Loader 従来型パスロード SQL*Loader ダイレクトパスロード外部表ロード Oracle Big Data Connectors Oracle Loader for Hadoop JDBC Output Oracle Loader for Hadoop OCI Direct Path Output Oracle Direct Connector for HDFS 19

パラレルに問合せやロードを実行 Oracle Database SQL Query HDFS 上のデータに対してクエリやジョインが可能 SQL

20 特徴 Oracle Direct Connector for HDFS HDFS 上のデータを Oracle Database から参照 Oracle Database から HDFS 上のデータに外部表として SQL でアクセス HDFS 外部表の仕組みを利用してパラレルに問合せやロードを実行 Oracle Database SQL Query HDFS 上のデータに対してクエリやジョインが可能 SQL を利用して Database にデータをロード可能最大のパフォーマンスを得るために適切なロードバランスが実行される ODCH ODCH ODCH HDFS Client 外部表 20

21 外部表とは? ファイルに対して通常のテーブルのように SQL によってアクセス 1. クエリ発行外部表データを含むファイル Database サーバ 2. ファイルからデータを読み込みファイルは Oracle Database Server からアクセスできる位置にある必要がある課題 HDFS は ( 通常 ) 直接 OS にマウントすることができないため HDFS 上のファイルはこのままでは外部表として扱うことができない 21

22 Oracle Direct Connector for HDFS 動作概要 Database サーバー 1. クエリ発行外部表 2. Location File で HDFS 上の対象ファイルのパスを確認し ODCH を呼び出し Location File Hadoop クライアント ODCH バイナリ 3. HDFS の API を利用してデータを取得 Hadoop クラスタ Database サーバ HDFS 上のファイルの Path が指定されている hdfs://nn.example.com:54310/data/s2/sales.csv 22

23 Oracle Direct Connector for HDFS シンプルな 3 つの手順外部表の作成 Oracle Direct Connector for HDFS ユーティリティを利用して HDFS 上のファイルと外部表の対応を設定 SQL をつかってデータアクセスもしくはデータベースにロード >hadoop jar $ODCH_HOME/jlib/orahdfs.jar oracle.hadoop.hdfs.extab.externaltable -conf MyConf.xml -publish 23

24 Oracle Direct Connector for HDFS の設定 Step 1: 外部表の作成 HDFS 上のデータに対して外部表を作成 CREATE TABLE の際に PREPROCESSOR 句を利用 PREPROCESSOR "HDFS_BIN_PATH:hdfs_stream" HDFS_BIN_PATH は Oracle Direct Connector のバイナリが含まれるディレクトリを Database の directory として作成 SQL> CREATE OR REPLACE DIRECTORY hdfs_bin_path AS '/opt/orahdfs /bin ; SQL> EXECUTE ON DIRECTORY hdfs_bin_path TO hdfsuser; 24

25 Oracle Direct Connector for HDFS の設定 Step 1: 外部表の作成 Create Table example: HDFS 上の CSV ファイル CREATE TABLE SALES_HDFS_EXT_TAB (PROD_ID NUMBER(6), CUST_ID NUMBER, TIME_ID CHANNEL_ID DATE, CHAR(1), PROMO_ID NUMBER(6), QUANTITY_SOLD NUMBER(3), AMOUNT_SOLD NUMBER(10,2)) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY "SALES_EXT_DIR" ACCESS PARAMETERS ( ) RECORDS DELIMITED BY NEWLINE PREPROCESSOR "HDFS_BIN_PATH:hdfs_stream" FIELDS TERMINATED BY ', (PROD_ID DECIMAL EXTERNAL, TIME_ID CHAR DATE_FORMAT TIMESTAMP MASK "...",... ) LOCATION ('sales1','sales2') ) PARALLEL ; STEP2 で発行されるファイルが配置されるディレクトリ STEP2 で生成する Location File STEP2 で指定する DataPath の数だけ指定名称は任意 CSV ファイルのファイル名を指定するわけではない 25

26 Oracle Direct Connector for HDFS の設定 Step 2: HDFS Data Path の発行 CREATE TABLE で指定した Location File はこの時点では存在しない Oracle Direct Connector の ExternalTable コマンドラインツールを利用して HDFS 上のファイルの URI を含んだ Location File を生成する外部表にクエリを発行すると ODCH preprocessor (hdfs_stream) が Location File の情報を利用して HDFS 上のデータをデータベースに流し込む 26

27 Oracle Direct Connector for HDFS の設定 Step 2: HDFS Data Path の発行 ExternalTable コマンドは指定されたプロパティ情報をもとに location file を生成プロパティは XML ファイルで指定するかコマンドラインで個々に設定するかのいずれか ExternalTable コマンド : bin/hadoop jar orahdfs.jar oracle.hadoop.hdfs.exttab.externaltable [-conf config_file -D property=value] -publish [--noexecute] -conf config_file: XML の設定ファイル ( 次ページにサンプル ) -D property=value: プロパティを指定 --noexecute: 実際には実行せずに ( どいいったファイルが生成されるかなどの ) 実行計画のみを表示させる 27

28 Oracle Direct Connector for HDFS の設定 Step 2: HDFS Data Path の発行 Example Configuration File: <?xml version="1.0"?> <configuration> <property> <name>oracle.hadoop.hdfs.exttab.tablename</name> <value>sh.sales_ext_dir</value> </property> <property> <name>oracle.hadoop.hdfs.exttab.datasetpaths</name> <value>/data/s1/*.csv,/data/s2/*.csv</value> </property> <property> <name>oracle.hadoop.hdfs.exttab.datasetcompressioncodec</name> <value>org.apache.hadoop.io.compress.defaultcodec</value> </property> STEP1 で作成した外部表名 HDFS 上のファイルのパスを指定次ページに続く 28

29 Oracle Direct Connector for HDFS の設定 Step 2: HDFS Data Path の発行 Example Configuration File( 前ページからの続き ) <property> <name>oracle.hadoop.hdfs.exttab.connection.url</name> <value> jdbc:oracle:thin:@example.com:1521/example.example.com </value> </property> 外部表を作成したデータベースへの接続情報を指定 <property> <name>oracle.hadoop.hdfs.exttab.connection.user</name> <value>sh</value> </property> </configuration> 29

30 Oracle Direct Connector for HDFS を利用したロード通常の外部表ロードと同様に INSERT SELECT でロード Oracle Database が持つ並列処理の仕組み ( パラレルクエリパラレル DML) を活用し高速な Oracle Database へのロードが可能 APPEND ヒントを利用して Direct Path Insert を利用することで高速なロードを実現実行例 SQL> ALTER SESSION FORCE PARALLEL DML; SQL> ALTER SESSION FORCE PARALLEL QUERY; SQL> INSERT /*+ append */ INTO < ターゲット表 > SELECT * FROM < 外部表 >; 30

CPU seconds used per GB Performance 比較 Fuse DFS との比較 6 5 4 3 2 1 0 単位時間あたりのロード量 (TB/hour) Fuse-DFS Oracle Direct

31 CPU seconds used per GB Performance 比較 Fuse DFS との比較単位時間あたりのロード量 (TB/hour) Fuse-DFS Oracle Direct Connector for HDFS Fuse-DFS CPU 時間 Oracle Direct Connector for HDFS ロードスピードの比較 CPU 利用の比較 31

32 Oracle Direct Connectors for HDFS の利点 HDFS 上のデータを Oracle Database からアクセス可能にするパフォーマンス 12 TB/hour (Oracle Big Data Appliance から Oracle Exadata) サードパーティの製品と比べて 5 倍から20 倍以上高速 SQLによる柔軟な操作 Oracleのデータベース管理者にとって扱いやすい Oracleによる開発とサポート 32

33 Oracle Loader for Hadoop データベースからロード対象の表のメタデータを取得 ORACLE LOADER FOR HADOOP パーティションごとにデータを分割し Oracle Databaseのデータ型に変換 MAP REDUCE MAP MAP MAP MAP MAP SHUFFLE /SORT SHUFFLE /SORT Reducer がデータベースに接続しパーティションごとに並列にデータベースにロード (Direct Path Load/JDBC) REDUCE REDUCE REDUCE REDUCE 機能データの前処理をデータベースから Hadoop にオフロード Direct Path Load を利用した高速なロードが可能さまざまな入力フォーマットに対応オンラインモードとオフラインモード ( オフライン : HDFS 上に Data Pump ファイルを生成 ) パフォーマンスを最適化するためにパーティションごとのデータの偏りを平準化 33

34 Input Format Oracle Loader for Hadoop Delimited text InputFormat Hive table InputFormat Avro record InputFormat 独自開発したInputFormat ( 提供予定 ) Regular expression InputFormat ( 提供予定 ) Oracle NoSQL Database InputFormat 34

35 入力データの偏りを自動的に平準化 Reducer 間の負荷分散パーティションごとのデータに偏りがある場合でもパーティションに割り当てる Reducer の数を調整して負荷分散 Reduce1 Reduce2 時間最適な負荷分散を行うために処理前にデータのサンプリングを行いデータの偏り具合を自動検知 Reduce3 Reduce4 Partition ごとにロードを行う場合でも Partition 間のデータの偏りをサンプリングで検知して割り当てる Reducer の数を調整することにより各 Reducer の処理量を平準化しトータルの処理時間の短縮を図る 35

36 平準化 ( サンプリング ) の効果 Oracle Loader for Hadoop 方式偏りのあるデータをサンプリングなしで実行週末のデータ量が 10 倍サンプリング : なし偏りのあるデータをサンプリングありで実行週末のデータ量が 10 倍サンプリング : あり 100GB のロード時間 00:13: :11:54.22 データの偏りがないデータを利用 00:11:50.76 対照試験 : データの偏りなしサンプリングを行うと偏りがない場合のロード時間とほぼ変わらない試験実施環境 Hadoop Cluster : Big Data Appliance (v1.0.3) Database Server : Cisco UCS B200 M1 CPU: Xeon GHz (4 コア ) x 2 / Memory: 96GB/ Network: 10GbE Database Storage : NetApp FAS

37 Oracle Loader for Hadoop シンプルな 2 つの手順ロード対象の表を生成 Oracle Loader for Hadoop の Job を Hadoop クラスタで実行 >hadoop jar $OLH_HOME/jlib/oraloader.jar oracle.hadoop.loader.oraloader -conf MyConf.xml 37

38 Oracle Loader for Hadoop の設定 Step 1: Input Format の選択 / 実装 HiveToAvroInputFormat Class: Reads data from a Hive 表からデータの読み取り HiveMetaStoreClient を使って Hive 表の列ファイルの所在 InputFormat などを取得 Hive 表の行は Avro レコードに変換される DelimitedTextInputFormat Class: CSV,TSV といったデリミタ区切りのファイルを読み込みレコードは改行で区切られておりフィールドの区切り文字は一文字である必要がある 38

39 Oracle Loader for Hadoop の設定 Step 2: LoaderMap ファイルの作成 LoaderMap ファイルの例ロード元ファイルのフィールドとデータベースの列名とのマッピング <?xml version="1.0" encoding="utf-8"?> <LOADER_MAP> <SCHEMA>HR</SCHEMA> <TABLE>EMPLOYEES</TABLE> <COLUMN field="empid">employee_id</column> <COLUMN field="lastname">last_name</column> <COLUMN field=" "> </column> <COLUMN field= hiredate format= MM-dd-yyyy > HIRE_DATE</COLUMN> <COLUMN field="jobid">job_id</column> </LOADER_MAP> ロード元ファイルのフィールド名 Hive 表の場合列名デリミタ区切りの場合行の最初の項目から順に F0 F1 F2 という名前が自動的につけられるデータベースの列名 39

40 Oracle Loader for Hadoop の設定 Step 3: 表のメタデータにアクセス OLH は Oracle Database の表のメタデータを利用して Loader Job の実行をコントロール OLH の実行環境が JDBC によって Oracle Database に接続が可能な環境であれば Loader が自動的にメタデータを取得可能実行時に Database に接続できない環境 (Offline 利用前提の環境など ) の場合 OraLoaderMetadata ユーティリティを利用してあらかじめメタデータを XML ファイルとして抽出しておく 40

41 Oracle Loader for Hadoop の設定 Step 4: 設定ファイルの作成 <?xml version="1.0"?> <configuration> 設定ファイルの例 <property> <name>mapreduce.inputformat.class</name> <value>oracle.hadoop.loader.lib.input.delimitedtextinputformat</value> </property> <property> <name>mapreduce.outputformat.class</name> <value>oracle.hadoop.loader.lib.output.jdbcoutputformat</value> </property> <property> <name>mapred.input.dir</name> <value>/user/snonin/csv</value> </property> <property> <name>mapred.output.dir</name> <value>/user/snonin/csvout</value> </property> ロード元データの読み取りに利用するクラス名を指定この例ではデリミタ区切りファイル用のクラスを指定しているデータベースへのロードで利用するクラスを指定この例では JDBC を利用 41

42 Oracle Loader for Hadoop の設定 Step 4: 設定ファイルの作成 STEP 2 で作成した LoaderMap を指定 <property> <name>oracle.hadoop.loader.loadermapfile</name> 前ページからの続き <value>file:///home/snonin/work/olh/csv/map.xml</value> </property> <property> <name>oracle.hadoop.loader.loadbypartition</name> <value>false</value> </property> <property> <name>oracle.hadoop.loader.connection.url</name> <value>jdbc:oracle:thin:@//localhost:1521/orcl</value> </property> <property> <name>oracle.hadoop.loader.connection.user</name> <value>hdfsuser</value> </property> </configuration> パーティション毎に分割してロード処理を行うかどうかロード先データベースの接続情報 42

43 Oracle Loader for Hadoop の設定 Step 5: OraLoader の実行 OraLoader は通常の MapReduce と同じ手順で起動 OraLoader を起動すると次のあげるような処理を実行設定情報を読み取り検証ロード先の表のメタデータを取得 OraLoader の MapReduce ジョブのために内部的な設定情報を準備 MapReduce ジョブを Hadoop クラスタに発行各タスクが生成するログファイルを統合し処理全体のログファイルを作成 ( このログファイルは Map Reduce の Output Directory に oraloader-report.txt という名称で作成される ) 43

44 Oracle Loader for Hadoop の設定 Step 5: OraLoader の実行 OraLoader の実行例 : hadoop jar ${OLH_HOME}/jlib/oraloader.jar oracle.hadoop.loader.oraloader -conf MyConf.xml STEP 4 で作成した設定ファイル 44

45 CPU seconds used per GB パフォーマンス比較サードパーティ製品との比較単位時間あたりのロード量 (TB/hour) 700 CPU 時間 Comparable third party product ロードスピードの比較 Oracle Loader for Hadoop 0 Comparable third party product CPU 利用の比較 Oracle Loader for Hadoop 45

46 Oracle Loader for Hadoop の利点 HDFS, Hive 表など様々なソースから中間ファイルを経ずに Oracle Database に直接ロード可能性能サードパーティ製品より 10 倍高速ロードの前処理で Hadoop を利用することで Database への負荷を減らすロード時に裏で動いているアプリケーションへの影響を極小化 Hadoop 開発者にとって利用しやすい Oracle による開発とサポートの提供 46

47 ロード方式のまとめ Oracle Direct Connectors for HDFS 12TB/ 時間の高速なロード SQL によるロード処理が可能なためロード時にデータの形式の変換を組み込むなど柔軟な処理が可能 Oracle Loader for Hadoop ロードの前処理を Hadoop 側で実行するため Database に負荷をかけない Hive 表など多様なデータソースから直接ロード可能 47

オラクル技術の総合的な教育サービスを提供する Oracle University 体系的なカリキュラムと最新の認定資格で信頼されるエンジニアの育成をご支援します高度化多様化する最新技術に対応世界中の研修コースが受講可能にオラクルユニバーシティが提供する教育サービス集合研修 (Classroom Training)

48 オラクル技術の総合的な教育サービスを提供する Oracle University 体系的なカリキュラムと最新の認定資格で信頼されるエンジニアの育成をご支援します高度化多様化する最新技術に対応世界中の研修コースが受講可能にオラクルユニバーシティが提供する教育サービス集合研修 (Classroom Training) オラクル認定資格制度 Oracle トレーニングオンデマンド Oracle University Live Virtual Class 研修に関するお問い合わせご要望はこちらからオラクルユニバーシティ TEL: URL: 48

49 49

50 50

Oracle Database 12c

Oracle Database 12c 免責事項以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます