PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

かんじすえたけ
7 years ago
Views:

1 1

2 オラクルコンサルが語る! ビッグデータ時代の Oracle Exadata 活用手法日本オラクル株式会社コンサルティングサービス統括テクノロジーソリューションコンサルティング統括本部和田のどか

3 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 3

4 Program Agenda ビッグデータ時代についてビッグデータ時代のデータビッグデータへの対応 Why Exadata? Exadata で大規模データ処理をさらに効率的に実施するための技術情報 4

5 ビッグデータ時代について 5

ヘルスケア業界における遠隔地からの患者のモニタリング製造業界におけるセンサーアプリケーションの活用

6 ビッグデータ時代についてビッグデータ時代ビッグデータ時代と呼ばれる背景とニーズ急増する大量の各種データを活用して新たなビジネス / サービスを実現したいヘルスケア業界における遠隔地からの患者のモニタリング製造業界におけるセンサーアプリケーションの活用流通業界における多目的マーケティング多様な分野で発生するデータを効率的かつ統合的に処理したい企業情報の肥大化 RFID の浸透監査ログ情報ポイントカードの進化 6

7 ビッグデータ時代のデータビッグデータ時代のデータのサイクル DECIDE ACQUIRE 意思決定データの取得情報を判断すること必要なデータを収集することシステム化しにくい情報収集のためのインフラ整備データの分析データを情報に変換すること柔軟性と即時性が求められるデータの体系化データを分析可能な形にすること大量データの取り込みと加工の高速化 ANALYZE ORGANIZE 7

8 ビッグデータへの対応ビッグデータへの個別ソリューション非構造化データ非スキーマデータ分散ファイルシステムトランザクション (Key-Value) ストア MapReduce ソリューション NoSQL 柔軟性特化性開発者中心スキーマデータデータベース (OLTP) ETL ツールデータベース (DWH) 高度分析ツール SQL 信頼性セキュア高い管理性 Acquire Organize Analyze CONFIDENTIAL 8 Copyright - ORACLE 2012, Oracle and/or RESTRICTED its affiliates. All rights reserved.

9 ビッグデータへの対応ビッグデータへの Oracleソリューション非構造化データ非スキーマデータスキーマデータ HDFS Oracle No SQL DB RDBMS (OLTP) Hadoop Oracle Loader for Hadoop Oracle Data Integrator RDBMS (DWH) Oracle Analytics Image XML Text Graph Spatial Oracle BI EE Acquire Organize Analyze CONFIDENTIAL 9 Copyright - ORACLE 2012, Oracle and/or RESTRICTED its affiliates. All rights reserved.

10 ビッグデータへの対応 Why RDBMS? Organize 処理とデータの格納 Analyze のためのデータ抽出 Analyze 処理従来の SQL を用いた開発手法を用いてビッグデータのデータ変換処理 (Organize~Analyze) を高速実行できる 10

11 ビッグデータへの対応 Engineered Systemによるビッグデータ対応 Oracle Big Data Appliance Oracle Exadata Oracle Exalytics InfiniBand InfiniBand Acquire Organize Analyze 11

12 Why Exadata? Exadata で大規模データ処理を効率的に実施するための技術情報 12

13 Why Exadata? Exadata で大規模データ処理をさらに効率的に実施するための技術情報 Exadata 製品概要 Exadataにおけるビッグデータ対応のための基本方針ビッグデータをExadataで活用するための技術 Tips ORGANIZE ANALYZE 13

14 Oracle Exadata 製品概要 14

15 Oracle Exadata 製品概要 Oracle Exadata とは Exadata Storage Server Oracle Database 専用ストレージ製品 Oracle Database に最適化されたストレージ製品 I/O 性能 SQL 処理の性能向上 H/W と S/W の一体型 Exadata Storage Server Software がプリインストール Exadata Database Machine Exadata Storage Server を組み込み超高速処理を可能にするデータベースマシン高速パフォーマンス用途に最適化されたバランスで事前構成済みのマシン Database Server Exadata Storage Server InfiniBand スイッチを組み込み済み Exadata Storage Server Software Oracle Database 11g R2 がプリインストール 15

Exadata 製品概要 Oracle Exadata 変遷 Exadata V1 Introduced バランスのとれたスケールアウトアーキテクチャ V2 Servers 40 Gb InfiniBand PCI Flash Cards Storage Expansion Rack X2-8

8-core Servers X3-8 80-core Servers Enterprise Manager 12c Database to Disk Management Write-back Flash cache Smart Scan InfiniBand Scaleout Hardware

16 Exadata 製品概要 Oracle Exadata 変遷 Exadata V1 Introduced バランスのとれたスケールアウトアーキテクチャ V2 Servers 40 Gb InfiniBand PCI Flash Cards Storage Expansion Rack X2-8 CPU Refresh 2TB DRAM per node X2-2 Servers X core Servers Solaris x86 Reverse Offload Smart Flash Logging Sparc SuperCluster 3TB Disks X3-2 8-core Servers X core Servers Enterprise Manager 12c Database to Disk Management Write-back Flash cache Smart Scan InfiniBand Scaleout Hardware DB Encryption Automatic Service Request Smart Flash Cache Data Mining Offload Storage Index Columnar Compression ユニークなソフトウェアインテグレーション

17 Exadata 製品概要 Oracle Exadata パフォーマンスの秘密システム性能のボトルネックになりやすい I/O を効率化しデータ活用における革新的な高速処理を実現大量データ転送 HW 性能を活かす並列処理 SW 機能で IO 量やネットワーク転送量を削減ストレージ側のリソースを活用して負荷分散 InfiniBand Network 広いデータ転送帯域の確保によりネットワークのボトルネックを解消 Grid Architecture(RAC / ASM) DB 側ストレージ側の並列処理により処理 I / O の高速化 Smart Scan 処理の一部をストレージにオフロードし必要なデータだけを抽出して DB サーバに転送 17

18 Exadata におけるビッグデータ対応のための基本方針 18

19 Exadata におけるビッグデータ対応のための基本方針 Exadata リソースを最大限利用するための基本方針 1. 並列処理 ( パラレル処理 ) によるリソースの効率利用と性能向上 2. 必要データのみ抽出することによる無駄な処理の削減パラレル化による分散処理 DB Server 必要データのみ抽出 Storage Server 19

20 Exadata におけるビッグデータ対応のための基本方針並列処理とデータ抽出 1. 並列処理 ( パラレル処理 ) によるリソースの効率利用と性能向上項目対象層手法 / 技術並列処理アプリケーションアプリケーションパーティショニングジョブの並列化ミドルウェア (DB) Oracle Real Application Clusters(RAC) パラレル処理 ( パラレルクエリーパラレル DML など ) ストレージ Oracle Automatic Storage Management(ASM) 2. 必要データのみ抽出することによる負荷低減項目対象層手法 / 技術必要データのみ抽出アプリケーション / ミドルウェア (DB) ストレージ Oracle Partitioning Oracle Exadata Smart Scan 20

21 Exadata におけるビッグデータ対応のための基本方針パラレル処理一つのプロセスで問い合わせの作業を全て実施する代わりに処理を複数のタスクに分割し複数のプロセスで処理を同時に実行しますパラレル化可能な処理パラレル問い合わせ ( パラレルクエリー ) パラレル DDL パラレル DML SQL*LOADER リカバリ時のロールバックロールフォワード DBMS_STATS による統計情報取得 QC サーバプロセス QS QS シリアル実行 QS パラレル実行 21

22 Exadata におけるビッグデータ対応のための基本方針 Exadata Smart Scan Smart Scan - 行のフィルタリング必要な行だけが DB サーバに返される - 列のフィルタリング必要な列だけが DB サーバに返される - ジョインフィルタリングブルームフィルターを使い結合前にセル側でフィルタリングが実行される - インデックススキャン index fast full scan の場合は Smart Scan が実行される Oracle Exadata 固有の機能 DB サーバの CPU 負荷もストレージに分散ストレージ側で実際に必要なデータのみを抽出 22

23 Exadata におけるビッグデータ対応のための基本方針 Exadata Smart Scan 効果例 Smart Scan によって 85%(14.5GB) の読み込みが削減されているケース Smart Scan が有効の場合 ( デフォルト ) NAME VALUE cell physical IO interconnect bytes 2,511,930,288 cell physical IO interconnect bytes returned by smart scan 2,511,930,288 Smart Scan によって約 2.5GB のデータが DB サーバに返されていることが確認できる Smart Scan が無効の場合 NAME VALUE cell physical IO interconnect bytes 17,003,675,648 cell physical IO interconnect bytes returned by smart scan 0 Smart Scan が効かず約 17GB のデータが DB サーバに返されていることが確認できる 23

24 Exadata におけるビッグデータ対応のための基本方針 Smart Scan が動作するのは? Smart Scan はダイレクトパスリードでのみ実施される SGA( バッファキャッシュ ) を経由せず PGA に直接読み込みダイレクトパスリードが採用されるケース (11g) パラレル実行の場合シリアル実行のフルテーブルスキャンで表のサイズが大きい場合 24

Exadata におけるビッグデータ対応のための基本方針パラレルクエリーと Smart Scan パラレルクエリー実行による並列化 &Smart Scan による必要データの抽出を組み合わせることが Exadata でパフォーマンスを最大限引き出すための近道パラレルクエリー = Direct

25 Exadata におけるビッグデータ対応のための基本方針パラレルクエリーと Smart Scan パラレルクエリー実行による並列化 &Smart Scan による必要データの抽出を組み合わせることが Exadata でパフォーマンスを最大限引き出すための近道パラレルクエリー = Direct Path Read Smart Scan が動作スレーププロセス WHERE=X Smart Scan でフィルタリングストレージへ処理をオフロードサーバプロセススレーププロセス WHERE=Y 大規模表パラレルクエリーによる処理 DB サーバのリソース最愛利用スレーププロセス WHERE=Z 25

26 Exadata におけるビッグデータ対応のための基本方針 Exadata におけるビッグデータ対応のためのポイント大規模データを高速かつ効率的に処理するためには並列処理と必要データのみ抽出することによる負荷低減がポイント Exadata 利用の観点での場合は下記が最も効率的な方法パラレルクエリーによるリソースの最大利用と Smart Scan 機能による処理のオフロードの組み合わせ 26

27 ビッグデータを Exadata で活用するための技術 Tips 27

28 ビッグデータをExadataで活用するための技術 Tips Oracle Exadata 活用フェーズ Oracle Big Data Appliance Oracle Exadata Oracle Exalytics InfiniBand InfiniBand Acquire Organize Analyze 28

29 ビッグデータをExadataで活用するための技術 Tips Oracle Exadata 活用フェーズにおける処理 Oracle Big Data Appliance デ分ロデー析ーターのテタ抽たィのInfiniBand 出めンのグ Oracle Exadata 高参速照化クエリInfiniBand ーの Oracle Exalytics 統計情報取得の高速化統計情報の動的取得 Acquire Organize Analyze 29

30 ビッグデータをExadataで活用するための技術 Tips Oracle Exadata 活用フェーズにおける処理 ORGANIZE 処理データのローディング分析のためのデータ抽出 ANALYZE 処理参照クエリーの高速化ビッグデータ運用時の考慮事項統計情報取得の高速化統計情報の動的取得 30

31 ORGANIZE ロデーーテタィのングデ分ー析タの抽た出めの Oracle Exadata 高参速照化クエリーの統計情報取得の高速化統計情報の動的取得 Acquire Organize Analyze 31

32 ORGANIZE - データのローディングデータローディング手法中間ファイルを利用するもの exp/impユーティリティ DataPump(expdp/impdp) ユーティリティ SQL*Loaderユーティリティ外部表機能トランスポータブル表領域機能ネットワークを利用するもの分散処理機能データベースリンク+ SQL Oracle Data Integrator (ETLツール) Text File 本セクションにてピックアップ 32

33 データローディング処理の高速化データローディング手法テキストファイルロード手法ユーティリティ (SQL*Loader) の利用 Oracle Database の機能 ( 外部表 ) を利用 33

34 データローディング処理の高速化データローディング高速化高速化ポイントパラレル + ダイレクトロード実行による処理の高速化手法パラレル & ダイレクト指定注意点 SQL*Loader 外部表を使用したロード CTAS(CREATE TABLE AS SELECT) 外部表を使用したロード IAS(INSERT /* +APPEND */ SELECT) ロード時に DIRECT=true PARALLEL=true コマンドを指定表定義あるいはセッションレベルでの PARALLEL 指定表定義あるいはセッションレベルでの PARALLEL 指定に加えセッションレベルでのパラレル DML 設定事前にパラレル実行数分の外部ファイル ( データ ) 分割が必要高水位標 (HWM) についての考慮が必要パラレルロード時には索引はメンテナンスされない索引はコピーされないため (NOT NULL 制約とデータのみコピー ) テーブル作成後に索引制約の再付与を行う必要がある高水位標 (HWM) についての考慮が必要索引のメンテナンスはインサート終了後にパラレルダイレクトパスインサートであれば索引作成もパラレルで行われるが大量の一時表領域使用される 34

35 データローディング処理の高速化ダイレクトロードと HWM 既存表へのダイレクトパスロード時 (CTAS 以外 ) は HWM 上位にデータが挿入されるため既存領域の状態によっては容量の増加およびフルスキャン性能への影響が懸念されるそのためデータ削除が頻繁に発生する表にダイレクトロードを行う際は HWM を下げる運用を検討する CTAS IAS / SQL*Loader ダイレクトパスロード新規ロードデータ既存データ以前データが入っていた領域 ( 空領域 ) 新規ロードデータここまでフルスキャン HWM 新規データをロードする前の HWM HWM 35

36 データローディング処理の高速化 SQL*Loader と外部表の比較 SQL*Loader ロードのためのユーティリティとして馴染み深いツール外部表パラレル実行のために事前にソースファイルの分割が必要ないパラレル度のチューニングが容易にロードは SQL で行われるため監視も通常 SQL と同様手法 (SQL Monitor など ) が使用できるインターノードパラレル実行が可能なため RAC 全ノードのリソースが活用できる Exadata での性能最大化のための基本方針 = パラレル化の観点からも外部表を使用したパラレルダイレクトロードはおすすめパラレル実行ためにはたとえばフラットファイルがシングルバイトキャラクタセットか AL32UTF8 または固定長フォーマットなどのいくつかの条件があります詳細は製品マニュアルを参照ください 36

37 ORGANIZE ロデーーテタィのングデ分ー析タの抽た出めの Oracle Exadata 高参速照化クエリーの統計情報取得の高速化統計情報の動的取得 Acquire Organize Analyze 37

38 ORGANIZE - 分析のためのデータ抽出中間表を利用した処理の見直し Exadata の高い I/O 性能を活用し大量データの一括処理を中間表を利用しながらつなげていくことでリソースを有効に活用できるようになりパフォーマンスの向上が期待できる処理ロジックソースデータ 1 件ずつ繰り返し処理処理ロジックを中間表 / 一時表を利用したロジックに変更サマリーテーブル 38

39 中間表を利用した処理の見直し中間表の種類永続的な中間表前述の CREATE TABLE AS SELECT(CTAS),INSERT /* +APPEND */ INTO SELECT (IAS) で作成した表などトランザクション / セッションレベルでの中間表一時表データを参照はそのデータを表に挿入するセッションのみ SQL レベルでの中間表 WITH 句使用時に作成される一時表本セクションにてピックアップ 39

40 中間表を利用した処理の見直し WITH 句を使用した中間テーブルの利用 WITH 句とは副問い合わせに名前を付けてその結果セットを一時表として保持する無駄な繰り返し処理 IO 削減 WITH 句処理処理処理処理処理複数回の SQL( 副問い合わせ ) 呼び出し処理 40

41 中間表を利用した処理の見直し WITH 句書き換え例 WITH 句を使用しない通常の副問い合わせ SELECT * FROM (SELECT 部門,sum( 売上 ) 部門売上 FROM 売上表 GROUP BY 部門 ) w_abc WHERE 部門売上 < (SELECT avg( 部門売上 ) FROM (SELECT 部門,sum( 売上 ) 部門売上 FROM 売上表 GROUP BY 部門 )); 同じ副問合せを SQL 文内で何回も使用するのは視認性と性能の面で非効率 WITH 句を使用する場合 WITH w_abc AS (SELECT 部門, sum( 売上 ) FROM 売上表 GROUP BY 部門 ) SELECT * FROM w_abc WHERE 部門売上 < (SELECT avg( 部門売上 ) FROM w_abc) ; 一時表の結果セットを再利用 41

42 中間表を利用した処理の見直し WITH 句書き換え方針案 WITH 句はそのクエリーの結果を一時表領域に中間テーブルとして保存するためクエリーが出てくる回数が多いほど高速化が期待できる SQL を WITH 句に書き直してチューニングする対象としての目安 SQL 内で副問い合わせとしてまとめられる出現回数が多い (2 回以上 ) WITH 句内クエリーの高速化 Exadata パフォーマンス最大化のための基本方針 ( パラレル処理 + Smart Scan) との組み合わせることでより高速化が可能 WITH 句使用時の一時表領域設計一時表領域を使うためサイジングおよび競合防止 ( 一時表領域を同時に使用しうる DB スキーマが複数存在する場合にはスキーマ毎のデフォルト一時表領域を別に用意するなど ) も考慮する 42

43 ORGANIZE ORGANIZE フェーズにおけるポイントデータのローディングパラレルロード & ダイレクトロードによる高速化が基本外部表の機能であれば上記手法を実現しやすい分析のためのデータ抽出中間表を利用し一括データ取得処理を行うことで処理効率化が可能 SQL 単位では WITH 句を使用することで内部的に中間表を作成できる 43

44 ORGANIZE ロデーーテタィのングデ分ー析タの抽た出めの Oracle Exadata 高参速照化クエリーの統計情報取得の高速化統計情報の動的取得 Acquire Organize Analyze 44

ANALYZE - 参照クエリの高速化パラレル度設計 Exadata におけるビッグデータ対応のための基本方針のひとつであるパラレルクエリーを使用して大規模データへの参照クエリーを高速化するパーティショニング設計と組み合わせることで更に高速化可能パラレル機能を使用する場合には

45 ANALYZE - 参照クエリの高速化パラレル度設計 Exadata におけるビッグデータ対応のための基本方針のひとつであるパラレルクエリーを使用して大規模データへの参照クエリーを高速化するパーティショニング設計と組み合わせることで更に高速化可能パラレル機能を使用する場合には適切な DOP(Degree of Parallelism) 設計を推奨 SQL SQL SQL SQL SQL 単位の DOP セッションセッションセッション単位の DOP オブジェクト単位の DOP データベースのリソース全体でのパラレル度制御データベースインスタンス 45

46 パラレル度設計パラレル度設計推奨方針案 1/2 オブジェクト単位の DOP 1. 大規模表へのクエリがパラレル実行されるようにオブジェクト定義にパラレル度 (DOP) を指定する SQL> ALTER TABLE tab1 PARALLEL 12; オブジェクトサイズ別の DOP 初期値決定の目安値 200MB 以下の小さなオブジェクト : パラレル化しない 200MB~5GB のオブジェクト : パラレル度 4 5GB 以上の大規模なオブジェクト : パラレル度は 4 以上 32 以下の 2 の累乗 (8, 16, 32) セッション単位の DOP 2. オブジェクト定義にDOPを指定することが難しい場合は SQL 実行前に下記の alter session 文を実行しパラレルクエリを強制する SQL> ALTER SESSION FORCE PARALLEL QUERY PARALLEL 12; 46

47 パラレル度設計パラレル度設計推奨方針案 2/2 SQL 単位の DOP 3. alter session 文の発行ができないアプリで SQL の改修が可能な場合は SQL に PARALLEL ヒントを埋め込む SQL> SELECT /*+ PARALLEL (12) */ a.col1 FROM tab1 a ; 各 DOP 値については性能負荷テスト時にチューニングを実施することパラレルプロセス通信に関する待機イベント (PX~) が大量に発生している場合はパラレル度数が大きすぎる可能性があるためパラレル度の調整を行う 47

48 パラレル度設計パラレル処理関連初期化パラメータ設計パラレル度については DB リソースの負荷状況の最適化も考慮するパラメータ概要 Exadata 設定目安値 parallel_max_servers parallel_min_server parallel_adaptive_multi_us er parallel_force_local データベースインスタンスごとに起動できる最大パラレル数データベースインスタンスごと常時起動しておくパラレル実行プロセス数インスタンスの高負荷時に自動的にパラレル度を下げる機能 TRUE に設定すると ORA エラーを抑制インターノードパラレルクエリーをさせる場合は FALSE cpu_count * parallel_threads_per_cpu * 10 parallel_max_servers の 4 割程度マルチユーザ環境においてレスポンスを重視する場合は FALSE 処理継続を優先する場合は TRUE FALSE Exadata X3-2 の cpu_count は 8Core*2CPU*2(Hyper-Threading)=32 また parallel_threads_per_cpu は 1 が推奨最新情報は My Oracle Support より Doc ID をご確認ください 48

49 ANALYZE - 参照クエリの高速化パーティションワイズジョインパーティション表同士をパーティションキー列によってパーティション単位で結合処理を行うことができる結合時の処理量を減らすパーティションの結合処理ごとにスレーブプロセスの割り当てが行われるため結合のパラレル実行に適用できるパーティションワイズジョインのポイントパーティションプルーニングと組み合わせることも可能結合する表のパーティション方式が同じである必要がある CUSTOMER 表 Range Partition 2009/10 P1 P2 P3 SALES 表 Range Partition 2009/10 49

50 ANALYZE ANALYZE フェーズにおけるポイント参照クエリの高速化パラレル度設計初期設計時には目安値よりパラレル度を指定テスト時のリソース使用状況や多重実行状況より適切なパラレル度をチューニングするパーティションワイズジョイン並列処理 ( パラレル化 ) と必要データのみ抽出することによる負荷低減という大規模データを扱う際のポイントにマッチした機能 50

51 ORGANIZE ロデーーテタィのングデ分ー析タの抽た出めの Oracle Exadata 高参速照化クエリーの統計情報取得の高速化統計情報の動的取得 Acquire Organize Analyze 51

Optimizer はこれらの統計を使用して各 SQL 文に最適な実行計画を選択します SQL テキスト

52 ビッグデータ運用時の考慮事項統計情報取得の高速化 Optimizer 統計設計 Optimizer 統計とはデータベースおよびデータベース内のオブジェクト ( 表や列索引等 ) を特徴づける情報であり Query Optimizer はこれらの統計を使用して各 SQL 文に最適な実行計画を選択します SQL テキストオブジェクト構造初期化パラメータ Query Optimizer 実行計画レスポンスデータの実態統計情報実行環境 52

53 ビッグデータ運用時の考慮事項統計情報取得の高速化大規模データの統計取得に適したオプション大規模データの統計情報を取得する際に検討する統計オプションプリファレンス概要デフォルト値検討値 INCREMENTAL DEGREE ESTIMATE_PER CENT 変更されたパーティションのみをスキャンし表のグローバルな統計情報を更新単一オブジェクトに対して何並列で統計情報を取得するサンプリングする表内の対象レコード数の割合を指定 FALSE NULL DBMS_STATS.AU TO_SAMPLE_SIZE TRUE 初期化パラメータ cpu_count 以下の整数 or DBMS_STATS.AUTO_DEGREE DBMS_STATS.AUTO_SAMPLE _SIZE 各オプションの詳細は Oracle Database パフォーマンスチューニングガイド 11g リリース 2(11.2) 13 オプティマイザ統計の管理および Oracle Database PL/SQL パッケージプロシージャおよびタイプリファレンス 11g リリース 2(11.2) 141 DBMS_STATS をご確認ください 53

54 ビッグデータ運用時の考慮事項統計情報の動的取得 Dynamic Sampling 大規模クエリにはダイナミックサンプリングを積極的に活用するダイナミックサンプリングとは? 統計情報が取得されていない表に対して一時的に統計情報を取得する方法統計情報が取得されていたとしても SQL 内で指定されている複雑な WHERE 句の条件を考慮に入れてサンプリングを行うことでより的確なアクセスパス生成に導くための機能通常の統計情報 (DBMS_STATS で収集する統計情報 ) とは異なり SQL 実行時の統計情報を取得 54

55 ビッグデータ運用時の考慮事項統計情報の動的取得 Dynamic Sampling 設定方針 SQL 特性システム特性を考慮したレベルを設定 level 説明 0 ダイナミックサンプリングは実行されない SQL 実行時間に占めるダイナミックサンプリングのオーバーヘッドの割合が大きくなるようなシンプルなクエリーによる OLTP 系処理では OFF を推奨 2 デフォルト値 SQL がアクセスする表の中で統計情報が取得されていない表に対して 64 ブロックをサンプリングし統計情報を取得するバッチ処理内で作成される一時表への SQL やデータ量の変動が大きい表が含まれる SQL などで都度最新の統計情報を使用して実行計画を作成したいシステムにおいては 2( デフォルト ) とすることを推奨 4 3 で対象となる表に加えて 2 つ以上の列に対する条件が WHERE 句内で指定されている表に対しては統計情報が取得され陳腐していなくとも 64 ブロックをサンプリングし統計情報を取得する大規模データ処理で結合対象表が多い場合本レベルを設定することでサンプリング値をもとにした選択率から最適な順序にて結合される各レベルの詳細は Oracle Database パフォーマンスチューニングガイド 11g リリース 2(11.2) 動的サンプリングレベルをご確認ください 55

56 ビッグデータを Exadata で活用するための技術 Tips まとめ ORGANIZE 処理データのローディング分析のためのデータ抽出 ANALYZE 処理参照クエリーの高速化ビッグデータ運用時の考慮事項統計情報取得の高速化統計情報の動的取得 Exadata リソースを最大限活用できるパラレルダイレクトロード実行中間表を使用した一括データ取得処理で大規模データ処理の効率化個別リソース全体でのパラレル度設定最適化大規模データの統計取得処理の高速化と精度の向上する機能紹介 56

57 ビッグデータ時代の Oracle Exadata 活用手法本日のセッション内容ビッグデータ時代に RDBMS が活用できるフェーズと処理 ORGANIZE フェーズにおける非スキーマデータの取り込みスキーマデータの加工 ANALYZE フェーズにおけるスキーマデータの参照分析 Exadata はパフォーマンス最適化された事前構成済みマシンボトルネックが発生しにくいアーキテクチャリソースをどのように最大限利用するかがポイント並列化 & 処理量削減 Exadata において大規模データをさらに効率的に扱うための技術情報 57

58 58

59 59

Database Exadata and Database Machine 管理ワークショップコース内容 ~ Exadata システム管理者 DBA 技術者の必修コース ~ このコースでは Oracle Exadata Database Machine 及び Exadata Storage Server X2-2 について学習します Exadata のアーキテクチャおよび主な機能とその構成

60 Database Exadata and Database Machine 管理ワークショップコース内容 ~ Exadata システム管理者 DBA 技術者の必修コース ~ このコースでは Oracle Exadata Database Machine 及び Exadata Storage Server X2-2 について学習します Exadata のアーキテクチャおよび主な機能とその構成監視および最適化の方法や Database Machine( 以下 DBM) への移行時の様々なオプションについても説明し最適な方法をどのように選択するか等実機演習を通して学習します Database Machine の初期構成の完了 Exadata I/O リソース管理の構成 Database Machine のアーキテクチャと Oracle Database クラスタウェアおよび ASM との統合の説明 Exadata と Database Machine の主な機能の説明 Database Machine に移行するための様々な推奨アプローチの説明様々なアプリケーションクラスで Database Machine を使用した場合の利点の理解 Database Machine の状態の監視とパフォーマンスの最適化対象者システム管理者データベース設計者データベース管理者テクニカルコンサルタント前提条件 Oracle Database 11g: 管理ワークショップ I / II Oracle Grid Infrastructure 11g R2: クラスタ &ASM 管理 Oracle Database 11g R2: RAC 管理コース日程 3 日間 (2012 年 11 月現在 ) 会場 : トレーニングキャンパス青山 2012 年 11 月 27 日 ( 火 )~29 日 ( 木 ) 2012 年 12 月 18 日 ( 火 )~20 日 ( 木 ) 2013 年 1 月 15 日 ( 火 )~17 日 ( 木 ) 2013 年 2 月 13 日 ( 水 )~15 日 ( 金 ) 2013 年 3 月 13 日 ( 水 )~15 日 ( 金 ) 会場 : トレーニングキャンパス大阪 2013 年 2 月 20 日 ( 水 )~22 日 ( 金 ) 受講料 (2012 年 11 月現在 ) 定価 363,825( 税込 ) お申込みお問合せオラクルユニバーシティ Tel:

PowerPoint Presentation

PowerPoint Presentation MySQL Workbench を使ったデータベース開発日本オラクル株式会社山崎由章 / MySQL Senior Sales Consultant, Asia Pacific and Japan 1 Copyright 2013, Oracle and/or its affiliates. All rights reserved. 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものです