IT ライブラリー (pdf 100 冊 ) http://www.geocities.jp/ittaizen/itlib1/ 数日仕事を数秒へ! Oracle Exadata 御紹介 一般社団法人情報処理学会正会員腰山信一 ftks7856@ybb.ne.jp
本資料の関連資料は下記をクリックして PDF 一覧からお入り下さい IT ライブラリー (pdf 100 冊 ) http://www.geocities.jp/ittaizen/itlib1/ 目次番号 150 番他 2
Oracle Exadata Database Machine Oracle Database に最適化されたプラットフォーム X86 サーバー ストレージ インターコネクト (InfiniBand) Oracle Database ソフトウェアを事前構成 Best Machine for Data Warehousing Best Machine for OLTP Best Machine for Database Consolidation 高速処理 低コスト 高可用性 3
Oracle Database の進化と Exadata Exadata は Oracle DB 技術の集大成 既存資産の継承 新しい技術の融合 4
2001 年 Real Application Clusters 9i 可用性と拡張性の両立 Data Gurd 災害対策機能の実装 5
2004 年 Real Application Clusters 10g グリッドによりインフラ仮想化しコスト削減 Automatic Storage Management ストレージグリッドによる自動管理 Enterprise Manager 10g 運用管理の自動化 6
2007 年 Advanced Compression データ圧縮による性能向上と ストレージコスト削減 Real Application Testing テストの自動化によるアップグレード工数削減 Active Data Guard 災害対策サイトの有効活用 7
Oracle Exadata DB システムの全てのボトルネックを排除し 驚異的な DB 性能を実現 より効果の高い圧縮方式 8
爆発的に増えるサーバーへの負荷 データ量増加 テスト工数 大量データ処理性能課題 災害対策費用 運用費用増加 システム数増加 24x365 運用 拡張性 9
高速処理実現のアプローチ I/O ボトルネックを徹底解消 10 10
従来のデータベースシステム 大量データのアクセスにてボトルネック発生大 転送後のデータからのデータ抽出やジョインで CPU 時間を消費 大量データの転送でサーバー ストレージ間のネットワークが輻輳 大量のシーケンシャル IO やランダム IO で物理ディスク I/O がボトルネックに 11
Oracle Exadata 大量データのアクセス時の I/O ボトルネックを解消 高速な理由 1 高性能並列処理 高速な理由 2 広帯域のネットワーク 高速な理由 3 ネットワークを通るデータ量の削減 12
Exadata 導入でリスク コストの低減 非 Exadata 導入時 DB Server Storage 複雑な導入作業 工数増大トラブル発生リスク有 テストが不十分 ( セットアップ後 ) トラブル発生リスク有 構成がアンバランス 特定コンポーネントのボトルネックによる性能悪化のリスク有 障害対応 トラブル原因特定 解決まで長期化するリスク有 環境依存で再現待ちになるケース有 13
Exadata 導入でリスク コストの低減 Exadata 導入後 複雑な導入作業 結線済 コンフィギュレーション済 テストが不十分 ( セットアップ後 ) 十分なテスト済の状態でご提供 構成がアンバランス Oracle DB 向けに最適化チューニングレスで安定した性能 障害対応 Oracle 社自身が同一構成を保持し One Stop で対応 14
Exadata Database Machine X2-8 Full Rack Extreme Performance for Consolidation, Large OLTP and DWH 8 Processor Database Server (Sun Fire X4800): 2 台コア数 : 計 128 (1 台あたり64コア ) メモリ量 : 計 2TB (1 台あたり1TBメモリー ) Sun Datacenter InfiniBand Switch 36 : 3 台 36-port Managed QDR (40Gb/s) switch Exadata Storage Server X2-2 :14 台 ストレージ総容量 ( 以下のどちらか ) 計 100TB( 高性能 600GB SASディスク * 12 本 ) 計 336TB( 大容量 2TB SASディスク * 12 本 ) Exadata Smart Flash Cache 総容量 計 5.3TB(1 台あたり 96GB * 4 枚 ) 15
Exadata Database Machine X2-2 Full Rack (Half Rack Quarter Rack) 2 Processor Database Server (Sun Fire X4170 M2): 8 台コア数 : 計 96(1 台あたり12コア ) メモリ量 : 計 768GB(1 台あたり96GBメモリー ) Half Rack:4 台 / Quarter Rack:2 台 Sun Datacenter InfiniBand Switch 36 : 3 台 36-port Managed QDR (40Gb/s) switch Half Rack:3 台 / Quarter Rack:2 台 Exadata Storage Server X2-2 :14 台 X2-8 と全く同じ Half Rack:7 台 / Quarter Rack:3 台 16
小規模で導入 拡張可能 X2-2 Quarter (1/4) Half (1/2) Full Multi DB 24 コア / 192GB メモリ 48 コア / 384GB メモリ 96 コア / 768GB メモリ Storage 21TB 50TB 100TB X2-8 Full Multi DB Storage 128 コア / 2048GB メモリ 100TB 付属のスイッチで最大 8 ラックまでスケールアウト可能 17
Exadata のアーキテクチャー Grid Architecture データベース層は Orace Real Application Clusters(RAC) で ストレージ層は Automatic Storage Management(ASM) で仮想化 高速化 Database Grid (Orace Real Application Clusters) InfiniBand Network Exadata Storage Grid (Automatic Storage Management) パラレル処理を実行 データ分散並列で I/O を実行 DB サーバーを並列稼動 高い可用性 リニアなスケーラビリティ 容易な拡張性 ストレージを並列稼動 高い耐障害性 高い I/O 性能 容易な拡張性 管理性 高速化 18
Exadata のアーキテクチャ InfiniBand による広帯域の確保 高速な理由 従来は HPC(High Performance Computing) 領域で使用されており 徐々に Enterprise 領域で浸透しつつある 40 Gbit/s の帯域を確保 CPUのオーバーヘッドを大幅に軽減 ZDP RDS v3 プロトコルを利用 Oracleが実装し Linux Open Sourceとして公開 RDMA( ダイレクト メモリ アクセス ) を使用し 余分なコピーを作らずにサーバー間でデータを直接転送 Exadata では下記用途に使用 ストレージネットワーク RAC インターコネクト 外部接続 (optional) 19
Exadata のアーキテクチャ InfiniBand の効果 高速な理由 DB ストレージ / DB DB 間のネットワークボトルネックを解消 従来のデータベースシステム Oracle Exadata 一般的な DB ( 含 Oracle) Fibre Channel or Gb Ethernet I/O ボトルネックになり DB のリソース (CPU) が思うように使われない 大量のデータ走査時にはネットワークがふくそうし I/O 待ちでスループットが低下 Oracle Database InfiniBand I/O ボトルネックが解消され DB のリソース (CPU) を十分に活用 本来の性能を発揮 大量のデータ走査時でも待ちが発生せず計算処理が滞らない 一般的なストレージ (SAN/NAS) 転送量が限られ待ち行列が発生 大規模データも一気に転送でき 待ち行列の発生が少ない 20
驚異のパフォーマンスの秘密 for DWH システム性能のボトルネックになりやすい I/O を効率化し データ活用における革新的な高速処理を実現 1InfiniBand Network 広いデータ転送帯域の確保により ネットワークのボトルネックを解消 2 Grid Architecture(RAC / ASM) DB 側 ストレージ側の並列処理により 処理 I / O の高速化 3 Smart Scan 処理の一部をストレージにオフロードし 必要なデータだけを抽出して DB サーバに転送 4 Exadata Hybrid Columnar Compression より高い圧縮効果を実現し ストレージの削減と物理 I/O を削減 5 Exadata Storage Index 不要なディスク I/O を削減 21
Smart Scan 高速な理由 Full Scan 時や大量データアクセス時に高速化 従来のデータベースシステム Oracle Exadata 3 計算 集計 3 計算 集計 アクセス対象のデータ全てを抽出 2 データ選別 データの選別をデータベース側で行う為 ネットワークを通るデータ量は多い 1 データ抽出 計算 集計に必要なデータのみを選別して返却する為 ネットワークを通るデータ量は常に最小限 2 データ選別 1 データ抽出 Storage Server が必要な行 列データのみを選別 抽出 22
データ圧縮技術の進化 高速な理由 Exadata Hybrid Columnar Compression(EHCC) 列単位でデータを圧縮し格納 論理 I/O 量に対する物理 I/O が減少することによる高速化 OLTP 圧縮 : 約 3 倍の圧縮率 Query Mode (DWH 向け ) アクセススピード重視のモード約 10 倍の圧縮率 Archival Mode Up To 50X ( 低アクセスデータ 長期保存データ向け ) ストレージ容量圧縮重視のモード 約 15 倍の圧縮 データによっては最大 50 倍も圧縮 23
従来の圧縮との違い Exadata Hybrid Columnar Compression(EHCC) 従来の格納方法 (OLTP 表圧縮 ) 列指向の格納方法 EHCC の格納方法 ランダムアクセスに最適 全表検索にも効果的 ランダムアクセスに貧弱 全表検索に最適 ランダムアクセスにも効果的 全表検索にも最適 2-5 倍の圧縮率 高い圧縮率 高い圧縮率 24
驚異のパフォーマンスの秘密 for DWH システム性能のボトルネックになりやすい I/O を効率化し データ活用における革新的な高速処理を実現 1 InfiniBand Network 2 Grid Architecture(RAC / ASM) 3 Smart Scan 4 Exadata Hybrid Columnar Compression 5 Exadata Storage Index 各機能の合わせ技でさらに高速に! 25
驚異のパフォーマンスの秘密 for OLTP Exadata Smart Flash Cache ランダム Read I/O のボトルネックを解消 メモリアクセス : 速 値段 : 高 フラッシュカードアクセス : 速値段 : 安 ハードディスクアクセス : 遅値段 : 安 5TB の Flash を搭載 (Full Rack スペック ) 100 万 IOPS Exadata disks と比較し 20 倍速い 効率的なフラッシュ利用 Smart Flash Cache はよく利用するデータのみをキャッシュする 高性能な Flash と低コストなディスクを効率よく利用可能 Flash PCI カードを使用 ディスクコントローラのボトルネックを解消 26
OLTP も高速化できる仕組み 高速な理由 Exadata Smart Flash Cache ( 従来 ) 問い合わせ (Exadata Smart Flash Cache) 問い合わせ DB サーバ メモリ DB サーバ メモリ 約 5 万 I/O sec. ストレージサーバー フラッシュカード Exadata Smart Flash Cache 5TB 約 100 万 I/O sec. フラッシュカードをキャッシュとして使用 ストレージサーバー ハードディスク 15TB ハードディスク 15TB 自動的にデータをキャッシュ 27
統合データベース環境に求められるもの 集約した複数のデータベースに対して独立したリソースを割当て柔軟にリソースの再分配ができること 28
3 つのアプリケーションに対してサーバー リソースを適切に割り当てる 割り当てできるサーバーリソースの例 CPU 並列度度実行時間アイドル時間 アクティブ セッション数 UNDO 使用量 実行制御 29
統合データベース向けて Oracle Exadata Database Machine のソリューション 柔軟なリソース管理を実現 DBサーバー Database Resouce Managment ポリシーベース管理 x2 Quality of Service Management ストレージサーバー Exadata I/O Resouce Management 30
Database Resource Management Oracle Database Resource Manager 特定のグループに対してリソースの割り当てを制御する 例 :CPU リソースの割り当てを指定 31
ポリシーベース管理 (11g R2 Oracle Grid Infrastructure) ポリシーベース管理 複数データベースに サーバー台数を柔軟に割り当てる 営業時間は OLTP 処理に 3 台のサーバーを割当て 業務終了後には 逆に集計作業に 3 台のサーバーを割当てたい Oracle Grid Infrastructure Oracle Grid Infrastructure 32
Oracle Exadata Database Machine X2 新機能 Quality of Service Management(QoS 管理 ) QoS 管理 リソース割当てルールの妥当性を評価しリソース変更の判断と実行を動的かつ容易に行うための仕組み Oracle Grid Infrastructure 33
1 時間帯別のリソース割当定義を策定 ( 管理者 ) サーバーの割り当てと サービスの優先度 OLTP 業務のパフォーマンス目標を決める 2 リソース使用状況の監視 計測 (QoS) アプリケーション応答時間 OS リソース サーバープール割当て状況を監視しパフォーマンス情報を計測 3 ボトルネックを分析し提案 (QoS) ボトルネックのポイントを管理者に提示 CPU リソース不足の場合には 優先度をあげるもしくはサーバーの割当てを増やすという推奨およびその効果を提示 4 リソース割り当ての変更の指示 ( 管理者 ) 5 リソース割当の変更を行い成果をレビュー (QoS) 34
Enterprise Manager から QoS 管理の一連作業が可能 データベース管理者が 最適なリソース割当てを容易に実現することを支援 1 ポリシーの定義と設定 ポリシー定義ウィザード 2 アプリケーション パフォーマンスの監視 ボトルネック ダッシュボード & アラート 3 リソース割当に問題が生じた場合の変更提案変更によりどれだけの効果が期待されるか提示 Expert-System リコメンデーション 4 変更前後のアプリケーション パフォーマンスの確認 ヒストリカル メトリックス ビューワー 35
Exadata I/O Resource Management ストレージ I/O の帯域リソースの割り当てを制御 インタラクティブ処理 複数 DB にまたがったカテゴリー別の Database - A Database - B 30% カテゴリー別の I/O リソースの制御 非定型分析 : 50% の I/O リソース (Single-Instance) (RAC) レポーティング : 30% のI/Oリソース ETL 処理 : 20% のI/Oリソース 70% バッチ処理 複数 DB の各 DB の I/O リソースの制御 33% 67% Database A: 33% の I/O リソース Database B: 67% の I/O リソース 70% 30% 単一 DB 内での I/O リソースを制御 インタラクティブ処理 : 30% の I/O リソース Exadata Cell Exadata Cell Exadata Cell DB-B バッチ処理 : 70% の I/O リソース 36
Database Consolidation に最適なマシン 大容量メモリによって複数データベースの統合が可能に ERP CRM OLTP DWH バッチ レポーティングなどの混合ワークロードでの最高性能 Warehouse Grid Infrastructure により 複数データベースシステムのリソースを共有が可能 Data Mart HR ワークロードごとの I/O リソース CPU リソースの確保 動的かつ容易な再分配が可能 37
Oracle Exadata Database Machine X2 新機能 性能劣化のないデータベース暗号化を実現 復号化処理をソフトウエアからハードウエアへ Intel Xeon 5600 プロセッサの暗号化アクセラレーション機能 (AES-NI) および Advanced Security Option により データベース暗号化を実現 性能を劣化させることなく データ暗号化 復号処理を可能に データベース サーバー (X2-2 の場合 ) ハードウェアによるデータベース暗号化の実現書込み時の暗号化 / 読取り時の復号処理 ストレージ サーバー (X2-2,X2-8 共通 ) ハードウェアによるデータベース暗号化の実現 Smart Scan で読取り時の復号処理 38
Oracle Exadata Database Machine Oracle Database に最適化されたプラットフォーム Best Machine for Data Warehousing Best Machine for OLTP Best Machine for Database Consolidation 高速処理 低コスト 高可用性 39
本資料の関連資料は下記をクリックして PDF 一覧からお入り下さい IT ライブラリー (pdf 100 冊 ) http://www.geocities.jp/ittaizen/itlib1/ 目次番号 150 番他 40