PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

みさきすえたけ
6 years ago
Views:

1 OSS のカラム型データベースエンジン MariaDB ColumnStore ビッグデータ分析などに適した大規模並列処理に対応するデータベースエンジン

2 MariaDB について MySQL から派生したオープンソースリレーショナルデータベース MariaDB は MySQL のオリジナルコード開発者である Michael Monty Widenius 氏によって開発されている MySQL と MariaDB は基本的にはほぼ同じ機能異なる点としてはストレージエンジンの追加 / 変更がされている ( オプティマイザーとか他にもあるけど別な機会に ) MariaDB は MySQL の標準ストレージエンジンに加え多くのストレージエンジンを採用 Aria InnoDB/XtraDB MyISAM NDB Archive Memory Federated-X ColumnStore Galera Sphinx TokuDB Connect Cassandra Spider 本日は MariaDB Column Store と Spider についての解説

3 昨今の DWH IoT ログデータ分析用データベース SQL で分析したい!! カラムナー ( 列指向 ) データベース並列処理

4 列指向データベースのメリット列指向とは? メリットは? ( シーケンシャルな ) アクセス効率 + データ圧縮 = 分析基盤に向いている 1 ブロックには様々なタイプのデータが格納されているので圧縮効率を上げにくい 1 ブロックには同様のタイプのデータが格納されているので圧縮効率を上げやすい

5 列指向データベースのデメリットデメリットは? 一般的に ( ランダムな ) アクセスが非効率 + データ圧縮 = OLTP 基盤に向いていない更新時に圧縮展開のオーバーヘッドが大きい (*1)

6 データベースを稼働させるサーバの並列化システム構成といえば SMP システム MPP システム

7 SMP Symmetric Multi-processing 対称型マルチプロセッシング物理メモリ共有型の並列コンピューティング方式一台の筐体内に複数の CPU( コア ) を搭載したサーバ CPU( コア ) を増設することで処理能力を向上させる CPU( コア ) キャッシュ CPU( コア ) キャッシュ CPU( コア ) キャッシュ CPU( コア ) キャッシュスケールアップ!! Bus メモリ (RAM)

8 MPP Massively Parallel Processing 超並列処理複数の筐体 ( ノード ) をネットワークで接続して並列計算するクラスターシステムそれぞれのノードで独立した CPU メモリ OS が動作しているノードを増設することで処理能力を向上させるネットワーク ( 専用高速ファブリック ) CPU( コア ) キャッシュ CPU( コア ) キャッシュ CPU( コア ) キャッシュ CPU( コア ) キャッシュ CPU( コア ) キャッシュ CPU( コア ) キャッシュ Bus Bus Bus スケールアウト!! メモリ (RAM) メモリ (RAM) メモリ (RAM)

9 MariaDB Column Store の特徴 MariaDB ColumnStore はMPP 向けに設計されたカラム型ストレージエンジンリニアにスケールアウト分析クエリーのリアルタイム処理に優れているカラム型ストレージエンジンの効率的なI/O データの自動圧縮解凍

10 MariaDB ColumnStore の構成 MariaDB Column Store は分散超並列処理 (MPP) 向けに設計されたカラム型ストレージエンジンで複数の異なるコンポーネントで構成され連携して動作しますユーザー端末 [ ユーザーモジュール ] SQL の解析と実行計画作成データ配置の管理結果セットの集約 [ パフォーマンスモジュール ] PM 1 PM 2 PM 3 scale out PM <N> クエリ実行とキャッシュ管理フィルタ / ジョイン処理リードとライトフェールオーバーデータストレージ ( 冗長化可 )

11 ColumnStore ストレージアーキテクチャーエクステントは物理的なセグメントファイル内に存在する論理ブロックエクステントマップにはエクステント及び対応するブロックを管理データの抽出と配置はエクステントマップにより高速で処理されるリアルタイム解凍と圧縮バージョンバッファーファイル (UNDO) ーエクステントマップの仕組みー SELECT COL1 FROM TABLE WHERE COL1 BETWEEN 220 AND 250; 除外処理除外 COL1 Ext1 min 1 max 100 Ext2 min 101 max 200 Ext3 min 201 max 300 Ext4 min 301 max 400 COL1 フィルター : エクステント 1,2,4 を除外エクステントマップのイメージ COL1のエクステントマップ Ext1 min 1 max 100 LBID Ext2 min 101 max 200 LBID Ext3 min 201 max 300 LBID Ext4 min 301 max 400 LBID LBID 論理ブロック識別子 TABLE COL1 800 万件 800 万件 800 万件 800 万件エクステント 3 のみ I/O が発生する

12 SELECT COL1, COL2 FROM TABLE WHERE COL1 BETWEEN 220 AND 250 AND COL2 < 10000; COL1 フィルター : エクステント 1,2,4 を除外 COL2 フィルター : エクステント 3 を除外 I/O は発生しない除外除外 COL1 Ext1 min 1 max 100 Ext2 min 101 max 200 Ext3 min 201 max 300 COL2 Ext1 min 100 max Ext2 min max Ext3 min max 除外 Ext4 min 301 max 400 Ext4 min max エクステントマップのイメージ COL1のエクステントマップ Ext1 min 1 max 100 LBID Ext2 min 101 max 200 LBID Ext3 min 201 max 300 LBID Ext4 min 301 max 400 LBID TABLE COL1 COL2 800 万件 800 万件 COL2のエクステントマップ Ext1 min 100 max LBID Ext2 min max LBID Ext3 min max LBID Ext4 min max LBID 800 万件 800 万件 800 万件 800 万件 800 万件 800 万件

14 デモ InnoDB ColumnStore Single ColumnStore PM x 2

15 デモ環境 :InnoDB デモマシン CPU 24 CORE メモリ 48G SSD TPCH 1 User 10G Query 1, 5, 7, 14, 15, 16 MariaDB Engine : InnoDB

16 デモ環境 :ColumnStore Single デモマシン CPU 24 CORE メモリ 48G SSD TPCH 1 User 10G Query 1, 5, 7, 14, 15, 16 MariaDB UM,PM Engine : ColumnStore

17 デモ環境 :ColumnStore PM x 2 デモマシン CPU 24 CORE メモリ 48G SSD TPCH 1 User 10G Query 1, 5, 7, 14, 15, 16 MariaDB UM MariaDB PM Engine : ColumnStore

18 Let s DEMO!!

19 デモ結果 ( 実行例 )

20 デモ結果 ( 実行例 )

21 TPC-H 全クエリでの比較 InnoDB ではクエリ 18 が返ってこなかったため除外 ColumnStore は InnoDB の約 8 倍!!

22 TPC-H 全クエリでの比較 ColumnStore は InnoDB の約 8 倍!! Columner X は ColumnStore Single の約 10 倍!! (InnoDB の約 80 倍 ) (Columner X とは Actian Vector のこと )

23 次回はこんなのやってみたいな MariaDB UM MariaDB PM Engine : ColumnStore * 10 台

24 Spider ストレージエンジンについて Spider は MariaDB MySQL のストレージエンジン他のサーバにある MariaDB,MySQL,Oracle DB 他のテーブルをあたかもそのデータベースのにあるテーブルのように利用可能テーブルのパーティションを定義する事により複数のサーバにデータを分割する事が可能 MariaDB から標準でバンドルされている

25 Spider で出来る事フェデレーション他のサーバのテーブルをローカルサーバのテーブルとして使用可能シャーディングテーブルを複数のサーバに分散する事が出来る

26 フェデレーションアプリケーションは 1 つのデータベースに接続するたけでデータの場所を気にせず利用可能 EMP MariaDB Spider Engine <- select empno,ename,job,deptno from emp; EMPNO ENAME JOB DEPTNO 7369 SMITH CLERK ALLEN SALESMAN WARD SALESMAN JONES MANAGER MARTIN SALESMAN BLAKE MANAGER CLARK MANAGER SCOTT ANALYST KING PRESIDENT TURNER SALESMAN ADAMS CLERK JAMES CLERK FORD ANALYST MILLER CLERK 10 MariaDB MariaDB MariaDB EMPNO ENAME JOB DEPTNO DEPT SMITH CLERK 20 DEPTNO DNAME LOC 7499 ALLEN SALESMAN WARD SALESMAN ACCOUNTING NEW YORK 7566 JONES MANAGER RESEARCH DALLAS 7654 MARTIN SALESMAN SALES CHICAGO 7698 BLAKE MANAGER OPERATIONS BOSTON 7782 CLARK MANAGER SCOTT ANALYST KING PRESIDENT TURNER SALESMAN ADAMS CLERK JAMES CLERK FORD ANALYST MILLER CLERK 10 * 記載されている会社名サービス名製品名は株式会社インサイトテクノロジーおよび各社の商標または登録商標です Copyright 2016 Insight Technology, Inc. All Rights Reserved.

27 シャーディングアプリケーションは 1 つのデータベースに接続するたけで全てのデータベースを透過的に利用可能 MariaDB + Spider Engine <- select empno,ename,job,deptno from emp; EMPNO ENAME JOB DEPTNO 7369 SMITH CLERK ALLEN SALESMAN WARD SALESMAN JONES MANAGER MARTIN SALESMAN BLAKE MANAGER CLARK MANAGER SCOTT ANALYST KING PRESIDENT TURNER SALESMAN ADAMS CLERK JAMES CLERK FORD ANALYST MILLER CLERK 10 MariaDB MariaDB MariaDB EMP EMPNO ENAME JOB DEPTNO 7782 CLARK MANAGER KING PRESIDENT MILLER CLERK 10 EMP EMPNO ENAME JOB DEPTNO 7369 SMITH CLERK JONES MANAGER SCOTT ANALYST ADAMS CLERK FORD ANALYST 20 EMP EMPNO ENAME JOB DEPTNO 7499 ALLEN SALESMAN WARD SALESMAN MARTIN SALESMAN BLAKE MANAGER TURNER SALESMAN JAMES CLERK 30

28 シャーディングでの JOIN MariaDB + Spider Engine アプリケーションは 1 つのデータベースに接続するたけで全てのデータベースを透過的に利用可能 EMP <- select e.empno,e.ename,e.job,d.deptno,d.dname from emp e,dept d where e.deptno=d.deptno; empno ename job deptno dname CLARK MANAGER 10 ACCOUNTING 7839 KING PRESIDENT 10 ACCOUNTING 7934 MILLER CLERK 10 ACCOUNTING 7369 SMITH CLERK 20 RESEARCH 7566 JONES MANAGER 20 RESEARCH 7788 SCOTT ANALYST 20 RESEARCH 7876 ADAMS CLERK 20 RESEARCH 7902 FORD ANALYST 20 RESEARCH 7499 ALLEN SALESMAN 30 SALES 7521 WARD SALESMAN 30 SALES 7654 MARTIN SALESMAN 30 SALES 7698 BLAKE MANAGER 30 SALES 7844 TURNER SALESMAN 30 SALES 7900 JAMES CLERK 30 SALES MariaDB MariaDB MariaDB EMPNO ENAME JOB DEPTNO 7782 CLARK MANAGER KING PRESIDENT MILLER CLERK 10 DEPT DEPTNO DNAME LOC ACCOUNTING NEW YORK 20 RESEARCH DALLAS 30 SALES CHICAGO 40 OPERATIONS BOSTON EMP EMPNO ENAME JOB DEPTNO 7369 SMITH CLERK JONES MANAGER SCOTT ANALYST ADAMS CLERK FORD ANALYST EMP EMPNO ENAME JOB DEPTNO 7499 ALLEN SALESMAN WARD SALESMAN MARTIN SALESMAN BLAKE MANAGER TURNER SALESMAN JAMES CLERK 30

29 データの更新 update EMP set DEPTNO = 20 where EMPNO=7839; commit; select e.empno,e.ename,e.job,d.deptno,d.loc from emp e,dept d where e.deptno=d.deptno; empno ename job deptno dname CLARK MANAGER 10 ACCOUNTING 7839 KING PRESIDENT 20 RESEARCH 7934 MILLER CLERK 10 ACCOUNTING 7369 SMITH CLERK 20 RESEARCH EMP EMPNO ENAME JOB DEPTNO 7782 CLARK MANAGER KING PRESIDENT MILLER CLERK 10 DEPT DEPTNO DNAME LOC ACCOUNTING NEW YORK 20 RESEARCH DALLAS 30 SALES CHICAGO 40 OPERATIONS BOSTON MariaDB + Spider Engine XA 2PC EMP EMPNO ENAME JOB DEPTNO 7369 SMITH CLERK JONES MANAGER SCOTT ANALYST KING PRESIDENT ADAMS CLERK FORD ANALYST JONES MANAGER 20 RESEARCH 7788 SCOTT ANALYST 20 RESEARCH 7876 ADAMS CLERK 20 RESEARCH 7902 FORD ANALYST 20 RESEARCH 7499 ALLEN SALESMAN 30 SALES 7521 WARD SALESMAN 30 SALES 7654 MARTIN SALESMAN 30 SALES 7698 BLAKE MANAGER 30 SALES 7844 TURNER SALESMAN 30 SALES 7900 JAMES CLERK 30 SALES MariaDB MariaDB MariaDB EMP EMPNO ENAME JOB DEPTNO 7499 ALLEN SALESMAN WARD SALESMAN MARTIN SALESMAN BLAKE MANAGER TURNER SALESMAN JAMES CLERK 30

30 複数サーバへの更新 update dept set LOC = 'TOKYO' where deptno=30; insert into emp values(8000, TOM','ANALYST',7566,' ',1000,100,30); commit; select e.empno,e.ename,e.job,d.deptno,d.loc from emp e,dept d where e.deptno=d.deptno; 複数サーバへの更新は Spider の 2 フェースゴミットによって一貫性が担保されます Commit が Spider 内部で 2 フェースゴミットに変換されます EMP EMPNO ENAME JOB DEPTNO 7782 CLARK MANAGER KING PRESIDENT MILLER CLERK 10 DEPT DEPTNO DNAME LOC ACCOUNTING NEW YORK 20 RESEARCH DALLAS 30 SALES TOKYO 40 OPERATIONS BOSTON MariaDB + Spider Engine XA 2PC EMP EMPNO ENAME JOB DEPTNO 7369 SMITH CLERK JONES MANAGER SCOTT ANALYST ADAMS CLERK FORD ANALYST empno ename job deptno loc CLARK MANAGER 10 NEW YORK 7839 KING PRESIDENT 10 NEW YORK 7934 MILLER CLERK 10 NEW YORK 7369 SMITH CLERK 20 DALLAS 7566 JONES MANAGER 20 DALLAS 7788 SCOTT ANALYST 20 DALLAS 7876 ADAMS CLERK 20 DALLAS 7902 FORD ANALYST 20 DALLAS 7499 ALLEN SALESMAN 30 TOKYO 7521 WARD SALESMAN 30 TOKYO 7654 MARTIN SALESMAN 30 TOKYO 7698 BLAKE MANAGER 30 TOKYO 7844 TURNER SALESMAN 30 TOKYO 7900 JAMES CLERK 30 TOKYO 8000 TMO ANALYST 30 TOKYO MariaDB MariaDB MariaDB EMP EMPNO ENAME JOB DEPTNO 7499 ALLEN SALESMAN WARD SALESMAN MARTIN SALESMAN BLAKE MANAGER TURNER SALESMAN JAMES CLERK TOM ANALYST 30

31 Spider の設定例サーバ情報の定義 CREATE SERVER spidata1 FOREIGN DATA WRAPPER mysql OPTIONS (USER 'spider', HOST ' XX.100', PORT 3306); CREATE SERVER spidata2 FOREIGN DATA WRAPPER mysql OPTIONS (USER 'spider', HOST ' XX.101', PORT 3306); MariaDB [mysql]> select * from servers; Server_name Host Db Username Password Port Socket Wrapper Owner spidata XX.100 spider 3306 mysql spidata XX.101 spider 3306 mysql rows in set (0.00 sec) 1 対 1 Spider テーブルの作成 CREATE TABLE nation ( N_NATIONKEY INTEGER NOCREATE TABLE nation ( N_NATIONKEY INTEGER NOT NULL, N_NAME CHAR(25) NOT NULL, N_REGIONKEY INTEGER NOT NULL, N_COMMENT VARCHAR(152)) ENGINE = SPIDER DEFAULT CHARSET=utf8 comment 'server "spidata1", table "nation" ;

32 Spider の設定例 1 対多 ( シャーディング ) Spider テーブルの作成 CREATE TABLE orders ( O_ORDERKEY INTEGER NOT NULL, O_CUSTKEY INTEGER NOT NULL, O_ORDERSTATUS CHAR(1) NOT NULL, O_TOTALPRICE DECIMAL(15,2) NOT NULL, O_ORDERDATE DATE NOT NULL, O_ORDERPRIORITY CHAR(15) NOT NULL, O_CLERK CHAR(15) NOT NULL, O_SHIPPRIORITY INTEGER NOT NULL, O_COMMENT VARCHAR(79) NOT NULL) ENGINE = SPIDER DEFAULT CHARSET=utf8 partition by range (O_ORDERKEY) ( PARTITION P1 VALUES LESS THAN ( ) comment 'server "spidata1", table "orders"', PARTITION P2 VALUES LESS THAN ( ) comment server spidata2, table orders );

33 Spider を使えばこんな事も出来るはず.. OTHER

34 Spider を使えばこんな事も出来るはず.. to be continued OTHER

第 2 章問合せの基本操作この章ではデータベースから情報を検索する際に使用する SELECT コマンドおよび SELECT コマンドと同時に使用する句について説明します 1. 問合せとは 2. 基本的な問合せ 3. 列の別名 4. 重複行を一意にする 5. 検索行の絞込み 6. 文字パター

第 2 章問合せの基本操作この章ではデータベースから情報を検索する際に使用する SELECT コマンドおよび SELECT コマンドと同時に使用する句について説明します 1. 問合せとは 2. 基本的な問合せ 3. 列の別名 4. 重複行を一意にする 5. 検索行の絞込み 6. 文字パターはじめにコース概要と目的データベース処理に使用する SQL の基本構文と使用方法について説明します受講対象者 SQL を使用してアプリケーション開発される方管理者となられる方前提条件 Oracle 概要コースを受講された方もしくは同等の知識をお持ちの方テキスト内の記述について構文 [ ] 省略可能 { A B } A または B のどちらかを選択 n _ 数値の指定デフォルト値