PowerPoint プレゼンテーション

Transcription

1

2 MySQL Database のご紹介 Yoshiaki Yamasaki / 山﨑由章 MySQL Senior Sales Consultant, Asia Pacific and Japan

3 Safe Harbor Statement 以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメントするものではない為 購買決定を行う際の判断材料になさらないで下さい オラクル製品に関して記載されている機能の開発 リリースおよび時期については 弊社の裁量により決定されます 3

4 The world's most popular open source database 世界で最も普及しているオープンソースデータベース 4

5 The world's most popular open source database 例 ) DB-Engines による調査結果 データベースソフトウェアの普及度や人気を インターネット上の求人情報や職務経歴上での経験 および検索エンジンや SNS での情報量を元に 毎月を作成し公開 5

6 Oracle Database & MySQL Complementary 補完関係 より多くのお客様の要件にお応えするために MySQLはWebにおけるデファクトスタンダード MySQLとOracleの両方を運用されるお客様にもより多くのメリット Web and Cloud computing is not a "one size fits all" model 6

7 MySQL の強み 世界でもっとも普及している オープンソースデータベース LAMP スタックの "M" Web アプリケーションを開発する時のデファクトスタンダード マルチプラットフォーム対応 Windows, Linux, Solaris 高性能 軽量 高信頼 特に OLTP 系の処理が得意 導入や運用の容易性 ダウンロードからデータベース起動まで 15 分以内 管理不要なシンプルさ 7

8 MySQL の歴史 MySQL Sun Oracle 以前ストレージエンジン (ISAM, HEAP) マルチスレッド Windows 対応 /64bit 対応日本語文字コード (SJIS/UJIS) 3.23 MyISAM InnoDB レプリケーション 4.1 Unicode 対応サブクエリ CSV, ARCHIVE ndbcluster 5.1 プラグガブル ストレージエンジン アーキテクチャパーティショニングタスクスケジューラ 5.6 memcached API UNDO 表領域 Global Transaction ID マルチスレッドスレーブオンライン ALTER TABLE トランスポータブル表領域 1995 年 : スウェーデンにて MySQL AB 設立 (2005 年 : オラクルが Innobase Oy を買収 ) 2008 年 :Sun Microsystems が MySQL AB を買収 2010 年 : オラクルが Sun Microsystems を買収 4.0 全文検索 /GIS (MyISAM) 複数テーブル UPDATE/DELETE 組み込みライブラリ型サーバ 5.0 ストアドプロシージャストアドファンクションカーソル / トリガ / ビュー XA トランザクション INFORMATION_SCHEMA 5.5 InnoDB がデフォルトに準同期型レプリケーション PERFORMANCE_SCHEMA 年 10 月 21 日 GA 新コストモデルオプティマイザロスレスレプリケーションマルチソースレプリケーショングループレプリケーション全文検索 CJK 対応 /GIS (InnoDB) セキュリティ強化データディクショナリ NoSQL オプション 8

9 Driving MySQL Innovation: MySQL Enterprise Monitor 2.2 MySQL Cluster 7.1 MySQL Cluster Manager 1.0 MySQL Workbench 5.2 MySQL Database 5.5 MySQL Enterprise Backup 3.5 MySQL Enterprise Monitor 2.3 MySQL Cluster Manager 1.1 MySQL Enterprise Backup 3.7 MySQL Windows Installer MySQL Enterprise Security MySQL Enterprise Scalability MySQL Enterprise Audit MySQL Cluster 7.2 MySQL Cluster Manager 1.3 MySQL Utilities MySQL Workbench 6.0 MySQL Windows Tools MySQL Cluster 7.3 MySQL Cluster Manager 1.3 MySQL Enterprise Monitor 3.0 MySQL Fabric MySQL Workbench 6.3 MySQL Cluster 7.4 MySQL Enterprise Firewall MySQL Enterprise Backup 4.0 MySQL Router Oracle Products Certifications MySQL Database 5.6 MySQL Database 5.7 All GA! All GA! All GA! Partial List of Releases Delivered 日本語全文検索, JSON データ型をサポート Available Now! 9

10 MySQL 5.7 におけるパフォーマンスと拡張性の改良 10

11 Queries per Second MySQL 5.7 Sysbench Benchmark: SQL による一意検索 MySQL 5.6より3 倍高速 MySQL 5.5より4 倍高速 1,600,000 QPS 1,800,000 MySQL 5.7: Sysbench OLTP Read Only (SQL Point Selects) 1,600,000 1,400,000 1,200,000 1,000, , , , , ,024 Connections MySQL 5.7 MySQL 5.6 MySQL 5.5 Intel(R) Xeon(R) CPU E v3 4 sockets x 18 cores-ht (144 CPU threads) 2.5 Ghz, 512GB RAM Linux kernel

12 Queries per Second MySQL 5.7 Sysbench Benchmark: OLTP 読み取りのみ MySQL 5.6より3 倍高速 ~ 1,000,000 QPS 1,200,000 MySQL 5.7: Sysbench OLTP Read Only 1,000,000 MySQL , , ,000 MySQL , ,024 Connections MySQL 5.5 Intel(R) Xeon(R) CPU E v3 4 sockets x 18 cores-ht (144 CPU threads) 2.5 Ghz, 512GB RAM Linux kernel

13 Queries per Second MySQL 5.7 Sysbench Benchmark: OLTP 読み取り & 書き込み MySQL 5.6 より 1.5 倍高速 700,000 MySQL 5.7: Sysbench OLTP Read Write 600,000 MySQL , , , , , ,024 Connections MySQL 5.6 MySQL 5.5 Intel(R) Xeon(R) CPU E v3 4 sockets x 18 cores-ht (144 CPU threads) 2.5 Ghz, 512GB RAM Linux kernel

14 オプティマイザの改善 SQL 文の実行速度を向上 CPUとディスクスペースの削減 オプティマイザとパーサーのリファクタリング 可読性 保守性 安定性の向上 独立した解析 最適化 実行ステージ 機能追加時のリスク軽減 New ヒントフレームワーク より容易な管理 新しいヒントの追加 JSON EXPLAIN の改善 実行中のスレッドに対する EXPLAIN 新しいコストベース オプティマイザ 機能拡張が容易に チューニング可能 mysql.server_cost mysql.engine_cost テーブルを使用してコストをチューニング 一時テーブルに InnoDB を使用 ONLY_FULL_GROUP_BY モードの改善 多くの新しい最適化 Generated Columns 14

15 Execution time relative to 5.6 (%) オプティマイザー コストモデル : パフォーマンス改善 DBT-3 (Size Factor 10, CPU bound) MySQL 5.6 MySQL Q3 Q7 Q8 Q9 Q12 22 クエリ中 5 クエリは オプティマイザの改善により大幅にパフォーマンス改善 Q8 は 5.6: 約 25 秒 5.7: 約 3 秒まで短縮 ( データがキャッシュ上にあるテスト ) 15

16 Execution time relative to 5.6 (%) Execution time relative to 5.6 (%) オプティマイザー コストモデル : パフォーマンス改善 DBT-3 (Size Factor 10) 100 CPU bound 100 Disk bound Q2 Q18 Q2 Q18 22クエリ中 2クエリは オプティマイザの改善により著しくパフォーマンス改善 Q2は 5.6: 約 3 分 5.7:1 秒 Q18は 5.6: 約 20 分 5.7:40 秒まで短縮 ( データがキャッシュ上にないテスト ) 16

17 JSON EXPLAIN へのコスト情報追加 より具体的な値をベースに最適化を実施 { "query_block": { "select_id": 1, "cost_info": { JSON EXPLAIN を拡張 出力可能なコスト情報を全て表示 MySQL Workbench の Visual Explain にも表示... "query_cost": "200.40" }, "table": { "table_name": "nicer_but_slower_film_list", "access_type": "ALL", "rows_examined_per_scan": 992, "rows_produced_per_join": 992, "filtered": 100, "cost_info": { "read_cost": "2.00", "eval_cost": "198.40", "prefix_cost": "200.40", "data_read_per_join": "852K" }, "used_columns": [ "FID", "title", "description", "category", "price", "length", "rating", "actors" ], 17

18 MySQL Workbench データベースアーキテクト 開発者 DBA のための統合ビジュアルツール 管理ツール SQLエディタ Performance Dashboard Visual Explain GIS Viewer ER 図作成 フォワード / リバースエンジニアリング など豊富な機能 商用版のみの機能 : DB ドキュメント出力 データモデルの検証 MySQL Enterprise Backup GUI MySQL Enterprise Audit GUI 18

19 MySQL Workbench データベース マイグレーション ウィザード 移行元 Microsoft SQL Server, PostgreSQL, Sybase ASE, Sybase SQL Anywhere, SQLite, Microsoft Access, MySQL, and more オブジェクトとデータの移行 MySQL バージョンアップグレード ( テスト環境用 ) 19

20 JSON データ型の追加 JSON 関数による管理面の強化と高速なドキュメント処理 20

21 Why JSON support in MySQL? シリアルフォーマットの便利なオブジェクト 効果的に JSON データを処理する為 JavaScript アプリケーションのネイティブサポート リレーショナルデータとスキーマレスデータのシームレスな統合 既存のデータベース インフラストラクチャを新しいアプリケーションでも活用 外部サイト /SNS 柔軟な BtoB,BtoC 連携ドキュメントデータを高速処理 モバイルデバイス コマース / ポータル その他 REST/JSON (data JSON); 21

22 JSON サポート ネイティブ JSON データ型 データ処理と保管にネイティブな内部バイナリ形式サポート Insert 時の JSON 構文バリデーション機能 組み込み JSON 関数 効率よくドキュメントを保存 検索 更新 操作する事を可能に JSON コンパレータ 文書データを容易に SQL クエリと統合することが可能 Generated Columns を利用し ドキュメントにインデックスを利用可能 InnoDB は Generated Columns へのインデックス作成をサポート (stored&virtual) 新しいアナライザーは自動的に 利用可能で最適なインデックスを利用 22

23 JSON と TEXT データタイプの比較 206,000 件のドキュメントに対して インデックスを使わずに検索 # JSON データ型で feture カラムを SELECT SELECT DISTINCT feature->"$.type" as json_extract FROM features; json_extract "Feature" row in set (1.25 sec) # TEXT データ型で feture カラムを SELECT SELECT DISTINCT feature->"$.type" as json_extract FROM features; json_extract "Feature" row in set (12.85 sec) 23

24 JSONデータ型と関数インデックスの使用ドキュメントに対するスキャンをインデックススキャンに変更 ALTER TABLE features ADD feature_type VARCHAR(30) AS (JSON_UNQUOTE(feature- >'$.type')); Query OK, 0 rows affected (0.01 sec) メタデータの変更のみのため高速 テーブルへはアクセス不要 Records: 0 Duplicates: 0 Warnings: 0 ALTER TABLE features ADD INDEX (feature_type); Query OK, 0 rows affected (0.73 sec) Records: 0 Duplicates: 0 Warnings: 0 SELECT DISTINCT feature_type FROM features; feature_type "Feature" row in set (0.06 sec) インデックス作成のみの場合 行データにはアクセスしない インデックス使用により 1.25 秒 0.06 秒に短縮 24

25 InnoDB 全文検索の日本語サポート 25

26 全文検索とは? 文書内の要素を検索する 文字列を格納するデータ型が対象 VARCHAR, TEXT, BLOB 検索文字列 単語の組み合わせ フレーズ : 検索する文字列 ワイルドカード : * ブール全文検索演算子 : +, -, ~ 関連重み付け文字 : <, > 26

27 全文検索インデックス無しでの検索 27

28 全文検索インデックス有りでの検索 28

29 全文検索の用途例 コンテンツ管理 情報に対する説明などのメタデータ 検索結果により有用な情報を提供 検索サービス 特定の用語やトークンを含むドキュメントを検索 現在の表示に最も類似したドキュメントを検索 ユーザが最も興味のあるデータを検索 29

30 全文検索インデックス トークンと文章の関係を表現した転置インデックス Documents Token Filters Full Text / Inverted Index This movie is about a boy going to war. This movie is about a girl starting an autoshop. This movie is about flowers. Document 1 Tokenizer Document 2 Tokenizer Document 3 Stop Words a about an are as at be by com de en for from how i in is it la of on or that the this to was what when where who will with und the www Token Size Min Token Size Max Token Size Indexer Indexer ID TOKEN DOCUMENT 1 movie 1,2,3 2 boy 1 3 girl 2 4 going 1 5 starting 2 6 war 1 7 auto-shop 2 8 flowers 3 30

31 MySQL 5.7 での強化点 N-gram による中国語 韓国語 日本語サポート N 文字区切りでトークンを検出 mysql> SELECT * FROM INFORMATION_SCHEMA.INNODB_FT_INDEX_TABLE ORDER BY doc_id, position LIMIT 10; WORD FIRST_DOC_ID LAST_DOC_ID DOC_COUNT DOC_ID POSITION ロー ール ルと とグ グル ルー ープ プベ 環境 ベー rows in set (0.01 sec)c 31

32 MySQL 5.7 での強化点 MeCab による日本語サポート Mecab( オープンソースの日本語辞書 ) を使ってトークンを検出 mysql> SELECT * FROM INFORMATION_SCHEMA.INNODB_FT_INDEX_TABLE ORDER BY doc_id, position LIMIT 10; WORD FIRST_DOC_ID LAST_DOC_ID DOC_COUNT DOC_ID POSITION ロール グループ 環境 ベース アクセス コントロール により mysql dba きめ細か rows in set (0.00 sec) 32

33 GIS サポートの改善 33

34 GIS 機能の改善 Boost.Geometry と統合し 独自コードを置き換え 空間図形情報の計算 空間図形情報の分析 OGC 準拠 パフォーマンスの向上 Boost.Geometry コミュニティとの交流 非常に活発なコミュニティ Boost.Geometry へのコントリビューも MySQL Workbench に搭載された Spatial ビューアー Geometry ビューアーで geometry 型のデータを容易に確認可能 34

35 InnoDB での空間インデックス R-tree based トランザクションサポート レコードは最小の bounding box ( 境界線 ) を含む 現時点では 2D データのみをサポート 3D データのサポートも計画中 35

36 追加機能 GeoHash 経度 緯度の情報を短い文字列で表現 経度 緯度の情報を素早く検索 精度を落とすことで近くのエリアが検索可能 GeoJSON ST_Distance_Sphere() ST_MakeEnvelope() などの便利な関数の提供 { } GeoJSON Example "type": "Feature", "geometry": { "type": "Point", "coordinates": [125.6, 10.1] }, "properties": { "name": "Dinagat Islands" } 36

37 MySQL 5.7 における運用 管理面の強化 37

38 Performance Schema の強化 メモリ統計情報 統計情報の収集 メモリの利用タイプ別 ( キャッシュ 内部バッファ ) memory_summary_* テーブル スレッド / アカウント / ユーザ / ホスト毎のメモリ処理 含まれる属性情報 メモリ利用量 ( バイト ) 処理数 最大 / 最小 SQL 文統計情報 ストアドプロシージャ ストアドファンクション プリペアードステートメント トランザクション 追加情報 レプリケーションスレーブ情報 MDL ロック統計情報 スレッドごとのユーザ変数 Server stage tracking 長時間実行されている SQL 文 容易に使用可能 メモリフットプリントとオーバーヘッドの削減 38

39 SYS スキーマを標準搭載 DB 管理者 開発者や運用担当者を支援 DB 管理者や運用担当者の作業効率を改善 サーバの稼働状況 ユーザやホストの状況を監視 性能問題の発見 分析および改善 状況をより簡単に把握し理解するための複数のビュー IO 量の高いファイルや処理 ロック コストの高いSQL 文 テーブル インデックス スキーマの統計 他のデータベースにおける SYS 類似機能 : Oracle V$ 表 ( 動的パフォーマンスビュー ) Microsoft SQL Server DMV (Dynamic Management Views) 39

40 セキュリティ向上 AES 256 Encryption(Default in MySQL 5.7) パスワードローテーションポリシー インスタンス全体 ユーザー単位で設定可能 Deployment: デフォルトで安全に無人インストール可能 インストール時にランダムなパスワードを設定 匿名ユーザーを削除 test スキーマ デモファイルは作成されない インスタンスの容易な初期化とセットアップ : mysqld --initialize New detection and support for systemd SSL デフォルトで有効 既存の鍵と証明書を自動検知 必要に応じ鍵と証明書を自動生成 証明書作成新ツール : mysql_ssl_rsa_setup 新オプション "--require_secure_transport" を利用する事でセキュアでない通信を防ぐ事が可能 mysqlbinlog ツールの SSL サポート追加 Proxy User サポートの拡張 (Role に類似 ) Proxy ユーザー認証プラグインを標準搭載 複数ユーザーが 1 つの権限セットを共有可能 40

41 MySQL 5.7 におけるレプリケーション 高可用性機能の強化 41

42 レプリケーションの改善と拡張 GTID の改善 オンラインでのGTID 有効化 スレーブでのバイナリログ出力無しの構成可能 準同期レプリケーションの改善 "Lossless" 準同期 複数のスレーブからのACKを待つことも可能 マルチソース レプリケーション 1 台のスレーブに複数マスターからの更新を統合 レプリケーションフィルタを動的に変更可能 8-10 倍のスレーブのスループット向上 スレーブのボトルネックを排除 8 スレッドでマスターと同等のスループット コミット順序を維持するオプション 自動的なスレーブでのトランザクション再試行 250% 200% 150% 100% Slave throughput vs. 96 Thread Master 50% 0% Slave Threads 42

43 レプリケーションの改善と拡張 ( 続き ) マルチソース レプリケーション Master 1 Master 2 Master N 複数のマスターでの変更点を 1 台のスレーブに集約 全てのシャードのデータを集約 より柔軟なレプリケーション構成 バックアップ処理を集約 Binlog IO 1 Binlog IO 2 Binlog IO N 準同期レプリケーションとマルチスレッドスレーブと互換性あり Relay 1 Coordinator Relay 2 Coordinator Coordinator Relay N Coordinator スレーブを監視するためのパフォーマンス スキーマ テーブル W1 W2 WX W1 W2 WX W1 W2 WX W1 W2 WX オンラインオペレーションの向上 レプリケーションフィルタ スイッチマスター Slave 43

44 MySQL Router GA 接続とトランザクションのルーティング 44

45 New! MySQL Router GA 開発の背景 MySQL Fabric を透過的に利用したい Connector の変更不要 (Python, Java, PHP,.NET) Fabric 対応 Connector がない言語からの利用 (Ruby, Perl, C 等 ) グループレプリケーション利用時の競合削減 App 特徴 参照 & 更新および参照のみの処理を配信 どのサーバがマスターかを事前に知る必要がない 新しいマスターへの透過的なフェールオーバー 接続の転送とシンプルなロードバランス 高性能 プラグインアーキテクチャ 簡単なセットアップ 設定 実装 M S Router S Fabric M M M 45

46 補足 ) MySQL Fabric 1.5 概要高可用性構成とシャードによる拡張性 Application Connector Read-slaves HA group Application Router SQL Read-slaves HA group MySQL Fabric 高可用性構成 サーバ群を監視し マスタへの自動昇格 アプリケーションに影響を最小限に抑えるフェールオーバー シャードによるスケールアウトも可能 アプリケーションはシャードキーを提供 Range または Hash シャード管理ツール グローバルアップデート & テーブル 接続オプション Fabric 対応 Connectors MySQL Router OpenStack のサーバプロビジョニング Nova および Neutron API をサポート 46

47 補足 ) MySQL グループ レプリケーション Application MySQL Nodes MySQL Server API Replication Plugin Group Comms シェアード ナッシング型 疑似 同期レプリケーション 更新はマルチ マスタ型でどこでも可能 矛盾の検知と解決 ( トランザクションのロールバック "Optimistic State Machine" レプリケーション グループメンバーの管理と障害検知を自動化 サーバのフェールオーバー不要 構成の拡張 / 縮小の柔軟性 単一障害点無し 自動再構成 既存構成との統合 InnoDB GTIDベースのレプリケーション PERFORMANCE_SCHEMA 47

48 MySQLの拡張性向上 組み合わせ多用化 (HA + Sharding) 更なる高可用性と拡張性をサポート Server/Shard State & Mapping SQL Queries MySQL Router Global Data Shard 1 Shard 2 Coordination and Control Group Replication cluster Group Replication cluster Group Replication cluster MySQL Fabric controller cluster Global Group HA Group HA Group 48

49 49

50