Slide 1

Size: px

Start display at page:

Download "Slide 1"

みひなうえや
6 years ago
Views:

1 <Insert Picture Here> MySQL 5.5 Updates Mikiya Okuno Technical Analyst MySQL Global Business Unit

2 The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle.

3 満を持して出ました! 6.0 X 5.5 いくつかの機能を削除参照

4 MySQL 5.4/5.5 で追加された機能とは? MySQL 5.4 InnoDBの性能改善 DTrace Probeの追加 SHOW ENGINE INNODB STATUSの拡張設定値のデフォルト値を変更 MySQL 5.5 InnoDBの機能性能改善 (InnoDB Plugin) メタデータのロック改善 Semi-Synchronous Replication 4バイトUTF-8 対応 RANGE/LIST COLUMNSパーティショニング PERFORMANCE_SCHEMA XML 機能の拡充 (LOAD XML 文など ) SIGNAL/RESIGNAL など多数 6.0 から予定されていた機能?

5 InnoDB Improvements <Insert Picture Here>

6 MySQL と InnoDB のバージョン MySQL 5.4 ビルトイン InnoDB をベースにして独自に性能改善後に改善の内容は InnoDB Plugin に移植された InnoDB Plugin 1.0 合併の前に Innobase OY が独自に開発後に MySQL 5.1 にバンドルされることに MySQL で GA 版に MySQL 5.5 InnoDB Plugin 1.1 がビルトインに InnoDB Plugin 1.0 をベースに機能と性能を強化

7 What's New in MySQL 5.4 InnoDB 性能の強化バックグラウンド I/O の増加 I/O 負荷の調整 Google SMP patch 解析機能の強化 SHOW ENGINE INNODB STATUS の強化

8 What's New in InnoDB Plugin 1.0 Fast Index Creation 新ファイルフォーマット BLOB, TEXT, VARCHARが完全にオフロードページへ! データ圧縮 INFORMATION_SCHEMA の追加使い易さの改善オンライン変更出来るパラメータの増加 TRUNCATE TABLE による.ibd ファイルの再作成 etc 性能改善クラッシュリカバリ時間の短縮グループコミット etc

9 新ファイルフォーマット Barracuda! レコード長 8KB 制限の緩和 BLOB TEXT VARCHAR が完全にオフロードページにもともとオフロードページに格納されているが先頭の 768 バイトは通常のページ内に残す必要があったこれらのカラムがたくさんあるとレコードサイズ制限にひっかかるデータ圧縮以前のバージョンは Antelope アルファベット順 Z まで既に決まっている trx/trx0sys.c

10 Fast index Creation セカンダリインデックスの作成が高速化! オンラインじゃないんですインデックス作成中は参照のみ可 BEFORE! AFTER! オリジナルのテーブル新しい定義のテーブルオリジナルのテーブルインデックスだけを再作成 new index new index 完全なデータコピー

バイナリログ利用時のグループコミットが高速化! InnoDB Plugin 1.0.4 においてバイナリログを有効にするとグループコミットが効かなくなる問題が修正参考 : InnoDB Plugin 1.0.4 - InnoDB 史上極めて重要なリリース - open database life http://opendatabaselife.

11 バイナリログ利用時のグループコミットが高速化! InnoDB Plugin においてバイナリログを有効にするとグループコミットが効かなくなる問題が修正参考 : InnoDB Plugin InnoDB 史上極めて重要なリリース - open database life innodb.html

12 Very Fast Crash Recovery! Crash Recovery Performance: Plugin vs. Plugin Minutes scan apply total Plugin Plugin Operations Plugin Plugin ログサイズは何も考えずにマックスで OK! Dirty pages 1,007,907; Redo bytes: 3,050,455,773

13 What's New In InnoDB 1.1 / MySQL 5.5 複数のバッファプールインスタンス複数のロールバックセグメント flush_list のロックを独立パージスレッドが独立 Chanbe Buffering Linuxにおけるネイティブ非同期 I/Oのサポート PERFORMANCE_SCHEMA のサポート性能改善!

14 Change Buffering 挿入バッファ (Insert Buffering) を UPDATE DELETE パージにも拡張ユニークでないセカンダリインデックスがキャッシュにない場合インデックスへの更新を一時的にバッファへ保留 InnoDB バッファプールデータのフェッチはとても時間が掛かる! 更新セカンダリインデックス Change buffer 後でマージ! データファイル

15 Locking Improvements <Insert Picture Here>

16 ロックの改善!! プロファイリング結果からボトルネックになっているロックを特定 LOCK_open メタデータの排他処理を MDL に置き換え LOCK_alarm ソケットのタイムアウト (SO_[SND RCV]TIMEO) をサポートしているプラットフォームでは削除 LOCK_thread_count 現在はクエリ実行時に 1 2 回のロック 5.5 では接続時と SHOW コマンド実行時だけに LOCK_grant, THR_LOCK_lock, THR_LOCK_charset 不要な排他ロックであったため削除クエリキャッシュ関係バイナリログ関係

17 sysbench read only ro ro ro plugin ro ro AMD Opteron 48 Fedora 13

18 Semi-Synchronous Replication <Insert Picture Here>

19 準同期レプリケーション図解アプリケーション 1. commit write send_ok() 3. update storage engine Storage Engine Connection Thread 5-1. ack 2. update binlog Binlog send updates apply updates (asynchronous) Relay log Storage Engine マスタースレーブ

20 準同期レプリケーションの応用 COMMIT 時のディスク同期なし sysbench MySQL m3 Athlon 64 2 Core 7200rpm SATA Gigabit Ether 単位 : TPS 300 ディスク同期ありディスク同期なし Normal Semi-Sync Read-Only

21 Other Replication Improvements <Insert Picture Here>

22 MySQL 5.5 のレプリケーションの主な改善点リレーログ master.info relay-log.info をディスクへ同期リレーログの自動修復レプリケーションハートビート ( 定期的にマスターの応答を確認 ) リレーログの内容を表示するコマンドの追加マスターごとにイベントをフィルタ (Circular で役立つ機能 ) テーブル定義が異なるマスターとスレーブで自動的に型変換トランザクション非対応テーブルと対応テーブルの混在

23 Flush Logs <Insert Picture Here>

24 FLUSH LOGS で個別のログが指定可能に! mysql> FLUSH BINARY LOGS; mysql> FLUSH ENGINE LOGS; mysql> FLUSH ERROR LOGS; mysql> FLUSH GENERAL LOGS; mysql> FLUSH RELAY LOGS; mysql> FLUSH SLOW LOGS;

25 mysqldump Improvements <Insert Picture Here>

26 mysqldump の新しいオプションスレーブの情報採取が容易に! --dump-slave... スレーブからダンプをとった場合スレーブが参照しているマスターの情報を CHANGE MASTER としてダンプに含める --apply-slave-statements... STOP SLAVE および START SLAVE コマンドを CHANGE MASTER の前後に追加する --include-master-host-port... CHANGE MASTER コマンドにマスターのホスト名とポートを含める

27 4 bytes UTF-8 <Insert Picture Here>

28 UTF-8 の符号体系 byte 文字種 ASCII 2 ラテンギリシャアラビア等 3 CJK(BMP) インド系諸文字等 4 古代文字 3に含まれない漢字 New!! 第 3 第 4 水準漢字の一部

29 4 バイト UTF-8 の使い方 MySQL 5.1 utf8 3 バイト MySQL 5.5 utf8 3 バイト utf8mb3 utf8 へのエイリアス utf8mb4 4 バイト

30 Columns Partitioning <Insert Picture Here>

31 日付カラムの値を直接書けるようになった! BEFORE create table t1 ( id int unsigned not null auto_increment, mydate date not null, primary key(id,mydate) ) partition by range (to_days(mydate)) ( ); partition p1 values less than (to_days(' ')), partition p2 values less than (to_days(' ')), partition p3 values less than (to_days(' ')), partition p4 values less than (to_days(' ')), partition p5 values less than (to_days(' ')), partition p6 values less than (to_days(' ')), partition p7 values less than (maxvalue)

32 日付カラムの値を直接書けるようになった! AFTER create table t2 ( id int unsigned not null auto_increment, mydate date not null, primary key(id,mydate) ) partition by range columns (mydate) ( ); partition p1 values less than (' '), partition p2 values less than (' '), partition p3 values less than (' '), partition p4 values less than (' '), partition p5 values less than (' '), partition p6 values less than (' '), partition p7 values less than (maxvalue)

33 ちなみに従来の仕様だと CREATE TABLE `t1` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `mydate` date NOT NULL, PRIMARY KEY (`id`,`mydate`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 /*!50100 PARTITION BY RANGE (to_days(mydate)) (PARTITION p1 VALUES LESS THAN (730576) ENGINE = InnoDB, PARTITION p2 VALUES LESS THAN (731063) ENGINE = InnoDB, PARTITION p3 VALUES LESS THAN (732251) ENGINE = InnoDB, PARTITION p4 VALUES LESS THAN (733407) ENGINE = InnoDB, PARTITION p5 VALUES LESS THAN (734197) ENGINE = InnoDB, PARTITION p6 VALUES LESS THAN (734593) ENGINE = InnoDB, PARTITION p7 VALUES LESS THAN MAXVALUE ENGINE = InnoDB) */ FROM_DAYS() で日付を表示面倒!

34 複数のカラムの値を組み合わせ! create table t3 ( id int unsigned not null auto_increment, myyear smallint not null, mymonth tinyint unsigned not null, primary key(id,myyear,mymonth) ) partition by range columns (myyear,mymonth) ( partition p1 values less than (2000, 4), partition p2 values less than (2001, 8), partition p3 values less than (2004, 11), partition p4 values less than (2008, 2), partition p5 values less than (2010, 3), partition p6 values less than (2011, 4), partition p7 values less than (maxvalue, maxvalue) );

35 Authentication and Audit Plugin <Insert Picture Here>

36 認証のプラグイン化外部の仕組みを用いて認証が可能ただし現在はプラグイン化しただけ利用可能なのは従来と同じ動作をするプラグインのみぜひプラグイン作成にチャレンジを! PROXY ユーザーという概念が導入される CREATE USER IDENTIFIED WITH ldap_plugin AS 'O=Oracle, OU=MySQL'; CREATE USER 'developer' IDENTIFIED BY 'test'; CREATE USER 'manager' IDENTIFIED BY 'test2'; GRANT PROXY ON 'manager' TO GRANT PROXY ON 'developer' TO

37 認証のプラグイン化図解クライアント 1. login attempts 認証プラグイン 2. credential 外部認証機構権限テーブル 3. proxy user name 4. granted as proxy user mysqld

38 Performance Schema <Insert Picture Here>

39 PERFORMANCE_SCHEMA 概要略称は P_S DTrace に似た情報収集と表示の仕組みプロファイリングに利用可能情報は相当マニアックなので開発者向けかも P_S のアーキテクチャーストレージエンジンとして実装ソースコード中の随所にしかけられた Instrument から情報を収集統計情報は P_S 内に保管される P_S ストレージエンジンを通じて SELECT によりデータを取得各種集計関数が利用可能の操作はテーブルをすることで行う

40 PERFORMANCE_SCHEMA の仕組み SELECT... FROM PERFORMANCE_SCHEMA.EVENTS_WAITS_CURRENT WHERE...; SQL でアクセス行データ PERFORMANCE SCHEMA Storage Engine 集計 mysqld 内の随所に仕掛けられた Instruments

41 PERFORMANCE_SCHEMA の使用例 mysql> select * from performance_schema.threads; THREAD_ID PROCESSLIST_ID NAME thread/innodb/srv_error_monitor_thread 0 0 thread/sql/main 12 0 thread/innodb/srv_lock_timeout_thread 10 0 thread/innodb/io_handler_thread 17 1 thread/sql/one_connection 15 0 thread/innodb/srv_master_thread 1 0 thread/innodb/io_handler_thread 5 0 thread/innodb/io_handler_thread 8 0 thread/innodb/io_handler_thread 4 0 thread/innodb/io_handler_thread 9 0 thread/innodb/io_handler_thread 16 0 thread/sql/signal_handler 14 0 thread/innodb/srv_monitor_thread 7 0 thread/innodb/io_handler_thread 6 0 thread/innodb/io_handler_thread 2 0 thread/innodb/io_handler_thread 3 0 thread/innodb/io_handler_thread rows in set (0.00 sec)

42 XML Improvements <Insert Picture Here>

43 LOAD XML INFILE mysql コマンドや mysqldump コマンドで生成した XML をインポートできるエクスポート shell> mysql --xml -e "SELECT * FROM world.city" > city-dump.xml インポート mysql> USE world; mysql> CREATE TABLE city... mysql> LOAD XML INFILE 'city-dump.xml' INTO TABLE city;

44 Signal and Resignal <Insert Picture Here>

45 SIGNAL: ストアドプログラム中で意図的に例外を発生 delimiter // CREATE TRIGGER t1_bi BEFORE INSERT ON t1 FOR EACH ROW BEGIN IF NEW.a >= 100 THEN SIGNAL SQLSTATE VALUE '42000' SET MYSQL_ERRNO = 123, MESSAGE_TEXT = 'The column `a` value should be less than 100.'; END IF; END;// delimiter ;

46 Option Changes <Insert Picture Here>

47 廃止変更になったオプションサーバー側の --default-character-set --character-set-server を使用クライアント側では変わらず --default-character-set --master-* レプリケーションは CHANGE MASTER TO で設定 --enable-locking/--skip-locking --external-locking/--skip-external-locking を使用 --log-bin-trust-routine-creators --log-bin-trust-function-creators を使用既存の my.cnf でサーバーが起動しなくなったらエラーログをチェック! 参照 :

48 廃止変更になったコマンド SHOW INNODB STATUS SHOW ENGINE INNODB STATUS を使用 SHOW TABLE TYPES SHOW ENGINES を使用 SHOW PLUGIN SHOW PLUGINS を使用 BACKUP TABLE/RESTORE TABLE 廃止参照 :

49 Build System Changes <Insert Picture Here>

50 CMake の採用ビルドツールが GNU Autotools から CMake へ BEFORE:./configure --prefix=/usr... AFTER: cmake. -DCMAKE_INSTALL_PREFIX=/usr... Windowsでも使える! 慣れないうちは cmake. -i がオススメ参照 sition_guide

51 Conclusion 高速化 + 高機能化 InnoDB の高速化機能追加日本人待望の 4 バイト UTF-8 準同期レプリケーションパーティショニングの改善などなどおすすめです!! まずは使ってみてください

52 Thank You!

53 宣伝新書籍 MySQL Cluster 構築 & 運用バイブル ( 仮題 ) MySQL CLusterのお供にぜひどうぞ! もくじ 1.MySQL Clusterのコンセプト 2. インストール 3. 基本操作 4.MySQL Clusterを用いた開発 5. パフォーマンス 6. ディスクオブジェクトの利用 7.Cluster Replication 8. 監視 9. メンテナンス 10. 典型的なトラブルと対処法