MySQL PS EMEA

Size: px

Start display at page:

Download "MySQL PS EMEA"

ゆきおおかわち
5 years ago
Views:

1 MySQL ハッキングの手引き松信嘉範 (MATSUNOBU Yoshinori) 日本 MySQLユーザ会 1

2 今日のテーマ MySQLのアーキテクチャソースコードの入手とビルド方法デバッグ方法プラグイン開発の方法本体拡張の方法本家へのコントリビュートの方法 2

3 自己紹介本業は MySQL コンサルタントパフォーマンスチューニング HA 等たまにMySQL 開発案件を行なう書籍 / 連載現場で使えるMySQL Javaデータアクセス実践講座 Linux-DBに関する本 ( 予定 ) 新連載 Real World MySQL DBマガジン 10 月くらいからそろそろ RDBMS 自作入門のような本に挑戦しようかと 3

4 MySQL とはオープンソースのリレーショナルデータベース C/C++ 一部アセンブラで実装現在提供されているバージョン 5.4 パフォーマンス改善版 MySQL beta 5.1 最新の安定版 (5.2/5.3 は欠番 ) 5.0 安定版 4.1 安定版 4.0 安定版 ( サポート切れ ) マイナーリリースが数ヶ月程度のサイクルで登場ソースコードおよびプラットフォームごとのバイナリが提供 4

5 MySQL のアーキテクチャ接続 / 操作監査ログ ( プラグイン ) リスナー ( 固定 ) 認証ロジック ( 固定 ) login_connection() UDF ( プラグイン ) Information Schema ( プラグイン ) パーサ ( 固定 ) オプティマイザ ( 固定 ) mysql_parse() JOIN::optimize() 全文検索パーサ ( プラグイン ) 全文検索 Index ( 固定 ) レプリケーション / バイナリログ ( 固定 ) テーブルアクセス / ジョイン ( 固定 ) ストレージエンジン ( プラグイン ) JOIN::exec() Storage Engine API 5

6 さまざまな特徴 (1) 外部ライブラリには極力依存しない作り STL とか boost とかも使っていないプラットフォーム依存性を減らすため OS 依存の命令は my_xxx というラッパー関数で吸収 Drizzle では方針が逆転している STL ProtocolBuffer Gearman etc.. デバッグ用の機能 malloc/free pthread_* などはラッパーを用意して二重ロックや不正アクセス等を検知しやすくしている主要関数への IN/OUT 時にトレースを出すようにしている Production 用では無効化するようにマクロで制御している MySQL5.4 以降では Dtrace プローブが埋め込まれている 6

7 さまざまな特徴 (2) エンディアンフリー基本的にリトルエンディアンに統一 1 の 2 バイト表現は 0x01 00 通信プロトコルもエンディアンフリー関数ポインタサブクラスを多用し汎用性を上げるオブジェクト指向の定石でもあるストレージエンジン API などプラグインを実現するために重要 SQL 関数ごとにサブクラス 1 レコードの処理ハンドラ用に関数ポインタ等実行速度重視のビルド標準ビルドでは RTTI を無効化この影響で実行時に PASSWORD() 関数の場合にはこうしてという特殊な処理が難しい 7

8 MySQL を拡張する MySQL ハッキングのパターンは大きく分けて 2 種類 MySQL 本体に手を入れる MySQL のプラグインを開発するプラグインは共有ライブラリ (*.so, *.dll) MySQL 本体の改変が不要標準バイナリにインストール可能プラグインインターフェイスの範囲内で好きなように実装可能要件によっては実装できない ( 本体の改変が必須な ) 場合がある例 : ファイル内 static 変数には外部からアクセスできない例 : 監査ログインターフェイスはデバッグ目的では使えない (SQL 文の実行後に呼ばれるため実行時にクラッシュしても呼ばれない ) MySQL 本体を改変すれば何でもできる標準バイナリは当然ながら使えなくなる有用なものは MySQL 本家にコントリビュートすることも可能 8

9 MySQL のソースコード入手方法 MySQL 本家サイトから入手 tar.gz 形式マイナーリリースごとに公開 MySQL ソースコードツリーから入手 MySQLはソースコード管理に bzr を使用 Launchpad 上でホストしている shell> bzr branch lp:mysql-server/5.4 mysql-5.4 最新のものがほしい場合はこちらから 9

10 開発の流れ改変したいバージョンのソースコードをダウンロード初期ビルド改変デバッグビルドテスト改変 cd /path/to/mysql-top BUILD/autorun.sh./configure -- 多数のオプション make make install プラグイン開発の場合もデバッグビルドした MySQL を使うプラグイン /MySQL 本体ともにデバッグビルドで開発ビルドデバッグ手段 Linux/ その他 : gcc, gdb, ddd, Eclipse/NetBeans, etc Windows: Visual Studio 10

11 Configure オプション BUILD/ 以下にテンプレートがあるバージョンによって configure オプションが違うので注意 --prefix.. インストール先のディレクトリ --with-debug.. デバッグビルドか通常ビルドか --with-comment.. 接続時に表示される文字列 --with-plugins= partitions パーティション機能をサポートする innobase InnoDB ストレージエンジンを入れる archive Archive ストレージエンジンを入れる --with-extra-charsets=complex.. 日本語等の対応 --with-fast-mutexes --enable-thread-safe-client --enable-local-infile --with-pic. 11

12 Visual Studio DOS プロンプトから win configure.js を実行引数に WITH_PARTITION_STORAGE_ENGINE WITH_INNOBASE_STORAGE_ENGINE などをつける DOS プロンプトから win build-v8.bat を実行 Visual Studio を起動ビルドボタンを押す (sql_locale.cc などは UTF-8 (BOM あり ) で保存しなおす必要がある ) mysqld プロジェクトをスタートアッププロジェクトに指定右クリックプロパティデバッグコマンド引数に起動オプションを指定 mysql データベースをデータディレクトリに配置 MySQL を起動 test_lc_time_s() でアサーションエラーで落ちたら DBUG_ASSERT(0); をコメントアウトする ( デバッグの上では支障なし ) 12

13 デモ (1) デバッグ / トレース MySQL に手を入れる予定が無くてもデバッグスキルを持つことには意味があるクラッシュの原因分析のため動作原理を知るためプロトコルの動作原理クエリの実行の流れ Visual Studio から起動した MySQL サーバに対し MySQL クライアントから接続を行いどのように処理が流れていくかを紹介 13

14 プラグイン化の流れ本体への機能改変やコントリビュートで起こる問題そもそも本体の改変は難易度が高い投稿したパッチがいつまでもマージされない本体は QA の観点からもパッチの取り入れには保守的プラグインは本体を改変せずに使うことができる MySQL 本体でパッチが取り込まれるのを待つ必要が無い本体側の改変が必要な場合はバグレポートや Work Log が必要全体的にはプラグイン化を推し進める流れプラグイン化の流れをさらに推し進めたのが Drizzle MySQL でプラグインになっているものユーザ定義関数 (4.0 -) ストレージエンジン (5.1 -) Information Schema プラグイン (5.1 -) 全文検索用パーサ (5.1 -) 監査証跡 (5.4 次 -) セミ同期レプリケーション (5.4 次 -) 14

15 デモ (2) プラグイン開発 Information Schema プラグイン cat /proc/meminfo の結果を返してみる UDF ストレージエンジン API を呼んでテーブルに直接アクセスしてみる Key Value Store を使うような感覚友人 100 人の最新の投稿メッセージIDを取得するクエリを考えてみる SELECT id FROM message WHERE user_id=? ORDER BY id DESC LIMIT 1; これをuser_idを変えて100 回繰り返す (user_id IN ( ) だとMySQLではフルインデックススキャンになってしまう ) ストアド化すると高速化が期待できる UDFをストアドのかわりに使うという例 15

16 プラグイン開発の一般的な注意事項 MySQL 本体をクラッシュさせてしまう危険があるプラグインを実行するプロセスは mysqld プラグイン内部の不正メモリアクセスでも mysqld が SIGSEGV で落ちる悪意あるユーザがバグつきプラグインを INSTALL してクラッシュさせることも可能一般ユーザに権限付与しないことセキュリティホールになりうるので権限管理に注意 mysqld を root 権限で動かさないことプラグインは OS コマンドを実行できる実行者は mysqld の権限になるプラグインの中身によってはバージョン依存性が高くなる MySQL 本体で使っているマクロの一部は展開のされ方がデバッグ版と通常版 configure オプションなどによって変わるそのマクロをプラグインから使う場合には当然依存性が出る 16

17 次世代の RDBMS アーキテクチャ? 接続 / 操作リスナー多様なプラグイン ( レプリケーション Information Schema 監査ログ UDF 認証 etc) パーサオプティマイザテーブルアクセス / ジョイン Storage Engine API クエリ書き換えストレージエンジン 17

18 MySQL 本体に手を入れる自分で使うだけならソース改変ビルドテストで良い MySQL 本家に反映してもらうにはレビューのプロセスが必要多くの場合互換性の確保が大きな壁になる WorkLog に登録新機能の場合はこちらが良いまたはバグレポートに投稿単なるバグの場合はこちらが良い 18

19 デモ (3) MySQL 本体拡張レコードの最大サイズ (TEXT/BLOB 除く ) を 64KB から拡張バイナリログの追記上書きへの変更インデックスへのコメント記述機能レコードサイズ拡張 CREATE TABLE t1 (c1 VARCHAR(50000), c2 VARCHAR(50000)); を作れるようにする max_row_lengthは2バイトで.frm 上で管理されている.frmのフォーマット変更が必要バージョン互換への配慮が必要 19

20 ソースコードレベルの議論技術的な議論バグレポートパッチの投稿も可能パッチの投稿レビュー議論コミットメールをここに投稿するレビューおよびその後の議論はすべてこれを CC に入れて行なう 20

21 WorkLog とは MySQL の新機能の開発計画を管理流れ WorkLog に新規エントリを投稿 Sun の MySQL 開発者がレビュー担当になる Sun Contributor Agreement (SCA) を締結パッチをコミットパッチをレビューレビュー結果を踏まえてパッチをコミットレビュー完了本家にマージ 21

22 パッチのレビューコーディング規約に準拠していることテストケースが用意されていること mysql-test テストケースその他常識的なコードであることスレッドセーフである効率的な実装になっている変数名が自然コメントが読みやすい 22

23 コーディング規約 ( 抜粋 ) s インデント / スペース / 行管理インデントには半角スペース 2 個タブは使用禁止改行は n を使用 CR+LF( r n) は禁止 1 行は最大 80 バイト 1 つの関数内に連続した 2 行以上の空白行を入れてはいけない関数と関数の区切りには 2 行の改行を入れる変数の代入条件分岐 x= 1; のように変数名と演算子の間にスペースを入れない演算子の後にはスペースを 1 個入れる if と ( の間には半角スペースを 1 個入れる If { ではなく if と { の間には改行を入れるなどなど多数 23

24 テスト mysql-test という単体テストツールを走らせる単体テストツール mysql-test-run perl mysql-test-run.pl ストレステストツール mysql-stress-test.pl 回帰テスト用に使う 1 つの機能追加にあたり最低でも 1 個の妥当なテストケースを追加 24

25 WorkLog の例監査プラグインセミ同期レプリケーション Preallocating Binlog 25

26 バイナリログの追記上書きへの変更パッチ (1) 耐障害性のためコミット時に同期書き込みするニーズがある sync-binlog=1 大半のファイルシステムで追記同期書き込みは上書き同期書き込みに比べて圧倒的に遅い 10,000+ fsync/s vs 3,000 fsync/s くらいの違いはあるファイルサイズを増やすための領域確保のオーバーヘッドが大きいバイナリログは追記で書き込みのたびにファイルサイズが増える最初から上書きしておけば速くなるはず 26

27 バイナリログの追記上書きへの変更パッチ (2) 技術的課題最初にサイズを割り当てるがそのコストをゼロにしたい専用コマンドを用意して割り当てておく ( 手動 ) posix_fallocate() 使用 ( 自動 ) レプリケーション mysqlbinlog SHOW BINLOG EVENTS 等既存のすべてのコマンドが正常動作する必要があるバイナリログを転送しきったら次のイベントが来るまで待つという動作転送しきったかどうかは EOF で判定これは上書き確保した場合にはできないファイルサイズを内部的に管理しておく必要があるファイルサイズが都度更新されるのでスレッドセーフになるようにファイルサイズを管理する必要がある今はすでに存在しているバイナリログの最大番号 +1 を新規作成して使用するこれでは手動で割り当てたバイナリログが使われない 27

28 バグレポートの投稿バグレポートの投稿アカウント登録が必要 Synopsis: 現象を1 行程度で登録 Category Severity Version OS Description How to repeat パッチをここで投稿することもできる 28

29 バグレポートから本体マージの例 UPPER()/LOWER() 関数がシフト JIS 環境で正しく動作しない 4 月 18 日に立岡さんよりパッチ含めて投稿 5 月 4 日に修正版パッチのレビューが開始 5 月 28 日に MySQL 本体への反映簡単なものでも数ヶ月かかるものもあるし 1 年以上放置される場合もあります orz 29

30 参考文献基本はオンライン上で英語 (Web メーリングリスト IRC) #mysql-dev 書籍の情報はどれも古いので参考程度に Expert MySQL UDF ストレージエンジンを自作する方法など Understanding MySQL Internals ( 翻訳本 : 詳解 MySQL オライリー ) THD や TABLE など主要なデータ構造 MySQL 構築バイブル ( 毎日コミュニケーションズ ) 通信プロトコル関数の自作など超極める MySQL ( 翔泳社 ) ひろせさんの UDF 解説記事 30

31 ありがとうございました Q & A 31

MySQL PS EMEA

MySQL PS EMEA MySQLハッキングの手引き松信嘉範 (MATSUNOBU Yoshinori) 日本 MySQLユーザー会 http://opendatabaselife.blogspot.com http://twitter.com/matsunobu 1 今日のテーマ MySQLのアーキテクチャソースコードの入手とビルド方法デバッグ方法プラグイン開発の方法