PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

れれおまた
5 years ago
Views:

2 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 2 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

Designing for High Availability 3 Copyright 2013,

5 MySQL の高可用性構成レプリケーション ( 標準機能 ) 非同期 & 準同期データレプリケーションアプリケーション / AP サーバ MySQL+DRBD ノード間データコピーアプリケーション / AP サーバ負荷分散フェールオーバー MySQL Server 非同期複製 MySQL Server MySQL Server 同期複製 MySQL Server 3 rd ベンダ製 HA ソフト利用共有ディスクにデータを格納アプリケーション / AP サーバ MySQL Cluster シェアードナッシング型高性能クラスタアプリケーション / AP サーバフェールオーバー負荷分散 MySQL Server 共有ディスク MySQL Server MySQL Cluster 双方向同期複製 MySQL Cluster 5 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

6 複合型の高可用性構成例共有ディスク型構成 + レプリケーションアプリケーション / AP サーバフェールオーバー MySQL Cluster + レプリケーションアプリケーション / AP サーバ負荷分散非同期複製 MySQL Server 共有ディスク MySQL Server MySQL Cluster 非同期複製双方向同期複製 MySQL Cluster MySQL MySQL MySQL Server Server Server 参照処理の負荷分散 MySQL Cluster 双方向同期複製 MySQL Cluster アプリケーション / AP サーバ 6 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

8 レプリケーションとは? データの変更点を 1 つ以上の場所に複製すること非同期レプリケーション - Asynchronous Replication update customer 同期レプリケーション - Synchronous Replication update customer 8 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

9 レプリケーション Webアプリケーションでは参照が95% MySQLの標準機能 ( Digg.com ) 更新が5% というケースもシンプルな設定 > シンプルなスケールアウト構成によってマスタスレーブ簡単に20 倍以上の性能向上が図れる多数 Webでの実績非同期型 or 準同期特徴参照性能を向上させる構成バックアップ用途での利用も基本は一方向でのデータコピーだが双方向や循環型での利用も可能 ( データの更新には注意が必要 ( 更新ログ (bin-log) を利用 9 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

11 MySQL レプリケーションのセットアップ [Master] 下記オプションを設定して起動 ; server-id log-bin datadir * [Slave] 下記オプションを設定して起動 ; server-id datadir * port * socket * (if in Unix like OS) [Master] レプリケーション用のユーザを作成 "REPLICATION SLAVE" 権限を付与 CREATE USER 'sluser'@'localhost' IDENTIFIED BY 'slpass'; GRANT REPLICATION SLAVE ON *.* TO 'sluser'@'localhost'; 11 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

12 MySQL レプリケーションのセットアップ [Slave] `CHANGE MASTER TO` コマンドを実行 ; MASTER_HOST MASTER_USER MASTER_PASSWORD またはこれらのオプションを設定ファイルに記述 [Slave] `START SLAVE` コマンドを実行 CHANGE MASTER TO MASTER_HOST='localhost', MASTER_USER='sluser', MASTER_PASSWORD='slpass'; START SLAVE; MySQL 5.6 の場合セキュリティ向上のために CHANGE MASTER TO 時に MASTER_USER MASTER_PASSWORD を指定せずに START SLAVE 時に指定することも可能 (master.info 内にユーザ名 / パスワードが保存されることを防ぐ ) 12 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

13 実際の運用時に検討すべき事項最初にデータをスレーブにコピーする際バイナリログのポジション ( トランザクション番号 ) を記録マスターとスレーブ間の通信を SSL で暗号化圧縮機能とあわせてディザスタリカバリ用途での利用時に重要 MySQL レプリケーション単独では用意されていない機能高可用性構成としての利用時にフェールオーバーさせる仕組み =>MySQL5.6 にて自動フェールオーバーできるスクリプトを提供更新と参照の処理を分散させる仕組みスレーブ間でのロードバランスの仕組み 13 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

14 MySQL レプリケーションでの交通整理 MySQL Proxy を利用 Master : proxy-backend-addresses Slaves : proxy-read-only-backend-addresses MySQL の JDBC Driver "MySQL Connector/J" を利用 14 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

16 バイナリログフォーマットの種類フォーマット説明サイズ Nondeterministic SBR ステートメント (SQL 文 ) がそのままバイナリログに記録される RBR 更新されたデータそのものが記録される MBR SBR と RBR を状況に応じて切り換える Trigger 小大小 16 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

17 Non-deterministic って? 非決定性な SQL 文 = 実行するたびに結果が変わる可能性がある UUID() UUID_SHORT() USER() FOUND_ROWS() LOAD_FILE() SYSDATE() GET_LOCK() RELEASE_LOCK() IS_FREE_LOCK() IS_USED_LOCK() MASTER_POS_WAIT() SLEEP() VERSION() ソートなしの LIMIT 句 UDF 非決定性のストアドプロシージャ / ファンクション INFORMATION_SCHEMA の参照 READ-COMMITTED/READ-UNCOMMITTED 17 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

18 バイナリログの管理有効化 : --log-bin=binlog 一覧表示 : SHOW BINARY LOGS; 内容の確認 : SHOW BINLOG EVENTS IN 'binlog ' mysqlbinlog binlog 削除 : PURGE BINARY LOGS TO 'binlog ' 自動削除 : --expire-logs-days=30 18 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

21 Semi-synchronous Replication Checking the state On master Rpl_semi_sync_master_status Rpl_semi_sync_master_clients Rpl_semi_sync_master_yes_tx Rpl_semi_sync_master_no_tx On Slave Rpl_semi_sync_slave_status 21 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

22 レプリケーション監視の自動化 MySQL Enterprise Monitor 自動でレプリケーション構成マスタ / スレーブを検出リアルタイムでレプリケーションの稼働状況を収集同期に問題があれば通知監視作業負荷の軽減 : レプリケーションの監視と稼働統計をコマンド無しで 22 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

24 MySQL 5.6 での強化ポイントパフォーマンスマルチスレッドスレーブスレーブの行検出アルゴリズムの追加バイナリログのサイズ削減バイナリログ書込み時のロック削減バイナリログのグループコミットフェイルオーバー & リカバリグローバルトランザクションID(GTID) mysqlfailover mysqlrepladmin ユーティリティクラッシュ後の不完全なバイナリログを自動修復クラッシュセーフなスレーブ信頼性向上チェックサムの追加開発生産性運用性向上 MySQL レプリケーションユーティリティサーバUUIDの生成バイナリログへの追加情報出力スレーブが使用するNICの指定バイナリログのリモートバックアップ遅延レプリケーション 24 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

26 グローバルトランザクション ID(GTID) 複数台のレプリケーション環境でも容易にトランザクションの追跡 / 比較が可能トランザクションを一意に識別できる識別子をバイナリログに記録フェイルオーバーのために最も最新のスレーブを自動認識多段構成のレプリケーションが容易に Slave Master GTID= GTID= Slave Slave GTID= GTID= Copyright 2013, Oracle and/or its affiliates. All rights reserved.

27 グローバルトランザクション ID(GTID) コミット時に GTID が生成される server_uuid:number a61678ba e58-45ba840af334:1 server_uuid によってサーバを一意に識別できる number は各サーバ単位でトランザクション毎に1ずつ増加する GTID はバイナリログに記録される GTID によってスレーブによるトランザクションの再実行を防ぐ 27 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

28 グローバルトランザクション ID(GTID) フェイルオーバートポロジ変更時の動作 ( 例 : マスターを変更 ) スレーブは新しいマスターに実行が完了している GTID を伝えるで実行が完了した GTID を確認できる確認例 ) マスターの変更時ポジションは自動的に認識される管理の手間削減 CHANGE MASTER TO MASTER_AUTO_POSITION = 1 28 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

29 クラッシュセーフなスレーブポジションの情報はファイルに格納されている master.info relay-log.info スレーブサーバにおいて Commit と fsync の間でクラッシュが起きたら? ポジションとデータのミスマッチが発生リカバリ時に間違ったポジションからログを適用してしまう手動でポジションを修正するかスレーブの再セットアップが必要 29 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

30 クラッシュセーフなスレーブ master.info relay-log.info の情報を InnoDB 上のテーブルに格納可能データとポジションの情報をトランザクショナルに書込み可能 master_info_repository relay_log_info_repository で設定スレーブサーバがクラッシュしてもマスターとの同期が崩れないクラッシュセーフにするためには relay_log_info_repository=table と relay_log_recovery=on を設定より強靭なレプリケーション環境が構築可能 30 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

35 アーキテクチャ Scripts Connector/Python Command Module mysql.utilities.command Common Library Classes mysql.utilities.common MySQL Utilities Library 35 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

36 データベース管理 mysqldbcompare データや定義を比較 mysqldbcopy 別のサーバにデータベースをコピー mysqldbexport データとメタデータをエクスポート mysqldbimport データとメタデータをインスポート mysqldiff サーバ間のテーブルなどオブジェクトの定義を比較 36 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

37 General Utilities mysqldiskusage デーブルおよびデータファイルのサイズを表示 mysqlindexcheck インデックスの重複をチェック mysqlmetagrep テーブル定義のメタデータをgrep ( 正規表現利用可 ) mysqlprocgrep プロセス情報をgrep ( 正規表現利用可 ) mysqluserclone 別のサーバにユーザアカウントををコピー mysqluc コマンドライン環境 37 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

38 High Availability mysqlfailover レプリケーションの自動フェールオーバー mysqlreplicate レプリケーションを設定 mysqlrpladmin レプリケーションの各種管理 mysqlrplcheck レプリケーションが正しく設定されているかの確認 mysqlrplshow レプリケーショントポロジ ( 親子関係 ) を図示 38 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

mysqlfailover による自動フェールオーバー 41 Copyright 2013,

43 mysqlfailover 拡張のポイント exec-fail-check - アプリケーション特有の問題を検知してフェールオーバーが必要か判断するスクリプトを実行 exec-before - フェールオーバーが起こる前に実行されるスクリプト exec-after - 新しいマスターにフェールオーバーした直後に実行されるスクリプト exec-post-fail - フェールオーバーが完了し全てのスレーブが新しいマスターを参照した後で実行されるスクリプト 43 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

45 グローバルトランザクション ID(GTID) コミット時に GTID が生成される server_uuid:number a61678ba e58-45ba840af334:1 server_uuid によってサーバを一意に識別できる number は各サーバ単位でトランザクション毎に1ずつ増加する GTID はバイナリログに記録される GTID によってスレーブによるトランザクションの再実行を防ぐ 45 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

Global Transaction Identifiers 新しいレプリケーションのプロトコル : スレーブは master:range を表す ID をマスターに送るマスタは

47 Global Transaction Identifiers master> CREATE TABLE t1 (a INT); master> SELECT a61678ba e58-45ba840af334:1 master> INSERT INTO t1 VALUES (1); master> INSERT INTO t1 VALUES (2); master> SELECT a61678ba e58-45ba840af334:1-3 新しい変数 : gtid_executed 右側は ID の範囲 47 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

48 Global Transaction Identifiers master> SELECT a61678ba e58-45ba840af334: slave> SELECT a61678ba e58-45ba840af334: トランザクションがスレーブに転送されていない 48 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

49 GTID によるレプリケーション必要事項 : トランザクションをサポートしたストレージエンジン (InnoDB) のテーブルとサポートしないストレージエンジン (MyISAM など ) のテーブルを同一のトランザクション内や SQL 文で変更しない (5.6.9 以降 ) SELECT TABLECREATE を使用しない CREATE TEMPORARY TABLE や DROP TEMPORARY TABLE をトランザクション内部で実行しない 49 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

50 GTID によるレプリケーションサーバのフェオールオーバーの準備 1. データの同期を取り全てのサーバを一旦停止 2. 全ての my.cnf に下記を追加 : gtid-mode=on enforce-gtid-consistency=on log-bin log-slave-updates 3. 全てのサーバを起動 4. 実行 : > CHANGE MASTER TO MASTER_AUTO_POSITION = 1 50 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

51 GTID によるレプリケーションフェールオーバー slave にて新しいマスターを指定 : > CHANGE MASTER TO MASTER_HOST = '<host>', MASTER_PORT = <port number>, MASTER_USER = '<user name>' MASTER_PASSWORD = 'secret'; バイナリログポジションの指定は不要 51 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

52 GTID_NEXT GTID_NEXT セッションごとのシステム変数デフォルト : AUTOMATIC サーバが次のトランザクション用に GTID を生成スレーブのスレッドが UUID:NUMBER を設定サーバは指定された GTID を次のトランザクションで使用 52 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

53 GTID_NEXT クライアントも GTID_NEXT を取得可能 : Client set gtid_next= id ; insert A id,insert mysqlbinlog が SET GTID_NEXT 文を出力 : binary log id1,trx1 id2,trx2 mysqlbinlog set gtid_next = id1 ; trx1 set gtid_next = id2 ; trx2 53 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

55 GTIDs Must Be Unique 同じ GTID のトランザクションは 2 度実行できない : A id1,trx1 id1,trx2 同じ GTID のトランザクションを再度実行した場合トランザクションはスキップされる Client A id1,trx1 55 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

56 GTIDs Must Be Unique 同じ GTID のトランザクションは 2 度実行できない : A id1,trx1 id1,trx2 同じ GTID のトランザクションを再度実行した場合トランザクションはスキップされる Client set gtid_next= id1 ; trx2 A id1,trx1 56 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

57 GTIDs Must Be Unique 同じ GTID のトランザクションは 2 度実行できない : A id1,trx1 id1,trx2 同じ GTID のトランザクションを再度実行した場合トランザクションはスキップされる Client set gtid_next= id1 ; trx2 A id1,trx1 trx2 not executed! 57 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

58 Skipping a Transaction GTID_NEXT の使用例 : 不要なトランザクションをスキップするトランザクションは再実行されないレプリケーションのポジションを移動させるだけでは不十分 Bad transaction A id1,trx1, id2,trx2, id3,trx3 B id1,trx1 58 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

59 Skipping a Transaction GTID_NEXT の使用例 : 不要なトランザクションをスキップするトランザクションは再実行されないレプリケーションのポジションを移動させるだけでは不十分 Bad transaction A id1,trx1, id2,trx2, id3,trx3 B id1,trx1, id3,trx3 59 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

61 Skipping a Transaction トランザクションをスキップする方法 Client set gtid_next= id2 ; commit; Bad transaction A id1,trx1, id2,trx2, id3,trx3 B id1,trx1 61 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

62 Skipping a Transaction トランザクションをスキップする方法 Client set gtid_next= id2 ; commit; Bad transaction A id1,trx1, id2,trx2, id3,trx3 B id1,trx1, id2,- 62 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

63 Skipping a Transaction トランザクションをスキップする方法 Client set gtid_next= id2 ; commit; Bad transaction A id1,trx1, id2,trx2, id3,trx3 B id1,trx1, id2,-, id3,trx3 63 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

Skipping a Transaction トランザクションをスキップする方法 64 Copyright

65 Filters --replicate-ignore-table etc トランザクションは無視されるスレーブは空のトランザクションを実行する Filters out trx2 Logs id2 with an empty transaction A (crashed) id1,trx1, id2,trx2, id3,trx3 (master) B (slave) id1,trx1, id2,- id3,trx3 65 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

66 まとめポジションを A から B に進める方法 : A~B のトランザクションに対応する GTID で空のトランザクションを実行するポジションを過去のポジションに戻す方法 : できない N 個のトランザクションをスキップする方法 : GTID を調べてそれぞれの GTID に対して空のトランザクションをコミットするレプリケーションフィルターは自動的に空のトランザクションをコミットする 66 Copyright 2013, Oracle and/or its affiliates. All rights reserved.

PowerPoint Presentation

PowerPoint Presentation 1 MySQL 5.6 レプリケーションと GTID MySQL Global Business Unit Sales Consulting Manager, JAPAC 梶山隆輔 / Ryusuke Kajiyama 2 MySQL レプリケーション GTID (Global Transaction Identifiers) MySQL Utilities 3 レプリケーション : マスタスレーブのデータコピー