スライド 1

Size: px

Start display at page:

Download "スライド 1"

こおがやすこ
5 years ago
Views:

1 オープンソースカンファレンス 2006 北海道 MySQL Cluster による負荷分散 LAMP サーバ 2006 年 7 月 15 日 ( 株 ) ワイズノット ( 株 ) オープンソース総合研究所桑村潤

2 LVS Linux ディレクタ Computer 1 (mgm_node) Web Server 携帯レンダーアプリケーションサーバ MySQL Server MGM Node インターネット負荷分散 &Fail Over 実サーバ 1 実サーバ 2 Web Server 携帯レンダーアプリケーションサーバ MySQL Server 携帯ユーザ LVS: Linux Virtual Server による仮想クラスタサーバ Linux ディレクタ : LVS のフロントエンドで負荷を分散させるサーバ実サーバ : Linux ディレクタが分散したパケットを実際に処理するサーバ MGM ノード : MySQL Cluster マネージャー ndb_mgmd を起動させるサーバ Data ノード : MySQL Cluster ストレージエンジン ndbd を起動させるサーバ SQL ノード : MySQL サーバ mysqld を起動させるサーバ Data Node1 Computer 2 (data_node1) Data Node2 Computer 3 (data_node2) MySQL Cluster

3 クラスタのタイプ並列演算クラスタ Beowulf クラスタ型並列処理プログラム高可用性クラスタ冗長化構成フォールトトレラントコンピュータ負荷分散クラスタ単一サービスの分散実行ロードバランサ

4 MySQL Cluster オープンソースソフトウェア (2 重ライセンス ) NDB Cluster をストレージエンジンに使用非共有型並列分散 RDBMS 負荷分散と高可用性を併せ持つインメモリデータベース

5 NDB Cluster Ericsson Business Innovation のベンチャ Alzato 社が開発 Alzato は通信業界向けデータ管理ソフトウェアベンダー Alzato を MySQL AB が 2003 年に買収オープンアーキテクチャ互換 API 品質のデータ管理システム高可用性と高スループット

6 MySQL Clusterシステム構築の注意点均一な構成要素の実現負荷分散と高可用性の実現スケーラビリティの実現 Software Design 2006 年 9 月号特集第 4 章 LVS+MySQL Cluster で構築するスケーラブル LAMP システムの構築と運用より

7 MySQl Cluster の構成最小構成 MGM ノード : MySQL Cluster マネージャー ndb_mgmd を起動させる NDB 管理サーバ Data ノード :MySQL Cluster のストレージエンジン ndbd を起動させるサーバ SQL ノード : MySQL サーバ mysqld を起動させるサーバ SQL 処理を行うのみならず ndbd とのインタフェースを行う

8 ロードバランサ DNS ラウンドロビン設定が簡単 (A レコードに複数アドレス ) IPTables DNAT 送信先を振り分ける ( 逆は SNAT) BLVS(Linux Virtual Server) フェイルオーバーにも対応可能 (Linux Director)

9 LVS(Linux Virtual Server) Linux Virtual Server プロジェクトが開発レイヤ 4 スイッチ TCP,UDP パケットレベルでの振り分け IP Virtual Server が Netfilter モジュールとして稼動カーネル内転送でオーバヘッドが少ない冗長化が可能 (Heartbeat を使用 )

10 LVS の構成最小構成 Linux Director: LVS を稼動させる Linux ホスト実サーバ : 実際にサービスを行う仮想 IP アドレス (VIP): Linux Director に割り当てる IP アドレス実 IP アドレス (RIP): 実サーバの IP アドレス

11 LVS のパケット転送方式 NAT(Network Address Translation) IP マスカレード (RFC 1918) のような方式もっとも実装が簡単ダイレクトルーティング IP パケットをそのまま転送応答は実サーバから直接クライアントホストへ IP-IP カプセル (IP トンネル ) ethernet フレームを操作しないで IP パケットにカプセル化

12 LVS NAT アドレス変換をしてパケットを実サーバへ転送ファイアウォール経由のパケットに対応可能 LVS NAT のパケット転送 4 1 クライアント Linuxディレクタ 3 2 実サーバ 1 実サーバ 2

13 LVS ダイレクトルーティングパケットをそのまま実サーバの MAC アドレスに転送応答が Linux Director を経由しないぶん高速ループバックデバイスが arp に応答しないようにする必要がある ( カーネルパッチ ) LVS ダイレクトルーティングのパケット転送実サーバ 1 クライアント Linux ディレクタ実サーバ 2

14 LVS トンネリングダイレクトルーティングと類似パケットを転送する際に IP パケットにカプセル化する実サーバが別のネットワーク上にあっても構わない LVS トンネリングのパケット転送実サーバ 1 クライアント Linux ディレクタ実サーバ 2

15 LVS の冗長化 Linux HA Hartbeat の導入により可能参照

16 MySQL Cluster のための LVS 構成例

17 クラスタ機器構成携帯ユーザインターネット F/W & G/W ( ポートフォワード ) SW Hub SW Hub ロードバランサ / Linux Director (mgm ノード ) MySQL Cluster&Web ( データノード 1) MySQL Cluster&Web ( データノード 2)

18 LVS のインストール Linux ディストリビューションには CentOS 4.0 を使用 Linux HA がパッケージ化されている利用パッケージ LVS(ipvsadm) Linux Director(heartbeat-ldirectord)

19 LVS(ipvsadm) のインストール mgm_node# yum install ipvsadm... Installing: ipvsadm ######################### [1/1] Installed: ipvsadm.i386 0: Complete! mgm_node# rpm -ql ipvsadm /etc/rc.d/init.d/ipvsadm /sbin/ipvsadm /sbin/ipvsadm-restore /sbin/ipvsadm-save /usr/share/doc/ipvsadm-1.24 /usr/share/doc/ipvsadm-1.24/readme /usr/share/man/man8/ipvsadm-restore.8.gz /usr/share/man/man8/ipvsadm-save.8.gz /usr/share/man/man8/ipvsadm.8.gz

20 ip パケットのフォワード設定カーネルが IP パケットをフォワードする必要あり /etc/sysctl.conf に net.ipv4.ip_forward = 1 を記述し sysctl コマンドで設定を有効にする mgm_node# /sbin/sysctl -p net.ipv4.ip_forward = 1 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 0 kernel.core_uses_pid = 1

21 仮想インターフェースの設定仮想インターフェース eth0:0 を設定します (eth0 と eth1 のインターフェースは設定済みとする ) コマンド行 : #/sbin/ifconfig eth0: netmask broadcast

22 仮想インターフェースの設定起動時自動設定 : /etc/sysconfig/network-scripts/ifcfg-eth0:0 ファイルに記述 DEVICE=eth0:0 BOOTPROTO=static IPADDR= BROADCAST= NETMASK= NETWORK= ONBOOT=yes 仮想インターフェースを有効に mgm_node# /sbin/ifup eth0:0 インターフェースの状態の確認 mgm_node# /sbin/ifconfig eth0:0

23 LVS の設定 ipvsadm 管理コマンドを用いて IP バーチャルサーバを設定設定の追加 (-A, -a オプション ) テストのためにアクセス毎に切り替わるラウンドロビンスケジューラ (-s rr オプション ) 設定を確認リスト出力して確認 (-L -n オプション )

24 ipvsadm コマンドの実行 mgm_node# /sbin/ipvsadm -A -t :80 -s rr mgm_node# /sbin/ipvsadm -a -t :80 -r :80 -m mgm_node# /sbin/ipvsadm -a -t :80 -r :80 -m mgm_node# /sbin/ipvsadm -L -n IP Virtual Server version (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port InActConn Forward Weight ActiveConn TCP :80 rr -> :80 Masq > :80 Masq 1 0 0

25 LVS のテストそれぞれの実サーバを稼動させるそれぞれのノード名が区別できるようなコンテンツを同じパスに設置例 ) <?php echo $_SERVER['HOSTNAME'];?> 外部から仮想サーバ ( 仮想アドレス ) へのアクセステストアクセスの毎にノードが切り替わることを確認 ( ホスト名が変わる )

26 LVS の設定解除 LVS の設定は Linux ディレクタから実行可能 ipvsadm 管理コマンドを用いる設定の削除コマンド (-D, -d オプション ) mgm_node# /sbin/ipvsadm -d -t :80 -r :80 mgm_node# /sbin/ipvsadm -d -t :80 -r :80 mgm_node# /sbin/ipvsadm -D -t :80 設定を確認リスト出力して確認 (-L -n オプション ) mgm_node# /sbin/ipvsadm -L

27 ldirectord の設定設定ファイルは /etc/ha.d/ldirectord.cf ipvsadm の実行パラメータの設定実サーバの状態検知 ( ヘルスチェック ) のための方法を指定

28 ldirectord.cf # グローバルディレクティブ checktimeout=10 checkinterval=300 autoreload=no logfile= local0 quiescent=no # タイムアウト # チェック間隔 # yes: 運用モード # syslog ユニット # localhost は実サーバに含めない # HTTP の仮想サーバ virtual= :80 # 仮想サーバアドレス real= :80 masq # gate: dynamic routing, masq: lvs nat real= :80 masq # gate: dynamic routing, masq: lvs nat service=http # サービス request= lvscheck.html # ヘルスチェックリクエスト receive= C.* # ヘルスチェック文字列 scheduler=wrr # スケジューラ rr ( ラウンドロビン ) protocol=tcp # プロトコル checktype=negotiate # チェック方式 #fallback= :80 # フォールバックサービスがある場合に指定

29 ldirectord の実行 directord デーモンを起動 mgm_node# /etc/init.d/ldirectord start Starting ldirectord [ OK ] LVS の状態を確認 mgm_node# /sbin/ipvsadm -L -n アクセステストを行ない問題がなければ LVS の設定は終了 ldirectord 自動起動のための登録 mgm_node# /sbin/chkconfig ldirectord on mgm_node# /sbin/chkconfig list ldirectord

30 PHP アプリケーションの負荷分散サーバ対応セッション管理の問題セッションハンドラ関数の定義 _open, _close, _read, _write, _destroy, _clean session_set_hander() でセッションハンドラ関数の登録参照入門 PHP セキュリティ ( オライリー )

31 MySQL Cluster 事例日本携帯電話アプリケーションサイト海外 8x8: アメリカの IP 電話サービス会社イタリアのイエローページサイト : NDB API で実装フランスの銀行 : 株式取引通信会社アルカテル社 : 位置情報管理エリクソン : テレコムアプリケーション

32 ありがとうございます LAMP アプリケーションの研修開発株式会社ワイズノット札幌オフィス TEL LAMP, PostgreSQL コンサルテーション株式会社オープンソース総合研究所

Microsoft PowerPoint - LVSMySC.ppt

Microsoft PowerPoint - LVSMySC.ppt Linux Virtual Server による MySQL Cluster 対応 Web アプリケーションサーバの負荷分散 2006 年 9 月 18 日 Made in Jul.12 2006 at Tronto OSC2006-Hokkaido in Jul.15 2006 OSRI Technical Seminar 2006 Edition 桑村潤 LVS Linux ディレクタ Computer