サンのオープンソースへの取り組み

Size: px

Start display at page:

Download "サンのオープンソースへの取り組み"

うまじのじま
5 years ago
Views:

1 <Insert Picture Here> High Availability Option and Cluster

2 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 2 Copyright 2010, Oracle. All rights reserved.

3 The world's most popular open source database 世界で最も有名なオープンソースデータベース

4 の高可用性構成レプリケーション ( 標準機能 ) 非同期 & 準同期データレプリケーション +DRBD Linux 用のノード間データコピーアプリケーション / AP サーバアプリケーション / AP サーバ負荷分散フェールオーバー Server 非同期複製準同期複製 Server 3 rd ベンダ製 HA ソフト利用共有ディスクにデータを格納 Server 同期複製 Server Cluster シェアードナッシング型高性能クラスタアプリケーション / AP サーバアプリケーション / AP サーバフェールオーバー負荷分散 Server 共有ディスク Server Cluster 双方向同期複製 Cluster

5 複合型の高可用性構成例共有ディスク型構成 + レプリケーション Cluster + レプリケーションアプリケーション / AP サーバアプリケーション / AP サーバフェールオーバー負荷分散非同期複製 Server 共有ディスク Server Cluster 双方向同期複製 Cluster 非同期複製 Server Server Server 参照処理の負荷分散 Cluster 双方向同期複製 Cluster アプリケーション / AP サーバ

6 レプリケーション

7 レプリケーションとは? データの変更点を 1 つ以上の場所に複製すること非同期レプリケーション - Asynchronous Replication update customer 同期レプリケーション - Synchronous Replication update customer

8 レプリケーションの標準機能シンプルな設定マスタスレーブ多数 Web での実績非同期型 & 準同期型特徴参照性能を向上させる構成バックアップ用途での利用も基本は一方向でのデータコピーだが双方向や循環型での利用も可能 ( データの更新 ( には注意が必要更新ログ (bin-log) を利用 Web アプリケーションでは参照が 95% ( Digg.com ) 更新が 5% というケースも > シンプルなスケールアウト構成によって簡単に 20 倍以上の性能向上が図れる

9 非同期レプリケーション Application Commit Response Changing Data Connection Thread Data Changing Binlog Binlog Replication Relaylog Changing Data Data Master Slave

10 レプリケーションの構成パターンマスタ > スレーブマスタ > マルチスレーブマルチマスタ > スレーブ ( マルチソース ) マスタ > スレーブ > マルチスレーブマスタ < > マスタ ( マルチマスタ ) 循環型 ( マルチマスタ )

11 準同期レプリケーション Application Commit Response Changing Data Connection Thread Data Changing Binlog Binlog Response Replication Relaylog Changing Data Data Master Slave

12 5.5 のレプリケーション改善点 1. 準同期 (Semisynchronous) レプリケーションスレーブに変更点を転送してからアプリケーションに応答を返すため信頼性が向上 2. スレーブでの fsync 改良 & リレーログの自動復旧 fsyncs を改良しスレーブの障害時のログ破損を回避破損した場合にも自動普及 3. レプリケーションハードビート障害発生検知のメカニズムの精度を向上 4. サーバ毎のレプリケーションフィルタリング特定のサーバ ID を持つマスターのイベントを無視 Copyright Oracle Corporation

13 5.5 のレプリケーション改善点 5. スレーブでのデータ型変換の自動化 (RBR) マスターとスレーブ間でデータ型が異なる場合に自動的に型を変換 6. ログを個別にフラッシュ 'FLUSH LOGS' 実行時にログを選択してフラッシュ可能に 7. トランザクション非対応に関係なく安全にログに記録 InnoDB と MyISAM のテーブルを同一のトランザクション内で更新した場合コミット後に全変更点をバイナリログに記録 Copyright Oracle Corporation

14 Cluster

15 Cluster 非共有ディスク型高可用性クラスタソリューションサーバの追加により性能 & データ容量を拡大するスケールアウト構成無停止でのサーバ追加 & データ再構成が可能データを複数のサーバにデータの複製を分散配置マルチマスタ構成単一障害点無しミリ秒単位での障害検知自動フェールオーバー自動リカバリ ACID 準拠のトランザクション通信系の加入者データベースや Web のセッション永続化などシンプルなトランザクションが同時多発的に発生するシステム向き SQL 以外にも C++ や Java の API 経由で直接データアクセス可能 SQL Based Applications Server Data Node Data Node JDBC/ODBC/etc C++/Java Applications Cluster LDAP Data Node Data Node NDB API NDB API Management Client Management Node MGM API

16 Cluster を構成するコンポーネント SQL Node ( ) NDB API ( Application ) Data Node ( Engine (NDB Storage Management Node 標準的な SQL インターフェーススケールアウトによる性能向上レプリケーション構成可能高パフォーマンス C++ API 開発ガイドを公開 ( メモリデータストレージ ( ディスク / 自動的なパーティショニングローカル & グローバルチェックポイントスケールアウトによる容量と可用性向上管理および設定 "Arbitration" 調停役 2 ノードでの可用性

17 Cluster に関するキーワードパーティション水平 ( 行単位 ) パーティショニング主キー ( または指定のインデックス ) のKeyパーティショニングパーティション数 = データノード数レプリカデータの完全なコピーノードグループ自動的に作成されるグループ数 = データノード数レプリカ数

18 NDB API によるアクセス NDB API = 高パフォーマンス C++ API キーインデックススキャンテーブルスキャン ACIDトランザクション対応オブジェクト指向エラーハンドリング SQLでは達成できない非常に高いパフォーマンス SQL Node () X NDB API Data Node (NDB Storage Engine)

Cluster Connector for Java Cluster Connector for Java ネイティブ Java インターフェース SQL は利用しない Cluster Java API : ドメインオブジェクトモデルのパーシステンス API 別名 Cluster/J Java

19 Cluster Connector for Java Cluster Connector for Java ネイティブ Java インターフェース SQL は利用しない Cluster Java API : ドメインオブジェクトモデルのパーシステンス API 別名 Cluster/J Java アプリケーションに組み込んで利用 JPA 準拠の O/R マッパーでのアクセス Cluster Plug-in for OpenJPA 主キーによる参照更新挿入や削除は Cluster/J でその他の処理は JDBC を利用 > レイテンシーの低減による 10 倍以上のスループット >Java プログラマの普通のコーディングで利用可能

20 JDBC ドライバと Cluster/J との比較 Measured as CPU time on a single host

21 Geographical Replication - 地理的冗長性の確保 Cluster 1 同期型レプリケーション MyISAM MEMORY InnoDB Cluster 2 クラスタのノードグループ間では同期型レプリケーションで冗長性を確保地理的に離れたクラスタ間で双方向の非同期型レプリケーションを行い地理的冗長性を確保 ( Cluster ではない ) 通常のサーバへ非同期型のレプリケーションを行いレポート生成や課金処理などのアプリケーションを実行非同期型レプリケーション

22 Cluster CGE 7.1 Key Enhancements Reducing Cost of Operations Delivering up to 10x higher Java Throughput Simplified Management & Monitoring: NDBINFO Cluster Manager (part of CGE only) Faster Restarts Cluster Connector for Java: Native Java API JPA Plug-In

23 ndbinfo mysql> use ndbinfo mysql> show tables; Tables_in_ndbinfo blocks config_params counters logbuffers logspaces memoryusage nodes resources transporters New database (ndbinfo) which presents real-time metric data in the form of tables Exposes new information together with providing a simpler, more consistent way to access existing data Examples include: Resource usage (memory, buffers) Event counters (such as number of READ operations since last restart) Data node status and connection status

24 ndbinfo Example 1: Check memory usage/availability mysql> select * from memoryusage; node_id DATA_MEMORY used max DATA_MEMORY DATA_MEMORY INDEX_MEMORY INDEX_MEMORY Note that there is a DATA_MEMORY and INDEX_MEMORY row for each data node in the cluster If the Cluster is nearing the configured limit then increase the DataMemory and/or IndexMemory parameters in config.ini and then perform a rolling restart

25 ndbinfo Example 2: Check how many table scans performed on each data node since the last restart mysql> select node_id as 'data node', val as 'Table Scans' from counters where counter_name='table_scans'; data node Table Scans You might check this if your database performance is lower than anticipated If this figure is rising faster than you expected then examine your application to understand why there are so many table scans

26 Cluster 7.1: ndbinfo Example 3: Check if approaching the point at which the undo log completely fills up between local checkpoints (which could result in delayed transactions or even a database halt if not addressed): mysql> select node_id as 'data node', total as 'configured undo log buffer size', used as 'used buffer space' from logbuffers where log_type='dd-undo ; data node configured undo log buffer size used buffer space If log buffer is almost full then increase size of log buffer

27 Enterprise Monitor 2.3

Cluster-Wide Management Process Management On-Line Operations

28 Cluster Manager 1.0 Features Automated Management Monitoring HA Operations Cluster-Wide Management Process Management On-Line Operations (Upgrades / Reconfiguration) Status Monitoring & Recovery Disk Persistence Configuration Consistency HA Agent Operation

29 Example configuration mysql client 7. mysqld 1. ndb_mgmd agent ndbd 5. ndbd agent n. mysqld Server (ID=n) n. ndb_mgmd Management Node (ID=n) n. ndbd Data Node (ID=n) 8. mysqld 2. ndb_mgmd agent ndbd 6. ndbd agent Cluster Manager agent runs on each physical host No central process for Cluster Manager agents co-operate, each one responsible for its local nodes Agents are responsible for managing all nodes in the cluster Management responsibilities Starting, stopping & restarting nodes Configuration changes Upgrades Host & Node status reporting Recovering failed nodes agent Cluster Manager agent

30 Creating & Starting a Cluster mysql client 7. mysqld 1. ndb_mgmd agent ndbd 5. ndbd agent mysqld 2. ndb_mgmd agent ndbd 6. ndbd agent Define the site: Mysql> create site --hosts= , , -> , mysite; 2. Expand the Cluster tar-ball(s) from mysql.com to known directory 3. Define the package(s): Mysql> add package --basedir=/usr/local/mysql_6_3_26 6.3; Mysql> add package --basedir=/usr/local/mysql_7_0_7 7.0; Note that the basedir should match the directory used in Step Create the Cluster Mysql> create cluster --package=6.3 -> --processhosts=ndb_mgmd@ ,ndb_mgmd@ , -> ndbd@ ,ndbd@ , ndbd@ , -> ndbd@ ,mysqld@ ,mysqld@ > mycluster; This is where you define what nodes/processes make up the Cluster and where they should run 5. Start the Cluster: Mysql> start cluster mycluster;

31 Upgrade Cluster mysql client 7. mysqld 8. mysqld Upgrade from Cluster to 7.0.7: 1. ndb_mgmd agent ndbd 5. ndbd agent ndb_mgmd agent ndbd 6. ndbd agent mysql> upgrade cluster --package=7.0 mycluster; Automatically upgrades each node and restarts the process in the correct order to avoid any loss of service Without Cluster Manager, the administrator must stop each process in turn, start the process with the new version and wait for the node to restart before moving onto the next one

Node 31 32 Data Node Data Node 35 36 Data Node On-line add-node mysql> add hosts --hosts=192.168.0.

32 Cluster Manager 1.1 GA 1 st November 2010 Mgmt mysqld 33 Node 34 mysqld Mgmt Node Mgmt mysqld mysqld 33 Node 34 mysqld mysqld Mgmt Node Data Node Data Node Data Node Data Node Data Node Data Node On-line add-node mysql> add hosts --hosts= , mysite; mysql> add package --basedir=/usr/local/mysql_7_0_7 hosts= , ; mysql> add process -- processhosts=mysqld@ ,mysqld@ ,ndbd@ ,ndbd@ mycluster; mysql> start process --added mycluster; Restart optimizations Fewer nodes restarted on some parameter changes

33 米国海軍航空母艦用航空機管理システム Aviation Data Management and Control System (ADMACS) 世界最大の軍艦ニミッツ級航空母艦で運用中艦載機飛行甲板の運用管理空母に搭載された航空機のメンテナンス燃料補給計画の管理空母上の飛行甲板の利用を含むフライトプランの作成および管理 Cluster 4 ノードの Linux 上で利用単一障害点のない完全な冗長性障害を想定したテストでの安定性とフットプリントの小ささが選択理由

34 NEC モバイルインターネットプラットフォーム 3G 通信の顧客情報管理ユーザ認証アクセス制御課金システムアプリケーションによって SQL および API を利用 2,000 万加入者のデータを管理 2,400TPS を処理将来の加入者やデータ量処理能力の増加に備えたフレキシブルなサーバ構成が可能お客様の声 Cluster の安定性と処理性能はすでに理解していましたが特に選定の決め手となったのは導入の容易性と拡張性の高さです

35 の高可用性構成レプリケーション ( 標準機能 ) 非同期 & 準同期データレプリケーション +DRBD Linux 用のノード間データコピーアプリケーション / AP サーバアプリケーション / AP サーバ負荷分散フェールオーバー Server 非同期複製準同期複製 Server 3 rd ベンダ製 HA ソフト利用共有ディスクにデータを格納 Server 同期複製 Server Cluster シェアードナッシング型高性能クラスタアプリケーション / AP サーバアプリケーション / AP サーバフェールオーバー負荷分散 Server 共有ディスク Server Cluster 双方向同期複製 Cluster

36 Requirements Replication Cluster Availability & DRBD Automatic Fail Over No Yes Yes Fail Over Time Varies < 1 sec < 5 min Resynch of Data No Yes Yes Geographic Redundancy Yes Yes No Scalability Load Balancing Scale-Out Yes No Read Intensive Yes Yes No Write Intensive No Yes No # of Nodes 100 s (reads) Active SQL Functionality Primary Key Lookups Yes Yes Yes Simple JOINs Yes Yes Yes Complex JOINs Yes No Yes Transactions Yes Yes Yes

37 37

サンのオープンソースへの取り組み

サンのオープンソースへの取り組みの高可用性構成日本オラクル株式会社 Global Business Unit 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さい

サンのオープンソースへの 取り組み

サンのオープンソースへの取り組み