Oracle Database Technology Night ~ 集え! オラクルの力 ( チカラ ) ~ Oracle Database 18c テクノロジーシリーズ 2 RAC/Sharding と Data Guard/HA の機能強化 ~ RAC/Sharding~ 日本オラクル株式会社

Size: px

Start display at page:

Download "Oracle Database Technology Night ~ 集え! オラクルの力 ( チカラ ) ~ Oracle Database 18c テクノロジーシリーズ 2 RAC/Sharding と Data Guard/HA の機能強化 ~ RAC/Sharding~ 日本オラクル株式会社"

たつぞううるしはた
5 years ago
Views:

1 Oracle Database Technology Night ~ 集え! オラクルの力 ( チカラ ) ~ Oracle Database 18c テクノロジーシリーズ 2 RAC/Sharding と Data Guard/HA の機能強化 ~ RAC/Sharding~ 日本オラクル株式会社ソリューションエンジニアリング統括クラウドインフラストラクチャー本部日下部明

2 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります

3 アジェンダ 1 2 Sharding Scalable SEQUENCE 3

4 Sharding 4

5 シャーディングデータを水平分割するクライアントアクセスを分散してスケーラビリティを得るオンライントランザクション処理向け 5

6 2 種類のシャーディング機能 Oracle Database Sharding (12.2~) 複数のデータベースに表パーティションを分散 Oracle RAC Sharding (18.1~) 1 つのデータベースの複数インスタンスに表パーティションのアフィニティを持たせる 6

7 クライアントはシャーディングキーを指定してアクセス Oracle Database Sharding (12.2~) 複数のデータベースに表パーティションを分散 Oracle RAC Sharding (18.1~) 1 つのデータベースの複数インスタンスに表パーティションのアフィニティを持たせる 7

8 Java のコード : 従来のコネクション取得方法データソース (UCP) の getconnection() メソッドを呼ぶ Connection con = ods.getconnection();... // SQL 実行 // コネクションをプールから取得 con.commit(); con.close(); // コネクションをプールに返却 8

9 Java のコード : シャーディングキーを指定シャーディングキーを指定して build() メソッドを呼ぶ Date shardingkeyval = new java.sql.date(0l); // シャーディングキーになる値 OracleShardingKey sdkey = ods.createshardingkeybuilder().subkey(shardingkeyval, OracleType.DATE).build(); // シャーディングキーを生成 Connection con = ods.createconnectionbuilder().shardingkey(sdkey).build(); // シャーディングキーを指定してコネクションをプールから取得... // SQL 実行 con.commit(); con.close(); // コネクションをプールに返却 9

10 Oracle Database Sharding 必要なエディション : DBCS-EE&HP(Shard 3 つまで ) EE, EE-ES, DBCS-EP, ExaCS(Shard 数制限無し ) 10

11 Oracle Database Sharding 複数の DB サーバーで論理 DB を構成水平分割パーティションキーを指定 DB サーバー間で共有ハードウェアを持たない 1 つのデータベースをシャードと呼ぶ全体はシャードデータベースと呼ぶ Shard Shard Shard Shard Database 11

12 Sharding の構成要素業務ロジック DB への接続リクエスト Sharding の構成管理フレームワーク Shard Catalog Client Shard Director Shard Catalog Sharding の構成情報や構成管理タスクを保持するリポジトリ DB Shard Director 各 Shard に対する構成管理処理の実行アプリケーション接続ルーティングを行うインスタンス (OS プロセス群 + 共有メモリ ) アプリケーションのデータを分散配置する DB 群 (Shard) Shard Shard Shard 12

13 アプリケーションから Oracle Database Sharding への接続 Direct Routing Sharding Key を指定して Shard Director からのリダイレクトで適切な Shard に直接接続する Shard Catalog Shard Director 1 接続リクエスト Client 2 適切な Shard にリダイレクト Proxy Routing Client から Shard Catalog に SQL 実行 Shard Catalog は SQL から適切な Shard を判断し実行結果を Client に戻す Client 1SQL 実行 3 結果を戻す Shard Catalog 2SQL を変換し適切な Shard で実行 Shard Shard Shard Shard Shard Shard 13

14 シャードに使用できるデータベースの構成 Multitenant Support 12c まではシャードとして使えるのは non-cdb のみ 18c からはシャードとして PDB が使えるただし Oracle Database Sharding 構成に組み込むことができるPDBは1つのCDBにつき1つ CDBは他の非 Shard PDBを含むことができる Shard1 Shard2 Shard3 PDB1 PDB1 PDB1 Shard1 Shard2 Shard3 PDB1 PDB2 PDB3 CDB1 CDB2 CDB3 構成可 CDB1 構成不可 14

15 データの配置シャード表パーティション表パーティションキーで水平分割各シャードで排他な内容を持つ重複表パーティション化できない表すべてのシャードで同じ内容を持つシャードカタログにも同じ内容を持つマテリアライズドビューで伝搬 CREATE SHARDED TABLE... CREATE DUPLICATED TABLE... Shard Catalog Shard Catalog Shard Shard 15

16 シャード表のパーティショニング方式 12.2 システム管理シャーディング各シャードへのデータの配置はシステムが決めるコンシステントハッシュコンポジットシャーディングレンジ - コンシステントハッシュリスト - コンシステントハッシュ 18~ ユーザー定義シャーディング特定のパーティションを特定のシャードに対応付けるレンジ ( ただしインターバルは不可 ) リスト 16

17 シャード表の配置 fhash() コンシステントハッシュ関数 P1 P2 P3 レンジパーティション表リストパーティション表表領域セット tbs1 tbs2 tbs3 表領域 Shard 1 Shard 2 Shard 3 システム管理シャーディング 1. 表領域セットを構成 2. システムがパーティション配置を決定 Shard 1 Shard 2 Shard 3 ユーザー定義シャーディング 1. 特定の表領域を特定のシャードに構成 2. 特定のパーティションを特定の表領域に配置 17

18 システム管理シャーディング複数のシャードにまたがる表領域セットを構成 CREATE TABLESPACE SET ts1 USING TEMPLATE ( DATAFILE SIZE 10M EXTENT MANAGEMENT LOCAL UNIFORM SIZE 256K SEGMENT SPACE MANAGEMENT AUTO ONLINE ); 表領域セット ts1 Shard 1 Shard 2 Shard 3 18

19 システム管理シャーディングコンシステントハッシュ表 CREATE SHARDED TABLE customers ( cust_id NUMBER NOT NULL :, CONSTRAINT cust_pk PRIMARY KEY(cust_id) ) PARTITION BY CONSISTENT HASH (cust_id) PARTITIONS AUTO TABLESPACE SET ts1 ; fhash() 表領域セット ts1 Shard 1 Shard 2 Shard 3 19

20 ユーザー定義シャーディングのメリット - 地理分散リニアなスケーラビリティ / 計画停止の制御 Sharding 構成の DB Linear Scalability & Geo Distribution Customers Americas Customers Europe Customers Asia 20

ユーザー定義シャーディングシャード領域と表領域を対応付ける GDSCTL コマンドを使ってシャード領域を作成 GDSCTL> ADD SHARDSPACE -SHARDSPACE west; GDSCTL> ADD SHARDSPACE -SHARDSPACE central; GDSCTL> ADD SHARDSPACE -SHARDSPACE east; GDSCTL> ADD SHARD

21 ユーザー定義シャーディングシャード領域と表領域を対応付ける GDSCTL コマンドを使ってシャード領域を作成 GDSCTL> ADD SHARDSPACE -SHARDSPACE west; GDSCTL> ADD SHARDSPACE -SHARDSPACE central; GDSCTL> ADD SHARDSPACE -SHARDSPACE east; GDSCTL> ADD SHARD -CONNECT shard1 -SHARDSPACE west; GDSCTL> ADD SHARD -CONNECT shard2 -SHARDSPACE central; GDSCTL> ADD SHARD -CONNECT shard3 -SHARDSPACE east; シャード領域を指定して表領域を作成 CREATE TABLESPACE tbs1 IN SHARDSPACE west; CREATE TABLESPACE tbs2 IN SHARDSPACE west; shard1 shard2 Shard3 P_NorthWest Tablespace : tbs1 P_SouthWest Tablespace : tbs2 Shardspace west P_NorthCentral Tablespace : tbs3 P_SouchCentral Tablespace : tbs4 Shardspace central P_NorthEast Tablespace : tbs5 P_SouthEast Tablespace : tbs6 Shardspace east CREATE TABLESPACE tbs3 IN SHARDSPACE central; CREATE TABLESPACE tbs4 IN SHARDSPACE central; CREATE TABLESPACE tbs5 IN SHARDSPACE east; CREATE TABLESPACE tbs6 IN SHARDSPACE east; 21

22 ユーザー定義シャーディングレンジ / リストパーティション表各パーティションを格納する表領域を指定 CREATE SHARDED TABLE accounts ( id NUMBER, account_number NUMBER, customer_id NUMBER, branch_id NUMBER, state VARCHAR(2) NOT NULL, status VARCHAR2(1) ) PARTITION BY LIST (state) ( PARTITION p_northwest VALUES ('OR', 'WA') TABLESPACE tbs1, PARTITION p_southwest VALUES ('AZ', 'UT', 'NM') TABLESPACE tbs2, PARTITION p_northcentral VALUES ('SD', 'WI') TABLESPACE tbs3, PARTITION p_southcentral VALUES ('OK', 'TX') TABLESPACE tbs4, PARTITION p_northeast VALUES ('NY', 'VM', 'NJ') TABLESPACE tbs5, PARTITION p_southeast VALUES ('FL', 'GA') TABLESPACE tbs6 ) 22

23 シャード表に対する SQL 実行あるシャードから別のシャードは参照できないスケーラビリティを得るためには Direct Routing を想定シャードカタログからは全シャードのデータを参照できるマルチシャードクエリ Client Client Shard Catalog Shard 23

24 シャード表の参照特定のシャードで実行そのシャードにある行のみ見える SQL> select * from accounts; ID ACCOUNT_NUMBER CUSTOMER_ID BRANCH_ID ST S OR Y WA Y AZ Y UT Y NM Y シャードカタログで実行すべての行が見える SQL> select * from accounts; ID ACCOUNT_NUMBER CUSTOMER_ID BRANCH_ID ST S OR Y WA Y AZ Y UT Y NM Y SD Y WI Y OK Y TX Y NY Y VM Y NJ Y FL Y GA Y 24

25 シャード表の参照シャードカタログからのデータの参照停止しているシャードがある場合にはマルチシャードクエリは失敗する SQL> select * from accounts; select * from accounts * ERROR at line 1: ORA-02519: cannot perform cross-shard operation. Chunk "3" is unavailable ORA-06512: at "GSMADMIN_INTERNAL.DBMS_GSM_POOLADMIN", line ORA-06512: at "SYS.DBMS_SYS_ERROR", line 86 ORA-06512: at "GSMADMIN_INTERNAL.DBMS_GSM_POOLADMIN", line ORA-06512: at "GSMADMIN_INTERNAL.DBMS_GSM_POOLADMIN", line ORA-06512: at line 1 25

26 シャード表の更新別のシャードに対するデータは格納出来ない ( 下記は Shard1 で実行 ) ### Shard1 に配置されるはずのデータを Shard1 で INSERT SQL> insert into accounts values (1,1,1,1,'OR','Y'); 1 行が作成されました SQL> commit; コミットが完了しました ### Shard3 に配置されるはずのデータを Shard1 で INSERT SQL> insert into accounts values (14,14,14,14,'GA','Y'); insert into accounts values (14,14,14,14,'GA','Y') * 行 1 でエラーが発生しました : ORA-14466: 読取り専用のパーティションまたはサブパーティション内のデータは変更できません Client Shard1 Shard2 Shard3 26

27 シャード表のジョイン KVS モデルとは異なり RDMBS では表のジョインという概念があるジョインする対象が同じシャードに配置されている必要がある Client 表 A 表 B Shard 1 Shard 2 Shard 3 27

28 表ファミリ複数のシャード表の間に親子関係を持たせるシステム管理シャーディングの親表のパーティションと子表のパーティションを同じシャードに配置する親子関係がある一連のシャード表を表ファミリと呼ぶ親を持たない表をルート表と呼ぶ複数のルート表を持つことはできない親子関係の定義リファレンスパーティション PARENT 句親表 A 子表 B Shard 1 Shard 2 Shard 3 28

29 表ファミリリファレンスパーティション - 外部キーで親表と同じパーティションの区切り方親表プライマリキーとパーティションキーが CustNo 列 CREATE SHARDED TABLE Customers ( CustNo NUMBER NOT NULL, Name VARCHAR2(50), Address VARCHAR2(250), CONSTRAINT RootPK PRIMARY KEY(CustNo) ) PARTITION BY CONSISTENT HASH (CustNo) PARTITIONS AUTO TABLESPACE SET ts1 ; 子表外部キーが親表のパーティションキー外部キーでリファレンスパーティション CREATE SHARDED TABLE Orders ( OrderNo NUMBER NOT NULL, CustNo NUMBER NOT NULL, OrderDate DATE, CONSTRAINT OrderPK PRIMARY KEY (CustNo, OrderNo), CONSTRAINT CustFK FOREIGN KEY (CustNo) REFERENCES Customers(CustNo) ) PARTITION BY REFERENCE (CustFK) ; 29

30 表ファミリ PARENT 句 - 明示的に親子関係を定義親表パーティションキーが CustNo 列 CREATE SHARDED TABLE Customers ( CustNo NUMBER NOT NULL, Name VARCHAR2(50), Address VARCHAR2(250), region VARCHAR2(20), class VARCHAR2(3), signup DATE ) PARTITION BY CONSISTENT HASH (CustNo) PARTITIONS AUTO TABLESPACE SET ts1 ; 子表親表と同じパーティションキー PARENT 句で親表の名前を指定 CREATE SHARDED TABLE Orders ( OrderNo NUMBER, CustNo NUMBER NOT NULL, OrderDate DATE ) PARENT Customers PARTITION BY CONSISTENT HASH (CustNo) PARTITIONS AUTO TABLESPACE SET ts1 ; 30

31 重複表必ずしもすべての表がシャード表にできるとは限らないシャード表はシャードをまたがったジョインができないすべてのシャードで同じ内容を持つ表を構成できるシャードカタログにある内容をマテリアライズドビューでシャードに伝搬 CREATE DUPLICATED TABLE... Shard Catalog Shard 31

32 重複表の更新 12.2 シャードカタログ上でのみ更新可能各シャードに伝搬 18~ 各シャード上でも更新可能シャードカタログで更新され各シャードに伝搬 UPDATE... Shard Catalog UPDATE... Shard Catalog Shard Shard 32

33 Oracle RAC Sharding 必要なエディション : RAC と同様 33

Oracle RAC Sharding SHARDING_KEY=1234 Client

6668-9999 通常の RAC データベース構成における論理的なパーティショニング

34 Oracle RAC Sharding SHARDING_KEY=1234 Client アプリケーション側で定義されたキー (Sharding Key) によって接続するインスタンスを自動的に決定 Instance 1 No Instance 2 No Instance 3 No 通常の RAC データベース構成における論理的なパーティショニングデータは全インスタンスからアクセス可能各インスタンスのキャッシュの効率利用 Cache Fusion インスタンス間競合の減少 Oracle RAC Database 34

35 Oracle RAC Sharding パーティション表のパーティションにキャッシュのアフィニティを持たせる SQL> ALTER SYSTEM ENABLE AFFINITY [ schema.]table [SERVICE service_name ]; パーティション表 35

36 データのアクセス範囲 Oracle Database Sharding (12.2~) 特定のシャードのみ ( パーティションをまたがるジョインは不可 ) Oracle RAC Sharding (18.1~) 複数のパーティションにまたがるアクセスは可能 ( シングルインスタンスと変わらない ) 36

37 Sharding データの水平分割でクライアントアクセスを分散オンライントランザクション処理向けシャーディングキーを指定したアクセス Oracle Database Sharding Oracle RAC Sharding データベース構成複数のデータベースの集合 1 つのデータベーススキーマ構成シャード表 / 重複表パーティション表 / 非パーティション表データのアクセス範囲特定のシャードのみすべてのデータにアクセス可能停止の影響シャードの停止が別のシャードに影響しないインスタンス障害時わずかな時間ほかのインスタンスに影響する 37

38 リファレンス Oracle Database 12c Release 2 データベース管理者ガイド第 VII 部シャードデータベースの管理 Oracle Database 18c シャーディングに関するマニュアルが独立 Oracle Sharding の使用 38

39 Scalable SEQUENCE 39

40 SEQUENCE のよくある使い方 PRIMARY KEY などに使用する一意な値を採番する SQL> CREATE TABLE orders( orderid NUMBER, : CONSTRAINT orders_pk PRIMARY KEY (orderid) ); orders 表 INSERT INTO orders VALUES (seq.nextval,...) 40

41 索引の付いている列に SEQUENCE で生成した値を INSERT B* ツリー索引は列の値を昇順に格納している最も大きな値を格納するリーフブロックに更新が集中する SQL> CREATE TABLE orders( orderid NUMBER, : CONSTRAINT orders_pk PRIMARY KEY (orderid) ); B* ツリー索引 INSERT INTO orders VALUES (seq.nextval,...) oracle oracle oracle 同時セッション数が多い場合に更新競合 41

42 RAC での問題最も大きな値を格納するリーフブロックの転送待ちが頻発する oracle oracle oracle INSERT INTO orders VALUES (seq.nextval,...) oracle oracle oracle Buffer Cache Buffer Cache インスタンス 1 インスタンス 2 42

43 R12.2までの緩和方法更新されるリーフブロックを分散させる fhash(x) INSERT INTO table_name VALUES (seq.nextval,...) ビット列反転 ALTER SEQUENCE seq CACHE NOORDER; 1 : : ハッシュパーティション索引逆キー索引 CACHE 値増加 43

44 Scalable SEQUENCE CREATE SEQUENCE seq SCALE [ NOEXTEND EXTEND ] インスタンス ID とセッション ID がインクリメントされる値のプレフィックスに付くセッションID % 1000 インスタンスID % インクリメントされていく値 44

45 Scalable SEQUENCE INSERT INTO table_name VALUES (seq.nextval,...) 異なるインスタンス間ではインスタンス ID で分散される同一インスタンス内の異なるセッション間ではセッション ID で分散されるインスタンス 1 インスタンス 2 セッション 100 セッション 200 セッション 300 セッション 400 oracle oracle oracle oracle B* ツリー索引 45

46 CREATE SEQUENCE... SCALE [NOEXTEND EXTEND] NOEXTEND と EXTEND の桁数の処理の違い NUMBER 型 : 最大 38 桁 ( 従来の )SEQUENCE: 最大 28 桁 SCALE NOEXTEND プレフィックス 6 桁を含めて最大 28 桁 SCALE EXTEND プレフィックス 6 桁 + 最大 28 桁 46

47 CREATE SEQUENCE... SCALE NOEXTEND; 従来のSEQUENCEの最大桁数に収まる SQL> SELECT seq3.nextval as val FROM dual; VAL インクリメントされていく値 (MAXVALUEの桁 - 3 桁 - 3 桁 ) セッションID % 1000 (3 桁 ) インスタンスID % (3 桁 ) MAXVALUE の桁 ( 最大 28 桁 ) 47

48 CREATE SEQUENCE... SCALE EXTEND; SEQUENCEの最大桁数が拡張される ( インクリメントされる桁の互換性 ) SQL> SELECT seq2.nextval as val FROM dual; VAL インクリメントされていく値 (MAXVALUEの桁: 最大 28 桁 ) セッションID % 1000 (3 桁 ) インスタンスID % (3 桁 ) 3 桁 + 3 桁 + MAXVALUE の桁 48

49 Scalable SEQUENCE 索引をつけた列に SEQUENCE の値を INSERT するときに発生する問題索引リーフブロックの更新競合が発生しやすい更新ブロックを分散させて競合を緩和するチューニング Scalable SEQUENCE 生成される値をインスタンス ID とセッション ID のプレフィックスで大きく離す連番でも単調増加でもない一意な値桁数が固定 49

50 テックナイトアーカイブ資料とお役立ち情報各回テックナイトセッション資料ダウンロードサイト oracle technight 技術コラムしばちょう先生の試して納得! DBA への道技術コラム津島博士のパフォーマンス講座もしもみなみんが DB をクラウドで動かしてみたら 50

51 51

52 みなさまの投稿をお待ちしております Twitter #OracleTechNight 52

53 Oracle Digital はオラクル製品の導入をご検討いただく際の総合窓口電話とインターネットによるダイレクトなコニュニケーションでどんなお問い合わせにもすばやく対応しますもちろん無償どんなことでもご相談ください 53

54 54

Oracle Database 12c

Oracle Database 12c 免責事項以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます