PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

ありさたかはし
5 years ago
Views:

1 なくします! 移行での迷子を ~ 異種 DBMS から PostgreSQL へ ~ 2013 年度活動成果報告 PostgreSQL エンタープライズコンソーシアム WG2( 移行 WG)

2 アジェンダ WG2について 2012 年度の活動内容 2013 年度の活動について活動スケジュール活動体制 2013 年度活動の成果データ移行ストアドプロシージャチューニングバージョンアップまとめ & 今後の予定 2

3 WG2 について 3

4 WG2( 移行 WG) 活動方針 PostgreSQL 利用促進を目的とし PostgreSQL 経験の少ない DB 技術者に向けた情報発信を行う異種 DBMS と比べた際の PostgreSQL の優位点や注意事項を明確化する実システムを更改する場合の検討項目手順を作成する例 SQL 文やストアドプロシージャなどのアプリケーション側の注意点データ定義変更の有無を判定する基準や方法 PostgreSQL 活用時にかかるコスト要因の分析 4

5 中間成果報告 (2013/12/3) アンケートより PGECons への期待移行に関する情報発信移行ノウハウは PostgreSQL 採用の課題 5

6 2012 年度の成果 6

7 2012 年度 WG2( 設計運用 WG) 活動内容活動テーマ : 異種 DBMS から PostgreSQL への移行課題認識異種 DBMS システムを PostgreSQL へ移行するプロセスが確立していないことが普及を妨げる大きな障壁と認識移行作業をどのように進めればよいかがわからない初期段階で移行に必要なトータルコストを算出できない過去の経験則や点在するノウハウに依存しているのが現状活動目標異種 DBMS から PostgreSQL への移行を検討する際のガイドラインを提示する留意すべき事項難易度判断調査方法 7

8 2012 年度活動対象 DBMS のシステム構成検討スキーマの移行異種 DBMS DB 移行フレームワークアセスメント移行判定中断システム構成移行異種 DB 連携検討定義移行データ移行全体像の検討異なる DB 間のデータ連携 PostgreSQL データの移行 API SQL 文ストアドプロシージャ組み込み関数移行アプリケーション移行運用移行移行評価チューニングシステム切り替えデータ移行 2012 年度活動 8

9 2012 年度の成果作成文書 DB 移行フレームワーク編システム構成調査編異種 DB 間連携調査編スキーマ移行調査編 SQL 移行調査編ストアドプロシージャ移行調査編組み込み関数移行調査編データ移行調査および実践編アプリケーション移行調査および実践編運用設計移行評価チューニング内容移行作業全体の解説 DBMS の主なシステム構成と PostgreSQL に移行時の構成検討異種 DBMS と PostgreSQL のデータ連携異種 DBMS と PostgreSQL のスキーマの違いと書き換えの方針検討 Oracle,SQL Server,PostgreSQL の SQL 互換性調査と書き換えの検討異種 DBMS のストアドプロシージャを PostgreSQL に移行する方法を検討 Oracle, PostgreSQL の組み込み関数互換性を調査異種 DBMS から PostgreSQL へデータ移行に関する作業や注意点の調査 API やトランザクションの差異調査未着手未着手未着手 9

10 2013 年度の活動について 10

11 2013 年度 WG2( 運用設計移行 WG) 活動テーマ未着手項目の解消 / テーマの掘り下げテーマデータ移行差分調査内容実案件を想定したマルチバイト文字コード移行に関する調査ストアドプロシージャ昨年度作成資料への追加記述 Oracle PL/SQL 以外のプロシージャ言語の調査チューニング DB 移行におけるチューニングのフレームワーク検討および作業の具体化バージョンアップ ( 運用 ) バージョンアップに関する手順書作成バックアップ / 監視 WG3 11

12 2013 年度 WG2 活動テーマ別担当企業テーマデータ移行差分調査ストアドプロシージャチューニング運用 ( バージョンアップ ) 参加企業 ( 株 ) アシスト NEC ソリューションイノベータ ( 株 ) クオリカ ( 株 ) ( 株 ) インフォメーションクリエーティブ日本電信電話 ( 株 ) NEC ソリューションイノベータ ( 株 ) 富士通 ( 株 ) ( 株 ) 富士通ソーシアルサイエンスラボラトリ ( 株 ) 富士通ソーシアルサイエンスラボラトリ日本電信電話 ( 株 ) サイオステクノロジー ( 株 ) 12

2013 年度の活動スケジュール 05-07 月今年度の活動内容の検討 08-03 月活動項目の実施 03-04 月まとめ作業 (

13 2013 年度の活動スケジュール月今年度の活動内容の検討月活動項目の実施月まとめ作業 ( 結果をドキュメントとして整備 ) 項目月月月月作業内容検討調査実施中間発表まとめ 13

14 2013 年度活動の成果 14

15 データ移行 15

16 成果物の構成移行作業の全体像を解説 DB 移行フレームワーク編移行作業に含まれる作業内容手順の調査システム構成調査編異種 DB 間連携調査編スキーマ移行調査編データ移行調査編 <UP!> ストアドプロシージャ移行調査編 <UP!> アプリケーション移行調査編 SQL 移行調査編組み込み関数移行調査編チューニング編 <NEW!> バージョンアップ編 <NEW!> 移行作業を試行する検証データ移行調査および実践編アプリケーション移行実践編 16

17 2012 年度の成果データ移行調査および実践編 DBMSの諸元の比較データ型の互換性移行対象オブジェクトの確認方法データ抽出方法外字データ移行後に実施すべき処理サポートするエンコーディング PostgreSQL のデータ投入方法移行手順の確立テキストファイルの文字コード変換移行データ確認方法データ移行に関する一連の作業について机上検証および実機検証を実施 17

18 課題 2012 年度の残項目 No 課題 2013 年度活動内容 1 マルチバイトデータの移行について実機検証を未実施動作確認実機検証は Oracle が中心各種 DBMS からのデータ移行方法文字コード変換 DB に格納 / 出力可能な文字コード変換のタイミング使用するツール 2 LOB など移行手順が未確定な属性 2013 年度は活動テーマとして取り上げず 18

19 活動方針 1. 机上検討選択可能な文字コード ( 格納 / 出力 ) 移行ツールおよび移行手順の確認 2. 実機検証 19

実機検証郵便番号のデータを利用 ( 約 12 万件 ) Oracle SQL Server DB2

コード変換のタイミング別検証 ( データ出力時 / 出力ファイル / データ投入時 ) Oracle

出力有 / 無文字コード変換 (SJIS UTF-8) SQL Server bcp CSV/ カンマ区切り

20 実機検証郵便番号のデータを利用 ( 約 12 万件 ) Oracle SQL Server DB2 からデータを抽出し PostgreSQL に投入各 DBMS からは CSV カンマ区切りの形式で抽出コード変換のタイミング別検証 ( データ出力時 / 出力ファイル / データ投入時 ) Oracle SQL*Plus/spool (SQL Developper) 文字コード変換 (SJIS UTF-8) WAL 出力有 / 無文字コード変換 (SJIS UTF-8) SQL Server bcp CSV/ カンマ区切り copy/ pg_bulkload PostgreSQL DB2 CLP/EXPORT nkf/iconv 文字コード変換 (SJIS UTF-8) 20

21 検証結果検証項目検証結果データの抽出 / 投入 DBMS ツール文字コード変換のタイミングに関わらずデータ移行に成功 CSV/ カンマ区切りだが出力時にデータをでデータを囲うなどツールにより出力形式が異なる結果となった今回は形式の違いがデータ投入の成否に影響しなかったデータ抽出時の文字コードは DBMS による差を確認 Oracle(SQL*Plus) DB2(CLP/EXPORT) は UTF-8 出力 bcp は UTF-16 出力ファイルの文字コード変換 nkf と iconv には大きな変換性能差 21

22 検証結果文字コード変換によるロード性能への影響 COPY(WAL 出力あり ) COPY(WAL 出力無し ) pg_bulkload 変換あり変換無し 22

23 検証の成果と課題検証の成果工程残課題確認 Export データ抽出時のカンマ区切り /CSV 出力形式の違いデータ抽出ツールによる出力文字コードの制限 Transform ツール (nkf/iconv) による文字コード変換性能差 Load ツール (copy/pg_bulkload) による性能差ツールによる文字コード変換性能差ラージオブジェクトなどDBMSごとに異なるデータの移行手順の確立データ移行前後のデータ差異確認方法異種 DB 連携ツールを利用した場合 ~ 問題が発生するケースも考えられる 23

24 ストアドプロシージャ 24

25 成果物の構成移行作業の全体像を解説 DB 移行フレームワーク編移行作業に含まれる作業内容手順の調査システム構成調査編異種 DB 間連携調査編スキーマ移行調査編データ移行調査編 <UP!> ストアドプロシージャ移行調査編 <UP!> アプリケーション移行調査編 SQL 移行調査編組み込み関数移行調査編チューニング編 <NEW!> バージョンアップ編 <NEW!> 移行作業を試行する検証データ移行調査および実践編アプリケーション移行実践編 25

26 2012 年度の成果ストアドプロシージャ移行調査編 Oracle(PL/SQL) PostgreSQL(PL/pgSQL) 移行検証移行可能な構文の変換方法移行できない機能 ( プロシージャ内のCOMMITなど ) Oracle PL/SQL PostgreSQL PL/pgSQL 検証を実施 26

27 課題 2012 年度の積み残し課題 No 課題活動内容 1 Oracle(PL/SQL) 以外のプロシージャ言語の調査 PL/pgSQL との差異調査 SQL Server(Transact-SQL) DB2 2 移行が困難な構文機能の移行方法検討本年度は検討のみ 27

28 調査方針観点プロシージャ / 関数の定義構文プロシージャの構造の差異変数定義 / 操作方法制御構造カーソルエラーハンドリング 28

29 調査内容と結果構文ごとの比較 / 移行方法の調査 29

30 調査内容と結果 DBMS 検討項目検討結果 SQL Server プロシージャ / 関数の定義構文変数宣言の場所記述言語の指定など随所に違い変数定義 / 操作方法制御構造カーソルを付け SET 文でデータを代入など構文に違い GOTO WAITFOR など未サポート機能があるが多くは代替構文ありカーソルのレコード件数取得などの機能差異および随所の構文差異トランザクションエラーハンドリングプロシージャ内の COMMIT は実行不可多くの機能は代替構文あり DB2 プロシージャ / 関数の定義構文関数の引数など随所に違い変数定義 / 操作方法制御構造カーソル変数宣言の場所や SET 文による代入などの違い GOTO など未サポート機能があるが多くは代替構文ありカーソル定義の記述箇所やカーソルのステータス確認方法等に違いトランザクションエラーハンドリングプロシージャ内の COMMIT は実行不可エラーハンドラの定義など PL/pgSQL との差異が随所に存在詳細な文法上の違いは成果物をご覧ください 30

31 検証の成果と課題検証の成果構文別の移行可否および移行方法構文は似通っているが随所に細かい差異が存在する構文の差異は解消できるが DBMS の機能差異の解消は困難残課題変換作業に対する難易度の提示単純変換できない構文や機能についての解決策の提示公開可能なサンプルソースによる実例の提示 31

32 チューニング 32

33 成果物の構成移行作業の全体像を解説 DB 移行フレームワーク編移行作業に含まれる作業内容手順の調査システム構成調査編異種 DB 間連携調査編スキーマ移行調査編データ移行調査編 <UP!> ストアドプロシージャ移行調査編 <UP!> アプリケーション移行調査編 SQL 移行調査編組み込み関数移行調査編チューニング編 <NEW!> バージョンアップ編 <NEW!> 移行作業を試行する検証データ移行調査および実践編アプリケーション移行実践編 33

34 課題 DB 移行を前提としたチューニング異種 DBMS において一般に用いられ PostgreSQL も提供しているチューニング手法の紹介 No 課題活動内容 1 チューニング手順の検討 2 PostgreSQL 固有な課題 3 物理設計 4 SQL 文のチューニング DBMS 移行時のチューニング手順検討 PostgreSQL に固有な性能上の課題の検討パラメータチューニングシステム構成による性能改善 SQL 文の性能確認手段チューニング手法 34

35 調査方針 DBMS 移行におけるチューニング作業手順検討 PostgreSQLに固有な性能上の留意点の確認物理設計パラメータ設定負荷分散など SQL 文のチューニング手法 35

36 調査内容チューニング手順性能要件確認現行システムの性能データ目標性能設定既に存在するシステムの性能をベースとした性能目標設定 PostgreSQL に固有な性能問題の検討物理 / 運用設計 PostgreSQL で一般に行われているチューニング SQL 文のチューニング 36

37 PostgreSQL に固有な性能上の留意点 VACUUM 運用更新されたレコードの最初の参照で発生するトランザクション状態の反映 DBMSによるチューニング機能の違い 37

38 パラメータ設計チューニング関連のパラメータおよび設定値の考え方の提示資源の消費量に関するチューニング更新ログ (WAL) に関するチューニングレプリケーション設定パラメータ設計 ( 抜粋 ) 自動 VACUUMの設定ロック関連の設定 : 38

39 SQL 文のチューニング EXPLAIN によるプランの確認パラメータ設定によるプランの変更 HINT 統計情報の固定 ( アドインツール ) PostgreSQL は他 DBMS が提供する一般的なチューニング手段を備える 39

40 成果と課題成果大まかな手順およびチューニング手法の提示課題移行を前提とした具体的なチューニング作業の紹介ノウハウ参加企業の増加による事例やノウハウの充実が課題 40

41 バージョンアップ 41

42 成果物の構成移行作業の全体像を解説 DB 移行フレームワーク編移行作業に含まれる作業内容手順の調査システム構成調査編異種 DB 間連携調査編スキーマ移行調査編データ移行調査編 <UP!> ストアドプロシージャ移行調査編 <UP!> アプリケーション移行調査編 SQL 移行調査編組み込み関数移行調査編チューニング編 <NEW!> バージョンアップ編 <NEW!> 移行作業を試行する検証データ移行調査および実践編アプリケーション移行実践編 42

43 課題バグフィックス版 ( リビジョンアップ ) や新機能の利用のためのバージョンアップ手段が複数存在し作業のリスクや比較した情報が存在しない No 課題活動内容 1 2 バージョンアップ手法の整理データ量とバージョンアップ時間の相関関係バージョンアップ手法の机上調査および手順書作成手法別のメリットデメリットデータ量とバージョンアップ作業時間との関係を確認 43

44 活動の方針机上調査 PostgreSQL で採用可能なバージョンアップ手法を調査実機検証バージョンアップ元 : 既存 PostgreSQL バージョンアップ先 : 新規 PostgreSQL No. 手法 ( 使用ツール ) 説明対応バージョンアップ 1 データベースクラスタの継続利用データベースクラスタをそのまま残し PostgreSQL のバイナリのみ新規バージョンに置き換えるマイナー 2 バックアップリストア (pg_dump/pg_restore) 既存 PostgreSQL から pg_dump で取得したバックアップを psql または pg_restore を用いて新規 PostgreSQL にリストアするメジャー 3 バージョンアップツールの利用 (pg_upgrade) バージョンアップ用のプログラムである pg_upgrade を用いてバージョンアップを行う pg_upgrade の以下のモードを検証する 1. コピーモード既存データベースクラスタのデータを新規 PostgreSQL のデータベースクラスタにコピーするモード 2. リンクモード既存データベースクラスタと新規データベースクラスタをハードリンクで繋ぎデータを共有するモードメジャー 4 レプリケーション (Slony-I) 異なるメジャーバージョン間でも PostgreSQL のレプリケーション構成を実現できる Slony-I を用いてバージョンアップを行うメジャー 5 ベースバックアップとアーカイブログ (pg_receivexlog pg_basebackup pg_upgrade) 以下のように各手法を組み合わせ移行日に大規模なデータコピーが発生することを回避した手法 ( ベースバックアップを利用してバージョンアップの事前試行も可能 ) 事前 : ベースバックアップ (pg_basebackup) 都度 : アーカイブログ転送 (pg_receivexlog) 移行日 :PITR バージョンアップ (pg_upgrade) メジャー 44

45 検証の内容と結果各手法の実機検証の結果 No. 手法 ( 使用ツール ) データベースクラスタの継続利用バックアップリストア (pg_dump/pg_restore) バージョンアップツールの利用 (pg_upgrade/ コピーモード ) バージョンアップツールの利用 (pg_upgrade/ リンクモード ) 実施バージョンアップサービスの停止サービス停止時間手順の難易度異なるサーバ間のバージョンアップマイナー必要 9 秒易不可メジャー必要 289 秒易可能メジャー必要 40 秒易不可メジャー必要 19 秒易不可推奨 5 レプリケーション (Slony-I) メジャー必要 48 秒 ( ) 難可能 6 ベースバックアップとアーカイブログ (pg_receivexlog pg_basebackup pg_upgrade) メジャー必要 28 秒並可能主キーがないテーブルは Slony-I ではレプリケーションできない本検証では主キーが無いテーブルには pg_dump/pg_restore を利用バージョンアップ時のデータを生成には JdbcRunnerの付属テーブル構造の1つである Tiny TPC-C を利用 JdbcRunner : 45

46 検証の成果 1/2 各バージョン手法のメリットデメリット項番手法 ( 使用ツール ) メリットデメリット注意点 1 データベースクラスタの継続利用 2 バックアップリストア (pg_dump/pg_restore) バイナリの追加インストールだけでマイナーバージョンアップできる新規 PostgreSQL のための領域を確保しなくて良い一般的な ( 枯れた ) 手法であるため参考資料が豊富であり難易度も高くないメジャーバージョンアップでは利用できない PostgreSQL の停止を伴うバックアップリストア中にデータ差分が発生した場合に再度バックアップとリストアを実行する必要がある PostgreSQL の停止を伴う ( バックアップ + リストア時間 ) データ量が増えると実行時間も長くなる ( 次頁を参照 ) 3 バージョンアップツールの利用 (pg_upgrade/ コピーモード ) バックアップリストア (pg_dump/pg_restore と比較すると高速にバージョンアップが可能バージョンアップ時の変換等挙動について注意点が明記されている PostgreSQL の停止を伴う ( バージョンアップ時間 ) サーバ間のデータ移行ができない 4 バージョンアップツールの利用 (pg_upgrad/ リンクモード ) バージョンアップツールの利用 (pg_upgrad/ コピーモード ) よりも高速にバージョンアップが可能古いデータベースクラスタも保持が必要なため運用管理が複雑になる 5 レプリケーション (Slony-I) 6 ベースバックアップとアーカイブログ (pg_receivexlog pg_basebackup pg_upgrade) 稼働中の PostgreSQL のデータを移行できる ( 負荷はかかるため試験は必須 ) ダウンタイムを削減することが可能試験的にバージョンアップを行うことが行えるためバージョンアップ中のトラブルを未然に防ぐことが可能レプリケーションソフトウェアであるためバージョンアップ向けのドキュメントが整備されているとは言い難い実施手順が他の手法に比べて複雑レプリケーションできないデータが存在する ( ラージオブジェクトや主キーがないテーブルのデータ等 ) アーカイブログが蓄積 ( 物理バックアップ時点からの差分 ) されすぎるとその適用が長時間になる可能性がある 46

47 検証の成果 2/2 データ量による所要時間の増加を確認 (pg_dump/pg_restore を利用 ) JdbcRunner の scale_factor( データ量生成因子 ) のパターン ( ) によりデータ量を変更参考としてバージョンアップ後の VACUUM および ANALYZE 時間も測定データ量とバージョンアップ作業時間は概ね比例関係事前に 1/n のデータ量で検証を行い実際の作業時間が予測可能 ( データ型等によって大きく変化する可能性がある ) 47

48 活動に対する課題と今後の予定 48

49 WG2 の成果テーマとしては全体をカバーしつつある移行評価のみ残今後も継続的な活動が必用テーマ別の完成度具体的な移行対象を使用した検証や課題解決 DB 移行フレームワークシステム構成移行アプリケーション移行アセスメント移行判定定義移行データ移行異種 DB 連携検討運用移行中断監視やバックアップは WG3 へ移行評価チューニングシステム切り替え未着手のテーマデータ移行 49

50 活動の課題と反省参加企業からの意見サンプルソースの提示が必用 ( ストアドプロシージャ ) 参加企業数に見合った分量のテーマの選定仲間を増やすような活動ができたら良い参加企業間での議論が少なかった 2014 年度は具体的な移行作業や移行方法の議論主体の活動になる ( かもしれません ) 50

51 PGECons で一緒に活動しませんか? 51

異種DBMSからPostgreSQLへの移行ガイド

異種DBMSからPostgreSQLへの移行ガイド PostgreSQL エンタープライズコンソーシアム技術部会 WG#2 異種 DBMS から PostgreSQL への移行ガイド製作者担当企業名 NEC ソリューションイノベータ株式会社日本電子計算株式会社 2016 PostgreSQL Enterprise Consortium 改訂履歴版改訂日変更内容 1.0 /04/22 新規作成 2.0 2014/03/07 年度成果物の説明を追加