PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

はなももき
5 years ago
Views:

1 PostgreSQL の全体像をつかみその魅力に迫る商用 DB からの移行に関する選択肢の比較 (PostgreSQL MySQL SQL Server) 2018 年 5 月 29 日 SRA OSS, Inc. 日本支社正野裕大 masano@sraoss.co.jp 1

2 PostgreSQL の概要 2

3 PostgreSQL とは標準 SQL の大部分とその他の先進的な機能をサポートする本格的なオープンソース RDBMS 20 年以上の歴史を持ち現在も活発な開発体制 1 年に 1 度のメジャーバージョンアップ 1 年に数回のマイナーバージョンアップ豊富なプラットフォームに対応 Unix 系 OS 全般 Windows 2000 SP4 以降 Mac OS X 豊富なサポート言語 C ECPG C++ Java Tcl/TK Python Perl PHP Ruby ODBC.NET Data Provider など 3

4 PostgreSQL のライセンス The PostgreSQL License BSD ライセンスに類似広告条項はなし ( 修正 BSD ライセンス ) 使用複製改変配布の自由複製においては以下を含めることが条件著作権表示ライセンス条文免責条項 GPL と比較すると派生物を再配布する際にソースコード公開ライセンス継承の義務がない COPYRIGHT ファイル PostgreSQL Database Management System (formerly known as Postgres, then as Postgres95) Portions Copyright (c) , PostgreSQL Global Development Group Portions Copyright (c) 1994, The Regents of the University of California Permission to use, copy, modify, and distribute this software and its documentation for any purpose, without fee, and without a written agreement is hereby granted, provided that the above copyright notice and this paragraph and the following two paragraphs appear in all copies. IN NO EVENT SHALL THE UNIVERSITY OF CALIFORNIA BE LIABLE TO ANY PARTY FOR DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES, INCLUDING LOST PROFITS, ARISING OUT OF THE USE OF THIS SOFTWARE AND ITS DOCUMENTATION, EVEN IF THE UNIVERSITY OF CALIFORNIA HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. THE UNIVERSITY OF CALIFORNIA SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE. THE SOFTWARE PROVIDED HEREUNDER IS ON AN "AS IS" BASIS, AND THE UNIVERSITY OF CALIFORNIA HAS NO OBLIGATIONS TO PROVIDE MAINTENANCE, SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS. 4

コアチーム開発コミュニティ Josh Berkus Tom Lane Peter

5 PostgreSQL の開発体制特定のオーナー企業を持たない方式単独の企業に独占されることなく幅広い層の厚い開発体制支援企業コントリビュータメジャーコントリビュータ Fujii Masao Harada Hitoshi Ishii Tatsuo Kaigai Kouhei Suzuki Koichi 30~40 名コアチーム開発コミュニティ Josh Berkus Tom Lane Peter Eisentraut Magnus Hagander Bruce Momjian Dave Page など PostgreSQL サイトより 5

6 日本における PostgreSQL のコミュニティユーザコミュニティ日本 PostgreSQL ユーザ会 (JPUG) 1999 年設立 NPO 法人 5,000 人強の ML 会員全国各地の支部普及活動を中心に日本における OSS コミュニティのロールモデルでもあるビジネスコミュニティ PostgreSQL エンタープライズコンソーシアム (PGECons) 2012 年設立正会員企業 17 社一般会員企業 37 社 (2016 年 12 月現在 ) エンタープライズ用途に向けた共同検証やプロモーション活動 6

7 PostgreSQL の生い立ち 1977~1985 CA-Ingres II Ingres 1986~1994 Illustra Informix Postgres 1994~ ~ アメリカカリフォルニア大学 (UCB) で開発された最も初期の RDBMS UCB で研究目的で開発ユーザ増加バージョン 4.2 で打ち切り Postgres95 ソースコードの見なおしと改良 SQL に対応 PostgreSQL 7

8 PostgreSQL ソースコード行数 PostgreSQL の歴史 1,000, , , , , , , , , ,000 ビットマップスキャン PITR Windows 更新の高速化 4CPU スケールレプリケーション Windows 64bit ウィンドウ関数再帰 SQL 同期レプリケーション外部テーブル多 CPU スケールマテビュー更新ビュー更新 FDW データチェックサムパラレルクエリ VACUUM 時の XID 凍結処理の改善レプリケーション拡張高速 JSON レプリケーションスロットロジカルレプリケーション宣言的パーティショニングパラレルクエリの改善行単位セキュリティ BRIN インデックス /1/ /11/ /12/ /2/ /7/ /9/ /9/ /9/ /9/ /12/ /1/ /9/ /10/

9 PostgreSQL 10 の概要 9

10 PostgreSQL 10の新機能バージョン番号の仕様変更ロジカルレプリケーション宣言的パーティショニングパラレルクエリの性能改善 SCRAM 認証 Hash IndexがWALログを出力するようになった 10

11 PostgreSQL 10 の新機能ロジカルレプリケーション (1) 従来のレプリケーション (~PostgreSQL 9.6) プライマリからスタンバイにトランザクションログ (WAL) 転送することでデータを複製するトランザクションログの内容はデータベースを構成するファイルの変更内容スタンバイサーバはビット単位での複製つまり物理的なレプリケーション完全な複製スタンバイに一切の物理的変更ができないリカバリし続けるプライマリスタンバイ WAL 書き込み WAL 転送 WAL 書き込み物理的な複製 11

12 PostgreSQL 10 の新機能ロジカルレプリケーション (2) 論理的なレプリケーション (PostgreSQL 10) トランザクションログの内容は論理的なの変更内容テーブル T に行 (1, abc ) が挿入されました複製するデータ処理を選択できる複製先でデータの変更ができる複製元複製先 DB 参照変更データベース単位の複製一部のテーブルを異なるデータベースに複製 INSERT 処理だけ複製 DB 参照変更 12

13 PostgreSQL 10 の新機能宣言的パーティショニング (1) パーティショニング巨大なテーブルを複数のテーブルに分割親テーブルへの検索時必要な子テーブルのみを検索挿入時には適切な子テーブルに振り分け水平分割された子テーブル群 1 月売上 ( 子テーブル ) 売上 ( 親テーブル ) 2 月売上 ( 子テーブル ) 12 月売上 ( 子テーブル ) 13

INSERT トリガーを作成トリガー関数を使うので遅い宣言的パーティショニング (PostgreSQL 10) パーティション機能が正式実装 CREATE TABLE 文で簡単にパーティションが作れるトリガー関数でないので早い

14 PostgreSQL 10 の新機能宣言的パーティショニング (2) これまでは PostgreSQL の機能を組み合わせてパーティショニングを実現していた PostgreSQL のテーブル継承と制約を使う子テーブルは親テーブルを継承して作成検索時は制約による除外により必要な子テーブルのみが検索される挿入時はトリガー関数でレコードを振り分ける手順が煩雑親テーブルを作成親テーブルを継承する子テーブルを作成子テーブル全部に CHECK 制約を作成親テーブルに INSERT トリガーを作成トリガー関数を使うので遅い宣言的パーティショニング (PostgreSQL 10) パーティション機能が正式実装 CREATE TABLE 文で簡単にパーティションが作れるトリガー関数でないので早い詳細やその他の新機能については SRA OSS サイトの PostgreSQL 技術情報ページで検証レポートを参照 l/9.6/verification_report.php 14

15 データベース市場の動向と PostgreSQL への注目度 15

16 データベース市場の動向 RDBMS がメイン RDBMS は横ばい NoSQL が増加 RDBMS 市場では Oracle Database が高いシェアほかの商用データベースはシュリンク気味オープンソースの RDBMS はやや増加オープンソースの RDBMS では PostgreSQL MySQL が人気を二分 MySQL はやや NoSQL に押され気味 16

17 RDBMS 市場の動向 Oracle Database の動向 Oracle の新規ライセンス販売は減少傾向 Exadata は好調 Oracle SE One 販売中止 SE2 に保守費用の年々の増額 SQL Server の動向マイグレーションキャンペーン (SQL Server 2016 リリース時 ) SQL Server on Linux リリース 17

18 IT システムのコスト構造 Web 層 AP 層 DB 層の選択が IT システムのコストのカギを握る DB 層データベースにオープンソースを活用することでコストダウンを実現 18

19 データベースのコストライセンス費用がかからない保守サポートは必要に応じて選択可能オープンソースデータベース商用データベースライセンスは必須保守サポートも必須オープンソースの採用でライセンスコストを削減 19

20 コスト ( 万円 ) オープンソースデータベース採用によるコスト削減効果 1 ノード (CPU 2 ソケット ) のサーバで 3 年間運用の例 PostgreSQL ライセンス費用 :0 円年間保守費用 :400,000 円 3 年合計 :01,200,000 円 Oracle Database(EE) ライセンス費用 :5,163,000 円 2 ソケット年間保守費用 :1,135,860 円 2 ソケット 3 年合計 :17,141,160 円 PostgreSQL Oracle ライセンス費用初年度保守費用 2 年目保守費用 3 年目保守費用 20

21 PostgreSQL or MySQL? マイグレーションなら PostgreSQL 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 移行元の DBMS Oracle SQL Server DB2 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 移行先の DBMS PostgreSQL MySQL Firebird 坂田哲夫 (NTT OSS センタ ) PostgreSQL 利用の現状 Let's Postgres 21

22 マイグレーションに PostgreSQL が選ばれる理由 (1) 豊富な機能 Oracle データベースからの移行の場合複雑な SQL や多数のテーブルとの結合が多く MySQL に比べて結合方式が豊富ストアドプロシージャトリガが充実の PostgreSQL のほうが移行しやすい PostgreSQL Oracle Enterprise Edition MySQL Enterprise Edition (InnoDB) データ型 ( 一部標準 SQL 未対応 ) JOIN 方式 ( 一部未対応 ) 行ロックトランザクション処理読み取り一貫性ストアドプロシージャトリガマテリアライズドビュー全文検索オンラインバックアップ Point In Time Recovery 有償オプションパーティショニング有償オプションテーブルスペースレプリケーション有償オプションクラスタリングサードパーティー (OSS) 有償オプション GIS 対応サードパーティー (OSS) 有償オプション 22

23 マイグレーションに PostgreSQL が選ばれる理由 (2) 技術者の転換 Oracle データベース技術者は PostgreSQL のほうがシステムの構造の面で理解しやすく技術転換が MySQL に比べて早いと言われる Oracle の構造 PostgreSQL の構造 SGA 共有メモリデータベースバッファキャッシュ共有プール REDO バッファ共有バッファ FSM VM WAL バッファ PGA LGWR CKPT マスタープロセス writer logger 専用サーバプロセス専用サーバプロセス専用サーバプロセス DBWR SMON PMON MMAN PSP0 バックエンドプロセスバックエンドプロセスバックエンドプロセス wal writer stats collector archiver autovacuum launcher checkpointer データベースデータベースクラスタ表領域データファイルデータファイル REDO ログファイル各種設定ファイルデータベースデータベース WAL ファイル各種設定ファイル 23

24 PostgreSQL 採用のメリットベンダロックインの回避サービス選択の自由サポート選択の自由そして本格的な RDBMS 24

25 マイグレーションの流れ 1 ヶ月 2 ヶ月 3 ヶ月 4 ヶ月移行データベース移行データ移行動作検証性能測定評価移行の場合移行支援データベース分析移行方式提案移行手引書作成 QA 対応方針検討ヒアリングアセスメント方針提案ガイド作成既存文書分析ガイド構成提案教育ヒアリング各種ガイド作成レビュートレーニング実施標準化の場合移行検証データベース移行データ移行動作検証性能測定評価移行支援 QA 対応 25

26 マイグレーションアセスメントサービス Oracle から PostgreSQL を想定したマイグレーションの簡易アセスメントサービス以下の 6 つの観点で難易度を 5 段階評価サーバ構成 SQL/ スキーマプロシージャアプリケーション運用管理コスト 26

27 マイグレーションの参考資料 PostgreSQL エンタープライズコンソーシアム成果物総索引データベース移行アセスメントシステム構成移行異種 DB 連携定義移行データ移行アプリケーション移行移行評価運用移行チューニング機能要件非機能要件サポートツール多くのお客様が本資料を参考にしてマイグレーションを実施データ型の移行ストアドプロシージャの移行 27

28 PostgreSQL の利用事例と派生製品 28

PostgreSQL の利用事例国内の利用事例 NTT OSS センタ PostgreSQL の開発まで手掛けるユーザ企業社内の 80%

フランス社会保障システム汎用機のシステムからリプレイス Zalando ヨーロッパ最大のオンライン服飾販売サイト 5TB 90 台のデータベース

29 PostgreSQL の利用事例国内の利用事例 NTT OSS センタ PostgreSQL の開発まで手掛けるユーザ企業社内の 80% 強のシステムに PostgreSQL が採用できると分析システムリプレイスに応じて準備入れ替え中国電力スマートメーターのシステムに採用 PGConf.ASIA 2016 で講演海外の利用事例 CCIXA( ブラジル連邦貯蓄銀行 ) ATM およびオンラインシステムで採用開発者も抱えるフランス社会保障システム汎用機のシステムからリプレイス Zalando ヨーロッパ最大のオンライン服飾販売サイト 5TB 90 台のデータベース丹治邦夫 ( 中国電力 ) 石井愛弓 (NTT データ ) 大規模社会インフラへの PostgreSQL 適用事例 PGConf.ASIA Zalando のオンライン通販サイト 29

PostgreSQL の派生製品ライセンスの制約が少ないため商用 /OSS 製品のベースとして広く利用されている PostgreSQLサイトに記載のものだけで41( 開発終了も含む ) おもな派生製品 EnterpriseDBのEDB Postgres Enterpriseエディションは Oracle Databaseとの高い互換性を有し性能障害対応やセキュリティ

30 PostgreSQL の派生製品ライセンスの制約が少ないため商用 /OSS 製品のベースとして広く利用されている PostgreSQLサイトに記載のものだけで41( 開発終了も含む ) おもな派生製品 EnterpriseDBのEDB Postgres Enterpriseエディションは Oracle Databaseとの高い互換性を有し性能障害対応やセキュリティパーティション強化などのエンタープライズ向けの機能をもつ PivotalのGreenplum シェアードナッシングアーキテクチャを採用し超高速な処理性能と柔軟な拡張性が特長でデータ圧縮などの高度な機能をもつ AmazonのRedshift 富士通のEnterprise Database Postgres XC/XL/X2 SRA OSSのPowerGres PostgreSQL derived databases 30

にない独自の機能を追加 12,000 本以上のライセンスを出荷 PowerGres ファミリーのラインアップ PowerGres Plus PowerGres

31 PowerGres とは安心のサポートサービスと使いやすい GUI 管理ツールを付属した製品サポート期間は販売開始から 7 年別メニューで 24 時間 365 日のサポートも提供 Web ベースの GUI 管理ツールでデータベースを簡単に管理 PowerGres Plus は PostgreSQL にない独自の機能を追加 12,000 本以上のライセンスを出荷 PowerGres ファミリーのラインアップ PowerGres Plus PowerGres HA PowerGres 信頼性とセキュリティ可用性 WAL 二重化 HAクラスタ使いやすさと安心透過的データ暗号化サポートサービス GUI 管理ツール PostgreSQL 31

PowerGres Plus の特長透過的データ暗号化テーブルインデックスはもちろんバックアップ ( ダンプ ) WAL 一時ファイルまで暗号化暗号化を意識する必要がなくアプリケーションを修正しなくていい暗号化による性能への影響が小さい 250 WAL の二重化 WAL を二重化して異なるディスクに格納片方の WAL を失っても最新状態まで復旧できる

32 PowerGres Plus の特長透過的データ暗号化テーブルインデックスはもちろんバックアップ ( ダンプ ) WAL 一時ファイルまで暗号化暗号化を意識する必要がなくアプリケーションを修正しなくていい暗号化による性能への影響が小さい 250 WAL の二重化 WAL を二重化して異なるディスクに格納片方の WAL を失っても最新状態まで復旧できる PowerGres Plus の場合性能低下は 1% 以下性能低下は 10% 以下ディスク障害 WAL 最新状態まで復旧できない最新状態まで復旧できる 0 OLTP 性能 (100TPS) ロード性能 ( 秒 ) PostgreSQL の場合ディスク障害暗号化なし暗号化あり (AES256/AES-NI 有効 ) WAL 二重化 WAL 32

33 PowerGres V9.6 リリース 2017/8/24 PostgreSQL 9.6 をベースにした PowerGres V9.6 をリリースパラレルクエリなど PostgreSQL 9.6 の新機能が使えるすべての機能が 60 日間無償で試せる評価版もダウンロード可能詳しくは powergres で検索 powergres 検索 SRA OSS OSS データベース PostgreSQL の商用版 PowerGres 9.6 の販売を開始 33

34 Oracle からの移行を決断したお客様の声 ~ カシオヒューマンシステムズ様の場合 ~ 34

35 採用事例 (1) 日立ソリューションズの場合 : 製品概要と採用背景図書管理システムりいぶるバーコードを利用した図書の貸出返却や検索から台帳作成各種統計資料など図書室運営に必要な一連の機能を用意し図書管理と資料の有効活用をシンプルかつパワフルにサポート 1991 年から販売を開始 1,600 以上の学校企業公民館に導入 2006 年から PowerGres on Windows を採用自社 DB 変わりゆくニーズに対応するため自社 DB から汎用的な RDBMS を採用したかった扱うデータ量の増大蔵書自体の増加履歴やランキングなどの機能で長期にわたって管理する情報が増大インターネットを介した情報連携インターネットを介した蔵書登録自治体イントラネットを利用した地域学校間の相互検索貸出 2017 SRA OSS, Inc. Japan 35

36 採用事例 (1) 日立ソリューションズの場合 : 採用ポイント性能機能サポート体制価格の点から総合的に判断採用のポイントは 3 つ例えば学校は 1 校単位ではなく自治体単位で導入安価に提供するには製品内のコンポーネントが低価格でなくてはならないサイレントインストール機能でコマンドラインでインストールできるユーザに意識させずに製品といっしょにインストールできる障害時にサポートを受けられる体制が整っているので安心疑問点があった場合にもすばやく対応してもらえる価格構築の容易さサポート PowerGres は価格と構築のよさが製品コンセプトにマッチパッケージ開発の強い味方となりました PowerGres も年々進化し使いやすくなっているのでこれからもよきパートナーであれたらと考えていますお客様の声 2017 SRA OSS, Inc. Japan 36

社以上に導入一部の製品で商用 DB から PostgreSQL ベースの PowerGres Plus に移行 ADPS の特長

37 採用事例 (2) カシオヒューマンシステムズ様の場合製品概要人事統合システム ADPS( アドプス ) 人事給与申請勤怠といったあらゆる人事業務に対応できる豊富な人事ソリューション 1990 年に販売を開始製造業を中心に 5,000 社以上に導入一部の製品で商用 DB から PostgreSQL ベースの PowerGres Plus に移行 ADPS の特長使う人の視点から考えたシンプルなインターフェース煩雑な人事業務を分かりやすくサポート累計 5,000 社のノウハウを活かしたカスタマイズが可能 37

38 採用事例 (2) カシオヒューマンシステムズ様の場合採用背景セキュリティの不安情報漏えいや外部侵入のリスクへの関心が高まっておりアプリケーションのみではセキュリティを確保するのが難しくデータベース暗号化が必要になったコストの増大以前採用していた商用 RDBMS でも上位エディションではデータベース暗号化に対応していたが高額で顧客にたいへんな費用負担をかけてしまうことになる個人情報管理のためセキュリティに強い DB が必要だった 38

39 採用事例 (2) カシオヒューマンシステムズ様の場合採用ポイント機能と価格のバランスが決め手セキュリティ機能が十分ながらもコストパフォーマンスに優れている機能透過的データ暗号化が可能でオーバヘッドもほとんど発生しない価格低価格パートナープログラム契約でさらにお得それに加えて従来製品と比較して2 倍程度高速新プラットフォームへの対応が早いプログラムの対応データの移行が容易 PowerGres Plus は現在はまだ一部の製品でしか採用していないので検証をしっかりと行った上で採用する製品を増やしていきたいと考えていますそのためにも PowerGres Plus のセキュリティがより強化されていくことを期待していますお客様の声 39

40 PostgreSQL の周辺ツールとクラスタ構成 40

PostgreSQL の周辺ツール pgbadger http://dalibo.github.io/pgbadger/ ログを高速に解析し SQL の実行やサーバの動作に関するレポートを作成するツールアプリケーションを遅くしている SQL を見つけ出したい人にお勧め pg_reorg https://github.

41 PostgreSQL の周辺ツール pgbadger ログを高速に解析し SQL の実行やサーバの動作に関するレポートを作成するツールアプリケーションを遅くしている SQL を見つけ出したい人にお勧め pg_reorg 参照や更新を妨げずに CLUSTER や VACUUM FULL を実行するツールどうしても VACUUM FULL を実行したい人にお勧め (FULL でない )VACUUM をちゃんと実行しておけば VACUUM FULL が必要になることは少ない pg_statsinfo a.html サーバの動作に関する情報を定期的に集めるツールいざというときに備えて情報をとっておきたい人にお勧め pgbadger のレポート 41

42 PostgreSQL のクラスタ構成 (1) クラスタリングの目的高可用性の確保サービスを停止させたくない 1 つのサーバが故障しても別のサーバが肩代わりする参照負荷分散大量のアクセスをさばきたい負荷を分散して検索性能を向上並列処理大量のデータを解析したい複数のサーバで並列的に処理 42

43 PostgreSQL のクラスタ構成 (2) おもなクラスタ技術 HA クラスタ Pacemaker+DRBD 共有ストレージなどを利用待機側はサービス停止ストリーミングレプリケーション PostgreSQL 自体をもつレプリケーション機能プライマリ ( 更新可能 )+ 複数のスタンバイ ( 検索のみ ) 簡単確実速いクライアント仮想 IP 相互監視 Pgpool-II ( アクティブ ) Pgpool-II クライアントと PostgreSQL の間に入ってレプリケーション機能を提供コネクションプーリング負荷分散自動フェイルオーバなどほかの機能もある Postgres-XC/XL/X2 PostgreSQL を改造したクラスタシステム書き込み性能の負荷分散参照参照更新参照 PostgreSQL ( プライマリ ) PostgreSQL ( スタンバイ ) Pgpool-II によるクラスタ構成 Pgpool-II ( スタンバイ ) PostgreSQL ( スタンバイ ) ストリーミングレプリケーション 43

44 オープンソースとともに 44

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション商用 DB から PostgreSQL への移行について今だから聞く PostgreSQL の概要と動向 ( 商用 DB からの移行や Amazon RDS for PostgreSQL の動向 ) 2017 年 9 月 11 日 SRA OSS, Inc. 日本支社佐藤友章 sato@sraoss.co.jp 2017 SRA OSS, Inc. Japan 1 データベース市場の動向 2017