第6回 2014/04/15 OSSユーザーのための勉強会 PostgreSQLの優位性株式会社アシストデータベース技術本部喜田紘介 Copyright 2014 K.K.Ashisuto All Rights Reserved. 1

Size: px

Start display at page:

ちかこつなかわ
4 years ago
Views:

1 第6回 2014/04/15 OSSユーザーのための勉強会 PostgreSQLの優位性株式会社アシストデータベース技術本部喜田紘介 1

2 自己紹介喜田紘介(きだこうすけ) 所属株式会社アシストデータベース技術本部日本PostgreSQLユーザ会事務局スタッフ仕事 Oracleの構築設計研修講師などを経てPostgreSQL専任のチームへ新規構築するシステムのDBをどうすべきかというRDBMS選択支援や商用DBからOSSへの移行の前段階としてオブジェクトやSQL差異のレクチャーやデータベースの診断評価を行う移行アセスメント支援を主に担当趣味マラソン絵を書くこと(ごく最近) 2

3 クイズ早いのはどれ 1億件のデータ更新 1億件の集計処理 1億件のランダム一意検索 3

4 本日のテーマクイズ早いのはどれシステムの特性によって最適なデータベースは異なる PostgreSQLが強みを発揮できるシステムとは PostgreSQL都市伝説を追うネット上などでよく目にする Postgresあるあるはたして本当なのでしょうか過去現在未来から噂を検証イマドキ構成の紹介 PostgreSQLの強みがわかったところでイマドキ事情を交えてどのような構成が考えられるのか紹介 PostgreSQLの適用範囲を拡大しようという野望も 4

5 クイズ早いのはどれ 1億件のデータ更新 1億件の集計処理 1億件のランダム一意検索 5

6 特徴 Oracle Database PostgreSQL MySQL 高い可用性更新負荷分散自動管理機能質実剛健複雑なSQL 多彩な機能拡張軽量高速参照負荷分散 Webアプリケーション 6

7 PostgreSQL 質実剛健なDB 質実剛健とは開発の歴史トランザクションの実装複雑な処理もこなす優等生多彩なプランパーティショニング豊富な機能拡張 GIS fdw 全文検索 7

8 Post - gres - SQL 1986年 POSTGRESプロジェクト RDBMSの先駆けであるIngresの開発をオープンソースとして継続トランザクション対応を盛り込んだデザイン設計 1993年にプロジェクトは終了 1994年 Postgres 95 POSTGRESにSQL対応を追加し独自に開発を再開 1996年 PostgreSQLが誕生オリジナルのPOSTGRESとSQLの能力を持つバージョンは6.0から参考文献 PostgreSQL 9.3.2文書-PostgreSQL小史( THE DESIGN OF POSTGRES( 8

9 トランザクションの実装データベースは多くのユーザから同時アクセスされる同時実行制御同時実行制御読み取り一貫性エスカレーションのない行ロック最小限のオーバーヘッドで確保される表ロック読み取り一貫性 ③ x1 SELECT ① x1 SELECT開始 ④ x3 SELECT ⑤ x4 SELECT 追記型 ② x2 UPDATE 9

10 ユーザニーズに沿って発展その後もデータベースにあるべき機能を追加 7.x 8.x 9.x JOIN構文や変更履歴といったRDBMSとしての基本機能 PITR Windows対応内部動作の性能改善などレプリケーション CPUスケール等より幅広い用途へユーザの求める機能とは 10

11 複雑な処理複雑って超大量データの集計 totalization リアルタイムデータ連携大量データの集計 PostgreSQLの実用可能な範囲トランザクション系はほとんどOK 機能一意検索複雑な結合一意検索結合の数 11

12 計画タイプ表スキャン Seq Scan Index Scan Bitmap Scan ソートマージ結合内側の表外側の表結合方法ネステッドループ結合ソートマージ結合ハッシュ結合１１１１結合列でソート結合順序など結合列でソートハッシュ結合小さい表マージハッシュ表他方の表１ 0 -- １結合列値からハッシュ表作成同ハッシュ値の行と結合 2 12

13 用途に合わせた機能拡張 GISシステム地理情報システムといえば PostgreSQL + PostGIS 秒間3,000トランザクション 16,000クエリという事例も全文検索日本語全文検索モジュールを使用し SQLで全文検索 pg_trgm pg_bigm textsearch-ja 参考文献 PostgreSQL エンタープライズコンソーシアムスマポでのPostgreSQL導入事例株式会社スポットライトにおける活用事例 13

14 用途に合わせた機能拡張 JSON型の格納と操作 Webアプリケーションの分野で活用範囲を拡大 JSON型の格納 (9.2~) JSON型を扱う関数の追加 (9.3~) 他データソースとの連携 Foreign Data Wrapper により他データーソースへSQLでアクセス可能 postgres_fdw file_fdw oracle_fdw 14

クリティカル領域業務システム Webバックエンド参考文献日本オラクル MySQL最新動向&事例紹介 http://www.

15 システムの用途とRDBMS Oracle Database PostgreSQL MySQL/MariaDB 高い可用性質実剛健な進化軽量高速更新負荷分散多彩なプラン参照負荷分散自動管理機能拡張 Webアプリケーションミッションクリティカル領域業務システム Webバックエンド参考文献日本オラクル MySQL最新動向&事例紹介 15

16 解答早いのはどれ 1億件の集計処理１ Oracle 2.Postgres 3.MySQL 1億件の更新１ Postgres 2.Oracle 3.MySQL 1億件のランダム検索 1.MySQL PostgresとOracleはほぼ同じ 16

17 本日のテーマクイズ早いのはどれシステムの特性によって最適なデータベースは異なる PostgreSQLが強みを発揮できるシステムとは PostgreSQL都市伝説を追うネット上などでよく目にする Postgresあるあるはたして本当なのでしょうか Postgresの現在から真相を追うイマドキ構成の紹介 PostgreSQLの強みがわかったところでイマドキ事情を交えてどのような構成が考えられるのか紹介 PostgreSQLの適用範囲を拡大しようという野望も 17

18 PostgreSQL都市伝説を追う VACUUMって何者悪者なの情報系のシステムではどうかツールがない 18

PostgreSQLの現在新しいバージョンほど性能は上がっている READ 処理の性能比較 9.

350,000 CPUスケールアップ READ/WRITE処理の性能改善 H/Wのメニーコア化が進む中

19 PostgreSQLの現在新しいバージョンほど性能は上がっている READ 処理の性能比較 9.1 vs 9.2 PostgreSQL 9.2の目玉機能 400, ,000 CPUスケールアップ READ/WRITE処理の性能改善 H/Wのメニーコア化が進む中搭載CPUを有効に活用可能に秒間処理数 300, , , , ,000 50, コア数集計用途などで待ち望まれた機能 Index Only Scan 索引のキー値のみで検索が済む場合にテーブルへのアクセスを行わずに結果を返すしくみ 19

20 PostgreSQLの現在標準レプリケーションが毎年強化されているストリーミングレプリケーションの登場ストリーミングレプリケーションに同期モードが登場スタンバイサイトから更にデータを伝播させるカスケード構成が可能同期性能を向上するためのパラメータが追加正常停止時にプライマリスタンバイを入れ替えるスイッチオーバスイッチバックが可能に 9.3 同期転送モードにおける性能確保の効果 synchronous_commit パラメータ 15,000 秒間処理数 14,000 約 5%向上 13,000 12,000 11,000 10,000 スイッチオーバスイッチバックに対応 on remote_write 20

21 PostgreSQLの現在追記型のデメリットは8.xの時代に改善自動VACUUM Visiblity Map / Free Space Map HOT VACUUM FULLの仕様変更可視化マップ FSM 自働 VACUUM 自働VACUUMによる運用負荷軽減可視化マップやFSMによる空き領域管理 HOT機能で索引の更新負荷を軽減適切な設定を行うことで最近のバージョンで追記型ゆえ致命的となった事例はない 21

22 PostgreSQLの現在情報系DBで使える機能超大量データの集計パーティショニング機能レプリケーションによる参照負荷分散 Materialized View (9.3~) 開発中の新機能 totalization 大量データの集計パラレルクエリ数百GB TBクラスの情報を扱う現代のニーズに対し取り組みがはじまったところ 22

23 PostgreSQLの現在運用管理ツール(GUI) pgadmin3 (クライアント) PostgreSQL Studio (Webベース) 開発ツール監視ツール SI Object Browser for Postgres pg_monz 自動メンテナンス系のツールは存在しない各種ツールが登場してきているが自動管理など大規模システムで求められる機能はない 23

24 PostgreSQLの現在トランザクション系システムで求められることは十分できる可用性を高める策もでてきているツール類は課題 24

25 本日のテーマクイズ早いのはどれシステムの特性によって最適なデータベースは異なる PostgreSQLが強みを発揮できるシステムとは PostgreSQL都市伝説を追うネット上などでよく目にする Postgresあるあるはたして本当なのでしょうか Postgresの現在から真相を追うイマドキ構成の紹介 PostgreSQLの強みがわかったところでイマドキ事情を交えてどのような構成が考えられるのか紹介 PostgreSQLの適用範囲を拡大しようという野望も 25

26 PostgreSQLの構成例シングル構成構成例 CPU 2CPU/8core RAM 32GB DISK ２TB 最近のH/Wでは小規模なものでも高いCPU性能ローカルディスクに数TB RAIDによる保護など社内システムでは十分に実用性の高い構成 26

27 PostgreSQLの構成例 HA構成 Postgres Pacemaker DRBD Pacemaker DRBD Postgres クラスタウェアクラスタウェア Shared Disk サイト内での可用性構成として信頼性が高く実績も豊富な構成性能はシングル構成と同等 27

28 PostgreSQLの構成例クラウド基盤に配置仮想基盤上の DBサーバ物理サーバ仮想基盤上で動作するサーバはクラウド側が提供するサービスで監視やバックアップされている物理ストレージ物理CPU課金のないOSSならではの構成 HW障害の可能性を排除できるほかクラウド基盤で提供される機能による運用コスト削減も期待できる 28

29 PostgreSQLの構成例レプリケーション構成クラスタウェアによる監視切替 pgpool- II or Pacemaker APサーバなど参照更新参照のみ変更履歴の転送 (トランザクション単位) マスターサイト HA構成による冗長化スレーブサイト標準レプリケーションにクラスタウェアを組み合わせ監視切替を実現させた無停止構成も可能レプリケーションは負荷分散のみを目的とすることも 29

30 Postgresの適用領域を拡大 Oracle Database 高い可用性 PostgreSQL 更新負荷分散自動管理機能データベースの機能性能としては十分に備えているツール不足や既存の資産を活かすという点で尻込みしてしまうミッションクリティカル領域 30

31 Postgresの適用領域を拡大 Oracle Database 高い可用性 PostgreSQL EE 更新負荷分散メーカーの優位性データベースの機能性能としては十分に備えているツール不足や既存の資産を活かすという点で尻込みしてしまう SE ミッション SEOne クリティカル領域 31

32 Postgresの適用領域を拡大 Oracle Database 高い可用性 PostgreSQL EE 更新負荷分散メーカーの優位性 SE ミッション SEOne クリティカル領域データベースの機能性能としては十分に備えているツール不足や既存の資産を活かすという点で尻込みしてしまう Postgres Plus ミッションクリティカル領域で使えるPostgres エンタープライズ向けツールや Oracle互換機能を有する 32

33 Postgresの適用領域を拡大エンタープライズ用途で必要とされる機能を追加した Postgres Plus セキュリティキルセーツツールリュィテパフォーマンスーォマスン他RDBMS互換フパ連携携連他RDBMS互換 33

34 まとめ PostgreSQLの使いどころデータベースとしての基本に忠実でユーザニーズを満たす進化業務システムなどで期待される高機能高信頼性を実現 PostgreSQLの現在 9.xでの大幅な性能向上レプリケーション機能メンテナンス性の向上に加えより幅広い用途を目指した進化中イマドキ構成の紹介基本はシングル構成 HA構成標準レプリケーション構成クラウドで扱いやすいライセンスと相まって今後の活躍に期待ミッションクリティカル領域で強みを発揮する Postgres Plus 34

製品およびサービスについてのお問合わせ先株式会社アシストデータベース技術本部 TEL 03-5276-3652 MAIL database@ashisuto.co.

35 製品およびサービスについてのお問合わせ先株式会社アシストデータベース技術本部 TEL MAIL URL 本資料に記載されている社名製品名は各社の商標または登録商標です本資料の全体または一部に記載されている内容については予告なく変更する場合があります 35

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 SRA OSS, Inc. のご紹介 PostgreSQLを中心とした OSSへの様々なサービスを提供サポートサービスコンサルティングパッケージ製品 PowerGres, libtextconv, Sylpheed Pro 教育サービストレーニング技術者認定制度 (PostgreSQL

第6回 2014/04/15 OSSユーザーのための勉強会 PostgreSQLの優位性 株式会社アシスト データベース技術本部 喜田 紘介 Copyright 2014 K.K.Ashisuto All Rights Reserved. 1

第6回 2014/04/15 OSSユーザーのための勉強会 PostgreSQLの優位性株式会社アシストデータベース技術本部喜田紘介 Copyright 2014 K.K.Ashisuto All Rights Reserved. 1