PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

みがねあかさか
5 years ago
Views:

1 Windows でも PostgreSQL が使いたい 2018/12/10 PGConf.ASIA 2018 Day-0 NTT テクノクロス株式会社山本育 1

2 目次自己紹介 PostgreSQL for Windowsの歴史導入方法 Linux 版とWindows 版の相違点高可用性性能評価まとめ 2

3 自己紹介 NTT テクノクロス株式会社所属山本育本日は PGECons メンバの立場で発表します PGECons = PostgreSQL Enterprise Consortium Twitter #pgecons 3

4 突然ですが 4

5 お客様の中に PostgreSQL を使ったことがある方はいらっしゃいますか? 5

6 お客様の中に PostgreSQL を Windows で使ったことがある方はいらっしゃいますか? 6

7 PostgreSQL for Windows の歴史 PostgreSQL は Unix 互換プラットフォーム (RHEL, CentOS, Ubuntu, etc..) で動作させることが多いもちろん PostgreSQL は Windows でも動きます 7

8 PostgreSQL for Windows の歴史 Windows 版 PostgreSQL の誕生から今に至るまでの主な変更点バージョン初期 PostgreSQL for Windows 構築 Windows 上では動作しない ~7.4 cygwin 上で動作 8.0~ Windows 上で動作するようになった GUI でインストールできるようになった 9.0~ 64 ビットモードで動くようになった 9.6~ update_process_title がデフォルトで無効になった [PostgreSQL 9.6 文書リリースノートより ] Windows では大部分の他プラットフォームよりもプロセスタイトルを更新するオーバーヘッドが大きくまた大部分の Windows ユーザはプロセスタイトルを表示できるツールを持っていないことから更新してもあまり役に立ちません 8

9 はじめのいっぽ HOW TO INSTALL? 9

10 導入方法 Windows for PostgreSQL を使うには 1. インストーラーを利用 2. ソースコードからインストール -windows.html 詳細は PGEcons の Web で公開しています - e9929a972c8b27eec178dfecf58d9f8a 10

11 導入方法 from インストーラー 1. EnterpriseDB 社から提供されているインストーラーをダウンロード 2. 画面に沿って数クリック 11

12 導入方法 from ソースコード 1. Microsoft Visual Studio for Windows Desktop のインストール 2. Microsoft Windows SDK のインストール 3. Strawberry Perl のインストール 4. ビルド build.bat 5. インストール install.bat : インストーラーがある 12

13 導入方法導入自体はインストーラーを利用した方が簡単ソースコードから導入した方が細かい設定が可能 2017 年度 WG3 活動報告書 Windows 環境調査編 configure オプションの比較 blocksize wal_segsize wal_blocksize zlib ges 13

14 Linux 版とのちがい WHAT IS THE DIFFERENCE? 14

15 Linux 版と Windows 版の相違点 PostgreSQL 自体は概ね同じ主な相違点 1. インストール時のカスタマイズ可否 2. contribモジュールの対応状況 3. 周辺ツールの対応状況 4. ロギング 15

16 インストール時のカスタマイズ可否 Windows インストール時のカスタマイズ差分対応していない項目が多いソースコードとインストーラーで差分があるカスタマイズ項目一覧 Unix 版の設定値 configure のオプション from ソースコード configure.pl に記述 from インストーラー --enable-nls[=languages] nls O --with-openssl openssl O --enable-debug X X --with-libxml xml O X(iconv) iconv X O: 設定項目あり X: 設定項目なし 16

17 インストール時のカスタマイズ可否共通各国語サポート Linux: --enable-nls[=languages] Windows: nls / インストーラー時の設定 SSL 接続の有効化相違 Linux: --with-openssl Windows: openssl / インストーラー時の設定デバッグモードの起動 Linux: --enable-debug Windows: 設定できない 17

18 インストール時のカスタマイズ可否特殊 XML のサポート有効化 Linux: --with-libxml Windows: xml / インストーラー時の設定 iconv の追加設定が必須 18

19 contrib モジュールの対応状況 contrib モジュールは PostgreSQL インストール時についてくるモジュール群で有効化することで PostgreSQL をより便利に使える contrib モジュールの多くは対応済み 40/46 件が対応 contrib の Windows 対応状況未対応モジュール (6 件 ) 通常の運用で使うことはない 19

20 contrib モジュールの対応状況未対応モジュール一覧モジュール名 intagg intarray sepgsql sslinfo uuid-ossp xml2 説明整数型の集約子と列挙子の提供 NULL のない整数配列を操作する関数と演算子を提供 SELinux のセキュリティポリシーに基づいたアクセス制御機能を提供接続する SSL 証明書に関する情報を提供 UUID を生成する関数を提供 XPath 問い合わせと XSLT 機能を提供 20

21 周辺ツールの対応状況 PostgreSQLは周辺ツールが充実している周辺ツールを使うことで運用が楽になる周辺ツールはWindows 対応していないことが多いカテゴリごとにツールを紹介バックアップ運用監視その他便利ツール周辺ツールの Windows 対応状況 21

22 周辺ツールの対応状況 ( バックアップ ) 対応済み pg_basebackup(demo) 未対応本体機能静止点を取って物理バックアップを取得できる pg_rman バックアップ / リストアを体系的に管理するバックアップは物理方式 Linux 環境でしか動作しない 22

23 周辺ツールの対応状況 ( 運用監視 ) 対応済み pg_stat_statements 未対応 contrib 同梱 SQL 文の実行時の統計情報を記録する pg_statsinfo PostgreSQLのサーバ運用状況を定期的に取得する pg_stats_reporterと合わせるとグラフィカルに参照できる Linux 環境でしか動作しない pg_mons zabbixを使ったサーバ運用状況の監視内部はshellの構成なのでWindowsでは動かない 23

24 周辺ツールの対応状況 ( その他便利ツール ) 対応済み pgadmin4(demo) GUIでPostgreSQLを操作できるツール Windowsインストーラーはデフォルトで使える 24

25 ロギング PostgreSQL は様々な形式でログ出力できる stderr csvlog syslog(linuxのみ ) eventlog(windowsのみ ) 25

26 ロギング eventlog 出力イベントビュアーから PostgreSQL のログを参照できるインストーラーを利用するとイベントソースに PostgreSQL を自動登録する log_destination = eventlog と設定する 26

27 もしもにそなえる HIGH AVAILABILITY 27

28 High Availability High Availability(HA) とは = 高可用性サービス停止が少ないシステムシステムの各コンポーネントの冗長性を上げるデータの破損を防ぐ & 復旧を早くするため手法 : コンポーネントを複製する障害時に復旧までの時間を短くする手法 : 切り替え自動化のコンポーネントを追加する 28

29 DB の冗長構成問題点 : DBサーバは単一故障点になりえる冗長性を上げる PostgreSQL は冗長構成が組める Hot Standby(Replication 型 ) 検証済み Cold Standby( ディスク共有型 ) 未検証 29

30 Hot Standby(Replication 型 ) Replication 型とは DB(Master) に書き込んだデータを他の DB(Standby) に伝搬する方法 Replication にはモードがある同期非同期 Standby は参照のみできる参照の負荷分散の目的にも使える PostgreSQL の機能なので Windows でも利用できるストリーミングレプリケーション機能 30

31 Hot Standby(Replication 型, 非同期 ver) クライアント OK を受けてもデータが複製されているか不明 1. 更新 2. OK Master ディスク 3. データの伝搬 4. OK Standby ディスク 31

32 Hot Standby(Replication 型, 同期 ver) クライアント OK を受け取ればデータの複製が保証されている 1. 更新 4. OK Master ディスク 2. データの伝搬 3. OK Standby ディスク 32

33 Hot Standby(Replication 型 ) クライアント更新 / 参照参照 Master ディスクデータの伝搬 Standby ディスク 33

34 Cold Standby( 共有ディスク型 ) 共有ディスク型とは書き込むディスクを共有してバックアップノードを用意する方法 Standby ノードは PostgreSQL が停止しているので参照できない共有ディスクが用意できれば Windows でも利用できる 34

35 Cold Standby( 共有ディスク型 ) 更新 / 参照クライアント共有ディスクの冗長化を検討する Standby ノードには何もできない Master..zzZZ Standby 共有ディスク 35

36 障害時に復旧までの時間を短くする PostgreSQL の Mater 障害時に復旧 ( フェイルオーバー ) する 1. Hot Standby(Replication 型 ) Master を切り離す Standby を Master に昇格する 2. Cold Standby( 共有ディスク型 ) Master を切り離す Standby ノードを起動する 36

37 フェイルオーバー (Hot Standby) Master の故障が発生するクライアント更新 / 参照参照 Crash!! Master Standby ディスクディスク 37

38 フェイルオーバー (Hot Standby) Master を切り離す Master の切り離し pg_ctl stop クライアント Crash!! Master Standby ディスクディスク 38

39 フェイルオーバー (Hot Standby) Standby を Master に昇格するクライアント Crash!! Master コマンド発行 pg_ctl promote Standby ディスクディスク 39

40 フェイルオーバー (Hot Standby) Standby を Master に昇格するクライアント更新 / 参照 Crash!! Master Master ディスクディスク 40

41 フェイルオーバー (Cold Standby) クライアント更新 / 参照 Crash!! Master..zzZZ Standby 共有ディスク 41

42 フェイルオーバー (Cold Standby) クライアント更新 / 参照 Crash!! Master Master 共有ディスクコマンド発行 pg_ctl start 42

43 障害時に復旧までの時間を短くする復旧を自動化する Replication 型 Pgpool-II(WAL shipping) を利用する PostgreSQL 自体に復旧を自動化する機能はない共有ディスク型 WSFC を利用する未検証 WSFC(Windows Server Failover Cluster) 43

44 Master 障害時に復旧までの時間を短くする Pgpool-II を使う Pgpool-II とはクライアントと PostgreSQL の間に入ってクエリを一次受けする PostgreSQL の故障を検知してフェイルオーバーする良いところ故障の検知フェイルオーバーの自動化参照クエリの自動分散不便なところ Pgpool-II 自身は Windows 環境で動かない今回の検証時も Linux 環境で動作させた Pgpool-II は ssh 経由で操作するので Windows Server に ssh を入れる必要がある 44

45 Pgpool-II を用いたフェイルオーバー自動化クライアント更新 / 参照 Pgpool-II 更新 / 参照参照 Master ディスクデータの伝搬 Standby ディスク 45

46 Pgpool-II を用いたフェイルオーバー自動化クライアント Master 故障の検知 Pgpool-II Master Crash!! Standby ディスクディスク 46

47 Pgpool-II を用いたフェイルオーバー自動化クライアント Pgpool-II Standby の自動昇格 Master Crash!! Master ディスクディスク 47

48 Pgpool-II を用いたフェイルオーバー自動化クライアント更新 / 参照 Pgpool-II 更新 / 参照 Master Crash!! Master ディスクディスク 48

49 冗長構成 Replication 型共有ディスク型 Pros. PostgreSQL で完結できる多くのパターンの故障を救える参照系の負荷を分散できる Pgpool-II を組み合わせてフェイルオーバーが自動化できる Windows Server の常套手段を使える Microsoft のポリシーに沿える Cons. Pgpool-II を利用すると LinuxOS マシンが必須 Windows に ssh が必要共有ディスクをつくる必要がある共有ディスク故障の冗長化を検討する必要がある 49

50 じっさいのところ PERFORMANCE MEASUREMENT 50

51 性能評価 Windows 版は性能が悪いと言われていた測定結果が見当たらなかったので実際に測定した Linux 版とWindows 版の性能比較 Windows 版のパラメータチューニング性能比較 51

52 PostgreSQL for Windows の歴史 Windows 版 PostgreSQL の誕生から今に至るまでの主な変更点バージョン PostgreSQL for Windows 構築 ~8.0 cygwin 上で動作 8.0~ Windows 上で動作するようになった GUI でインストールできるようになった 9.0~ 64 ビットモードで動くようになった 9.6~ update_process_title がデフォルトで無効になった [PostgreSQL 9.6 文書リリースノートより ] Windows では大部分の他プラットフォームよりもプロセスタイトルを更新するオーバーヘッドが大きくまた大部分の Windows ユーザはプロセスタイトルを表示できるツールを持っていないことから更新してもあまり役に立ちません 52

53 PostgreSQL for Windows の歴史 Windows 版 PostgreSQL の誕生から今に至るまでの主な変更点バージョン PostgreSQL for Windows 構築 ~8.0 cygwin 上で動作 8.0~ Windows 上で動作するようになった GUI でインストールできるようになった 9.0~ 64 ビットモードで動くようになった 9.6~ update_process_title がデフォルトで無効になった [PostgreSQL 9.6 文書リリースノートより ] Windows では大部分の他プラットフォームよりもプロセスタイトルを更新するオーバーヘッドが大きくまた大部分の Windows ユーザはプロセスタイトルを表示できるツールを持っていないことから更新してもあまり役に立ちません 53

54 update_process_title が与える性能影響 update_process_title が無効になると PostgreSQL の性能はあがるスケールファクタ =300 参照のみモードの結果参考 :[RFC] Change the default of update_process_title to off ( 54

55 性能測定 1. Linux 版と Windows 版同じパラメータで性能比較 2. Windows 版の影響しそうなパラメータをチューニングして性能測定 shared_buffers 64MB 40GB PostgreSQL 10.1 を利用 pgbench を利用して測定 (pgbench とは ) 詳しい測定方法は以下を参照ください - documentcontents/wg1/wg1_2017/scaleup 55

56 性能測定 1. Linux 版と Windows 版同じパラメータで性能比較 2. Windows 版の影響しそうなパラメータをチューニングして性能測定 shared_buffers 64MB 40GB PostgreSQL 10.1 を利用 pgbench を利用して測定 (pgbench とは ) 56

57 Linux 版と Windows 版の性能比較参照モデルの場合 Windows 版 /Linux 版での性能差はなかった更新モデルの場合高負荷時は Windows 版の方が性能が低い可能性がある 57

58 性能測定 1. Linux 版と Windows 版同じパラメータで性能比較 2. Windows 版の影響しそうなパラメータをチューニングして性能測定 shared_buffers 64MB 40GB PostgreSQL 10.1 を利用 pgbench を利用して測定 (pgbench とは ) 58

59 Windows 版パラメータチューニング性能測定 shared_buffers を変更しても性能は変わらない 64MB 以上に設定すればよい 59

60 さいごに CLOSING... 60

61 まとめ Windows 版の PostgreSQL も安心して利用できるただし一部利用できない周辺ツールがある 61

PGECons のご紹介 PostgreSQL 本体および各種ツールの情報収集と提供整備などの活動を通じてエンタープライズ領域への普及を推進する (2012 年 4 月設立 ) 参加企業が共同検証や情報発信を実施正会員 16 社一般会員 46 社 (2018 年 12 月現在 ) 監事技術部会総会理事会運営委員会広報発信部会事務局

62 PGECons のご紹介 PostgreSQL 本体および各種ツールの情報収集と提供整備などの活動を通じてエンタープライズ領域への普及を推進する (2012 年 4 月設立 ) 参加企業が共同検証や情報発信を実施正会員 16 社一般会員 46 社 (2018 年 12 月現在 ) 監事技術部会総会理事会運営委員会広報発信部会事務局 CR 部会理事長運営委員長技術部会長 CR 部会長広報発信部会長広報発信副部会長事務局長監事 : 日本電信電話株式会社 : 日本電気株式会社 : 富士通株式会社 :SRA OSS, Inc. 日本支社 : 株式会社日立製作所 : 株式会社アシスト :SRA OSS, Inc. 日本支社 : 税理士法人ジャストスタッフ WG1 WG2 WG3 62

63 PGECons の成果物 PGECons の Web サイトで成果物を公開しています本日発表した成果物も公開しています 63

64 ご清聴ありがとうございました 64

65 65

Zabbix で PostgreSQL を監視! pg_monz のご紹介 Zabbix Conference Japan 年 11 月 20 日 SRA OSS, Inc. 日本支社マーケティング部

Zabbix で PostgreSQL を監視! pg_monz のご紹介 Zabbix Conference Japan 2015 2015 年 11 月 20 日 SRA OSS, Inc. 日本支社マーケティング部 http://www.sraoss.co.jp/ 会社概要社名 : SRA OSS, Inc. 日本支社設立 : 2005 年 7 月支社長 : 石井達夫資本金 :100 万米国ドル事業内容