PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

あきみたなせ
5 years ago
Views:

1 PostgreSQL 性能検証結果 ~ エンタープライズ領域における PostgreSQL の適用 ~ 2015 年 1 月 27 日 PostgreSQL エンタープライズコンソーシアム技術部会 / 日本ヒューレットパッカード ( 株 ) 北山貴広

市場の転換期を生き抜くにインタビュー記事翻訳 2003~2004 年 MySQL クックブック (Vol1,2) を共訳 IT 勉強会 2009 年 4 月に東京に来てから IT 勉強会に積極的に参加 2014 年 9 月に

2 自己紹介データベースエンジニア ( インフラ全般 ) 対象は Oracle DB, Vertica, PostgreSQL, MySQL など幅広く技術系雑誌 (Software Design) 2011 年 4 月号特集でデータベース遅延について執筆 2011 年 5 月号からコラム温故知新 IT むかしばなし連載タイトル : マイコン世代 CP/M パソコン通信 Linux BSD など 2012 年 2 月特集 IT 市場の転換期を生き抜くにインタビュー記事翻訳 2003~2004 年 MySQL クックブック (Vol1,2) を共訳 IT 勉強会 2009 年 4 月に東京に来てから IT 勉強会に積極的に参加 2014 年 9 月に JPOUG> SET EVENTS で発表 (slideshare) DB 関係では Oracle Database, PostgreSQL, MySQL などに参加 2 それぞれのコミュニティーの違いが興味深い ( 服装 Mac Twitter)

3 目次 1. はじめに ( 本日お伝えしたいこと ) 2. PGECons について 3. 技術部会の活動内容 4. PostgreSQL 性能検証結果 ( スケールアウト検証とパーティショニング検証 ) 5. さいごに 3

4 1. はじめに ( 本日お伝えしたいこと ) 4

5 1. はじめに ( 本日お伝えしたいこと ) 1 企業の基幹業務に PostgreSQL の導入が加速しておりミッションクリティカル性の高いエンタープライズ領域への普及促進課題解決に奮闘している企業連携の団体 (PGECons) があること 2 PGECons の活動内容と活動成果のご紹介 WG1( 性能 WG) での性能検証結果を中心に説明 5

6 PostgreSQL のエンタープライズにおける活用 PGEConsで紹介してきた活用事例住友電気工業様 2005 年より社内標準 DB を PostgreSQL にヤマハモーターソリューション様世界各地の拠点の基幹業務システムに採用株式会社スポットライト様スマートフォンを使った共通来店ポイントサービススマポ株式会社 Gengo 様 AWS 上にpgpool-iiを活用した高可用性システムを構築 : 6

7 PostgreSQL 関連情報 - 導入事例に資料あり! 7

8 2.PGECons (PostgreSQL Enterprise Consortium) について 8

9 2. PGECons について PGECons の発足と目的 2012 年 4 月 11 日発足ミッションクリティカル性の高いエンタープライズ領域への PostgreSQL の普及を推進するため各種ツールや PostgreSQL 本体に関する利用技術情報の収集と提供およびその整備などの活動を企業ベースで展開する活動項目情報発信共同検証開発コミュニティへのフィードバック開発プロジェクト支援概要会員の導入実績を基に PostgreSQL および周辺ツールに関する情報を集約し情報発信サイトやセミナ等を通じて提供するエンタープライズ領域への適用に向けて必要となる情報を実証を通じて充実を図るよりミッションクリティカル性の高い領域への適用に向けた技術的な課題を集約し開発コミュニティに要望を発信する会員間での機能拡張に関する連携開発や必要な周辺ツールの開発プロジェクト支援を進める 9

平成 26 年度体制会員構成会員は法人およびそれに準ずる団体で構成平成 26 年度体制監事総会理事会事務局

株式会社日立製作所技術部会長 : 富士通株式会社広報発信部会長 : 日本ヒューレットパッカード株式会社広報発信副部会長

日本支社 : 税理士法人ジャストスタッフ WG1 WG2 WG3 種別概要総会議決権理事正会員運営委員理事会に参加

10 平成 26 年度体制会員構成会員は法人およびそれに準ずる団体で構成平成 26 年度体制監事総会理事会事務局運営委員会技術部会広報発信部会理事長 : 日本電信電話株式会社運営委員長 : 日本電気株式会社運営副委員長 : 株式会社日立製作所技術部会長 : 富士通株式会社広報発信部会長 : 日本ヒューレットパッカード株式会社広報発信副部会長 : 株式会社アシスト事務局長監事 :SRA OSS, Inc. 日本支社 : 税理士法人ジャストスタッフ WG1 WG2 WG3 種別概要総会議決権理事正会員運営委員理事会に参加理事長および運営委員長は理事のうちから就任する運営委員会に参加部会長およびWG 長は運営委員から就任するワーキンググループ (WG) に参加し活動に貢献あり一般会員メーリングリストや Web などから活動情報を取得することが可能無し 10

11 平成 26 年度参加会員一覧 (1/2) 46 社 ( 正会員 17 社一般会員 30 社 ) が活動参加法人名 ( 順不同 ) (2015 年 1 月 27 日現在 ) 正会員 (17 社 ) 運営委員 ( 株 ) アシスト日本ヒューレットパッカード ( 株 ) SRA OSS, Inc. 日本支社 ( 株 ) 日立製作所 NECソリューションイノベータ ( 株 ) ( 株 ) 日立ソリューションズ日本電気 ( 株 ) 富士通 ( 株 ) 日本電信電話 ( 株 ) ( 株 ) 富士通ソーシアルサイエンスラボラトリ TIS( 株 ) 特定非営利活動法人 LPI-Japan サイオステクノロジー ( 株 ) フューチャーアーキテクト ( 株 ) NTT ソフトウェア ( 株 ) ZEKKO( 株 ) 大日本印刷 ( 株 ) 11

12 平成 26 年度参加会員一覧 (2/2) (2015 年 1 月 27 日現在 ) 一般会員 (30 社 ) 参加法人名 ( 順不同 ) ( 株 ) アイティプロデュース ( 株 ) キャム日本アイビーエム ( 株 ) 岩通ソフトシステム ( 株 ) キーウェアソリューションズ ( 株 ) ( 株 ) フィックスターズ ( 株 ) エクサジャパンシステム ( 株 ) ( 株 ) マインド SFK メディカル ( 株 ) 住友電気工業 ( 株 ) ミューテック ( 株 ) ( 株 ) エニブラ住友電工情報システム ( 株 ) ( 株 ) メトロシステムズ ( 株 ) エムオーエムテクノロジーエンタープライズ DB( 株 ) ( 株 ) オンザマーク関電システムソリューションズ ( 株 ) ( 株 )seiwa ( 株 ) 中電シーティーアイ ( 株 ) デジタルヒュージテクノロジー ( 株 ) ニイズヤマハモーターソリューション ( 株 ) ローリーコンサルティング ( 株 ) ( 株 ) アイアイエム ( 株 ) インフォメーションクリエーティブクオリカ ( 株 ) 東芝ソリューション ( 株 ) ( 株 ) ギークフィード 12

13 3. 技術部会の活動内容 13

14 過去セミナーのアンケートより実施テーマを選定 PGECons への期待性能や移行高可用性設計運用に関する情報発信 PostgreSQL 採用の課題個々のコメントから具体的テーマを選定 14

15 技術部会の活動内容と方針技術部会性能 WG (WG1): 性能向上に向けた機能の活用指針を作成性能向上を狙ったハードウェア活用パーティショニングを観点に測定バージョンアップによる差を定点観測 (PostgreSQL9.2, 9.3, 9.4) 実測結果と共に性能ボトルネックを解決するノウハウをご紹介移行 WG (WG2):DB 移行ガイドの作成 DB 移行時の各プロセスのガイドの詳細化や広範囲化を中心に活動 PostgreSQL 活用の課題である移行費用見積のベースとなる成果物を作成設計運用 WG (WG3): 設計や運用面の技術情報を整備可用性をテーマにエンタープライズ領域に求められる技術情報の整備検証の実施 PostgreSQL の安定運用に必要な技術ノウハウをご紹介 15

16 WG1( 性能 WG) での一年間の活動検証内容検討 [5 月 ~10 月 ] テーマの候補を集約して今年度取り組むテーマと担当するメンバを選定議論はメーリングリストの他月 1~2 回の検討会で実施性能検証実施 [11 月 ~12 月 ] テーマごとに担当社が中心となって検証用シナリオを検討実機検証はメンバ各社が検証センタの環境を提供し一定期間に集中して実施活動成果報告書の作成 [1 月 ~3 月 ] 報告書は検証の位置づけや手法の説明結果の紹介と考察を盛り込んで担当社が起稿し検討会でのレビューを経て完成 16

17 WG の活動風景検討会実機検証 17

18 4.PostgreSQL 性能検証結果 ( スケールアウト検証とパーティショニング検証 ) 18

19 WG1( 性能 WG) の活動テーマ大規模 DB を見据えた PostgreSQL の性能検証大規模 DB の特徴対応方法主な検証内容使用ユーザー数が多いスケールアップ多コア CPU 検証 ( ) 多同時接続検証 ( ) WAL 書き込み改善データ量が多い高性能が求められる稼動環境の多様化柔軟な DB 稼動環境定点観測と呼び毎年実施スケールアウトスキーマクエリの最適化ストレージ高速化多様な環境適用コネクションプール (pgpool-ii) クラスタ DB (Postgres- XC,Postgres-XL) パーティショニングの有効ケース多パーティションでのオーバヘッド SSD を有効活用するデータ配置仮想化 (KVM) 検証 Docker 検証 19

20 2012 年度 WG1( 性能 WG) 検証テーマ (9.2) スケールアップ検証多コア CPU(80core) での 9.2 の到達点を検証 pgbenchによる検索性能検証 [ 参照系 ] JdbcRunnerによるTPC-Cライクなベンチマーク [ 更新系 ] スケールアウト検証以下の OSS についてスケールアウト特性を検証する PostgreSQL 9.2 カスケードレプリケーション非同期レプリケーション pgpool-ii( レプリケーションモード )+ PostgreSQL 9.2 同期レプリケーション + 検索負荷分散 Postgres-XC 同期データ分散 + 更新負荷分散 20

21 2013 年度 WG1( 性能 WG) 検証テーマ (9.3) スケールアップ検証 ( 定点観測 ) 多コア CPU(80core) での 9.3 の到達点を検証 9.2 との比較 page checksum の性能影響 [ 参照系 ] パーティショニング検証パーティションテーブルへの投入検索メンテナンス性能検証ハードウェア活用 (SSD) 検証 SSD 採用時の性能向上を配置パターン別アクセスプラン別に検証スケールアウト検証 (Postgres-XC) Postgres-XC のスケールアウト特性を検証 21

22 2014 年度 WG1( 性能 WG) 検証テーマ (9.4) スケールアップ検証 ( 定点観測 ) 多コア CPU(60core/ 新 HW) での 9.4 の到達点を検証 pgbenchによる検索性能検証 [ 参照系 ] WAL 改善による更新性能検証 [ 更新系 ] スケールアウト検証 OLAP 向けを指向した Postgres-XL を検証仮想化環境検証 KVM を使用した環境での性能特性への影響を検証コンテナ環境検証 Docker を使用した環境での性能特性への影響を検証 22

23 検証 1. スケールアップ検証 23

24 検証 1. 定点観測 ( スケールアップ検証 ) 概要 pgbench で計測スケールファクタ 1000 で初期化 (DB サイズは 15GB) ランダムに行取得するカスタムスクリプトを 300 秒ずつ実行 pgbench-s では十分な負荷がかからないため 3 回の計測結果の中央値を結果とした計測内容は以下 3 項目 9.2 の参照性能 9.2 と 9.3 の参照性能の比較 9.3 の pagechecksum 機能有無での参照性能の比較 9.3 の CPU コア数によるスケールアウト 24

25 検証 1. pgbench によるスケールアップ検証目的多数コアでの参照においてクライアント数が増加したときにスケールアップするかどうかを確認する方法カスタムスクリプトを作成し pgbench -h [host] -p [port] [dbname] -c [c] -j [j] -T 30 -n -f custom.sql を実行するクライアント数 (-c) を変動させるスレッド数 (-j) はその半分とする pgbench はクライアント用のマシンから実行するメモリ : 64GB pgbench メモリ : 2TB 16 コア pgbench マシン 80 コア PostgreSQL サーバ 25

26 検証での参照性能スケールアップ結果スケールファクタ 1000 データ量 : 1 億件 (15GB) pgbench -S のように平易なトランザクションだと変化がでにくいが負荷の高いトランザクションの場合コア数と同じ 80 クライアントまで性能が向上する 26

27 検証と 9.3 の参照性能の比較コア数と同じ 80 クライアントが最大 TPS となり同傾向 T P S PostgreSQL9.2 PostgreSQL9.3 CPU コア数 :80 クライアント数 :1~128 クライアント数 32 以降で 9.3 は 9.2 より最大 14% 低い 9.3 の方が CPUidle が高い 2012 年度 9.2 用にカスタマイズしたスクリプトだったので 9.3 では十分な負荷がかからなかった? クライアント数 27

28 検証 Page Checksum 有無での参照性能の比較 Page Checksum のオーバヘッドはおもに計算処理なのでクライアント数が多いと影響が大きい T P S page checksum 無し page checksum ありクライアント数が少なく CPU 利用率が低い場合にはその影響はほとんど無いと言える CPU コア数 :80 クライアント数 :1~128 クライアント数 28

29 検証 1. コア数変動での同時実行参照性能同時接続クライアント数を 80 に固定しコア数を変化させた PostgreSQL9.3 TPS はほぼコア数に比例して向上し PostgreSQL のスケールアウト性能が良好と言える CPU コア数 :1~80 クライアント数 :80 CPU コア数 29

30 検証 2. パーティショニング検証 30

31 検証 2. パーティショニング検証概要検証目的処理データ量の増大に対する対応手段としてのパーティショニングの効果パーティショニングの更新処理方式による性能差検証検証環境 DB サーバのサーバ環境 ( 測定用クライアントは DB サーバ上で実行 ) 検証シナリオ CPU メモリインテル Xeon プロセッサー E5-2690(2.90GHz, 8C/16T, 20MB)*2 128GB OS Red Hat Enterprise Linux 6 アクセスログの格納先としてPostgreSQLのパーティションテーブルを使用 1 日分のデータに対する集計検索を実行一定期間 (1,3,6ヶ月) データを保存し日次で1 日分のデータを削除ログ親テーブル削除子テーブル (3 月 31 日 ) 子テーブル (3 月 30 日 ) 子テーブル (3 月 29 日 ) 子テーブル (1 月 1 日 ) 31

32 検証 2. パーティショニング検証項目方法結果検証項目挿入性能検索性能運用性能検証方法トリガ関数の実装別性能静的関数 (PL/pgSQL) 動的関数 (PL/pgSQL) C 言語関数各パーティションへの直接挿入 ( トリガ関数を使用しない ) 1 日分のデータを対象とした集計処理 SeqScan IndexScan BitmapScan 1 日分のデータ削除および VACUUM パーティションを指定した TRUNCATE 条件指定の DELETE( 非パーティション表 ) VACUUM( 非パーティション表 ) 比較対象トリガ関数の実装別処理時間を比較トリガ関数 / パーティション表への直接挿入比較パーティション表 / 非パーティション表検索比較パーティション表 / 非パーティション表性能比較検証結果高速な順に 1. 直接挿入 2.C 言語関数 3. 動的関数 4. 静的関数静的関数は圧倒的に遅く測定を一部断念いずれの検索プランでもパーティション表の応答時間が 4~6 倍高速今回の検証シナリオではパーティション数が 180 以上の場合でもパーティショニングの利用を推奨 DELETE の応答時間 300 秒に対し TRUNCATE は 0.02 秒と圧倒的にパーティション表が高速 VACUUM の必要性も含め検証シナリオの運用ではパーティションを推奨 32

33 検証 2. PostgreSQL のパーティショニングテーブルの継承を利用したデータの分割格納トリガ関数による格納先決定 CHECK 制約を利用した検索先パーティションの選択 SELECT * FROM 親テーブル WHERE 日付 = '3 月 31 日 ' 親テーブル INSERT INTO 親テーブル VALUES ( CHECK 制約によるパーティションの選択 (constraint_exclusion が on か partition の場合 ) トリガ関数ユーザが用意するトリガ関数を使用した格納先パーティションの選択子テーブル (3 月 31 日 ) 子テーブル (3 月 30 日 ) 子テーブル (3 月 29 日 ) 子テーブル (1 月 1 日 ) PostgreSQL では一般的に 100 パーティション以上は非推奨 33

34 検証 2. データ挿入性能測定結果応答時間単表 ( )>C 言語関数 > 動的関数 >>> 静的関数トリガ関数を使用せずパーティション表にレコードを直接挿入静的関数のレコード挿入性能は非常に悪く 6 ヶ月のデータ挿入は断念動的関数はある程度良好な性能を記録し実装が簡単でパーティション追加にも対応可能 C 言語関数はトリガ関数を使用した挿入の中では最も高速だが実装は手間がかかり実装ミスによる DB プロセス例外が発生する可能性もあるパーティションへの直接挿入やC 言語関数は高速だが実装は簡単ではないデータ量や要求性能に応じて方式を選択 34

35 検証 2. 検索性能測定結果 6 ヶ月 ( 約 180 パーティション ) 分のデータを格納したテーブルに対する検索性能 1 日分のデータに対する集計ではいずれの検索プランでもパーティション表の方が高速今回の検証シナリオでは 1 日分のデータサイズがメモリ容量よりはるかに大きく必ず I/O が発生する重い検索だったためプラン生成によるオーバヘッドが問題にならなかったいずれの検索方法においてもパーティションを使用した方が高速 1 日のデータに全件ヒットする検索条件としたため SeqScan が最も高速検索内容次第で 100 パーティション以上でも検索性能面で有利な場合がある 35

36 検証 2. 運用性能測定 ( データ削除 VACUUM) パーティション表に対して削除処理によるデッドタプル VACUUM は不要 TRUNCATE と検索条件付きの DELETE では処理時間および負荷ともに圧倒的に TRUNCATE の方が軽い TRUNCATE VACUUM ANALYZE パーティション表 3 ヶ月パーティション表 6 ヶ月非パーティション表 6 ヶ月 0.02 秒 0.02 秒 300 秒 (DELETE) 秒 197 秒大容量データの運用 ( 削除 /VACUUM) にはパーティション表が有利 36

37 5. さいごに 37

38 成果物の公開ダウンロード可能 PGECons サイトから無料でダウンロードいただけます 38

39 活動報告と成果物のダウンロード 2013 年度活動報告と 2012 年活動報告ダウンロード可能 39

40 会員募集正会員一般会員を広く募集いたします WG で一緒に活動を行っていただける団体様正会員 PostgreSQL のエンタープライズ領域に興味を持っている団体様一般会員お問い合わせ先 : PostgreSQLエンタープライズコンソーシアム事務局メール Web : jimukyoku@pgecons.org : 40

41 ご清聴ありがとうございました! POSTGRESQL ENTERPRISE CONSORTIUM 41

アジェンダ WG1( 性能ワーキンググループ ) の今年度テーマ今年度の成果物実施体制活動報告 1: 定点観測 ( スケールアップ検証 ) 活動報告 2: パーティショニング検証活動報告 3: ハードウェア活用 (SSD) 検証活動報告 4: スケールアウト検証 (Postgres-XC)

大規模 DB を見据えた PostgreSQL の性能検証 2013 年度活動成果報告 PostgreSQL エンタープライズコンソーシアム WG1( 性能 WG) アジェンダ WG1( 性能ワーキンググループ ) の今年度テーマ今年度の成果物実施体制活動報告 1: 定点観測 ( スケールアップ検証 ) 活動報告 2: パーティショニング検証活動報告 3: ハードウェア活用 (SSD) 検証