SRA OSS, Inc. のご紹介 1999 年より PostgreSQL サポートを中心に OSS ビジネスを開始 2005 年に現在の形に至る 主なビジネス PostgreSQL, Zabbix などの OSS のサポート コンサルティング 導入構築 PowerGres ファミリーの開発 販売

Similar documents
PostgreSQL 10 で作るクラスタ構成 SRA OSS, Inc. 日本支社 取締役支社長 石井達夫

PostgreSQL による クラスタ構成の可能性 SRA OSS, Inc. 日本支社 取締役支社長 石井達夫

Zabbix で PostgreSQL を監視! pg_monz のご紹介 Zabbix Conference Japan 年 11 月 20 日 SRA OSS, Inc. 日本支社マーケティング部

スライド 1

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ 長田 悠吾

自己紹介 長田悠吾 ( ナガタユウゴ ) SRA OSS, Inc. 日本支社 マーケティング部 OSS 技術グループ pgpool-ii 開発者 PostgreSQL 関連の技術調査 OSS の技術サポート PostgreSQL の開発にも参加 Copyright 2015 SRA OSS, In

Web 環境におけるレイヤー別負荷の 2 違い DB サーバ AP サーバ 後ろのレイヤーほど負荷が高く ボトルネックになりやすい

PowerPoint プレゼンテーション

スライド 1

PostgreSQL の最新情報 日本 PostgreSQL ユーザ会石井達夫

アジェンダ はクラウド上でも十分使えます 1. の概要 とは の導入事例 で利用される構成 2. をクラウドで使う クラウドサービスの分類 Amazon Web Services による構成例 2

pg_monz 監視アイテム一覧 :Template App PostgreSQL Template App PostgreSQL アプリケーション LLD アイテムトリガー監視タイプ更新間隔ヒストリトレンドデフォルト説明ステータス pg.get pgsql.get.pg.bgwriter Zabb

スライド 1

PostgreSQL v.s. 大規模 OLTP 2019 年 4 月 19 日 OSS コンソーシアムデータベース部会セミナー SRA OSS, Inc. 日本支社高塚遥 Copyright 2019 SRA OSS, Inc. Japan All rights reserved. 1

PostgreSQL 9.4 評価検証報告 SRA OSS, Inc. 日本支社高塚遙 :55 ~ 16:30 PostgreSQL 9.4 最新情報セミナー Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 1

リレーショナルデータベース入門 SRA OSS, Inc. 日本支社 Copyright 2008 SRA OSS, Inc. Japan All rights reserved. 1

スライド 1

データベースの近代化:シンプルなクロスプラットフォーム、最小のダウンタイムで実現するクラウド移行

PostgreSQLによる クラスタ運用および負荷分散術 SRA OSS, Inc. 日本支社 OSS事業本部 星合 拓馬


第6回 2014/04/15 OSSユーザーのための勉強会 PostgreSQLの優位性 株式会社アシスト データベース技術本部 喜田 紘介 Copyright 2014 K.K.Ashisuto All Rights Reserved. 1

自己紹介 正野 裕大 マサノ ユウタ SRA OSS, Inc. 日本支社 OSS技術グループ 主にAmazon Web Services (AWS) 関連のR&D活動に従事 SRA OSS, Inc. 日本支社 1999年よりPostgreSQLサポートを中心にOSSビジネスを開始 Postgre

スライド 1

PowerGres Plus V9.1 のご紹介 PostgreSQL をベースに信頼性とセキュリティをプラス SRA OSS,Inc. 日本支社マーケティング部 2015/10 Copyright 2015 SRA OSS, Inc. Japan All rights reserved. 1

test

スライド 1

データセンターの効率的な資源活用のためのデータ収集・照会システムの設計

Postgres Plus Advanced Server 9.3パーティションテーブルの特徴と性能検証レポート

スライド タイトルなし

PostgreSQL 11 新機能解説 オープンソースカンファレンス 2018 Tokyo/Fall SRA OSS, Inc. 日本支社近藤雄太 Copyright 2018 SRA OSS, Inc. Japan All rights reserved. 1

自己紹介 1982 年 4 月に日商エレクトロニクス株式会社入社 Sybase を使った銀行系システムの開発 保守を担当 Oracle データベースを使ったアプリケーション設計 開発 保守 およびパフォーマンス チューニングなどのコンサルティング業務を担当 Oracle データベースのデータ移行 再

Enterprise Cloud + 紹介資料

スライド 1

【Cosminexus V9】クラウドサービスプラットフォーム Cosminexus

PowerPoint Presentation

平成20年度成果報告書

PostgreSQL 10 技術解説 SRA OSS, Inc. 日本支社 マーケティング部 PostgreSQL 技術グループ 高塚遙 PostgreSQL 最新動向紹介セミナー

メール全文検索アプリケーション Sylph-Searcher のご紹介 SRA OSS, Inc. 日本支社技術部チーフエンジニア Sylpheed 開発者 山本博之 Copyright 2007 SRA OSS, Inc. Japan All right

スライド 1

アジェンダ Amazon RDS for PostgreSQL 検証報告 スペックの異なる RDS インスタンスで 性能 ベンチマークを測定 技術的トピック 素の PostgreSQL と違う点 Amazon RDS と PostgreSQL の概要 付 録 RDS for PostgreSQL を

日本 PostgreSQL ユーザ会第 28 回しくみ + アプリケーション勉強会 Zabbix を使って PostgreSQL を監視してみよう 2014 年 2 月 1 日 TIS 株式会社中西剛紀 (Yoshinori Nakanishi)

Oracle Database 12c

PowerPoint Presentation

Slide 1

アジェンダ WG1( 性能ワーキンググループ ) の今年度テーマ 今年度の成果物 実施体制 活動報告 1: 定点観測 ( スケールアップ検証 ) 活動報告 2: パーティショニング検証 活動報告 3: ハードウェア活用 (SSD) 検証 活動報告 4: スケールアウト検証 (Postgres-XC)

PowerPoint Presentation

TOC 本講演の内容 PostgreSQL 開発とリリースの概要 PostgreSQL 9.5 新機能の検証報告 講演者について 高塚遙 SRA OSS, Inc. 日本支社にて PostgreSQL サポート 各種クラスタ構築技術支援 マイグレーション技術支援 などを担当 Copyright 20

…l…b…g…‘†[…N…v…“…O…›…~…fi…OfiÁŸ_

PowerPoint Presentation

Amazon Aurora for PostgreSQL アーキテクチャ・特長と移行

データベース暗号化ツール「D’Amo」性能検証

3. XML, DB, DB (AP). DB, DB, AP. RDB., XMLDB, XML,.,,.,, (XML / ), XML,,., AP. AP AP AP 検索キー //A=1 //A=2 //A=3 返却 XML 全体 XML 全体 XML 全体 XMLDB <root> <A

<506F C392E30838C A B E E2E2E>

IT ライブラリーより (pdf 100 冊 ) RDB を AWS 上に移行する ( 全 110 ページ )

Microsoft PowerPoint - HPE_MySQLClusrter_JEIS事例_v1.0.pptx

PowerPoint プレゼンテーション

オープンソースデータベース PostgreSQL 最新動向のご紹介

橡ExCtrlPDF.PDF

新バージョン! Zabbix 2.2 と検証結果のご紹介 SRA OSS, Inc. 日本支社山本博之 Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 1

Oracle Database 11g × Hitachi Storage Solutionsのベストプラクティス

PostgreSQL10 を導入! 大規模データ分析事例からみる DWH としての PostgreSQL 活用のポイント 2017/12/5 株式会社 NTT データ 2017 NTT DATA

AWSにおけるデータベース・サービスの活用

PostgreSQL カンファレンス 2013 証券取引バックオフィスにおける Oracle から PostgreSQL への マイグレーション SBI ジャパンネクスト証券株式会社 イアン バーウィック

PowerPoint Presentation

~~~~~~~~~~~~~~~~~~ wait Call CPU time 1, latch: library cache 7, latch: library cache lock 4, job scheduler co

自己紹介 石井 達夫 Pgpool-IIコミュニティリード PostgreSQLコミッタ SRA OSS, Inc. 日本支社支 社長 長田 悠吾 Pgpool-II開発者 SRA OSS, Inc. 日本支社で PostgreSQL関連のサポー ト コンサル業務に従事 2

Microsoft Word - JP-AppLabs-MySQL_Update.doc

PostgreSQL 9.2 検証報告

Oracle XML DB によるスケーラビリティおよびパフォーマンス検証 - MML v.3.0

PostgreSQLにおける透過的データ暗号化の実装

CouchbaseLiveTokyo2015 講演資料

Slide 1

PowerPoint Presentation

PowerPoint Presentation

次期バージョン PostgreSQL 10 の 新機能とその後の方向性 SRA OSS, Inc. 日本支社 マーケティング部 PostgreSQL 技術グループ 長田 悠吾 db tech showcase OSS

n n n ( ) n Oracle 16 PostgreSQL 3 MySQL

Arcserve Replication/High Availability 製品の仕組み

商用監視ソフトウェアユーザの Zabbix 移行へ朗報 Zabbix Event Viewer のご紹介 【本邦初公開】

MySQL Replication and Scalability

スライド 1

スライド 1

平成20年度成果報告書

3 4 SAP HANA 5 6 SAP HANA Xeon E7 v3 SAP HANA 6 8 OLTP OLAP 1 9 SAP S/4HANA SAP HANA Studio 13 14

スライド 1

MaxGauge_診断分析プロセス

内容 Visual Studio サーバーエクスプローラで学ぶ SQL とデータベース操作... 1 サーバーエクスプローラ... 4 データ接続... 4 データベース操作のサブメニューコンテキスト... 5 データベースのプロパティ... 6 SQL Server... 6 Microsoft

ホワイト ペーパー EMC VFCache により Microsoft SQL Server を高速化 EMC VFCache EMC VNX Microsoft SQL Server 2008 VFCache による SQL Server のパフォーマンスの大幅な向上 VNX によるデータ保護 E

使ってみよう!データベースとストレージ ~ Getting Started with AWS Database and Storage Services ~

iNFUSE インフューズ

以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらな

PowerPoint プレゼンテーション

スライド 1

FUJITSU Software Enterprise Postgresのご紹介

PowerPoint Presentation

サンプル:OSDL DBT-3によるPostgreSQLの性能評価(SATA HDD&SATA SSD編)

untitled

Slide 1

PowerPoint Presentation

MATLAB® における並列・分散コンピューティング ~ Parallel Computing Toolbox™ & MATLAB Distributed Computing Server™ ~

Transcription:

Amazon Aurora with PostgreSQL Compatibility を評価して SRA OSS, Inc. 日本支社 取締役支社長 石井達夫

SRA OSS, Inc. のご紹介 1999 年より PostgreSQL サポートを中心に OSS ビジネスを開始 2005 年に現在の形に至る 主なビジネス PostgreSQL, Zabbix などの OSS のサポート コンサルティング 導入構築 PowerGres ファミリーの開発 販売 PostgreSQL 用の各種トレーニング実施 商用 DB からのマイグレーションコンサル OSS 貢献 PostgreSQL Pgpool-II の開発 2 Copyright(c) 2017 SRA OSS, Inc. Japan

PostgreSQL の 20 年間の成長 規模は 7 倍以上に 20 万ステップから 150 万ステップに 本格的な RDBMS に トランザクション 行ロック MVCC SQL 標準対応 本格的なクエリオプティマイザ 高性能化 マルチプロセッサ対応 パラレルクエリ パーティショニング 高可用性化 レプリケーション 多機能化 全文検索 JSON 対応 ユーザの熱い支持 現在世界 29 ヵ国に 55 のコミュニティがある 3 Copyright(c) 2017 SRA OSS, Inc. Japan

商用 DB からの乗り換え先として Oracle からの移行先として注目されている もっとも Oracle から移行しやすい OSS データベース と言う評判 機能的に似ている 複雑なクエリやジョインも問題なく実行できる 信頼性が高い 4 Copyright(c) 2017 SRA OSS, Inc. Japan

lines of code 1,600,000 1,400,000 1,200,000 1,000,000 800,000 600,000 400,000 200,000 0 PostgreSQL History Sub-query Multi byte Trigger PL/pgSQL Row locks MVCC WAL log TOAST Concurrent Vacuum Multi Processor Windows Recursive SQL Window function HOT Full text search autovacuum Streaming replication true serializable isolation level Materialized view Foreign data wrapper JSONB Logical decoding Scale up to 80 cores Cascading replication UPSERT 6.1 6.2 6.3 6.4 6.5 7.0 7.1 7.2 7.3 7.4 8.0 8.1 8.2 8.3 8.4 9.0 9.1 9.2 9.3 9.4 9.5 9.6 10.0 1996 2017 Logical Replication Native Partioning Parallel Query 5 Copyright(c) 2017 SRA OSS, Inc. Japan

PostgreSQL と Aurora の機能ブロックの比較 PostgreSQL 全文検索 Geo データ JSON 信頼性 性能の高い DB エンジン パラレル Read Scale クエリ Up Read Replica 差し替え 全文検索 信頼性 性能の高い DB エンジン パラレルクエリ Aurora Geo データ JSON Read Scale Up AWS 独自 Read Replica エンジン部分のコードは変えていない 追加 フェイルオーバ処理 * 概念的な説明図であり 実際のアーキテクチャを表現しているわけではありません 追加 ここに注目! 高い Write 性能 6 Copyright(c) 2017 SRA OSS, Inc. Japan

なぜ Write 性能に着目するのか Read 性能を向上させる技術はすでにある スケールアウト パラレルクエリ Write 性能の向上は難しい アプリケーションレベルのシャーディングで write 性能は向上できるが アプリケーションの変更が必要 多くの試みがなされているが まだ決定的なものはない 7 Copyright(c) 2017 SRA OSS, Inc. Japan

Aurora に乗り換えるだけで Write 性能が向上する? そんなうまい話が本当にあるのか? これは是非検証しなければ... 8 Copyright(c) 2017 SRA OSS, Inc. Japan

Amazon RDS for PostgreSQL db.r3.8x large vcpu 32, mem:244gb Provisioned IO (IOPS: 10000) 検証環境 Amazon Aurora with PostgreSQL Compatibility db.r3.8x large vcpu 32, mem: 244GB Writer AZ1 pgbench AZ1 Writer AZ2 Multi AZ ( バックアップ ) Amazon EC2 m4.10x large vcpu 40 mem: 160GB AZ2 Shared Storage Volume Reader 9 Copyright(c) 2017 SRA OSS, Inc. Japan

検証用トランザクションの内容 同時接続数を 250,500,750,1000 と変化させ それぞれ 1 時間トランザクションを流し 実行できたトランザクション数を性能の指標とする 検証用テーブルは 一番大きいもので 2 億行 DB サイズは 30GB ひとつのトランザクションの中で SELECT を 1 回 UPDATE を 3 回 INSERT を 1 回実行する 10 Copyright(c) 2017 SRA OSS, Inc. Japan

初期データロード時間 Aurora Load Vacuum Index RDS Vacuum 時間が最も短縮されている 00:00:00 00:02:53 00:05:46 00:08:38 00:11:31 00:14:24 00:17:17 00:20:10 11 Copyright(c) 2017 SRA OSS, Inc. Japan

TPS 20,000 18,000 16,000 14,000 12,000 10,000 8,000 6,000 4,000 2,000 0 スループットの比較 250 500 750 1,000 同時接続数 Aurora RDS CPU 利用率はAurora が高い RDSではロック待ちが発生 AuroraのIOPSが少ない 書き込み単位が大きいため 12 Copyright(c) 2017 SRA OSS, Inc. Japan

応答時間の比較 50 45 Latency (ms) 40 35 30 25 20 15 250 同時接続 1 分間の推移 RDS Aurora 10 5 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 Aurora の応答時間は非常に安定している 13 Copyright(c) 2017 SRA OSS, Inc. Japan

性能検証結果まとめ Amazon Aurora for PostgreSQL Compatibility は Amazon RDS に比べ データロード時間は 1/3 スループットは 3 倍 応答時間が短く かつバラツキが少ない 同時接続数が増えても性能の劣化が少ない 14 Copyright(c) 2017 SRA OSS, Inc. Japan

Performance Insights クエリの種類によりボトルネックを容易に特定できる ( この例では UPDATE でロック待ち発生 ) 15 Copyright(c) 2017 SRA OSS, Inc. Japan

Read replica の利用 読み取りクエリの投げ先として利用 複数のレプリカを用意して負荷分散可能 レプリカに投げても良いクエリの識別は煩雑 SELECT( の一部 ) LOCK( の一部 ) COPY TO DECLARE, FETCH, CLOSE SHOW, SET, RESET SAVEPOINTなど PREPARE, EXECUTE, DEALLOCATE, DISCARD LOAD Read onlyトランザクションの開始 終了 16 Copyright(c) 2017 SRA OSS, Inc. Japan

Pgpool-II のご紹介 SRA OSSが中心となって開発しているOSSミドルウェア PostgreSQLの各種管理を行う フェイルオーバ管理 ノードの追加 削除 リードレプリカへの負荷分散管理 Pgpool-II 17 Copyright(c) 2017 SRA OSS, Inc. Japan

Pgpool-II の負荷分散機能 クエリの内容を解析し Writer read replica へ自動振り分けを行う きめ細かな負荷分散管理機能 振り分けの際 ノードにより重み付けが可能 アプリケーション データベース毎に振り分け先のノードを指定できる 18 Copyright(c) 2017 SRA OSS, Inc. Japan

Pgpool-II の負荷分散管理のイメージ 参照クエリ プライマリは更新処理に専念する プライマリ 参照クエリのうち 0% 参照クエリのうち 40 % スタンバイ 参照クエリのうち 30 % アプリケーション名やデータベース名で分散させることも可能 スタンバイ スタンバイ 参照クエリのうち 30 % 19 Copyright(c) 2017 SRA OSS, Inc. Japan

Pgpool-II の今後の計画 現在は PostgreSQL(streaming replication) Amazon RDS に対応 Amazon Aurora for PostgreSQL Compatibility への対応は技術的には難しくないので 要望が多ければ対応します! 20 Copyright(c) 2017 SRA OSS, Inc. Japan

Thank you! 21 Copyright(c) 2017 SRA OSS, Inc. Japan