スライド 1

Size: px

Start display at page:

Download "スライド 1"

かおりさかわ
5 years ago
Views:

1 住友電工における PostgreSQL 活用事例 : 導入のメリットと課題 2012 年 7 月 6 日住友電気工業株式会社情報システム部中塚康介情報システム部

2 はじめに 1. 住友電工のご紹介 2. PostgreSQL 評価標準化 3. PostgreSQL の全社展開 1. 楽々 FrameworkII の PostgreSQL 対応 2. 開発環境の自動セットアップ 3. 教育 4. 導入の現状 4. PostgreSQL バージョンアップの対応 5. 商用 DB からの移行 6. PostgreSQL 運用サポート事例住友電工における PostgreSQL 導入全社展開の流れと個別のシステム開発の中での課題と対策についてご紹介します P.2/42

3 1. 住友電気工業株式会社商号 : 住友電気工業株式会社創業 : 1897 年 ( 明治 30 年 ) 資本金 : 997 億円社長 : 松本正義連結従業員数 : 182,773 人 (2011 年 3 月末 ) グループ : 325 社 ( 国内 124 社海外 201 社 ) 業績連結売上高 : 2 兆 338 億円 (2011 年 3 月期 ) 連結経常利益 : 1,290 億円 (2011 年 3 月期 ) P.3/42

4 製品紹介 (1) コネクタワイヤーハーネス光ファイバケーブル防振ゴム双方向通信用デバイス H-PCF ( 光ショートリンクケーブル ) ケーブルテレビ (CATV) システム新交通システム交通管制システム P.4/42

5 製品紹介 (2) スミチューブ窒化ガリウム基板 FPC ( フレキシブルプリント回路 ) CV( 架橋ポリエチレン絶縁 ) ケーブル化合物半導体 ( ガリウムヒ素インジウムリン ) 超硬工具イゲタロイ P.5/42

6 情報システム部門住友電気工業株式会社情報システム部システム企画情報技術事業部住友電工情報システム株式会社設計開発運用保守 P.6/42

7 システムアーキテクチャの推移年度方式 OS 言語 DB ~80 ホスト集中処理 81~90 汎用機分散設置 IBM S370 NEC ACOS IBM 4300 NEC ACOS COBOL IMS ADBS DB2, DL/I ADBS 91~94 telnet Informix-4GL Informix UNIX 95~96 C/S Developer2000 Oracle 97~98 Windows NT ColdFusion 99~04 05~06 06~11 11~ Web システム Linux Xen + Linux Xen + Linux VMWare+Linux Web システムへの早期取り組み Java/Tomcat Oracle, DB2 PostgreSQL アプリケーションフレームワークは自社開発 ( 楽々 FrameworkII ) P.7/42

8 2.PostgreSQL 評価標準化 1. 住友電工のご紹介 2. PostgreSQL 評価標準化 3. PostgreSQL の全社展開 1. 楽々 FrameworkII の PostgreSQL 対応 2. 開発環境の自動セットアップ 3. 教育 4. 導入の現状 4. PostgreSQL バージョンアップの対応 5. 商用 DB からの移行 6. PostgreSQL 運用サポート事例 PostgreSQL 導入評価標準化の経緯と標準化のための評価の体制情報共有についてご紹介します P.8/42

9 PostgreSQL 導入のメリット無償で利用できる安価なPCハードで動作特定ベンダのロックインを回避 web メーリングリストセミナなど情報が入手しやすい不具合があってもすぐにパッチが提供されることが多い P.9/42

10 PostgreSQL 導入の経緯 Oracle DB 年まで採用ライセンスが高価オープンソースデータベースの検討 PostgreSQL 高機能日本で普及コミュニティが活発 MySQL 機能面での不足オープンソースだが単一の企業による保持速度は PostgreSQL より早かった P.10/42

11 評価標準化エンタープライズ用途では信頼性が必要商用 DB に比べてパフォーマンスは問題ないか商用 DB に比べて安定性はどうかパフォーマンス評価 DOA+ コンソーシアムでも結果公表安定性評価 2003 年から社内ポータルサイト運用問題が無いことを確認現在では利用ユーザ数 / 日 : 7,400 データ総量 : 5.4GB SELECT 数 / 日 : 6,000,000 の規模に 2005 年にPostgreSQLを標準データベースとして全社展開 P.11/42

12 評価の体制住友電気工業株式会社情報システム部システム企画情報技術事業部住友電工情報システム株式会社設計開発運用保守情報システム部内の技術グループで技術評価標準化標準に従い住友電工情報システムが開発全社に展開技術グループでノウハウを蓄積しシステム障害発生時に支援 P.12/42

13 技術調査結果の共有社内 webサイト上で技術資料を含めたシステム開発資料を共有技術資料は情報システム部員住友電工情報システム社員は誰でも閲覧可能 webサイトの更新は自社開発の文書構成管理ツールで行う HTMLを使用せずに容易に記述できる版管理レビュー承認機能技術情報を広く展開レビュー承認された確実な情報を提供 P.13/42

14 3.PostgreSQL の全社展開 1. 住友電工のご紹介 2. PostgreSQL 評価標準化 3. PostgreSQL の全社展開 1. 楽々 FrameworkII の PostgreSQL 対応 2. 開発環境の自動セットアップ 3. 教育 4. 導入の現状 4. PostgreSQL バージョンアップの対応 5. 商用 DB からの移行 6. PostgreSQL 運用サポート事例全社展開のためには開発者の誰もが一定のレベルで PostgreSQL を扱える必要があります開発を支援するフレームワーク自動化された環境構築必要な知識の教育についてご紹介します P.14/42

15 3.1 楽々 FrameworkII の PostgreSQL 対応自社開発のwebシステム用フレームワークオープンソースソフトウェアをサポートサポートしているオープンソースソフトウェア例 OS APサーバー DBサーバー帳票 Linux Tomcat PostgreSQL MySQL JasperReports 社内システムは楽々 FrameworkII での開発を標準とし開発者は PostgreSQL に対応しているかどうかを確認する必要がない P.15/42

16 3.2 開発環境の自動セットアップスキーマ DB 設計 T 字形 ER 図に基づく正規化された設計 PostgreSQL 固有の設計は行わない開発環境作成開発環境に自動で推奨バージョンの PostgreSQLがインストールされるスキーマは楽々 Frameworkが自動設定チューニングは各プロジェクトで実施システムテスト本番環境作成各プロジェクトでインストール設定バックアップ設定はテンプレートを提供 P.16/42

17 3.3 PostgreSQL の教育 PostgreSQL 固有の内容について社内セミナを実施 PostgreSQL チューニング講座 PostgreSQL 障害復旧セミナセミナ資料や講習も社内技術グループ員で作成実施技術の蓄積底上げ組織にあわせた研修が可能性能改善事例やよくある間違い等も社内から収集して反映 P.17/42

18 PostgreSQL 教育 : チューニング想定したパフォーマンスが出ない SQLの実行プランが思った通りにならない性能を引き出すための設定を習得 PostgreSQLの設定値 shared_buffers work_mem wal_buffers 改善事例設定値の変更による改善 SQLの修正による改善 PostgreSQL 固有の改善 INDEXが使われないケースの対応の方が早いといったTips 稼動統計情報やロック状況の取得 P.18/42

19 PostgreSQL 教育 : 障害復旧データベースの障害発生に備えておきたい障害発生時に慌てず対応できるようにしたいバックアップリストア方法の習得オフラインのコピー pg_dump ポイントインタイムリカバリ (PITR) の手順設定誤りの事例紹介演習形式で実際に壊して復旧してみるデータベースファイルの損傷ディスクフル障害の診断 P.19/42

20 3.4 PostgreSQL 導入の現状 PostgreSQL 以外のデータベース利用は承認が必要各システムで使用するデータベースをそろえることで開発維持を効率化ノウハウを蓄積開発サーバ上で 60 以上の PostgreSQL インスタンスが起動 P.20/42

21 4.PostgreSQL バージョンアップの対応 1. 住友電工のご紹介 2. PostgreSQL 評価標準化 3. PostgreSQL の全社展開 1. 楽々 FrameworkII の PostgreSQL 対応 2. 開発環境の自動セットアップ 3. 教育 4. 導入の現状 4. PostgreSQL バージョンアップの対応 5. 商用 DB からの移行 6. PostgreSQL 運用サポート事例新機能の追加や不具合の修正などのバージョンアップにシステム開発や維持も対応する必要がありますバージョンアップによる問題発生を防ぐための推奨バージョン決定についてご紹介します P.21/42

22 PostgreSQL バージョンアップ PostgreSQLはどんどんバージョンアップしている不具合の修正新機能の追加各システムで問題のあるバージョンを使いたくない新しいバージョンで問題が無いことを確認する必要がある技術グループが評価推奨バージョンを決定するパフォーマンスは悪化しないか過去の致命的な不具合を修正しているものか過去のバージョンと互換性はあるか P.22/42

23 PostgreSQL バージョンアップの流れ 1. PostgreSQL 公式 web サイトでバージョンの更新を確認主な変更点即時更新が必要なものか 2. 即時更新が必要なものメジャーアップデートを中心に評価変更内容の確認対応手順書作成パフォーマンス評価日本語マニュアルの入手 3. 推奨バージョンの決定開発支援システムへの反映アナウンス P.23/42

24 バージョン更新時の変更内容の確認改善点の確認性能の向上設定の変更 SQLの変更など改善に伴う注意点も記載互換性の確認 P.24/42

25 バージョン更新時のパフォーマンス評価標準ツールによる評価 pgbench 社内開発の評価システム大量データの検索での性能 INDEXの有無やJOIN の条件などいくつかの条件 P.25/42

26 バージョンアップ時の課題と対策システム開発時にバージョンの違いを意識する必要があるか不具合解消パフォーマンス向上のためのPostgreSQLバージョンアップでどれだけシステムを改修する必要があるかシステム改修にはコストがかかるバージョン間で非互換な点の一部はフレームワーク側で吸収各システムで個別の対応を不要にする 8.3 以降のバージョンは比較的容易にバージョンアップできるからのバージョンアップはSQLの修正などが伴う 8.3からデータ型を厳密にチェックするようになった移行元のバージョンに応じて各プロジェクトで修正テスト工数を調整頂く必要がある P.26/42

27 5. 商用 DB からの移行 1. 住友電工のご紹介 2. PostgreSQL 評価標準化 3. PostgreSQL の全社展開 1. 楽々 FrameworkII の PostgreSQL 対応 2. 開発環境の自動セットアップ 3. 教育 4. 導入の現状 4. PostgreSQL バージョンアップの対応 5. 商用 DB からの移行 6. PostgreSQL 運用サポート事例 PostgreSQL 標準化までに使用されてきた古い商用 DB の更新対応についてご紹介します P.27/42

28 古い商用 DB からの移行ハードウェア更新にあたりプログラムはそのままで商用 DB から PostgreSQL に更新する案件 PostgreSQL が標準データベースであるコストを抑えたい商用 DB 利用のシステム数 : 約 10 P.28/42

29 PostgreSQL 以外を使用している過去のシステム年度方式 OS 言語 DB ~80 ホスト集中処理 81~90 汎用機分散設置 IBM S370 NEC ACOS IBM 4300 NEC ACOS COBOL IMS ADBS DB2, DL/I ADBS 91~94 telnet Informix-4GL Informix UNIX 95~96 C/S Developer2000 Oracle 97~98 Windows NT ColdFusion 99~04 05~06 06~11 11~ Web システム Linux Xen + Linux Xen + Linux VMWare+Linux Java/Tomcat Oracle, DB2 PostgreSQL P.29/42

30 古い商用 DB からの移行ハードウェア更新にあたりプログラムはそのままで商用 DB から PostgreSQL に更新する案件 PostgreSQL が標準データベースであるコストを抑えたい商用 DB 利用のシステム数 : 約 10 DB 移行もコスト大 PostgreSQL 以外の DB に特化した SQL があればプログラムを書き換えないといけないテストも SQL 発行部分は全数実施する必要があるデータベース移行支援ツールを開発 P.30/42

31 データベース移行支援ツール以下の機能を持つ移行支援ツールを開発システムで使われている SQL をツールに取り込み他 DB 依存の関数などを抽出修正対象となりうる SQL の発行を抽出プログラムの修正対象箇所を抽出修正対象として検出されなかった全 SQL の実行結果比較レスポンスの比較楽々 FrameworkIIとの連携フレームワークからの SQL ログを利用フレームワーク独自のプログラム記述 (XPD XWD XDD) に含まれるSQLもチェック 2システムの移行に利用他 2システムで利用を検討中 P.31/42

32 データベース移行支援ツールのスクリーンショット P.32/42

33 6.PostgreSQL 運用サポート事例 1. 住友電工のご紹介 2. PostgreSQL 評価標準化 3. PostgreSQL の全社展開 1. 楽々 FrameworkII の PostgreSQL 対応 2. 開発環境の自動セットアップ 3. 教育 4. 導入の現状 4. PostgreSQL バージョンアップの対応 5. 商用 DB からの移行 6. PostgreSQL 運用サポート事例 1. パフォーマンス向上 2. 可用性 3. 運用の問題 P.33/42

34 6.1 パフォーマンス向上パフォーマンスがでないという問い合わせが無いわけではない効果が大きい所を特定し解決する OSの状態 PostgreSQLの設定統計情報 SQL P.34/42

35 パフォーマンス対策新しいバージョンほど良い性能面の向上 HOTやVACUUMの改善などの運用面からの向上次の9.2ではスケーラビリティも向上性能の出る構成設定プログラムの書き方チューニングの教育問題のあるSQLをEXPLAIN ANALYZEや統計情報で分析 8.1や8.2など古いバージョンでは運用の工夫が避けられない AUTOVACUUMを使わずに負荷が低い所をねらって実施定期的にダンプリストアしてDBを綺麗にするメモリ割り当て量の変更できるだけオンメモリで動くようにメモリ増強 P.35/42

36 パフォーマンス対策例 : ダンプリストア 8.2 などの古いバージョンで長期間運用時にパフォーマンス低下チューニングや VACUUM FULL で解消しない一度ダンプした後そのデータをリストアして回避 CLUSTER でも可能とは思われる最近のバージョンでは問題にならなくなっている不要領域をなるべく発生させない改善 9.0 からは VACUUM FULL がダンプリストア相当に P.36/42

37 6.2 可用性 : 全社電子掲示板の事例単一の PostgreSQL で動いているシステムの応答速度をできるだけ保ちつつ可用性を高めたい DB サーバー障害が発生してもシステムを止めない一部システムで既に pgpool-ii は適用しているが応答速度の点からベストな解なのか? 納期人員の点から社内ですべてを検討することが難しい PostgreSQL の有償サポートによる支援最近では複数の企業から PostgreSQL のサポートが提供されており支援が受けられるようになってきた P.37/42

38 可用性 : 手法の選択可用性を高める方法 pgpool-ii slony-i ストリーミングレプリケーション (PostgreSQL 9~) ハードウェアファイルシステムレベルのレプリケーション評価要件と pgpool-ii slony-i ストリーミングレプリケーションの3 案の適応性変更が必要なSQLの分析ベンチマークテスト pgpool-ii で構成検討することで決定 P.38/42

39 6.3 運用の問題標準化していても単純な設定ミスは起こってしまう多くの場合そのまま動くので見逃しやすい標準通りなので設定は正しいはずと見落しやすい標準を定めた時点で問題となりうることが気付けないものも個々の問題の解決に終わらせないまずは問題解決問題の原因となった点を教育資料や標準に反映 P.39/42

40 運用問題の事例 : アーカイブログが膨大になるアーカイブログを日々蓄積しているがサイズが膨大なものにログファイル数が 3 万以上 archive_commandに指定したcpコマンドのオプションで -i を指定している所が -l になっていたハードリンクをはるオプション PostgreSQLはトランザクションログファイル (WAL) を再利用不要なログファイルの削除を日付の比較で行っていたハードリンク再利用で更新日時が変わることで削除が機能しなくなっていた他にarchive_commandが mv となっていた事例も障害復旧セミナに反映 P.40/42

41 運用問題の事例 : バックアップに失敗する時々ベースバックアップトランザクションログのコピーが失敗するバックアップ中にファイルが変更されたことを検知していた古い tar コマンドはファイル変更をエラーとして返す rsync コマンドに変更して対応標準のバックアップスクリプトに反映 P.41/42

42 まとめ住友電工では 2005 年から PostgreSQL を標準データベースとして全社展開してきたオープンソースソフトウェアの特徴である無償利用ベンダロックインの回避などのメリット機能やコミュニティの活動などエンタープライズ利用で必要な部分を評価し採用課題については標準化や教育ツール開発などで対応できるコミュニティへの貢献住友電工情報システム株式会社が PostgreSQL 8.4 で再帰 SQL 開発にリソース提供 SRA OSS, Inc. 日本支社様が開発 2008 年 PostgreSQL 事例セミナ P.42/42

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 SRA OSS, Inc. のご紹介 PostgreSQLを中心とした OSSへの様々なサービスを提供サポートサービスコンサルティングパッケージ製品 PowerGres, libtextconv, Sylpheed Pro 教育サービストレーニング技術者認定制度 (PostgreSQL