データウェアハウス/OLAP分析について

Size: px

Start display at page:

Download "データウェアハウス/OLAP分析について"

みずきふしはら
4 years ago
Views:

1 データウェアハウスについて / 分析について日本オラクル株式会社データウェアハウスについて OLAP 分析についてデータウェアハウス (Data Warehouse) の概念をわかりやすく説明した資料ですデータウェアハウスってなに? という方を対象に概念にとどまらずデータウェアハウスを取り入れた意志決定支援システム最近のトレンドシステムの使用用途などについても理解していただける内容になっております作成当時 (1999 年 1 月 ) に比べて古い情報もあるかと思いますが概念自体は変わっておりませんので参考資料としてご覧いただけると幸いです補足作成 :2000 年 8 月 Page 1

2 アジェンダデータウェアハウスについて - データウェアハウスとは - 意思決定支援システム - 業務系システム VS 意思決定システム - 身近なシステム活用例 - データウェアハウスとデータマート - データウェアハウスの構築のトレンド - データウェアハウスツールのトレンド 1 - データウェアハウスツールのトレンド - 意思決定の手法について 1 - 意思決定の手法について 2 - OLAP 分析 VS データマイニング - まとめ OLAP 分析について - OLAP とは OLAP 分析方法 - OLAP の機能 - スライスシング - ダイシング - ドリルダウンドリルアップデータの格納方法 - R-OLAP vs M-OLAP - トレードオフ - Hybrid-OLAP ~ オラクルでは ~ - まとめ Page 2

3 データウェアハウスについて Page 3

4 データウェアハウスとは定義企業内外の情報を意思決定支援意思決定支援のために集積し戦略的に活用していくことを目指した企業システムの概念特徴サブジェクト志向統合性恒常性時系列性活用目的別運用 DB の形式を統一履歴データを保持時間とのつながりデータウェアハウスとはデータウェアハウスは企業内外の情報を意思決定支援のために集積し戦略的に活用していくことを目指とした企業システムの概念と捉えることができます提唱者であるビルイモン氏によるとその特徴は以下の 4 つに分類することができます活用目的別に整理されたサブジェクト志向様々な形式を持つ運用 DBのデータを変換して統一する統合性履歴データを保持する恒常性時間とのつながりを持つ時系列性企業内に蓄積された大量の電子データを有効活用できるかどうかが企業の競争力を左右するキーポイントとなりますなぜなら売上げを伸ばすヒントがそうしたデータに隠れているからですしかし従来の部門単位や業務単位で構築されたシステムでは全社的に統一されたデータとして参照することはできませんでしたそこで登場したのがデータウェアハウスという概念です Page 4

5 意思決定支援システムデータの分析に基づいた業上の意思決定をサポート販売製品計画マーケティング戦略管理意思決定支援システム意思決定支援システムとは企業にとって有用な情報をデータの分析検索から引き出すことを目的に構築するシステムです意思決定支援システムを使用することで経営者の直感だけでなく確かなデータに基づいたビジネス決定を下すことができます意思決定支援システムが適用される分野は販売マーケティング戦略管理製品計画など広範囲に及びます例えば昨年一昨年という過去の中から今後の需要を予測し販売計画や製品計画につなげるという使い方ができます Page 5

6 業務系システム意思決定システム業務系システム意思決定システム日常業務の遂行が目的詳細データ例 ) 販売データ在庫データ頻繁なデータ更新最新データのみ保存オンラインのデータ保存期間が短いデータの分析と検索が目的詳細データとサマリーデータデータは時系列で格納定期的なデータ更新更新済更新後のデータを保存過去と現在のデータの比較が可能例 ) 前年売上比前月売上構成比業務系システム VS 意思決定システム業務系システムは日常業務目的としたシステムで主に販売データ在庫データといった刻一刻と変化するデータを扱います更新されるタイミングが早く最新データのみを保存するのが特徴です一般的に大量のデータ処理を短時間で行なうといったパフォーマンスが求められます一方意思決定支援システムはデータの分析と検索のために構築されその目的は業務系システムとは異なります詳細データとサマリーデータを時系列で格納しデータの更新は定期的に行われます構築後の年数が経てば経つほどデータ量は増えその中から目的に沿った形でデータを取り出す処理に高性能なパフォーマンスが求められますまた意思決定支援システムではデータが更新された場合は更新前のデータも一緒に保存されますこれにより例えば半年前と現在の状況を比較することが可能ですつまり運用 DB は日々の業務活動を支える現在形 DB ですがデータウェアハウスは過去形 DB であると言えます Page 6

7 身近なシステム活用例クレジットカード会社業務系システム意思決定支援システム - 利用金額データ - 支払い方法 - 信用情報チェック - 利用限度額の決定 - ダイレクトメール - エリアマーケティング身近なシステムの活用例クレジットカード会社の例を使用して業務系システム意思決定支援システムの違いを説明します例えはデパート会員つきのクレジットカードを持っていたとしますそのカードを使って買い物をするたびにまずは使用しているカードの信用情報がクレジットカード会社の業務系システムに照合されますそして支払い金額支払い方法等に関するデータが記録されますカードを申し込み時に記入した個人情報や購買記録は意思決定支援システムで使用されています例えばあなたが支払い期日を守る優良顧客である場合カード利用限度額が引き上げられるでしょうまた日頃の購買記録に従ってあなたの趣味にあった店またはイベントのダイレクトメールが送られてくるでしょうさらに支店ごとの顧客年齢層や性別を調べることによって経営者はより効率的な販売計画を立てることが出来ます Page 7

8 セントラルウェアハウスとデータマートセントラルウェアハウスデータマートセントラルウェアハウスからユーザの目的別にデータを抽出した小型データベース目的別にデータを抽出データマート RDB MDB ユーザーが実際にアクセスしデータを検索し情報を分析する場所目的セントラルデータマートウェアハウス企業データを正確に情報を敏速簡単にエアクセスできる唯一のンドユーザに提供する共有場所を提供する知的労働者に実行可トランザクションシス能な決定力を与えるテムから DSS の負荷を取り除く数十 GB のスケーラビリティ TB( テラバイト ) レベルのスケーラビリティ DSS 意思決定支援システムセントラルウェアハウスとデータマートデータウェアハウスの話と平行して登場する言葉にデータマートがありますデータマートは企業全体ではなく部門ごとに作られる部門専用のデータウェアハウスです一方企業全体のデータを格納するのがセントラルウェアハウスですセントラルウェアハウスは企業データの統合データベースで財務会計売上顧客といったデータが整理統合され保存されますつまり企業の根幹を成すデータ群が集中管理されている唯一のデータ共有場所ですデータマートはセントラルウェアハウスから目的別にデータを抽出した目的指向のデータベースと考えて下さいデータマートのデータは特定の分野に焦点を絞って収集したデータでありその情報は業務上の個々の分野において意思決定のサポートに使用されます部門単位や業務単位で構築されるデータマートを使用することでデータ検索分析により発生するマシン負荷を取り除きパフォーマンスの向上を期待することができます Page 8

9 データウェアハウス構築のトレンド全社開発セントラルウェアハウスフィードバック部門 A 独立型開発 Mart A 運用 Mart A 部門 B 独立型開発 Mart B 運用 Mart B 部門 C Mart C 部門 D Mart D 従属型開発運用データウェアハウス構築のトレンドデータウェアハウスの開発には決まりきったルールがありません設計を 100% 決めていては構築した時点でビジネス要求が変化した場合に柔軟に対応できない可能性がありますそこでこのような特徴を考慮しながらデータウェアハウスを開発するために小さく始めて ( セントラルウェアハウス ) を大きく育てるという前提をもとにデータマートとセントラルウェアハウスの同時開発という手法が注目されていますまず最初の 3 ヶ月 ~6 ヶ月の短期間でユーザのニーズに応じたデータマートを構築し一方でセントラルウェアハウスの構築も同時に進めていきますデータマート開発で得たノウハウをフィードバックしながらセントラルウェアハウスの開発に役立てます 1 年 ~1 年半でセントラルウェアハウスが完成したらそれまでに構築したデータマートをセントラルウェアハウスに合わせて再構築します補足 IAFコンサルティング様の管理ツール OLAP Coaster では分析モデルをメタレイヤ(Meta Layer) として RDBMS( データウェアハウス ) のデータをMDB( データマート ) に自由に切り出して作成するというような運用が可能ですビジネスモデルを用いてデータマートを構築運用を行うという画期的なツールです詳しくはIAFコンサルティング様のホームページをご参照ください Page 9

10 データウェアハウスツールのトレンド 1 従来のパッケージ製品 + カスタマイズ業務別業種別のアプリケーションに特化したデータウェアハウスソリューション共通課題に応えるためのノウハウテンプレートを含むパッケージ製品データウェアハウス分析ツールのトレンド 1 最近のデータウェアハウス分析ツールのトレンドについて紹介します現在多くの企業はデータマートに注目しておりそのパッケージ製品に即効性のあるソリューションを期待していますこれまでに流通している製品は相当のカスタマイズが必要とされるものがほとんどでしたそこでいま企業が必要としているのは業務別あるいは業種別のアプリケーションに特化したデータウェアハウスソリューションです汎用性はなくとも特定の業種や業務を対象とした製品ならユーザ企業はより短期間により低コストでデータウェアハウスを導入することができるからです個々の業界が直面する様々な共通課題に応えるためテンプレートを含む製品が登場しています補足オラクルでは Oracle Applicationsと密接に統合された管理会計ツール Oracle Financial Analyzer R6.3.0 がこのテンプレートに相当します予実管理予算作成経営分析経営指がなどの用途が挙げられます Page 10

11 データウェアハウスツールのトレンド 2 テンプレート自社開発メリット開発期間短縮特有ルールに従った入力操作カスタマイズ作業メリット運用面の簡素化が可能メリット短期の導入期間導入コスト削減長期の導入期間多大な導入コストデータウェアハウス分析ツールのトレンド 2 パッケージ製品と自社開発のどちらが良いかは企業の業務体系や導入計画によって異なります両者の長所と短所を図にまとめてみました Page 11

12 意思決定の手法について 1 OLAP(Online Analytical Processing) 状況把握や問題追求を行なう分析手法 4 月商品別売上商品売上前月比 A 3,000 万円 100% B 5,000 万円 70% C 4,000 万円 95% 4 月店舗別商品 B 売上店舗売上前月比用賀 1,300 万円 95% 赤坂 950 万円 60% 中野 1,700 万円 120% 4 月赤坂店商品 B 個人別名前達成率山田 110% 鈴木 40% 佐藤 100% 前月より売上げが急激に落ち込んでいる製品 B を発見! 赤坂支店に問題がある事が分かるセールスマン鈴木の売上げが 40% しか達成されていない意思決定の手法について 1 意思決定をサポートする情報処理では OLAP とデータマイニングが必ずといっていいほど対になって語られますここで混同され易い OLAP とデータマイニングについて説明します OLAP とはサマリデータからデータを素早く検索し比較を中心とした分析を行なうことで特殊な要求に対応する分析手法です例えばある小売の製品別の売上げ分析から売上げが前月に比べて著しく落ち込んでいる製品 B が発見されたとします売上げ減少の原因を追求するために製品 B の売上げを店舗別に見てみると赤坂支店では前月に比べて 60% の売上げしか達成していないことが分かります更に赤坂支店の売上げをセールスマン別に調べるとセールスマン鈴木の販売成績が芳しくないという原因を発見することができます製品別売上げ分析などよく使われる分析視点をあらかじめ分析メニューとして用意すればあまりコンピュータに詳しくない上層部の方でも簡単に仮説検証型の分析を実施することができます更により高度な分析能力を持つパワーユーザであれば興味のあるデータを自由に選択組み合わせてより高度な分析を行うことも可能です Page 12

13 意思決定の手法について 2 データマイニング大量データから規則性や因果関係を発見する分析手法スナック菓子 & テープの購入者 (2 ( 万人 ) スナック菓子の購入者 (20 万人 ) カセットテープの購入者 (5 万人 ) 意思決定の手法について 2 一方データマイニングはツール自らが特定の分析手法を持つことでより大量のデータから OLAP では見つけることのできなかった予期しない規則性や因果関係を発見する分析手法ですデータマイニングの基礎的な技術要素は必要なデータだけに注目し多段階クロス分析を行ないデータ属性間の相互作用相関関係を自動分析しパターンを見つけ出すことですデータマイニングによる代表的な分析には以下のような例が挙げられます商品間の相関関係を導き出す相関関係分析顧客が時系列に行動する購買パターンを見つける時系列分析過去の類似した現象から規則性を導き出す類似性時系列分析例えばコンビニエンスストアの売上げ製品の相関関係をデータマイニングを使って行いカセットデープの購入者はスナック菓子も同時に購入する確率が高いという顧客の購買パターンを発見したとしますこの分析結果をもとにスナック菓子とカセットテープを近くの棚に陳列することで売上げの向上を期待することができます Page 13

14 データマイニング分析対象目的分析技術成熟度分析結果 OLAP ( データ分析 ) 要約データ現状把握スライス & ダイスドリルダウンなど成熟主観的データマイニング ( データ検索 ) 詳細データ発見相関関係分析時系列分析など発展中客観的 OLAP とデータマイニングの比較成熟度に関してデータマイニングはまだまだ発展途上の段階にあります思いもよらない因果関係や相関関係の事例が報告される一方で実際の分析結果のほとんどは当たり前の事柄かまったく使えないルールであることも少なくありません OLAPは状況把握問題追及を行なう基本的な機能はすでに備わっており現在はデータにもとづいて予測を立てるような機能も含まれています Page 14

15 仮説検証の繰り返しまとめ - 意思決定支援のための OLAP- DWH の活用ユーザーは様々な分析ニーズを持っているはず! 分析仮意思決定実行効果検証分析の切り口は多次元階層的同じ切り口でも見方一つで様々な解釈ができる操作が簡単である e.t.c データから情報への変換 OLAP (Onl Online Analytical Processing) 様々なユーザが様々な視点で分析ができなくてはならない! 意思決定支援のための OLAP ここまでのスライドでデータウェアハウスの概念や意思決定支援システムにまつわる用語を説明しましたデータウェアハウスはユーザに活用されてこそ意義のあるシステムですここからは意思決定支援システムを支える上で最近注目されている OLAP に的を絞って説明しますなせOLAPが情報分析に適しているのでしょうか? それは OLAPが情報分析をすることを目的として作られたものだからですデータ分析において分析意思決定実行検証といった作業が繰り返し行われますこの様な分析サイクルの中で単なるデータが意味のある情報と変換されていきます分析するユーザは一つの見方 ( 切り口 ) だけでなく様々な解釈をし整理することでデータから情報へと変換していきますそのため情報分析に必要な要素として多次元でデータが構成され切り口の変更が容易にできることがあげられますこういった分析ニーズに応えられるテクノロジーとして OLAP がよく用いられます Page 15

16 分析について Page 16

17 地域地域とは OLAP(Online Online Analytical Processing) 多次元分析スライシング ( キューブの断面を見る ) やダイシング ( 分析視点の切り替え ) の手法を用いて様々な角度から柔軟なデータ分析が可能 TIME 製品マネージャーの視点製品地域マネージャーの視点売上分析時間財務マネージャーの視点アドホックな視点 OLAP とは現在 OLAP という言葉が広範囲で使用されていますが広い意味での OLAP とは多次元で各次元が階層構造であるデータ構成に各々のユーザーがそれぞれの視点でアクセスできるシステムを OLAP と呼んでいます OLAP で使用するデータベースはよく多次元構造である多次元データベースが用いられます下の図のように多次元データベースはよくキューブにたとえられます OLAP では製品マネージャー視点の例のようなキューブの断面を分析するスライシングと呼ばれる手法やアドホックな視点の例のようなキューブを分割するダイシングと呼ばれる手法が用いられますアドホック検索とは非定型分析で次元次元値データのレイアウトを変更して行なう検索方法です軸交換を行ってデータのローテーションを行ないます Page 17

18 分析方法 Page 18

19 の分析手法地域次元製品次元地域次元時間次元地4 月 5 月 6 月地区 A 地区 B 地区 C 時間次元 4 月 5 月 6 月カテコリ A カテコリ B カテコリ C 時間次元製ダイススライス元ダイス売上 / 予算地域次元カテコリ C 時間次元 4 月 5 月 6 月地区 A カテコリ B 4 月地区 B 月月地区 A 地区 C カテコリ A 月 5 月 6 月地区 B 地区 A 地区 C 地区 B 地区 C ドリルダウンドリルアップ 4 月 5 月 6 月地区 A 製品次元カテコリ製品次元地A カテコリ B カテコリ C 地区 A 地区 B 地区 C 地区 B 店舗 A 店舗 B 店舗 C 地区 C 様々な視点でデータを分析原因をその場で追跡 OLAP の分析手法 OLAP の基本的な分析手法にはダイシングスライシングドリルダウン & ドリルアップといったものがあります各手法については後のスライドで説明します ( これらの操作はマウスによるクリックドラック & ドロップで簡単に行うことができます ) Page 19

20 地域次元製品スライシング地域時間製キューブの断面を切り出し分析することスライス時間時間次元カテコリ A 4 月 5 月 6 月地区 A 地区 B 地区 C 時間次元地カテコリ B 4 月 5 月 6 月地区 A 地区 B 地区 C カテコリ C 4 月 5 月 6 月地区 A 地区 B 地区 C スライスシングスライシングとはキューブの断面を切り出し分析することですキューブが数枚のページが重なってできたものと考えればその中の 1 ページを取り出すようなイメージですこの例では地域製品時間から構成されるキューブから製品次元のカテゴリ A,B,C に関する地域次元と時間次元から構成される売上げデータをそれぞれ取り出しています Page 20

21 地域次元製品次元製品地域次元ダイシングキューブ全体から各次元要素を切り出し組み合わせて分析すること時間次元時間次元地カテコリ A 4 月 5 月 6 月地区 A 地区 B 地区 C 地域時間製時間ダイス時間次元地区 A 時間次元製4 月 5 月 6 月カテコリ A カテコリ B カテコリ C 製品次元地4 月カテコリ A カテコリ B カテコリ C 地区 A 地区 B 地区 C ダイシングダイシングとはキューブ全体から各次元要素を切り出し組み合わて分析することですキューブから小さなキューブを取り出すようなイメージです例えばキューブ全体から地域次元地区 A,B,C 製品次元カテゴリ A,B,C 時間次元 4 月 5 月 6 月の売上げデータを含む小キューブを取り出します図のように軸交換軸移動することで製品カテゴリ A の地区 A,B,C に関する 4 月 5 月 6 月の売上げといった見方や地区 A のカテゴリ A,B,C に関する 4 月 5 月 6 月の売上げといった見方などさまざまな視点に変えながら売上げデータの分析を行うことができます Page 21

22 地域次元地域次元ドリルダウンドリルアップドリルダウンはサマリーデータから詳細データを取り出すことドリルアップはその逆元ドリルダウンはサマリーデータ時間次元カテコリ時間次元地カテコリ A 時間次元 4 月 5 月 6 月ドリルダウンカテコリ A 地区 A 地区 B 時間次元地4 月 5 月 6 月地区 A 地区 B 地区 C ドリルアップ地区 C 店舗 A 店舗 B 店舗 C ドリルダウンドリルアップドリルダウンとは集計されたデータからより詳細なレベルのデータを掘り下げて取り出すことです図では地区 B からドリルダウンしてより詳細なレベルのデータである店舗 A,B,C について月別の売上げデータを取り出していますドリルアップはその逆で上の階層の集計されたデータを取り出すことです Page 22

23 データの格納方法 Page 23

24 M-OLAP OLAP(Multi Multi-Dimensional OLAP) R-OLAP OLAP(Relational OLAP) MDB RDB どちらを使えば良いか? マネジメント層向き比較的定型分析向き小規模 DWH( マート ) ユーザーは? 分析内容は? データ量は? アナリストパワーユーザー向きアドホックな分析中大規模 DWH( セントラル ) MOLAP VS ROLAP データの物理的格納方法の違いにより OLAP は 2 つの主要なアーキテクチャに分類することができます一つは多次元構造の多次元データベースにデータを格納しアクセスするマルチディメンショナル OLAPといわれるM-OLAPですもう一つはリレーショナルデータベースにあるデータを多次元的 Viewとして表現してアクセスするリレーショナルOLAPといわれるR-OLAPですそれぞれの特徴は図のようになっています使い分けは特徴からも分かる通り分析を行う対象用途目的データ量によって異なり分析要件にあった形態を選択することが望まれます Page 24

25 トレードオフリレーショナルデータベース多次元データベース早い遅いクエリーパフォーマンス ROLAP MOLAP データセットサイズ小大シンプル分析能力トレードオフポイント : M-OLAPはあらかじめ集計されたデータを保持しているため問い合わせに対するレスポンスが早いのが特徴ですまた RDBMSでは限界とされる高度な計算機能 ( 移動平均予測分析など ) を関数を用いて実現することができます R-OLAP は現存しているデータを対象として問い合わせをすぐに実行することができます (Simple) 一方 M-OLAP はデータを多次元の構造にロードしておく必要があります M-OLAP には処理できるデータセットに物理的なサイズの制限があるが R-OLAP は大規模なデータセットに対し処理を実行できます補足 Oracle8i 8.1.6よりサポートされた分析関数を用いるといままでRDBMSでは複雑困難とされた移動平均統計 TopN 件検索累計計算が簡単に実現できます Page 25

リポジトリ~ オラクルでは ~ Hybrid-OLAP M-OLAPとR-OLAP の長所を取り入れたデータの物理的格納方法持つアーキテクチャ参照頻度の高いサマリーデータを予め MDB 中に格納し時々参照するサマリーデータはその場で計算する Oracle8 OLAP Server スタースキーマ RAM/RAA 永続キャッシュ一時キャッシュ Hybrid OLAP ~ オラクルでは ~

26 リポジトリ~ オラクルでは ~ Hybrid-OLAP M-OLAPとR-OLAP の長所を取り入れたデータの物理的格納方法持つアーキテクチャ参照頻度の高いサマリーデータを予め MDB 中に格納し時々参照するサマリーデータはその場で計算する Oracle8 OLAP Server スタースキーマ RAM/RAA 永続キャッシュ一時キャッシュ Hybrid OLAP ~ オラクルでは ~ 一般的な多次元データベースでは明細データからサマリーデータの全てが格納されます通常 MDB のデータソースはリレーショナルデータベースから抽出するのでデータの二重化が発生しデータベースファイルが大きくなってしまします小規模の多次元データベースの場合それほど問題になりませんが中規模 ~ 大規模多次元データベースになると物理格納領域の不足等の問題が生じてきますその解決策としてオラクルが提唱しているのが Hybrid OLAP です ROLAP MOLAPに関しては業界としてが準的な定義が定まりつつありますが Hybrid OLAPに関してはツールを提供しているベンダーによって定義が微妙に異なっていますここではオラクルの場合を紹介しますオラクルでいうHybrid OLAPとは明細データ Oracle8 サマリーデータ Oracle8とOLAP Server に置くという考え方です OLAP 分析で頻繁に検索要求が発生するデータは多次元データベースに格納し明細データや分析要求の少ないサマリーデータはリレーショナルデータベースに格納します Oracle8とOLAP Serveを使用すると分析アプリケーションから透過的に多次元データベースまたはリレーショナルデータベースにアクセスし検索することができます補足 2000 年 8 月現在リレーショナルデータベース (RDBMS) はOracle8i 8.1.6, 多次元データベース ( MDBMS) はOracle OLAP Server R6.3となっております Hybrid-OLAPを実現するモジュール群は OLAP Serverにが準バンドルされており Oracle8i/Oracle8をターゲットとしたハイブリッド環境を構築することが可能です Page 26

27 まとめ ROLAP データ量の増加を防げるアドホックな検索が可能 MOLAP 問い合わせのレスポンスが早い高度な計算機能 RDB MDB HOLAP (Hybrid OLAP) ROLAP MOLAPの良いとこどり RDB + MDB まとめ Page 27

28 Page 28

Microsoft PowerPoint - advanced-2-olap.ppt [互換モード]

Microsoft PowerPoint - advanced-2-olap.ppt [互換モード] データベース特論 Online Analytical Processing 講師 : 福田剛志 fukudat@fukudat.com http://www.fukudat.com/ データベース特論 1 概要従来のデータベースシステムは, たくさんの単純で小さい問い合わせを, うまく処理するように作られていた. 新しいアプリケーションのなかには, 少数の複雑で時間のかかる問い合わせを使うものが現れた.