クラウドを活用した自由自在なデータ分析 BigData Platform Conference 日本 IBM アナリティクス事業部インフォメーション アーキテクト野間愛一郎
様々な分析のニーズ コグニティブ 経験に基づきどう変化していくか? ビジネスルール どうすれば最高の結果を成し遂げられるのか? 予測分析 何が起こりえるのか? ダッシュボード BI レポート 何が起こっているのか? 可視化と検索 どのようなデータがあるのか? ほとんどのユーザーはここ
4 つの例 インフラエンジニア 業務担当者 データサイエンティスト マーケティング
データ量の増加に追いつかない 社内でデータウエアハウスを構築済 まだ 1 年も経過していないうちに Business が急成長 構築したデータウエアハウスデータを投入するもそれを越えるデータ量 1 年保管を半年保管に変更して運用でカバー 成長に比例した IT 基盤作りをしたいが間に合わない 基盤を整えた途端に Business が減速したら?
データ量の増加に追いつかない お使いのデータウエアハウス dashdb dashdb PureData for Analytics (Netezza) データ ウエアハウス サービス 短期間で構築 スモールスタート 月額課金 4
dashdb フルサービス のクラウド データウエアハウス LOAD and GO - データを用意してから使い始めるまでを早く 簡単に データベースだけでなく充実した分析環境をビルトイン RDB( リレーショナル データベース ) 列指向 イン メモリー技術を採用 Netezza に実装されるイン データベース分析機能を実装 Oracle との互換性を提供 ハードウェアのサイジングや物理設計は不要 ソフトウェアのインストールや運用管理は不要 パッチの適用やバージョンアップも不要 バックアップ運用も不要 チューニング作業も不要 5
dashdb : コンセプトは LOAD & GO 従来のデータベース環境データベースデザインやチューニングが必要 AFTER dashdb Repeat 1. データベース設計データ分割圧縮テーブル設計 2. Create Table 3. Load data 4. 索引作成やサマリ表作成 5. 統計情報更新 6. チューニング作業 1. Create Table 2. Load data CREATE TABLE Data LOAD & GO!
データ量の増加に追いつかない お使いのデータウエアハウス dashdb dataworks DataWorks ETL As a Service dashdb PureData for Analytics (Netezza) データ ウエアハウス サービス 短期間で構築 スモールスタート 月額課金 7
Dataworks データ統合にかかる時間を節約 すぐに利用可能 複数のデータソースへのアクセスを可能にするシンプルなETLツール dashdb データソースなどクラウド上のデータベースはもちろん オンプレミスでデータのクレンジングクラウドでの Systems of Record および統合データベースサービス Systems 稼働するデータベースへもシームレスにアクセス可能 of Engagement ETL Cloudant Oracle IBM DB2/PDA DataWorks ETL As a Service dashdb Other relational systems IoT, Social Media 8
製造現場 : 多様な属性データを収集 分析したい データ分析基盤はあるが 活かされていない 基盤が古い 代表的な一部のデータしか取得できていない 様々な情報を出力可能ではあるが収集が出来ていない 見れば何かが分かりそうだ メーカー毎 モデル毎に出力可能なデータが異なり 多くの属性を取り扱う 出来そうだでは予算化が難しい
製造現場 : 多様な属性データを収集 分析したい Cloudant dashdb すべての属性データを漏れなく溜める MapReduce を利用した集計 簡易分析 JSON 自動変換 JSON データを SQL でも参照したい { id : 12345, 装置番号 : AB123, 属性 : ABC123 } Cloudant dashdb NoSQL データベース サービス スケーラブル 高可用性 短期間で構築 月額課金
Cloudant フルサービス のクラウド NoSQL データベース Operational JSON NoSQL data store スケーラブル 高可用性 データセンター間連携が容易 様々な API を提供 シンプルな REST (HTTP) API データベース レプリケーションおよびデータセンター間のレプリケーション MapReduce Geospatial index ( 地理情報関数 ) 全文検索索引 モバイルアプリケーション用のデータストア クラウド環境に対してオープン クラウド版とオンプレミス版の両方を提供 11
品質部門 : セルフサービス分析 分析用の高速 DWH を全社で構築済 大量データ集計は分析は確かに抜群に高速 このリソースを自分用 グループ用 部門用に利用したい 別途予算化は難しい トライ & エラーで分析のアイデアをいろいろ試したい
品質部門 : セルフサービス分析 お使いのデータウエアハウス dashdb dataworks SPSS などお使いの BI ツール R の実行環境 Spark PureData for Analytics (Netezza) DataWorks ETL As a Service dashdb GraphX や MLib EXCEL や CSV ファイルをロード Spark As a Service 13
アドテク / マーケティング Web ページのユーザーの動きを分析に活かしたい キャンペーンサイトをすぐに構築し アクセスユーザーの属性を取得したい ソーシャルでの評判 ( クチコミ ) を取り込みたい ユーザーの位置情報を活かしたエリア マーケティングを実施したい 外部データを取り込み分析に活用したい
アドテク / マーケティング Cloudant + Geospatial ( 地理情報 ) dashdb + Geospatial ( 地理情報 ) Insights for Twitter Insight for weather アプリケーションログ Cloudant dashdb Insights for Twitter Insights for Weather ソーシャルデータ オープンデータを活用 API エコノミーで短期間にアプリケーションを構築
様々なパーツが揃っています
データベースも用途に応じて選択 BigInsights on Cloud インメモリーで高速な Spark と Hadoop の連携 ベアメタルのクラスターによるパフォーマンス 多様な大量のデータを集計 分析 分析用トランザクション用 Cloudant 世界規模でクラウドにデータを貯め アプリケーションを迅速に開発するための NoSQL 型 DBaaS モバイルアプリにおけるデータストアとして最適 JSON 形式データを RDBMS 形式のデータに自動変換 非構造化データ 構造化データ dashdb Watson Analytics 直観的ビジュアル分析ツール BLU のカラムナーおよびインメモリーによる高いパフォーマンス Netezza In-DB アナリティクスによる高度な分析 Cloudant NoSQL からの自動変換 同期 および Watson Analytics との連携 DataWorks ETL DB2 on Cloud SoftLayer のプライベート仮想化ノードでの汎用 DBMS を Bluemix 経由でプロビジョニング データの処理中 使用中 保存中のいずれでもネイティブに暗号化 DB2 の高度な機能をクラウドの柔軟な課金体系で
データの場所を気にする必要はありません DB2 on Cloud アプリケーションは場所を気にする必要はない オンプレミスでもクラウドでもアプリケーションからは透過的
最適なパーツを組み合わせて利用
Business Value IBM は分析のすべての範囲をカバー コグニティブ 経験に基づきどう変化していくか? ビジネスルール どうすれば最高の結果を成し遂げられるのか? IBM Branded Big Data & Analytics Platform 予測分析 何が起こりえるのか? ダッシュボード BI レポート 何が起こっているのか? 可視化と検索 どのようなデータがあるのか?
IBMのクラウドソリューションは すぐに使える 分析環境をご提供します Database services Cloud Integration Services Mobile Services Watson Services Big Data services dashdb.com cloudant.com bluemix.net Web and application services Security Services
Thank You