データレイクとは? データレイクとは ( 出典 :ITpro 今日のキーワード (C) 日経 BP 社 ): 米ゼネラル エレクトリック (GE) などが提唱するビッグデータ処理のアーキテクチャー 非構造化データの管理 分析に適し IoT ( モノのインターネット ) のニーズが高まる製造業で特に注

Transcription

1 改めて理解する データレイク その意味と役割 そしてテクノロジー 2017 年 3 月 8 日 1

2 データレイクとは? データレイクとは ( 出典 :ITpro 今日のキーワード (C) 日経 BP 社 ): 米ゼネラル エレクトリック (GE) などが提唱するビッグデータ処理のアーキテクチャー 非構造化データの管理 分析に適し IoT ( モノのインターネット ) のニーズが高まる製造業で特に注目を集める 特徴 : 非構造データを OSS で管理データレイクはセンサーのログや GPS( 全地球測位システム ) ソーシャルメディア 画像 映像 音声といった非構造化データを管理するのに適 したアーキテクチャーだ 具体的には あらゆるデータをネットワーク経由で収集し オープンソースソフト (OSS) の分散処理基盤である Hadoop( ハドゥープ ) に蓄積する 非定型分析はデータサイエンティストなどの専門家が Hadoop 上で実行する一方で 定型分析については一般の利用者が使いやすいデータウエアハウス (DWH) を別途用意する 使用頻度の高いデータは DWH のメモリー上に展開し データの アクセシビリティー ( 使いやすさ ) を確保しているのだ 従来の DWH は分析の目的をはっきりさせたうえで 収集するデータを必要なものだけに絞り込んでいた あらゆるデータをアクセシビリティーが 確保された状態で保存しようとすると コストがかかり過ぎるためである Data Lake( データレイク ) ( 出典 :Wikipedia) A data lake is a method of storing data within a system or repository, in its natural format, that facilitates the collocation of data in various schemata and structural forms, usually object blobs or files. 提唱 : James Dixon, then chief technology officer at Pentaho coined the term to contrast it with data mart, which is a smaller repository of interesting attributes extracted from raw data. He argued that data marts have several inherent problems, and that data lakes are the optimal solution. These problems are often referred to as information siloing. PricewaterhouseCoopers said that data lakes could "put an end to data silos. In their study on data lakes they noted that enterprises were "starting to extract and place data for analytics into a single, Hadoop-based repository. 特徴 : The idea of data lake is to have a single store of all data in the enterprise ranging from raw data (which implies exact copy of source system data) to transformed data which is used for various tasks including reporting, visualization, analytics and machine learning. The data lake includes structured data from relational databases (rows and columns), semi-structured data (CSV, logs, XML, JSON), unstructured data ( s, documents, PDFs) and even binary data (images, audio, video) thus creating a centralized data store accommodating all forms of data

3 データレイクイメージ 全米最大小売チェーンの例 既存データはデータベースに関連無く広範囲に存在 システムにロックされた状態を簡単に解除することは困難 統合顧客視点では無く システム視点 効果的なロイヤルティプログラムを打ちたい ロイヤル顧客へのプロモーション 消費者の購買行動を部分的に理解したい 競合は顧客実装が進んでる 小売戦略中心 Financial & Logistics Data 構造化データ 分析 オンライン及びオフラインの行動を関連付ける 売れ筋商品の捕捉と理解 どんな人 性別 年齢 が何時に何人来店してるのか 動線 陳列最適化による商品クロスセリング レジ到達時間等の顧客のより包括的な視点活用 O2O レポート ターゲティング レコメンデーション データレイク SNS, On-Line, POS, ポイント,位置情報ログ 非構造化データ クロスセリングからアップセリングを加速

4 データレイク のポイント データのサイロ化を解消したセントラルレポジトリ クロス分析 ローデータ あらゆるデータを蓄積 活用 ( プロセッシングと分析 ) ローデータから目的毎のデータへ コスト 量も種類も増えるため スケーラビリティと応じたパフォーマンスの確保

5 第 3 のプラットフォーム登場の背景 ビジネスニーズが変わった 売上を倍にしたい 利益を 30% 増やしたい 品質チェックを機械化したい 歩留まりを上げたい データが変わった 従来型の売上データ ( 構造化データ ) だけではダメだ! デジタルにはできないものは画像や音声も使う! システムが変わる RDB では ビジネスニーズを満たすデータを処理できない コストが合わない スケールしない 単なるストレージだとプロセッシングできない

6 ビッグデータの要素 データ量 ( 増加し続ける ) データ件数データの種類コスト 既存システムでは処理できないデータ

7 データレイクに関するテクノロジーと特長 収集 蓄積 プロセッシング コスト スケールモデル アプライアンス型ストレージ ソフトウェアデファインド型ストレージ RDBMS(DWH) NFS 等でバッチ的に取り込み 可能 不可 (Hadoop 連携 ) 高価 スケールアップ 同上可能同上安価スケールアウト ストレージからロード 可能可能高価スケールアップ Hadoop (NoSQL) NFS や MQ で取込 (MapR-DB のみ ) 可能可能安価スケールアウト

8 Hadoop とは (1)? ビッグデータ時代のデータストア 構造化 非構造化に関係なくあらゆるデータを蓄積可能 単に溜めるだけではなく 溜めたデータを加工するフレームワークや分析や検索するアプリが含まれる 並列分散処理 スケールアウト可能 複数のサーバを束ねて 1 つのインスタンスとして提供 ノードの一部が故障しても データ損失の回避可能 オープンソースベース 高いコスト効率 スケールアウト & 分散処理 N1 N2 N3

9 Hadoopとは ２ 大きく2つのコンポーネントで構成 分散ファイルシステム 大規模分散処理フレームワーク HDFS (Hadoop Distributed File System) MapReduce データをためる データをブロックに分割して複数のサーバに分 散配置 3つのレプリカを作成し データの可用 性を高め かつ並列分散処理を可能とする MapRはこのFSを改変し より使い易く高速に データを加工する Map/Reduceというシンプルな処理の組み合わ せで HDFS上にあるデータの分散処理を行う 汎用的なフレームワーク 集計や検索 クレン ジングが可能 データを移動しない データ 保管 と処理能力 加工 分析 が同じところにある 設計当初から大規模 大容量 増加し続けるデータに対応 分散処理 スケールアウト

10 某自動車部品製造業での活用法 製造データ ( 予実データ ) 各工場のデータをセンターで統合 スキーマの違いも MapR 内で解決 GUI の ETL ツールを使うことで 専門知識無しで運用 コスト効果高く 今後の IoT 化にも柔軟に対応可能 工場 A 本社 工場 B 工場 C データレイク 今後の展開 IoT 化によって リアルタイムトレーサビリティへ 工場 D 工場毎に DB があり 包括的に KPI 分析できない 各 DB のテーブル設計が異なるため 集計等にも時間が掛かる 集計等のオペレーションに必要な IT 知識が十分ではない

11 既存分析システム DWH と併用 BI(ビジネス インテリジェンス) DWH/DMのデータを分析ニーズに合った表 グラフ レポートとして表示 通常Webベース(ブラウザ DM データマート DWH データウェアハウス 特定のユーザーや特定用途のために抽出 した一部のデータ 多数のユーザーが必要なデータを高速に 検索 分析するために最適化 各種データを一元的に格納 大量の明細や長期間の履歴を保有 多数のソースデータを高速で格納し 日々更新するために最適化 BI ETL データ統合 DM DWH 複数のソースシステムから 一箇所 DWH にデータを集める 抽出 変換 クレンジングを行う DMの切り出しにもETLを活用 マイニング ETL ETL Mining 大量データから未来を予測 推測統計 パターン発見 検定などの 数理を活用 ETL ソースシステム 基幹系 業務系 ソースシステム 基幹系 多数の業務系システム 様々な見るべき情報を保有 配置やデータ品質はバラバラ 従来はこれを一つづつ見ていた データレイク バラバラだった大量データを1箇所に溜 め 処理 分析が1カ所でできる新技術

12 DWHベンダーの動向 SAP HANAの例 2017年1月31日 リファレンス アーキテクチャ発表 HANA & HANA Vora on MapRの 主なメリット MapR Converged Data Platform MapRがSDSとしても稼働し ビッグデータをコス ト効率良く格納 MapRがHadoopとして稼働し ビッグデータを パフォーマンス効率良くクレンジング 単一障害点もパフォーマンスボトルネックも無い 唯一の分散環境を提供 POSIXクライアントにより超高速データロード Voraにより透過的に全データを検索 Sparkは MapRが提供

13 NetApp NFS Connector for Hadoop 既存FASをデータレイク化 NetApp Big Data Solution for MapR 新たなIoTデータ IoT デバイス&データ NetApp NFS Connector for Hadoop 既存データ用 ②追加分析用 コンピューテ 既存FAS Storage Controller ィング ログや業務データ保管済 ③IoT用 新規環境 新規 データ ①既存環 境 既存 データ

14 データレイクの位置づけ エンタープライズでのビッグデータ活用へのフロー ~ データドリブンビジネスへのステップ ~ 1. ビッグデータ ストレージとして活用 コスト削減 データのサイロ化を解消 データレイク準備 2. 膨れあがった DWH から ETL 処理をオフロード コスト削減 より多いデータの活用 並列分散処理によるパフォーマンス向上 4. IoT データの活用 ストリーミングデータ リアルタイム化 NoSQL 活用 あらゆるデータ データ活用 既存 DWH と データ活用 リアルタイム を収集 蓄積 (BI 的 ) 併用 (BA 的 ) 分析 1. レポート / バッチ系の活用 トレーサビリティ 検索 集計 レポート ( バッチ高速化 ) 既存 BI ツールからアクセス 3. 本格的な分析での活用 予兆分析 レコメンデーション 機械学習 / 深層学習との連携 画像 映像の活用