本資料の関連資料は下記をクリックして PDF 一覧からお入り下さい IT ライブラリー (pdf 100 冊 ) 目次番号 454 番 880 番他 2

Size: px

Start display at page:

Download "本資料の関連資料は下記をクリックして PDF 一覧からお入り下さい IT ライブラリー (pdf 100 冊 ) 目次番号 454 番 880 番他 2"

りえひらみね
5 years ago
Views:

1 IT ライブラリー (pdf 100 冊 ) ビッグデータと Windows Azure 一般社団法人情報処理学会正会員腰山信一 ftks7856@ybb.ne.jp

2 本資料の関連資料は下記をクリックして PDF 一覧からお入り下さい IT ライブラリー (pdf 100 冊 ) 目次番号 454 番 880 番他 2

3 とどまるところを知らないデータ爆発 3

4 1 日 86 万件以上の投稿ライフログユーザー数 10 億人以上 1 日に 10TB ずつ増加文字ビッグデータ画像動画 Web サイトソーシャルメディア ( 投稿情報 / 人間関係 ) 2015 年の世界のデータ量 1.8 ゼッタバイト (1.8 兆 GB) ( 閲覧履歴 ) GPS データ携帯電話の出荷数国内 :3328 万台全世界 : 約 13 億台ユーザー数 5 億人以上全世界 1 日に 3 億のつぶやき音声センシングログ電話コールセンター ( 通話履歴 ) 非接触 IC-R/W RFID( 無線 IC タグ ) スマートメーター ( 利用履歴 ) POS 自販機各種カード ( 購買履歴 ) 4

5 ビッグデータ収集蓄積等が可能容易になる多種多量のデータ ( ビッグデータ ) を活用することにより異変の察知や近未来の予測等を通じ利用者個々のニーズに即したサービスの提供業務運営の効率化や新産業の創出等が可能 5

6 ソーシャルメディアデータソーシャルメディアにおいて参加者が書き込むプロフィールコメント等 6

7 カスタマーデータ CRMシステムにおいて管理等される DM 等販促データ会員カードデータ等 7

8 オフィスデータ業務の各システムやグループウエアから提供される膨大なデータ群 CRM Legacy Systems Flat Files 8

9 マルチメディアデータ Web 上の配信サイト等において提供等される音声動画等 9

10 Website データ EC サイトやブログ等において蓄積等される購入履歴ブログエントリー等のデータ 10

11 センサーデータ GPS IC カードや RFID 等において検知等される位置乗車履歴温度加速度等のセンサーデータ 11

12 ログデータ Web Server 等において自動的に生成等されるアクセスログエラーログ等のデータ 12

13 オペレーションデータ販売管理等の業務システムにおいて生成等される POS データ取引明細等のデータ 13

14 センサー単体の活用百葉箱自動改札 ETC ゲート体温計水道ガス電力メータ ATM 自動水洗エアコン冷蔵庫人感センサ付照明 14

15 ネットワークで情報収集交通渋滞情報配信 ( カーナビ等 ) 車両運行支援アメダス震度情報ネットワークシステム河川情報システム土砂災害警戒システム 15

16 情報分析情報配信自動制御在庫管理補充員派遣 ( 自動販売機等 ) 工場プラント制御 ( 製造業農業 ) 端末情報管理 ( スマートフォン等 ) ファームウェア更新 ( 自動車家電等 ) 交通管制 ( 信号機標示板等 ) 異常監視対策 ( トンネル ) 16

17 M2M 通信サービス ( 例 ) 自動販売機エレベータープラント設備橋梁等の様々な領域において M2M 通信 (Machine to Machine 通信 : 人が介在せずネットワークに繋がれた機器同士が相互に情報交換等を行う機器間通信 ) サービスを提供 17

18 ライフログ ( マシン ) センシングログ付加情報付加情報関係性分析情報関係性分析情報提供利用することに応じて記録される情報提供利用する上で必要な情報他者との関係 ( 絆 ) 評判信用情報利用履歴分析など行動情報利用履歴購買履歴移動履歴ロケーション写真日記つぶやき他物との関係性能情報トラッキング履歴分析など行動情報利用履歴機械器具車両信号などの動作トラッキング履歴動植物データ天候など環境データ基本属性基本属性住所クレジットカード番号趣味所属企業役職製造年月日製造場所製造環境など IDコード ( 識別子 / クレテンシャル ID )/ パスワードなど ID コード ( 識別子 / クレテンシャル ) 製造番号など 18

19 Big Data のビジネス活用への課題 19

20 2 割 20

21 21

22 2 割 22

23 Big Data のビジネス活用へのアプローチ 23

24 24

25 25

26 CEP 26

27 27

28 ソーシャルメディア & 調査研究データシステムデバイスセンサー等 CEP 28

29 Windows Azure における Big Data 活用基盤 29

Warehouse SQL StreamInsight StreamInsight 2.

30 Analysis Services Reporting Services PowerView Hadoop on Hadoop on Hadoop connector for SQL Server / Parallel Data Warehouse SQL StreamInsight StreamInsight 2.0 Integration Services 社外の Big Data (非構造化データ社内の Big Data 構造化データ ERP CRM LOB 30

31 31

32 重要な特徴ベネフィット Fast Track for Dell Parallel Data Warehouse HP Enterprise Data Warehouse Dell Quickstart Data Warehouse HP Business Data Warehouse 32

33 重要な特徴ベネフィット StreamInsight 2.0 SQL StreamInsight 33

34 重要な特徴ベネフィット 34

35 Windows Azure は Apache Hadoop をベースとした Windows Server 及び Windows Azure Platform 向けのディストリビューションを強化これらをデータウェアハウスソリューションと統合することによってエンタープライズ領域における Hadoop の積極的活用 Windows Azure における Big Data へのアプローチエンドユーザー IT プロ開発者に Hadoop に対する幅広いアクセスを提供高いパフォーマンス容易な管理性堅牢なセキュリティを備えた Enterprise 向け Hadoop ディストリビューションの提供 PowerPivot for Excel や PowerView による使いやすさの提供 SQL Server 及び SQL Server Parallel Data Warehouse 用の Hadoop connector を無償で提供 Hadoop をベースとした Windows Server 及び Windows Azure Platform 向けのディストリビューション 35

36 36

37 重要な特徴ベネフィット Hadoop 上の非定型データの参照と分析に操作に習熟したアプリケーションを利用 Excel 向けの Hive アドイン 37

38 重要な特徴ベネフィットセルフサービス型 BI ツールを使った OLAP 分析サービスの活用 Hive ODBC ドライバが Hadoop と SQL Server Analysis Services, PowerPivot, Power View を統合 38

39 重要な特徴ベネフィット 39

40 重要な特徴ベネフィットソーシャルメディアサイトの公開済データの積極活用モデルの確立 40

41 重要な特徴ベネフィット JavaScript による MapReduce プログラミング簡素化されたプログラミング簡素化された MapReduce ジョブの展開 JS サポート対象の全てのデバイスの Web ブラウザから JavaScript で作成された Hadoop ジョブを展開 41

42 重要な特徴ベネフィット 42

ソース横断的な統合によるデータ価値の向上新しい発見と推奨変換とクレンジング共有と統治

43 マーケットプレイス : 社外データを併用した分析自然科学データ市場調査データ学術研究データ BI ツール : 迅速広範安価に展開できる Big Data ソリューションセルフサービス容易なオペレーション分析と結果の予測モバイルリアルタイム共同作業を支援データウェアハウス : ソース横断的な統合によるデータ価値の向上新しい発見と推奨変換とクレンジング共有と統治プラットフォーム : 構造と管理モデルに依存しないデータ分析の基盤リレーショナルデータ非構造化データマルチディメンジョンストリーミングデータ 43

44 本資料の関連資料は下記をクリックして PDF 一覧からお入り下さい IT ライブラリー (pdf 100 冊 ) 目次番号 454 番 880 番他 44