Driving Transformation

Transcription

1

2 Driving Transformation

3 Microsoft Azure

4 (2015年 10月現在) 世界最大のインフラストラクチャー 22 の地域でサービス中 24 の地域まで拡大予定 米国中北部 Illinois 米国政府 Iowa 米国中部 Iowa カナダ中部 Toronto 西ヨーロッパ Netherlands カナダ東部 Quebec City 南中国 * Shanghai 米国東部 Virginia 米国西部 California 米国中南部 Texas 北ヨーロッパ Ireland 米国政府 Virginia 北中国 * Beijing 中央インド Pune 米国東部２ Virginia 西日本 Osaka 南インド Chennai 西インド Mumbai 東日本 Saitama 東アジア Hong Kong 東南アジア Singapore 東オーストラリア New South Wales 南ブラジル Sao Paulo 100カ所以上のデータセンター ネットワーク網が全世界でトップスリーの一つ AWS の2倍 Google 6倍の地域サポート G Series 最大 VM 提供開始 32 コア, 448GB RAM, SSD 東南オーストラリア Victoria 稼働中 構築中 * Operated by 21Vianet 4

5 5 Microsoft Azure アップデート 仮 想 マシン SSD を 利 用 した DS シリーズ 32 CPU / 448 GB の G シリーズ ネットワーク Express Route( 専 用 線 接 続 ) 新 サービス Azure Site Recovery Machine Learning( 機 械 学 習 ) Stream Analytics (リアルタイム 分 析 ) DocumentDB( 非 構 造 化 DB) Azure Search( 検 索 ) Data Factory(ETL) Data Lake(Hadoop) ストレージ プレミアムストレージ (SSD-based) 西 日 本 に 続 き 東 日 本 でも GA Azure Files の 機 能 拡 張 SMB 3.0 対 応 SQL データベース アクティブ ジオ レプリケーション SQL Server DWH on Azure (A9) 開 始 Elastic Scale その 他 Azure Remote Apps StorSimple 8000 シリーズ

6 世 界 トップクラスのセキュリティ サイバー クライム センター 米 国 マイクロソフト 本 社 に 本 部 を 構 え 世 界 5 都 市 にサテライトセンターを 有 する マルウェア ボットネット 知 的 財 産 (IP) の 窃 取 児 童 ポルノなどに 関 連 するサイバー 犯 罪 の 全 般 に 対 応 する 専 門 チーム 最 新 データをモニタリングし マルウェアの 情 報 / 状 況 を 解 析 一 日 に5 億 件 以 上 のトランザクションをトラックし 分 析 IPアドレスレベルで 攻 撃 元 を 特 定 する 仕 組 みも 有 する 全 世 界 のサイバーセキュリティの 攻 撃 状 況 を 分 析 情 報 をセキュリティ 関 連 団 体 および 連 邦 政 府 と 連 携 し 撲 滅 最 新 の 状 況 を 分 析 し すぐに 製 品 に 反 映 し 安 全 を 確 保 クラウドサービスは 即 時 対 応 オンプレミス 製 品 は 月 に 一 回 の セキュリティ アップデートで 対 応 緊 急 は 即 時 6

7 アプリケー ション 7 Azure Cloud Platform 全 体 観 開 発 言 語 ID 多 要 素 認 証 キャッシュ サービスバス メディア CDN バックアップ HPC BizTalk Visual Studio 管 理 API 通 知 ハブ スケジューラ オート メーション Web サイト クラウド サービス 仮 想 マシン モバイル サービス コンピューティング SQL Hadoop Database / DW Service Data Factory Event Hubs Stream Analytics Machine Learning データ サービス Document DB Search StorSimple テーブル BLOB キュー 仮 想 ネットワーク Express Route ネットワーク トラフィック マネージャー 世 界 規 模 のクラウド 基 盤 サーバー/ ネットワーク/ データセンター 高 度 な 自 動 化 統 合 リソース 管 理 柔 軟 性 従 量 課 金

8 8 Microsoft Azure IoT 関 連 サービス デバイス コネクティビティ ストレージ 分 析 可 視 化 アクション Event Hubs SQL Database Machine Learning App Service Service Bus Table / Blob Storage Stream Analytics Notification Hubs Windows 10 IoT IoT Hub (IoT Suite) { } DocumentDB HDInsight Mobile Services Data Lake Data Factory BizTalk Services Power BI

9 Event Hubs Azure 上 でスケーラブルなイベントの 受 信 送 信 を 行 うサービス AMQP / HTTP(S) のサポート(MQTT サポート 予 定 ) イベントデータの 保 有 期 間 :1 日 ~7 日 間 性 能 毎 秒 数 百 万 イベントの 受 信 能 力 超 低 レイテンシー(10ms 以 下, 毎 秒 GB) 共 有 アクセス 署 名 (SAS) による 認 証 デバイス 単 位 にユニークなトークン パブリッシャー( 送 信 ) センサー IoT ゲートウェイ Web API HTTPS AMQP AMQP コンシューマ( 受 信 ) Stream Analytics Power BI カスタムアプリ

10 Stream Analytics Azure 上 でのストリーム データのリアルタイム 処 理 を 行 うサービス デバイス マシーン アプリケーションと 接 続 した Event Hubs から 数 百 万 の リアル タイム イベントを 取 得 して 解 析 リアルタイム 分 析 ソリューションを 低 コストで 実 装 し 保 守 できるように 最 適 化 一 連 のタスク( 入 力 クエリ 出 力 )をジョブといい 開 始 停 止 が 可 能 Stream Analytics ジョブ 入 力 x N イベント ハブ BLOB ストレージ クエリ SELECT WHERE JOIN / UNION GROUP BY Windowing, 出 力 x N SQL データベース BLOB ストレージ TABLE ストレージ イベント ハブ Power BI

11 Power BI Dashboard Azure から 提 供 される 新 たな Business Intelligence SaaS 型 サービス

12 12 Microsoft IoT ソリューション Things HTTPS HTTPS / AMQP LAN/ Wi-Fi MQTT Serial App Service Cloud Gateway デバイス 制 御 IoT Gateway Field Gateway HTTPS AMQP デバイス 制 御 Event Hubs センサーデータ の 一 時 保 存 Event Hubs アラート アラート AMQP Stream Analytics 生 データ 保 存 Stream Analytics 閾 値 監 視 Stream Analytics 集 約 データ 保 存 リアルタイム データ ユニバーサルアプリケーション マスター データ BLOB CSV ファイル HDInsight ビッグデータ 基 盤 SQL Database マスターデータ 集 計 済 みデータ Machine Learning 相 関 関 係 の 分 析 予 測 モデル 作 成 デプロイ Machine Learning Web サービスとして 公 開 Power BI Dashboard Bluetooth LE ML API 呼 び 出 し

13

14 14 分 析 スペクトラム Descriptive 記 述 Diagnostic 診 断 Predictive 予 測 Prescriptive 規 範 何 が 起 こっている? なぜそうなった? これからどうなる? どうすべきなのか? Traditional BI : データの 可 視 化 Deployed ML : 将 来 の 予 測 Information Worker 定 型 レポート (SSRS) IT Professionals セルフ サービス BI (Power BI, SSAS) Data Scientists マシーンラーニング (Azure ML, R)

15 15 Azure Machine Learning: 概 要 クラウドで 機 械 学 習 を 提 供 するサービス 最 新 の 高 品 質 な 機 械 学 習 アルゴリズムが 非 常 に 安 価 な 時 間 課 金 で 提 供 データの 抽 出 からクリーニング 前 処 理 トレーニングなど すべてブラウザから 操 作 予 測 を 行 うための Web Service API の 作 成 と 配 置 トレーニングされたモデルを Module 化 し これを 利 用 して 入 力 値 から 予 測 結 果 を 返 す Web Service API を 作 成 作 成 した API はアプリから 利 用 OSS(R 言 語 や Python)も 活 用 可 能 R 言 語 や Python を 実 行 するための Module (R は 350 以 上 ) が 提 供 既 存 の R や Python のパッケージをインポートすることも 可 能 費 用 はベース+ 利 用 量 課 金 ハードウェアやライセンスを 購 入 不 要 固 定 費 を 削 除 して 必 要 な 時 に 必 要 なだけ 利 用

16 16 Azure Machine Learning でのフロー 1. 目 的 の 定 義 何 の 目 的 で 何 を 分 析 予 測 したいのか 2. トレーニングデータの 準 備 結 果 を 含 むトレーニングデータを 用 意 クレンジング Feature 選 択 スプリット 3. モデル 開 発 と 学 習 分 析 フォローの 作 成 4. モデルの 評 価 最 適 なアルゴリズムの 選 択 パラメータの 調 整 (Sweeping) 5. モデルの 配 置 API の 公 開 Web サービスのテスト 公 開 配 置 Business Insights 3 2

17 17 Machine Learning:ML Studio 部 品 ごとの 設 定 は プロパティペインで キャンパスにフロー 部 品 を 配 置 して 接 続 フロー 部 品 実 行 ボタン ( 課 金 対 象 ) モデルを Web サービス へ 配 置

18 18 Machine Learning:モデリングモジュール クラス 分 類 (クラス 確 率 推 定 ) 母 集 団 に 属 する 要 素 が ある 基 準 で 分 けた どの 集 合 に 分 類 されるかを 予 測 する どの 設 備 が 故 障 するか? 故 障 予 兆 が ある ない に 分 類 既 存 顧 客 の 中 でキャンペーンのオファーに 反 応 するのは 誰 か? 回 帰 反 応 する 反 応 しない に 分 類 個 々のデータに 対 して 未 知 の 変 数 ( 属 性 )の 数 値 を 予 測 あるいは 推 定 する オファーに 反 応 する 顧 客 A はいくら 購 入 し てくれるか? クラスタリング 特 定 の 分 類 基 準 を 与 えず データを 基 に 類 似 性 を 見 つけて 母 集 団 をグルーピング どのターゲット 顧 客 グループにどのような 製 品 を 開 発 提 供 するべきか? 販 売 チームをどのように 組 織 するべきか? 異 常 値 検 出 定 常 状 態 とは 異 なる 状 態 を 発 見 する ネットワーク 攻 撃 を 受 けているのかどうか 詐 欺 による 取 引 かどうか

19 19 Azure ML Studio における 予 測 モデルの 開 発 方 法 トレーニング データ 検 証 用 データ 機 械 学 習 アルゴリズム Train Model Score Model Evaluate Model 予 測 モデルの 見 直 し 予 測 モデルの 評 価 アルゴリズムの 変 更 パラメータの 見 直 し

20 基 本 的 な 予 測 モデルの 作 成 例 20 トレーニングデータの 読 込 み 予 測 モデルの 作 成 に 使 用 する アルゴリズム データクレンジング メタデータ 設 定 読 み 込 んだデータを トレー ニングデータ と 評 価 用 データ に 分 割 予 測 モデルの 作 成 (トレーニング) 左 インプット: 利 用 するアルゴリズム 右 インプット:トレーニングデータ 作 成 した 予 測 モデルを 評 価 する 為 に 評 価 用 データで 予 測 を 実 行 予 測 結 果 の 評 価 と 可 視 化

21 21 予 測 モデルの 評 価 指 標 ML Studio : Experiments > Evaluate Model > Evaluation Result True Positive False Positive True Negative False Negative Accuracy Precision Recall F1 Score Threshold AUC AUC High accuracy AUC Moderate accuracy AUC Low accuracy

22 22 予 測 モデルの 評 価 ( 予 測 モデルの 比 較 ) 異 なる 条 件 で 作 成 した 予 測 モデルを 簡 単 に 比 較 評 価 する 事 が 可 能

23 IoT による 次 世 代 設 備 統 合 管 理 基 盤 Confidence Flexibility Insight Cost 高 齢 化 する 設 備 管 理 者 共 有 が 難 しい 経 験 に 依 存 したオペレーション 結 果 に 対 する 制 御 の 限 界 (センサーデータ= 制 御 ) 人 流 外 部 環 境 内 部 環 境 動 力 ( 空 調 など) 時 間 フィードバック

24 経 験 による 制 御 から AI による 制 御 へ

25 25 Project Oxford 画 像 認 識 音 声 認 識 テキスト 認 識 など ディープ ラーニング 手 法 による 大 きな コンピューティングパワーを 必 要 とする 処 理 を Azure の API Service として 提 供

26 26 女 子 高 生 人 工 知 能 りんな (LINE アプリ) Bing 検 索 エンジンで 培 ったディープラーニング 技 術 + 機 械 学 習 のクラウド サービス Azure Machine Learning を 組 み 合 わせた 人 工 知 能 Bing チームによる 開 発 ( 技 術 開 発 には Microsoft Research も 参 画 ) 発 表 以 前 のテストリリース 後 口 コミだけで1 週 間 で 35 万 ユーザーを 獲 得

27 27 Cortana Analytics Suite Capabilities Products Preconfigured solutions Business scenarios Recommendations, forecasting, churn, etc. Personal digital assistant Personal digital assistant Cortana Perceptual intelligence Recognition of human interactions and intent Face, Vision, Speech and Text Analytics Dashboards and visualizations Dashboards and visualizations Power BI Machine learning & analytics Big Data stores Information management Machine learning Hadoop Complex event processing Big Data repository Elastic data warehouse Data orchestration Data catalog Event ingestion Azure Machine Learning Azure HDInsight (Hadoop) Azure Stream Analytics Azure Data Lake Azure SQL Data Warehouse Azure Data Factory Azure Data Catalog Azure Event Hubs

28

29

30

31 31 Event Hubs:パーティション Event Hubs における 負 荷 分 散 (データ 編 成 の 概 念 ) 各 パーティションは 構 成 された 保 有 期 間 にわたりデータを 保 持 イベントデータは 明 示 的 に 削 除 することができない 各 パーティションは 独 立 しており 独 自 のデータ シーケンスを 含 む 事 前 設 定 された 数 のパーティションを 持 つ( 8 ~ 32, 申 請 により 上 限 解 除 ) すべての イベントは パーティションキーを 持 ち パーティションキーは ハッシュされて1つのパーティションに 格 納 される Event PartitionKey=A SensorID=24468 Temperature=18.5 Event PartitionKey=B SensorID=13579 Temperature=23.4 f(a) f(b) Partition 0 Partition 1 Partition N

32 32 Event Hubs:スループット ユニット イベント ハブ スループット ユニット Event Hubs の 容 量 の 概 念 Service Bus 名 前 空 間 に 対 して 最 大 20 ( 申 請 により 無 制 限 ) 1 スループット ユニットあたり( 課 金 に 影 響 ) ストレージ:84GB 許 容 値 を 超 えた 分 のサイズには 通 常 の Azure Blob ストレージ 料 金 (LRS)が 課 金 受 信 : 最 大 で 1 秒 あたり 1 MB または 1 秒 あたり 1000 イベント スロットリングあり 送 信 :1 秒 あたり 2 MB

33

34 34 Stream Analytics:ストリーミング ユニット Stream Analytics のジョブの 処 理 に 使 用 できるリソース 1ストリーミング ユニットは 最 大 1 MB/ 秒 のスループットを 提 供 クエリのステップ 数 と 各 ステップの パーティション 数 によって 異 なる 管 理 ポータルを 使 用 してジョブのスループット (イベント 数 / 秒 ) を 追 跡 Event Hub Query Result 1 Query Result 2 Query Result 3

35 35 Stream Analytics:Query Language データ 操 作 (DML) SELECT FROM WHERE GROUP BY HAVING CASE WHEN THEN ELSE INNER/LEFT OUTER JOIN UNION CROSS/OUTER APPLY CAST INTO ORDER BY ASC, DSC 日 付 関 数 DateName DatePart Day Month Year DateTimeFromParts DateDiff DateAdd ウィンドウ 処 理 TumblingWindow HoppingWindow SlidingWindow Scaling Extensions WITH PARTITION BY OVER Temporal 関 数 Lag, IsFirst CollectTop 文 字 列 関 数 Len Concat CharIndex Substring PatIndex クエリのテスト JSON 形 式 のローカルファイルを 使 ってクエリの 検 証 が 可 能 集 計 関 数 Sum Count Avg Min Max StDev StDevP Var VarP

36 36 重 要 な3つの Windowing Tumbling Window Hopping Window Sliding Window

37 37 Stream Analytics:Future "Azure Stream Analytics can bind custom function names to such web endpoints." LIMITED PREVIEW Stream Analytics で web API の エンドポイントや API Key を 定 義 することでクエリの 中 でその API が 呼 び 出 せる Azure Machine Leering との 連 携 などが 可 能 に SELECT text, sentiment(text) AS score FROM mystream

38

39 39 クラスター 化 列 ストア インデックス インデックス チューニング 不 要 な 列 指 向 型 テーブル 列 単 位 でのデータ 格 納 と 高 い 圧 縮 率 により IO 量 の 削 減 これまでの 行 型 のテーブルと 比 べて 10~100 倍 高 速 な 集 計 処 理 既 存 テーブルのインデックスを 付 け 替 えるだけで OK SQL Server 2014 からデータの 更 新 が 可 能 AAA 22 F BBB 33 M CCC 44 M DDD 55 F 行 ストア AAA BBB CCC DDD F M M F 列 ストア

40 40 インメモリ OLTP(インメモリ 最 適 化 ) テーブルとストアドプロシージャをメモリに 配 置 させることで 高 速 化 新 規 および 既 存 の SQL Server システムにおいて 平 均 10 倍 高 速 化 複 数 ユーザーでの 追 加 更 新 削 除 操 作 など 同 時 実 行 性 が 極 めて 高 い アプリケーションには 透 過 的 インメモリ OLTP 固 有 のエラーがある のでエラー 処 理 部 分 は 見 直 しが 必 要 メモリ 最 適 化 アドバイザー 既 存 のテーブルをメモリ 最 適 化 テーブルへ 移 行 させるための ウィザード

41 AlwaysOn 可用性グループ with Azure 数秒程度の高速フェールオーバー と ページ自動修復機能を提供 高価な共有ディスクは使わず 安価になった PCIe Flash Disk で構成可能 最大９台で構成可能 その内 同期レプリカは最大３台で構成 データベースのレプリカを Azure VM に容易に展開可能 クラウド DR Read-Only Routing Read-Only 同期セカンダリ レプリカ Read-Only 同期セカンダリ レプリカ Read-Write クラウド Windows Azure VM プライマリ レプリカ 圧縮トランザクション ログ 自動 フェールオーバー 非同期セカンダリ レプリカ Backup 41

42

43 43 Power BI Dashboard クラウド ベースのダッシュボード & レポート 分 析 プッシュ 型 のリアルタイム 表 示 が 可 能 Stream Analytics からの 出 力 先 に 対 応 Power BI Designer 無 償 のレポート 作 成 ツール 使 い 方 は Excel Power View と 同 じで 作 成 し たレポートをダッシュ ボードにピン 止 めする 構 成 ダッシュボード レポート データセット

44 Power BI Dashboardビジュアルコンポーネント 44

45 45 DATAZEN 買 収 今 後 レポート 系 の UI のバリエーションが 拡 充 される

46 46 Window 10 IoT for Industry Specific Devices Windows 10 IoT for industry devices Desktop Shell, Win32 apps, Universal Apps and Drivers 1 GB RAM, 16 GB Storage, X86 Windows 10 IoT for mobile devices Modern Shell, Universal Apps and Drivers 512 MB RAM, 4 GB storage, ARM Windows 10 IoT Core No Shell, Universal Apps and Drivers 256MB RAM, 2GB storage, X86 or ARM

47 47 Windows 10 IoT Core 小 型 デバイスや 組 み 込 みデバイスをターゲットにした Windows の 新 しい エディション 無 償 ダウンロード Raspberry Pi 2 と MinnowBoard Max 向 け ユーザーが 開 発 したユニバーサル Windows アプリをこれらデバイスで 動 作 させる 事 を 目 的 としている 開 発 環 境 は Windows 10 正 式 版 と Visual Studio 2015 が 必 要