1 Agenda 1. Microsoft IoT Solution 2. Demon Stration 1
上のサービスを簡単につなぎ IOT の成果を早く実現 デバイス管理イベント処理ストレージ ビッグデータの 度な分析 ビジネス上の洞察 プロセス連携 センサー 機器 装置 多くの端末のサポートと各端末 UI の最適化 デバイス接続 / 管理 ビッグデータストア 度なビッグデータ分析 情報の活用 Windows 10 IoT Event Hub IoT Hub Data Lake SQL Data Warehouse Document DB SQL Database SQL Server Storage Machine Learning HDInsight(Hadoop) Stream Analytics Revolution R Enterprise ダッシュボード / 可視化 Power BI パーソナルデジタルアシスタンス Cortana Machine Learning API 3 イベント生成 ( デバイス ) 受信 データ処理 (Stream Processing) 格納 可視化 分析 Applications IoT Hub Stream Analytics レガシー IOT ( 独自プロトコル ) 各種デバイス Protocol gateway Event Hub Custom Application IP 通信デバイス (Windows/Linux) 低パワーデバイス (RTOS) Field gateways 4 2
IoT Hub は 数百万の IoT デバイスとアプリケーションバックエンドの間に信頼性のある保護された双方向通信を確立できる 完全に管理されたサービスを提供 エンドポイント デバイス ID レジストリ セキュリティ メッセージング クォータとスロットル 参照 :https://azure.microsoft.com/ja-jp/documentation/articles/iot-hub-devguide/ 上でのスケーラブルなイベントの受信 送信 数百万デバイスへの接続 数百万イベント / 秒 GB/ 秒の受信能 AMQP /HTTP(S) のサポート デバイス単位にユニークなトークンベースセキュリティモデル GA 済み 6 3
上でのストリームデータ処理 デバイス 機械 アプリケーションと接続した Event Hubs から数百万のリアルタイムイベントを取得 処理するサービス 出 形式 : Event Hubs IOT Hub Blob Storage 出 :SQL Database Event Hubs Blob Storage Power BI サービス.. etc 処理の中に Machine Lerning の予測モデルを組み込むことも可能 PCs/ Laptops POS Terminals Smart Phones Kiosks Slates/ Tablets Self Checkout Stations Point of Service Devices Automation Devices Servers Digital Signs Logic Controllers ATM Security Thin Clients Remote Medical Monitors Kinect Vending Machines Handhelds Specialized Devices Diagnostic Equipment 7 Stream Analytics ジョブ x N イベントハブ BLOB ストレージ クエリ SELECT WHERE JOIN / UNION GROUP BY Windowing, 出 x N SQL データベース BLOB ストレージ TABLE ストレージ イベントハブ Power BI 8 8 4
上でのクラウドオーケストレーター クラウドもしくはオンプレミスにあるリレーショナル 非リレーショナルデータへの接続 オーケストレート コンピューティング ( データ移動や変換 機械学習 Hadoop などの組み合わせ ) スケジューリング可能なデータビューとして Power BI ユーザーへパブリッシュ スケジューリング 管理 デバッグを操作可能なワークフロー ライフサイクルマネジメントとモニタリング GA 済み (2015 年 8 月 ) 9 Microsoft Data Lake Analytics Service U-SQL YARN HDFS できること 巨大なスループット ( 単位時間あたりの処理能力 ) を必要とする大規模な分析システムを実現 ファイルサイズの容量制限なし ( ペタバイト級 ) 様々な分析のワークロード向けに設計 エンタープライズグレードのセキュティ コンプライアンス 管理 Active Directory と連携したアクセス制御 監査 / データ暗号化 お客様のメリット Store 10 5
MPP スケールアウト型 Relational Data Warehouse 6000 DWU できること エンジンノード ワーカーノード 100 DWU 1000 DWU の各種サービス群との I/F が用意されているので 可視化 分析作業も簡単です お客様のメリット D 凡例 11 Tez,Hive, Hcatalog Pig,Mahout,Ambari Map Reduce Microsoft HDInsight YARN Storm Spark Sqoop Oozie Zoo Keeper HBase できること Hadoop クラスターを短時間で構築出来ます ハードウェア ソフトウェアの準備は不要です Hadoop HBase Storm Spark( プレビュー ) クラスターが構築出来ます データノードは 必要に応じ短時間で追加 削除可能です BLOB をファイルシステムとして選択出来ます 左図の Hadoop コンポーネントが使用可能です BLOB or HDFS or Data Lake Store お客様のメリット BLOB を使用する多くのアプリケーションとデータのやり取りが容易です 構造化データに加え ソーシャルメディア センサー等から得られる半構造化 非構造化データも処理可能です 12 6
13 機械学習とは 機械学習とデータマイニングは交差する部分が大きく 技法も同じなので混同されることが多いが 次のように定義できる 機械学習の目的は 訓練データから学んだ 既知 の特徴に基づく予測である データマイニングの目的は それまで 未知 だったデータの特徴を発見することである Wikipedia より引用 セルフサービス BI (Power BI) 定型レポート (SSRS) マシンラーニング ( ML) 機械学習の利用例 リコメンデーション 同じ商品を買った人が買った別のアイテムをお勧め商品として提示 同じ属性を持った人が買った商品をお勧め商品として提示 分類 メール本文 タイトルの内容からスパムメールの分類 Web サイトの行動履歴から不正ユーザの検出 異常検知 センサー情報に基づく機械故障予測 NW アクセス情報から不正アクセスや攻撃を検知 ユーザ属性の推定 属性情報が完全に取れているお客様のデータから 属性情報に欠損のあるお客様の属性情報を推定 14 7
PaaS型の機械学習プラットフォーム 15 8