Azure を利用した IoT データ分析

Size: px

Start display at page:

Download "Azure を利用した IoT データ分析"

なおちかつなかわ
4 years ago
Views:

1 ROOM A

4 4 Microsoft Azure IoT 関連サービスデバイスコネクティビティストレージ分析可視化アクション Event Hubs SQL Database Machine Learning App Service Service Bus Table/Blob Storage Stream Analytics Notification Hubs IoT Hub (IoT Suite) { } DocumentDB HDInsight Mobile Services Data Lake Data Factory BizTalk Services Power BI

5 5 本セッションで取り上げるサービスデバイスコネクティビティストレージ分析可視化アクション Event Hubs SQL Database Machine Learning App Service Service Bus Table/Blob Storage Stream Analytics Notification Hubs IoT Hub (IoT Suite) { } DocumentDB HDInsight Mobile Services Data Lake Data Factory BizTalk Services このセッションでメインで取り上げますデモなどで利用します Power BI

6 6 Microsoft IoT ソリューション Things HTTPS HTTPS / AMQP LAN/ Wi-Fi MQTT Serial App Service Cloud Gateway デバイス制御 IoT Gateway Field Gateway HTTPS AMQP デバイス制御 Event Hubs センサーデータの一時保存 Event Hubs アラートアラート AMQP Stream Analytics 生データ保存 Stream Analytics 閾値監視 Stream Analytics 集約データ保存リアルタイムデータユニバーサルアプリケーションマスターデータ BLOB CSV ファイル HDInsight ビッグデータ基盤 SQL Database マスターデータ集計済みデータ Machine Learning 相関関係の分析予測モデル作成デプロイ Machine Learning Web サービスとして公開 Power BI Dashboard Bluetooth LE ML API 呼び出し

8 8 Event Hubs: 概要 Azure 上でスケーラブルなイベントの受信送信を行うサービス AMQP / HTTP(S) のサポート (MQTT サポート予定 ) イベントデータの保有期間 :1 日 ~7 日間性能毎秒数百万イベントの受信能力超低レイテンシー (10ms 以下, 毎秒 GB) 共有アクセス署名 (SAS) による認証デバイス単位にユニークなトークンパブリッシャー ( 送信 ) センサー IoT ゲートウェイ Web API HTTPS AMQP AMQP コンシューマ ( 受信 ) Stream Analytics Power BI カスタムアプリ

9 9 Event Hubs: パーティション Event Hubs における負荷分散 ( データ編成の概念 ) 各パーティションは構成された保有期間にわたりデータを保持イベントデータは明示的に削除することができない各パーティションは独立しており独自のデータシーケンスを含む事前設定された数のパーティションを持つ ( 8 ~ 32, 申請により上限解除 ) すべてのイベントはパーティションキーを持ちパーティションキーはハッシュされて 1 つのパーティションに格納される Event PartitionKey=A SensorID=24468 Temperature=18.5 Event PartitionKey=B SensorID=13579 Temperature=23.4 f(a) f(b) Partition 0 Partition 1 Partition N

10 10 Event Hubs: スループットユニットイベントハブスループットユニット Event Hubs の容量の概念 Service Bus 名前空間に対して最大 20 ( 申請により無制限 ) 1 スループットユニットあたり ( 課金に影響 ) ストレージ :84GB 許容値を超えた分のサイズには通常の Azure Blob ストレージ料金 (LRS) が課金受信 : 最大で 1 秒あたり 1 MB または 1 秒あたり 1000 イベントスロットリングあり送信 :1 秒あたり 2 MB

12 12 Stream Analytics: 概要 Azure 上でのストリームデータのリアルタイム処理を行うサービスデバイスマシーンアプリケーションと接続した Event Hubs から数百万のリアルタイムイベントを取得して解析リアルタイム分析ソリューションを低コストで実装し保守できるように最適化一連のタスク ( 入力クエリ出力 ) をジョブといい開始停止が可能 Stream Analytics ジョブ入力 x N イベントハブ BLOB ストレージクエリ SELECT WHERE JOIN / UNION GROUP BY Windowing, 出力 x N SQL データベース BLOB ストレージ TABLE ストレージイベントハブ Power BI

13 13 Stream Analytics:Query Language データ操作 (DML) SELECT FROM WHERE GROUP BY HAVING CASE WHEN THEN ELSE INNER/LEFT OUTER JOIN UNION CROSS/OUTER APPLY CAST INTO ORDER BY ASC, DSC 日付関数 DateName DatePart Day Month Year DateTimeFromParts DateDiff DateAdd ウィンドウ処理 TumblingWindow HoppingWindow SlidingWindow Scaling Extensions WITH PARTITION BY OVER Temporal 関数 Lag, IsFirst CollectTop 文字列関数 Len Concat CharIndex Substring PatIndex クエリのテスト JSON 形式のローカルファイルを使ってクエリの検証が可能集計関数 Sum Count Avg Min Max StDev StDevP Var VarP

クエリのステップ数と各ステップのパーティション数によって異なる管理ポータルを使用してジョブのスループット (

14 14 Stream Analytics: ストリーミングユニット Stream Analytics のジョブの処理に使用できるリソース 1 ストリーミングユニットは最大 1 MB/ 秒のスループットを提供クエリのステップ数と各ステップのパーティション数によって異なる管理ポータルを使用してジョブのスループット ( イベント数 / 秒 ) を追跡 Event Hub Query Result 1 Query Result 2 Query Result 3

" LIMITED PREVIEW Stream Analytics で web API のエンドポイントや API Key

15 15 Stream Analytics:Future "Azure Stream Analytics can bind custom function names to such web endpoints." LIMITED PREVIEW Stream Analytics で web API のエンドポイントや API Key を定義することでクエリの中でその API が呼び出せる Azure Machine Leering との連携などが可能に SELECT text, sentiment(text) AS score FROM mystream

16 デモ : 製造ライン不良品除去 Azure Event Hubs, Stream Analytics, Machine Learning and Power BI Powered by Genius Hirai

5 秒おきに UP 機械学習で事前に除去率を予測各項目を入力または選製品が流れてくるので不良択して

17 17 デモの内容製造ラインのセンサーシミュレーターでデータをクラウドにアップセンサーデータ製造ラインID コンベアスピード正常個数不良品個数除去した数ミスした数 2.5 秒おきに UP 機械学習で事前に除去率を予測各項目を入力または選製品が流れてくるので不良択して [登録ボタン] を品をタップまたはクリッククリックして除去 Machine Learning Web Sites IoT ゲートウェイ Event Hubs ダッシュボードでリアルタイム表示

18 18 デモの構成 Things HTTPS Web Site センサーのリアルタイムデータを Event Hubs へ送信する IoT ゲートウェイ AMQP JSON Event Hubs センサーデータの一時保存サブスクライバへの配信 Stream Analytics アラート用 CSV ファイル Stream Analytics Stream Analytics Power BI へ配信 Machine Learning センサーデータとマスターデータをもとに機械学習 CSV ファイルとして保存 Event Hubs へ通知 Event Hubs BLOB HDInsight Hadoop 分析用ビッグデータ基盤 SQL Database 相関関係の分析除去率を予測するモデルデプロイ Machine Learning Web サービスとして公開マスター集計データラインの強制停止異常検知 Custom Application Real-time Dashboard センサーデータリアルタイム集計値表示 Power BI Dashboard 各種マスターデータ除去率の予測値製造ラインシミュレーター Power BI (Dataset)

20 20 Power BI Dashboard Preview : 実施中 / GA : 2015 年中 Azure から提供される新たな Business Intelligence SaaS 型サービス

21 21 Power BI Dashboard Preview : 実施中 / GA : 2015 年中クラウドベースのダッシュボード & レポート分析プッシュ型のリアルタイム表示が可能 Stream Analytics からの出力先に対応 Power BI Designer 無償のレポート作成ツール使い方は Excel Power View と同じで作成したレポートをダッシュボードにピン止めする構成ダッシュボードレポートデータセット

22 Power BI Dashboard ビジュアルコンポーネント 22

24 Machine Learning: 概要クラウドで機械学習を提供するサービス

トレーニングなどすべてブラウザから操作予測を行うための Web Service API の作成と配置トレーニングされたモデルを

Microsoft Azure 上に配置してアプリから利用 OSS(R 言語や Python) も活用可能 R 言語や Python

24 24 Machine Learning: 概要クラウドで機械学習を提供するサービス最新の高品質な機械学習アルゴリズムが非常に安価な時間課金で提供データの抽出からクリーニング前処理トレーニングなどすべてブラウザから操作予測を行うための Web Service API の作成と配置トレーニングされたモデルを Module 化しこれを利用して入力値から予測結果を返す Web Service API を作成作成した API は Microsoft Azure 上に配置してアプリから利用 OSS(R 言語や Python) も活用可能 R 言語や Python を実行するための Module (R は 350 以上 ) が提供既存の R や Python のパッケージをインポートすることも可能費用はベース + 利用量課金ハードウェアやライセンスを購入不要固定費を削除して必要な時に必要なだけ利用

25 25 Machine Learning: モデリングモジュールクラス分類 ( クラス確率推定 ) 母集団に属する要素がある基準で分けたどの集合に分類されるかを予測するどの設備が故障するか? 故障予兆があるないに分類既存顧客の中でキャンペーンのオファーに反応するのは誰か? 回帰反応する反応しないに分類個々のデータに対して未知の変数 ( 属性 ) の数値を予測あるいは推定するオファーに反応する顧客 A はいくら購入してくれるか? クラスタリング特定の分類基準を与えずデータを基に類似性を見つけて母集団をグルーピングどのターゲット顧客グループにどのような製品を開発提供するべきか? 販売チームをどのように組織するべきか? 異常値検出定常状態とは異なる状態を発見するネットワーク攻撃を受けているのかどうか詐欺による取引かどうか

26 26 Machine Learning:ML Studio 部品ごとの設定はプロパティペインでキャンパスにフロー部品を配置して接続フロー部品実行ボタン ( 課金対象 ) モデルを Web サービスへ配置

27 27 デモ :IoT データ分析 ( ログの可視化 ) Toshiba Environment Sensing Logger codename "Bluebird" Powered by Genius Hirai

28 デモの構成 Bluetooth LE IoT Gateway Field Gateway ストアアプリ定量データ Climate イベントデータ Shock Title Temperature Light Event Hubs HTTPS AMQP センサーデータの一時保存 Stream

28 28 デモの構成 Bluetooth LE IoT Gateway Field Gateway ストアアプリ定量データ Climate イベントデータ Shock Title Temperature Light Event Hubs HTTPS AMQP センサーデータの一時保存 Stream Analytics リアルタイム処理 BLOB CSV ファイル Machine Learning イベントの閾値を学習 Cold Path センサーの閾値を設定 Gateway でさらに情報を付加 Gateway ID Latitude Longitude ダッシュボード Bing Maps による可視化 Hot Path

29 29 Machine Learning:Gallery

30 30 デモ : ジニアス警備保障 ( 暗所監視 ) Kinect v2 Sensor の赤外線カメラの画像や動画をクラウドへ Powered by Genius Hirai

31 皆様もお試し下さいスマートフォンまたは PC のブラウザで以下のサイトを開きます Powered by Genius Hirai

33 33 Microsoft IoT ソリューション Things HTTPS HTTPS / AMQP LAN/ Wi-Fi MQTT Serial App Service Cloud Gateway デバイス制御 IoT Gateway Field Gateway HTTPS AMQP デバイス制御 Event Hubs センサーデータの一時保存 Event Hubs アラートアラート AMQP Stream Analytics 生データ保存 Stream Analytics 閾値監視 Stream Analytics 集約データ保存リアルタイムデータユニバーサルアプリケーションマスターデータ BLOB CSV ファイル HDInsight ビッグデータ基盤 SQL Database マスターデータ集計済みデータ Machine Learning 相関関係の分析予測モデル作成デプロイ Machine Learning Web サービスとして公開 Power BI Dashboard Bluetooth LE ML API 呼び出し

34 Microsoft IoT ソリューション Things App Service Windows 10 IoT ios, Android, Linux, HTTPS Cloud

Field Gateway Bluetooth LE Stream Analytics BLOB CSV ファイル生データ保存 Stream Analytics 閾値監視

SQL Database 集約データ保存マスターデータ集計済みデータ Machine Learning 相関関係の分析予測モデル作成デプロイ Machine Learning Web

34 34 Microsoft IoT ソリューション Things App Service Windows 10 IoT ios, Android, Linux, HTTPS Cloud Gateway Event Hubs HTTPS AMQP センサーデータの一時保存 HTTPS / AMQP LAN/ Wi-Fi Serial Event Hubs アラート Field Gateway Bluetooth LE Stream Analytics BLOB CSV ファイル生データ保存 Stream Analytics 閾値監視 HDInsight ビッグデータ基盤 Microsoft Azure デバイス制御 IoT Gateway MQTT AMQP アラートデバイス制御 Stream Analytics SQL Database 集約データ保存マスターデータ集計済みデータ Machine Learning 相関関係の分析予測モデル作成デプロイ Machine Learning Web サービスとして公開リアルタイムデータユニバーサルアプリケーション Visual Studio Power BI Dashboard マスターデータ Office 365 / Power BI ML API 呼び出し

35 35 Wrap-up Event Hubs で IoT データを集積 Stream Analytics でリアルタイムストリームデータ処理 Machine Learning で予測分析ソリューション Power BI は IoT データ活用の斬新的な BI ツール Microsoft Cloud で IoT ソリューション

36 アンケートにご協力くださいアンケートに上記の Session ID のブレイクアウトセッションにチェックを入れて下さいアンケートはお帰りの際に受付でご提出くださいマイクロソフトスペシャルグッズと引換えさせていただきます

37 Ask the Speaker Ask the Speaker のご案内本セッションの詳細は EXPO 会場内 Ask the Speaker コーナー Room A カウンタにてご説明させていただきます是非お立ち寄りください EXPO 会場 MAP

38 de:code セッション LIVE 参加者限定 Making of DBI-002

Driving Transformation

Driving Transformation Microsoft Azure (2015年 10月現在) 世界最大のインフラストラクチャー 22 の地域でサービス中 24 の地域まで拡大予定米国中北部 Illinois 米国政府 Iowa 米国中部 Iowa カナダ中部 Toronto 西ヨーロッパ Netherlands カナダ東部 Quebec City 南中国 * Shanghai 米国東部