DEIM Forum 2019 I3-4 IoT2H NguyenQuynh Mai (1) (2) Web IoT (Internet of Things) IoT-to-Human (IoT2H) (1)

Size: px

Start display at page:

Download "DEIM Forum 2019 I3-4 IoT2H NguyenQuynh Mai (1) (2) Web IoT (Internet of Things) IoT-to-Human (IoT2H) (1)"

あかりさくもと
4 years ago
Views:

1 DEIM Forum 2019 I3-4 IoT2H NguyenQuynh Mai (1) (2) Web IoT (Internet of Things) IoT-to-Human (IoT2H) (1) (2) PUSH (POI; Point of Interest) 16 2 Tri-

2 PUSH PUSH 1 2 padvisor 1 Google Trips 2 Yelp 3 Pinterest 4 Google Map : POI PUSH POI : POI : POI : Twitter : POI Apache Cordova Android ios POI POI

3 3 POI POI POI POI POI 5 POI POI POI POI POI POI POI 6 PUSH POI POI POI : POI : POI 4. 3 : Twitter Streaming API 4. 4 : POI 4. 1 : : POI POI 4. 2 WebAPI JSON POI PUSH a ) 4 POI [1] Raspberry Pi BLE BLE Wi-Fi 4G/LTE POI 2 BLE BLE BLE RSSI: Received Signal Strength Indication RSSI 60 RSSI 3 b )

混雑度センサ BLE Device OUTPUT(Sentence) : Gioh-ji is very crowded; thus it is not recommended to visit now.

long short-term memory POI一覧 (SC-LSTM) ニューラルネットワーク [2] を用いた SC-LSTM POI 選択混雑度サンプル混雑度選択ボタンは通常の LSTM の拡張であり直前の単語 xt を入力として次の単語 xt+1 実際の予測値は yt を予測する一般的な LSTM POI地図ビュー送信ボタン POI選択画面混雑度選択送信画面図 5

特に京都のような日本を代表とする観光地おいては設置場所がの生成が終了した段階でコンテンツ制約ベクトル d を 0 ベクト限定されるそのため観光地内の全ての POI を設置型センルにするという制約のみが与えられコンテンツ制約ベクトルサによってカバーすることは難しい我々はこの問題を解決す上のどの値をどの単語を生成した段階で 0 に近づけるかについるため

4 混雑度センサ BLE Device OUTPUT(Sentence) : Gioh-ji is very crowded; thus it is not recommended to visit now. BLE dongle Wi-Fi dongle INPUT(Dialog-act pattern) : congestion= High, POI= Gioh-ji 祇王寺, recommended= No 図 4 設置型混雑度センサ図 6 言語化モジュール POI名て通知を作成するこの概要を図 6 に示す条件付き言語生成には Semantically conditioned long short-term memory POI一覧 (SC-LSTM) ニューラルネットワーク [2] を用いた SC-LSTM POI 選択混雑度サンプル混雑度選択ボタンは通常の LSTM の拡張であり直前の単語 xt を入力として次の単語 xt+1 実際の予測値は yt を予測する一般的な LSTM POI地図ビュー送信ボタン POI選択画面混雑度選択送信画面図 5 混雑度をサーバに送信する機能を持つスマートフォンアプリ言語モデルに対して文に含まれるべきコンテンツ制約 dt を与えるものであるこのコンテンツ制約ベクトル dt の初期値は各スロットの値が存在するかを one-hot のベクトルとして表現したもので文生成の際に LSTM と平行して動作する Recurrent Neural Network (RNN) に与えられる RNN は文特に京都のような日本を代表とする観光地おいては設置場所がの生成が終了した段階でコンテンツ制約ベクトル d を 0 ベクト限定されるそのため観光地内の全ての POI を設置型センルにするという制約のみが与えられコンテンツ制約ベクトルサによってカバーすることは難しい我々はこの問題を解決す上のどの値をどの単語を生成した段階で 0 に近づけるかについるためスマートフォンアプリを用いた参加型混雑度収集シスては言語モデルと同時に最適化されるテムを新たに提案実装した図 5 に示すように本システム今回は観光案内アプリケーションに適した言語化モジューは ios 上で動作するスマートフォンアプリケーションとして実ルを学習するため以下のようなコンテンツベクトルのデザイ装されている具体的な混雑度の収集方法としてまずはじめンを行ったに混雑度収集のためのスマートフォンアプリケーションを立 Name: POI の名前 Gioh-ji temple 祇王寺 Burari ち上げると最初に表示される図 5 左側に示す POI 選択画面に Arashiyama ぶらり嵐山 Hankyu Arashiyama Station 阪おいて混雑度を報告/更新したい POI を POI 一覧もしくは急嵐山駅など POI 地図ビューから選択する報告/更新したい POI を選択した後図 5 右側に示すような選択した POI の混雑度選択送信画面に遷移する選択した POI の現在の混雑状況ともっと State Event: 当該 POI で開催されているイベントなど今回のアプリケーションでは用いなかった Congestion Degree: POI の混雑度 BLE 信号のも近い混雑度を画面中央に表示されている写真で示された混雑 RSSI の外れ値から混雑度を算出している今回は混雑度を度サンプルを参考に 3 段階少中多の中から選択送 3 段階少中多としている信することで混雑度を報告/更新できる混雑度の言語化上記二つの混雑度推定システムから得られた混雑度の情報はアプリケーション表示に用いられるほか PUSH 型通知によっ Recommended: 当該 POI がユーザに対して推薦されているかどうか Yes/No の 2 値 Popular: その POI が人気の場所かどうか Yes/No の 2 値今回のアプリケーションでは用いなかったてユーザがアプリケーションを使っていない状態であってもこれらの値をランダムに埋めたコンテンツベクトルを作成プロアクティブに送信される本アプリケーションではユーザし対応する文をクラウドソーシングによって収集した [3] が気になる POI をホールドするお気に入りリストに登録すクラウドワーカには Name: Gioh-ji temple, Congestion ることができ PUSH 型通知はこのホールドされた POI の Degree: very high, Recommended: No などの情報が与混雑度に関して行われる具体的には各アクティブユーザがえられこの情報を元に Gioh-ji temple is very crowdeded; ホールドした POI の混雑度を 5 分に一度確認し混雑度に変 thus it is not recommended to visit now. のような説明文を化があった場合に PUSH 型通知をユーザに送信する付与してもらう最終的に 2,001 ペアのコンテンツ制約ベクト実際に PUSH 通知を送る際 PUSH 通知の内容生成としてルと文のペアを収集して学習に用いたなお State Event と言語化モジュール IoT2H 言語化を用いるこのモジュール Popular については学習データに含まれているが今回のシではニューラルネットワークを用いた条件付き言語生成によっステム入力としては用いられていないまた Name State

Event 4. 2 POI 4. 2. 1 POI POI POI 1 POI 2 POI POI l POI m 2 3 2 4 3 l POI POI 8 8 1 5 POI 4 POI 4. 2. 2 POI PUSH 10 4. 1 IoT2H 4.

5 Event 4. 2 POI POI POI POI 1 POI 2 POI POI l POI m l POI POI POI 4 POI POI PUSH IoT2H [4] (Question Answering) (Storytelling) 言語解析応答候補意図認識対話モジュール質問応答概要提示対話履歴推薦モジュール 7 翻訳 A P I Hi, I ll talk about Gioh-ji temple. Please ask me something you want to know, like When was it established? or What is famous for? What is famous for? There are many maple trees on the grounds of Gioh-ji temple, so you can enjoy beautiful autumn leaves during autumn foliage season. You may like Horin-ji temple Rokuo-in temple Hogon-in temple POI 20 [5] Wikipedia 2,088,988 POI 20 JUMAN7.0 5 KNP4.1 6 NICT TexTra 7 POI POI POI 3 POI 7 You May Like

6 Twitter Twitter 100, Twitter Streaming API and or [6] (NICT) TexTra G TripAdvisor H G 4 ID 3 POI POI POI How satisfied with this application overall? Chatbot How satisfied are you with Chatbot function over all? SNS How satisfied are you with Tweet function? PUSH How satisfied are you with Push notification? How satisfied are you with Congestion function? How satisfied are you with YOU MAY

7 1 Chatbot SNS Push TripAdvisor A B C D E F G H 2 1 Satisfied % Chatbot % SNS % Push % % % TripAdvisor % 3 2 Satisfied % Chatbot % SNS % Push % % % Trip Advisor % LIKE function? TripAdvisor TripAdvisor app or this app, which application shows better sightseeing spots? 5: Very Satisfied 4: Rather Satisfied 3: Satisfied 2: Not Satisfied 1: Not Satisfied at All 2 3 Satisfied % % 5. 4 POI PUSH PUSH POI POI

8 PUSH Not Satisfied at all PUSH 5 PUSH POI POI POI POI (NICT) 9 [1] Kazuhito Umeki, Yugo Nakamura, Manato Fujimoto, Yutaka Arakawa, and Keiichi Yasumoto. Real-time congestion estimation in sightseeing spots with ble devices. In Proceedings of 2018 IEEE International Conference on Pervasive Computing and Communication Workshops (PerCom Workshops), pp , [2] TH Wen, M Gašić, N Mrkšić, PH Su, D Vandyke, and S Young. Semantically conditioned lstm-based natural language generation for spoken dialogue systems. In Conference Proceedings-EMNLP 2015: Conference on Empirical Methods in Natural Language Processing, pp , [3],,,, ( 32 ) 9

9 , pp. 2K103 2K103., [4] Koichiro Yoshino, Yu Suzuki, and Satoshi Nakamura. Information navigation system with discovering user interests. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp , [5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems, pp , [6] Yu Suzuki. Twitter stream filtering using crowdsourcing and machine learning. Journal of Information Processing, 2019.

Twitter Twitter [5] ANPI NLP 5 [6] Lee [7] Lee [8] Twitter Flickr FreeWiFi FreeWiFi Flickr FreeWiFi 2. 2 Mikolov [9] [10] word2vec word2vec word2vec k

Twitter Twitter [5] ANPI NLP 5 [6] Lee [7] Lee [8] Twitter Flickr FreeWiFi FreeWiFi Flickr FreeWiFi 2. 2 Mikolov [9] [10] word2vec word2vec word2vec k DEIM Forum 2018 H1-3 700-8530 3-1-1 E-mail: {nakagawa, niitsuma, ohta}@de.cs.okayama-u.ac.jp Twitter 3 Wikipedia Weblio Yahoo! Paragraph Vector NN NN 1. doc2vec SNS 9 [1] SNS [2] Twitter 1 4 4 Wikipedia