Microsoft PowerPoint - ASJ201809_MMDAgent.pptx

Transcription

1 2-2-8 音声対話コンテンツのネットワーク配信および大規模ログ収集を可能にするスマートフォン版 MMDAgent の開発 李晃伸 ( 名工大 ) 1

2 背景 音声対話 対話型音声インタフェース 機械と人間のコミュニケーション 自律 AI とのインタフェースとして ロボット CG キャラクタ = 人に理解させるための効率の良いデザイン戦略 データドリブンな音声対話のモデル化 Understanding-based / E2E-based 言語情報 QA 対話対( SNS, テキストコミュニケーション ) 実対話データに基づくモデル化と評価 2

3 音声対話システムのデータ収集 インドメインなデータはシステム構築 評価に必須 しかしドメインごとの対話データ収集は多大なコスト ( ドメイン依存性 時間拘束性 状況依存性 ) システム運用 電話ベース (Let s Go Public, 京都市バス案内等 ) 公共空間 ラボ設置 対話アプリ (NTT, Yahoo! JAPAN, Google, ) クラウドソーシング テキストチャット Human-to-human Human(Wizard)-to-human(User) [Wen,2017] ビデオチャット [Pair Me Up, 2015] 音声 中量 音声 + インタラクション 少量 音声 (+α) 大量 多くのワーカ雇用リアル対話とずれテキスト (+ 音声 ) 3

4 目標 リアルな音声対話インタラクションの大規模収集の実現 テキスト 音声 + 非言語情報 タイミング 間 感情 ( 表情 目線 うなずき ) 多くのユーザの実対話データの収集 多様なタスクごとのデータ収集が行えるインフラの実現 タスクごとにアプリをリリース? 個人 アカデミック : ハードルが極めて高い 多くの一般ユーザ ( 数千人 ) からの持続的な収集 実験ごとに被験者を集めるのは大変 ワーカー雇用ベース から ファンベース 市場ベース へ 様々なタスクの実音声対話データの収集を行える持続的でオープンな仕組み 4

5 音声対話システムを構築するオープンソースツールキット スクリプト +3D モデル + モーション + ボイスモデル + 辞書 2011 年に公開 動作環境 デスクトップ OS + ios( ただしビルド必要 ) 単体アプリ 単一コンテンツ デスクトップOSベース デジタルサイネージ等での応用が中心 名工大正門 NHK 名古屋局 半田市観光所 5

6 提案システム MMDAgent をスマートフォンベースへ拡張 任意の対話システム ( コンテンツ ) の配信 コンテンツごとのログデータ収集 Web サーバ 対話デモシステム 被験者実験システム 個人の作成したシステム データサーバー ( コンテンツ配信者が指定 ) URL で配信 ログ送信 コンテンツ DL コンテンツ管理コンテンツ再生 + 音声対話インタラクション ログの記録 保存 6

7 Pocket MMDAgent ios 版 ( ベータテスト中 ) Android 版 ( 予定 ) デスクトップ版 Windows MacOS Linux ( すべて同一仕様 ) 7

8 新たに実装したもの 1. 対話システム ( コンテンツ ) の簡易な Web 配信 2. システムごとの音声対話ログの自動収集機構 3. いまどきのスマホアプリらしい UI デザイン 8

9 1. 対話コンテンツの Web 配信 取得 対話コンテンツ一式を Web サーバに設置 対話スクリプト ボイスモデル モーション オブジェクト 端末で URL スキームを開く ダウンロード mmdagent://somewhere.com/foo/bar サーバ 取得したコンテンツは端末上でいつでも切替 再生可能 実行前のテキスト強制表示機能あり 実験説明 同意 関連リンク等 承諾を強制させることも可 9

10 対話コンテンツの自動同期 アプリは DL 済みデータの更新をチェック 定期的に元サーバへ更新があるか問い合わせ 更新があれば差分を強制ダウンロード コンテンツ提供者がサーバ更新 アプリが自動更新 システム修正が容易 配信停止が容易 追加の実験やデータ収集も可能 コンテンツ提供者からユーザへの連絡も可能 持続的なコンテンツ配信 10

11 2. ログ収集 2 つの方式を考案 ローカル保存 事後送信 ローカルフォルダへ一時保存 事後に指定されたサーバへアップロード (WebAPI) コンテンツごとに個別のサーバを指定可能 記録区間 送信先 タイミングはシナリオで制御 セッション単位 リアルタイム送信 ( 予定 ) Apache Kafka 動作ログのみ リアルタイム解析 11

12 ログの実際 [2018/09/10 07:58:41.347] [139713] VIManager: Captured: <eps> [2018/09/10 07:58:41.347] [139713] VIManager: Status: [main:62] " <eps> MOTION_ADD mei type Motions [2018/09/10 07:58:41.347] [139713] VIManager: Sent: MOTION_ADD mei type Motions keytype.vmd PART LOOP ON [2018/09/10 07:58:41.347] [139713] VIManager: Captured: <eps> [2018/09/10 07:58:41.347] [139713] VIManager: Status: [main:70] " <eps> TIMER_START wait_lean_star [2018/09/10 07:58:41.347] [139713] VIManager: Sent: TIMER_START wait_lean_start 3 [2018/09/10 07:58:41.347] [139713] VIManager: Captured: <eps> [2018/09/10 07:58:41.347] [139713] VIManager: Status: [main:71] " <eps> TIMER_START wait_kakiage 7 [2018/09/10 07:58:41.347] [139713] VIManager: Sent: TIMER_START wait_kakiage 7 [2018/09/10 07:58:41.347] [139713] VIManager: Sent: RECOG_MODIFY PREDICTWORD こんにちは, こんにちわ, [2018/09/10 07:58:41.364] [139713] MMDAgent: Captured: MOTION_ADD mei type Motions keytype.vmd PART LOOP [2018/09/10 07:58:41.364] [139713] MMDAgent: Sent: MOTION_EVENT_ADD mei type [2018/09/10 07:58:41.364] [139713] Variables: Captured: TIMER_START wait_lean_start 3 ログの内容 対話システム中に流れた全ての内部メッセージ ログ 入力音声の wav ファイル (Julius の切り出し単位 ) 分析できる内容の例 対話状態の遷移 音声認識結果 ユーザ反応速度 発話タイミング 状態ごとのユーザ離脱率 低頻度シナリオパスの検出 予測外発話の種類 頻度 場所 etc 12

13 3. スマホらしい UI デザイン 一般ユーザが使い続ける気になれる UI 持続的な利用 同一ユーザの複数実験への参加へ 実践的で使いやすい UI 設計を意識 スマートフォンを中心とした画面設計 タップ フリック スワイプ 画面遷移の作り込み 音声以外のモーダルをサポート 字幕 メニュー ボタン ( コンテンツごとに定義可能 ) テキストプロンプトダイアログ ボタン 長押しで表示 機能 : 外部ホームページを開く 内部メッセージ発行 etc. 13

14 14

15 ベータ版アプリ公開 ( 本日より ) デスクトップ版アプリ (Win/Mac/Linux) 実行バイナリを公開中 ios 版アプリ 2018 年内の App Store 公開を目指して開発中 現在 TestFlight にてオープンベータ実施中 Web ページのフォームからメールアドレスを送信 誰でも手元の ios 端末でアプリを入手 動作可能 Web ページにて手順公開 Web コンテンツ公開 ログ収集の詳細な設定 内部メッセージの一覧など 15

16 まとめ 配信 スマートフォンにおけるオープンな音声対話データ収集基盤アプリ構築 任意の対話システムの簡便な配信 コンテンツごとの音声 ログ収集 持続的な PDCA サイクルを 1 アプリで実行 アプリの普及 大規模収集への期待 評価改善 解析 ログ収集 利用 今後の課題 対話コンテンツ構築環境の整備 より多様なインタラクションデータの取得 DM の拡張 (NL 系 API やバックエンド DB との接続 ) 多言語対応 16

17 公式ツイッターで情報提供 "Pocket MMDAgent" で検索 ユーザとして :ios ベータテスト参加 Web ページから誰でも参加できます 開発者として : 対話システム公開 連絡いただければ Web のコンテンツ一覧に掲載します 17