新技術説明会　様式例

Transcription

1 1 テレビ電話によるロボットの遠隔制御と アイドル応援システム 埼玉大学 大学院理工学研究科数理電子情報部門准教授小林貴訓

2 2 本日の内容 人を中心としたセンシングとそのインタラクションシステムへの応用 テレビ電話によるロボットの遠隔制御 アイドル応援システム 人と人の間で役立つ情報 / ロボット技術 ユーザ 人を中心としたセンシング カメラ距離センサ 加速度センサ 実世界事象の計算機理解 縦一列 システム 社会学的分析 斜め センシング結果の応用 横並び ロボット情報デバイス ユーザ 人とロボットが共存する社会

3 3 研究背景 テレプレゼンスロボットなど, テレビ電話をしながら相手側にあるロボットを遠隔操作する研究が増えている 我々もテレビ電話とロボットを使用した 認知症介護支援を目的とする遠隔コミュニケーションシステムを研究している テレプレゼンスロボット 遠隔コミュニケーションシステム

4 4 問題点 遠隔地のロボットの操作には, テレビ電話と別の通信が必要 テレビ電話用とロボット操作用で2 回線の通信路が必要 ロボット操作用の回線の管理は大変 一般的なテレビ電話システムを使えばテレビ電話の利用は簡単 テレビ電話 テレビ電話システムが管理 ロボット操作サーバ管理通信設定アカウント管理 テレビ電話回線ひとつにまとめられないか?

5 5 提案手法 ロボットを操作する可視聴信号をテレビ電話で流す テレビ電話で伝達された信号をロボットのマイクやカメラで認識! 伝達された信号に応じてロボットが動作 音の場合の例

6 6 音声信号によるロボット操作 人が聞いても不快にならない音を使う 音楽や動作に関連付けられた音は聞こえてもテレビ電話コミュニケーションを ( あまり ) 妨げない

7 7 遠隔通話システムへの応用 テレビ電話で高齢者と近親者が写真を見ながら会話 ロボットが写真を指差すなどで会話を支援 1. 操作側で画像をクリック ロボット操作用の可聴音信号を流す 2. ロボット側で信号を認識 ロボットが操作側でクリックした画像と同じ画像を指す

8 8 映像信号によるロボット操作 人が見ても不快にならないマークなどを使う 邪魔にならない場所に表示 背景との区別を容易に ユーザにも意味が分かるマーク!

9 9 ビデオ通話への影響 ビデオ通話時の可聴信号, 可視信号の会話への影響を調査 全体として会話を大きく妨げることは無かった 音声よりもマークのほうが良い印象 Questionnaire Result Conversation flow Signal's presence Timing Robot's movement audio visibility+audio visual Robot's intellectuality

10 10 関連技術との比較 Google トーンなどの可聴音通信や電光掲示に情報を埋め込む可視光通信などがあるが, これらは実空間で伝播される信号 音声カプラの頃から可聴音によるネットワーク通信は使われており, プッシュ式電話の DTMF 信号は現在でも広く普及しているが, これらは人が聞くことを前提としていない信号 電子透かしなどのように, 情報を不可視聴で埋め込む方式は符号化, 圧縮に対応することは容易ではない 複数の遠隔地からロボットなどを協調制御する際にも役立つ ロボットへの操作信号をお互いのビデオ通話画面に表示することで, 相手の制御が理解可能に 可視聴情報, テレビ通話という構成が新しい

11 11 まとめ ロボットの制御信号を可視聴情報として伝達する 人に見える, 聞こえる形で情報を伝達することで, テレビ電話システムの様々な符号化, 圧縮方法に影響を受けない テレビ電話のコミュニケーションを妨げないように人が理解できる, 不快にならない音, マーク等を使う 音声信号と映像信号を組み合せて用いることで, バリエーションを増したり, エラーを低減することができる

12 12 アイドル応援システム ライブパフォーマンスの演出 参加者の非日常感をより盛り上げることができる 従来の演出 : 演者や観客の振舞いをリアルタイムに反映できない ( 演者や観客がその場で意図的に操作できない ) 演者と観客の振舞いを双方向で伝達するシステムを提案

13 13 演者の振る舞いの伝達 演者の振舞いをセンサで捉えて観客へ伝える 演者の動きを真似させる ( ミラーリング効果 ) 動き, 歌声を届けるシステムを試作 演者の動き 歌声を振動 光として伝搬するライブ支援ツール 演者側 リストバンド型加速度センサワイヤレスマイクで演者の振舞い情報を取得 加速度 歌声 人形型デバイス 処理用 PC 振動 ( モータ ) 光 (LED) ペンライト 観客側

14 14 複数人の振る舞いの伝達 特定の演者の振舞いを特定の演者を応援する観客に伝達 グループの特定メンバー ( 押しメン ) との一体感を増強する リストバンド型加速度センサ マイク リストバンド内に無線加速度センサを内 受信機 オーディオインタフェース 加速度データ 音声強度データ 振動モータ振動強度 LED 点灯強度 送信機 受信機となるマイコン TWE-DIP と制御回路 参加者デバイス ( 受信機 )

15 15 時間 空間の隔たりを越える ライブ配信映像に演者の振舞い情報を同梱して遠隔地へ伝達できる 振舞い情報を抽出 記録することで, 過去のライブでも臨場感を得られる 演者 加速度 モダリ 振動 遠隔地の視聴者 演者の動き 声に連動してモータが振動 LED が点灯 加速度データ 音声強度データ 音声強度 ティ変換 光 Internet ライブ配信映像 映像 音声 人形型デバイス

16 16 観客同士の一体感の増強 応援が演者に反映されることで, 同じ演者を応援する観客同士の一体感も増強する?

17 17 双方向アイドル応援システム 演者の動きと観客の応援を伝え合うペンライト型デバイス 演者 観客 : パフォーマンスの伝達 演者 観客 演者 : 応援の伝達 演者 加速度センサによる動きデータの取得 マイクから音声強度データの取得 LED 観客のデバイスの振りに応じて演者の衣装の LED が点灯 加速度 音声強度 LED の光 モータの振動 演者の動き 声に連動してモータが振動 LED が点灯 制御用 PC 内でモダリティ変換 LED の光 加速度 モータ 観客のデバイスの振り具合を加速度センサで取得 加速度センサ LED 参加者デバイス ( ペンライト型 )

18 18 試作システム ペンライト型デバイス 電飾衣装

19 19 被験者実験 演者 参加者 大学のアイドルダンスサークルメンバー 5 人のうち 3 人がそれぞれ 赤 青 緑 の電飾衣装を着用 アイドルライブに行ったことがある学生 24 人 赤 青 緑 のメンバーをそれぞれ応援する 3 グループ 曲ごとにペンライトの振動パターンや単方向 双方向システムを変更 各曲終了時にその曲についてのアンケートを実施

20 20 振動パターンの比較 演者から聴衆への単方向で振動パターンによる印象を比較 B-3( 応援したいメンバーとの一体感を感じましたか ) の項目で動き連動の評価が有意に高い (B-1) システムを使用することで臨場感を感じましたか (B-2) ライブに集中することはできましたか (B-3) 応援したいメンバーとの一体感を感じましたか (B-4) 参加者全体での一体感を感じましたか (B-5) 同じグループの参加者間で一体感を感じましたか

21 21 双方向システムとの比較 演者から聴衆への単方向システムと双方向システムを比較 アンケートの結果から見ると, 全ての項目の平均値より高く, 単方向のスコアよりも有意に高い (B-1) システムを使用することで臨場感を感じましたか (B-2) ライブに集中することはできましたか (B-3) 応援したいメンバーとの一体感を感じましたか (B-4) 参加者全体での一体感を感じましたか (B-5) 同じグループの参加者間で一体感を感じましたか

22 22 まとめ まとめ 演者の振る舞いを振動 光に変換して観客に伝え, ペンライトを振るとアイドルの衣装が光る という双方向の応援システムの試作 導入によって聴衆の一体感 参与感が高まった 今後の展開 実際の自由なライブ状況下での実験 多数のデバイスとの通信方法の開発 特定の動きの認識, 演出方法の提案 改良 また使ってみたいシステムは? では双方向システムが圧倒的な支持

23 23 本技術に関する知的財産権 発明の名称 : テレビ電話によるロボットの遠隔制御システム 出願番号 : 特開 出願人 : 国立大学法人埼玉大学 発明者 : 小林貴訓, 久野義徳 発明の名称 : 情報伝達補強システム 出願番号 : 特願 出願人 : 国立大学法人埼玉大学, 丸井智敬 発明者 : 久野義徳, 大津耕陽, 高橋秀和, 福田悠人, 小林貴訓, 山崎敬一, 丸井智敬

24 24 お問い合わせ先 埼玉大学オープンイノベーションセンター TEL; FAX;