2 1 2 [13] 2D 3D / [2] [4 7] [1] [8] Schiavo [9] [11]

Size: px

Start display at page:

Download "2 1 2 [13] 2D 3D / [2] [4 7] [1] [8] Schiavo [9] [11]"

めぐのきせんばる
5 years ago
Views:

Consideration of the Head Movement Model for a Robot in Group Discussion Context 1 2 3 2 2 Seiya Kimura 1 Hung-Hsuan Huang 2 Shogo Okada 3 Naoki Ohta 2 Kazuhiro Kuwabara 2 1 1 College of Information

1 Consideration of the Head Movement Model for a Robot in Group Discussion Context Seiya Kimura 1 Hung-Hsuan Huang 2 Shogo Okada 3 Naoki Ohta 2 Kazuhiro Kuwabara College of Information Science and Engineering Ritsumeikan University 2 2 Graduate School of Information Science and Engineering Ritsumeikan University 3 3 School of Information Science Japan Advanced Institute of Science and Technology Abstract: 2 3 SVM(Support Vector Machine) F-Measure EU TARDIS 1 1 [5 6 3]

2 2 1 2 [13] 2D 3D / [2] [4 7] [1] [8] Schiavo [9] [11]

3 図 1: 実験環境 3.2 実験環境実験参加者が 1.2m 1.2m の正方形のテーブルの周りに座って議論を行う様子を 2 つのビデオカメラと様々なセンサを使用して記録した各参加者は頭に加速度センサー ATR-Promotions TSND121 とオーディオデジタイザ Roland Sonar X1 LE に接続されたヘッドセットマイク Audio-Technica HYP-190H を装着しウェブカメラ Logicool C920 を 4 台使用し各参加者の顔を撮影したまたモーションキャプチャ OptiTrack Flex 3 with 8 台のカメラと Microsoft Kinect センサーを使用して参加者の上半身の動きを記録した記録実験の設定を図 1 に示す実験の結果 15 分 10 グループ= 150 分間のグループディスカッションデータが記録された Praat1 による分析の結果このコーパスの統計情報は以下のようになった各セッションで平均発話最大 913 最小 570 標準偏差発声の長さは秒最大 10.6 最小 0.2 標準偏差頭部動作モデル行ったグループディスカッションデータ収集実験における参加者の注目可能なターゲットは主に他の参加者と配布した資料 (今回の実験では有名人リスト) とみなすことができる各参加者の視点から見ると左側に座っている参加者テーブルの反対側に座っている参加者右側に座っている参加者の 3 人がいるそれらの参加者をそれぞれ left front right としアテンション対象として定義するまた資料がテーブル上に置かれており参加者の視線がテーブル方向に向いていた場合テーブルを見ているのか資料を見ているのは判別が困難であるためそれらを一様に table として定義するこれらの定義にアノテーションツール Elan [12] を使用してビデオコーパスによってすべての参加者のアテンション対象を手動でアノテーションを行ったまたアノテーションを行う者がアテンション対象を判断できなかった場合のクラスである away を定義した表 1 にアノテーションの結果を示す結果から参加者は table へ最も頻繁かつ最も長くアテンションを向けていることが観察されたこれは参加者が議論をしている間有名人リストを見ている時間が長くなっていたことが要因としてあげられるまた他の参加者へ向けられたアテンションの中でもテーブルの反対側に座っている参加者へ頻繁にアテンションを向けいるが左右の参加者での明らかな違いは認められなかったそして away クラスは他のクラスに比べてインスタンス数がはるかに少ないという結果になった表 1: 全参加者のアテンション対象ラベルデータクラス個数平均継続時間最大継続時間最小継続時間 table 秒 359 秒 0.38 秒 front 秒 31 秒 0.18 秒 right 秒 30 秒 0.18 秒 left 秒 25 秒 0.11 秒 away 秒 4秒 0.10 秒アテンション対象モデルこの研究ではエージェントの視線方向や頭部の向きのとの全体的な組み合わせをアテンション対象として扱うこれは人工的なエージェントはアクチュエータが人間と同じように機能しないことに起因する特にロボットの場合人間よりも自由度がはるかに低く人間のようにスムーズに動く可動式の眼球もないそのため我々は詳細に人間の動きを模倣したものよりより単純で抽象的かつ装置に依存しないアテンション対象モデルの生成を今回の研究課題とした今回我々が頷き区間モデル頷きはそれを行う者によって多様な表現方法があり速さや角度などについても様々であるまたアテンション対象モデルと同様のエージェントの自由度やスムーズによる問題から頷き区間モデルにおいても装置に依存しないモデルの生成を行うそのためこの頷き区間モデルでは頷きの方法や速さ角度に関わらずエージェントがグループディスカッションの中で頷きを行う

nod nomal Elan 2 2: nomal 655 51.6 609.5 0.3 nod 615 1.3 9.9 0.2 5 5.

4 nod nomal Elan 2 2: nomal nod Speaking Listening Idling : 2 front me 5.2 ( ) 2 away left front right table t (A) x 5 15

5 t (t ) t (t ) (S) Praat x t (t ) t (t ) Speaking Listening Idling (P) Praat 12 3 x t (t ) t (t ) (t ) t (t ) t (t ) t (t ) t (t ) (B) x t (t ) 0.1 t (t ) t 0.1 (t ) 5.3 SVM Support Vector Machine 2 3 SVM C 0.5 1, RBF 0.001, C = 10.0 = 0.01 table front nomal nod Leave-one-person-out

6 Speaking Listening Idling B Speaking Listening Idling 3: Idling 1 10 F-measure( ) 4: Listening 1 10 F-measure( ) 5: Speaking 1 10 F-measure( ) Idling (B) 3 F-Measure F-Measure A S P B F-Measure F-Measure Precision Recall F-measure 3 table front 2 table front 2

7 3: ( ) A S P B Idling Listening Speaking Idling Listening Speaking : Idling 1 10 F-measure( ) 7: Listening 1 10 F-measure( ) 4: Precision Recall F-measure table front Idling right left table front Listening right left table front Speaking right left Listening>Idling>Speaking Speaking 5.4 8: Speaking 1 10 F-measure( )

9: F-measure 10: F-measure 5: Precision Recall F-measure nomal 0.531 0.622 0.

601 Listening nod 0.574 0.451 0.505 0.566 0.566 0.566 nomal 0.585 0.666 0.

8 9: F-measure 10: F-measure 5: Precision Recall F-measure nomal Idling nod nomal Listening nod nomal Speaking nod SVM F-Measure MFCC

9 VR [1] Catharine Oertel, Jose Lopes, Yu Yu, Kenneth A. Funes Mora, Joakim Gustafson, Alan W. Black, and Jean-Marc Odobez Towards building an attentive artificial listener:on the perception of attentiveness in audio-visual feedback tokens,in 18th ACM International Conference on Multimodal Interaction, pp (2016) [2],,,,, HAI 2015, pp (2015) [3] Tobias Baur, Ionut Damian, Patrick Gebhard, Kaska Porayska-Pomsta, and Elisabeth Andre A Job Interview Simulation: Social Cue-based Interaction with a Virtual Character, In 2013 International Conference on Social Computing, pp (2013) [4] Iolanda Leite, Marissa McCoy, Monika Lohani, Daniel Ullman, Nicole Salomons, Charlene Stokes, Susan Rivers, and Brian Scassellati Emotional Storytelling in the Classroom: Individual versus Group Interaction between Children and Robots. In 10th ACM/IEEE International Conference on Human-Robot Interaction, pp (2015) [5] Mathieu Chollet, Magalie Ochs, and Catherine Pelachaud Mining a Multimodal Corpus for Non- Verbal Signals Sequences Conveying Attitudes. In The 9th edition of the Language Resources and Evaluation Conference, pp (2014) [6] Hazael Jones, Mathieu Chollet, Magalie Ochs, Nicolas Sabouret, and Catherine Pelachaud Expressing social attitudes in virtual agents for social coaching, Proceedings of the 2014 international conference on Autonomous agents and multi-agent systems, pp (2014) [7] Marynel Vazquez, Elizabeth J. Carter, Braden McDorman, Jodi Forlizzi Aaron Steinfeld, and Scott E. Hudson Towards Robot Autonomy in Group Conversations: Understanding the Effects of Body Orientation and Gaze, Proceedings of the 2017 ACM/IEEE International Conference on Human-Robot Interaction, pp (2017) [8] Shogo Okada, Yukiko Nakano, Yuki Hayashi, Yutaka Takase, and Katsumi Nitta Estimating Communication Skills using Dialogue Acts and Nonverbal Features in Multiple Discussion Datasets, In 18th ACM International Conference on Multimodal Interaction, pp (2016) [9] Gianluca Schiavo, Alessandro Cappelletti, Eleonora Mencarini, Oliviero Stock, and Massimo Zancanaro Overt or Subtle? Supporting Group Conversations with Automatically Targeted Directives, In Proceedings of the 19th international conference on Intelligent User Interfaces, pp (2014) [10] Catharine Oertel, Jose Lopes, Yu Yu, Kenneth A. Funes Mora, Joakim Gustafson, Alan W. Black, and Jean-Marc Odobez Towards building an attentive artificial listener: on the perception of attentiveness in audio-visual feedback tokens. In 18th ACM International Conference on Multimodal Interaction, pp (2016) [11] Fumio Nihei, Yukiko I. Nakano, Yuki Hayashi, Hung-Hsuan Huang, and Shogo Okada Predicting Influential Statements in Group Discussions using Speech and Head Motion Information. In Proceedings of the 16th International Conference on Multimodal Interaction, pp (2014) [12] Hedda Lausberg and Han Sloetjes, Coding gestural behavior with the NEUROGES-ELAN system, Behavior Research Methods 41, pp (2009) [13] Osamu Morikawa and Takanori Maesako, Hyper- Mirror Toward Pleasant-to-use Video Mediated Communication System, In Proceedings of the 1998 ACM conference on Computer supported cooperative work, pp (1998)

i 1.,,,,,,.,.,,,,, 1,.,, PR.,,.,., PR,,, 5.,., 1, 2. 1, PR,,

27 PR, 2016 2 i 1.,,,,,,.,.,,,,, 1,.,, PR.,,.,., PR,,, 5.,., 1, 2. 1, PR,, ii.,, 4, 2.,,,, 4. 2,, 5,.,.,, 0.68, 0.42.,., 0.2.,,., 3. 1. 2,.,. 2.,. 3,,.,,, 0.2.,.,,.. iii iii v vii 1 1 1.1..............................