1307migitaDicomo.pptx

Size: px

Start display at page:

Download "1307migitaDicomo.pptx"

せぴああんさい
5 years ago
Views:

1 九州工業大学右田尚人服部祐一田中翔太井上創造

2 1 背景目的関連研究 HASC Challenge 大規模行動情報収集システム ALKAN 行動類似度評価システム MimicMotion システム評価まとめ

3 背景目的 2 人間の行動が客観的に計測認識できるようになれば様々な分野への応用が期待できる医療分野農業分野スポーツ分野など

背景目的 3 客観的な行動の計測は難しかったが 3 軸加速度センサジャイロスコープ気圧センサ GPS h"p://www.microso.

4 背景目的 3 客観的な行動の計測は難しかったが 3 軸加速度センサジャイロスコープ気圧センサ GPS h"p:// jp/windowsphone/design/7/phones.aspx 3 軸加速度センサなどを搭載した携帯情報端末が普及し客観的な行動の計測が可能に

5 背景目的 4 センサデータなどから人間の行動を認識して何をしているか解釈するパターン認識の枠組みの一つある行動のセンサデータ特徴量計算分類モデル歩く A 機械学習歩くのセンサデータ歩く B 歩く C 特徴量計算行動識別多くのセンサデータが必要

6 背景目的 5 センサデータを解析するシステムを構築するには多くの行動情報を集める仕組みが必要本研究の目的多くの行動情報を収集するためのシステムの開発

7 関連研究 6 HASC Challenge: Gathering Large Scale Human Activity Corpus for the Real-World Activity Understandings. Proc of ACM AH 2011, pp.27:1-27:5, 年から行われており複数の研究室から行動データを収集することを提案 2010 年には 540 人のユーザから 6700 個の加速度データを収集センサデータ以外にも性別身長体重靴の種類床の種類などの情報も収集データセットとしてより精度の高いデータを目指している本研究では研究室間という狭い範囲ではなくより一般のユーザに利用してもらうことを目指している

8 関連研究 7 "A Large Scale Gathering Systemfor AcFvity Data using Mobile Devices", Journal of Infor- mafon Processing, Vol. 20, No. 1, pp , September12, 軸加速度センサを搭載した携帯情報端末を用いた行動情報収集システム送信された行動情報をサーバに格納インターネット行動情報行動情報行動情報 ALKAN s Server ユーザにメリットがなので本研究ではユーザのメリットを考慮した仕組みを用いている

9 行動類似度評価システム MimicMotion 8 システム構成携帯情報端末アプリケーション Web サイト行動情報共有サーバ搭載した機能 Web サイトで 3 軸加速度データと動画像から成るコンテンツを閲覧共有できるユーザ同士が収集した 3 軸加速度データが, どの程度一致しているのかを表した類似度を評価できるこれらの機能を加えることで多くのユーザの利用が期待される

10 行動類似度評価システム MimicMotion 9 携帯情報端末アプリケーション 3 軸加速度データの取得とサーバへ送信 Web サイトコンテンツの登録閲覧共有行動情報収集サーバ行動情報を保存類似度計算類似度の計算は提供者と模倣者の加速度データの相関を計算する

11 行動類似度評価システム MimicMotion 10 携帯情報端末アプリケーション Microsoft 社の WindowsPhone 上で動作使用したプログラミング言語 C サーバアプリケーション使用したプログラミング言語は PHP HTML CSS 及び ActionScript3 類似度の計算は R を使用

12 行動類似度評価システム MimicMotion 11 コンテンツ動画像 3 軸加速度データ提供者模倣者得た評価インターネット 3 軸加速度データ類似度評価コンテンツ ALKAN2 Server サーバデータ格納類似度計算閲覧者ユーザは使用する機能で立場が変わる

3 軸加速度データと既存の動画像模倣者の2 種類コンテンツに対する評価を得ることができる評価コンテンツ ALKAN2

13 行動類似度評価システム MimicMotion 12 コンテンツ動画像 3 軸加速度データ提供者得た評価インターネットコンテンツを初めに登録するユーザ 3 軸加速度データコンテンツは類似度 1. 3 軸加速度データと自分で撮影した動画像 2. 3 軸加速度データと既存の動画像模倣者の2 種類コンテンツに対する評価を得ることができる評価コンテンツ ALKAN2 Server サーバデータ格納類似度計算 * 動画像はインターネット動画共有サービス YouTube 閲覧者上のものを使用ユーザは使用する機能で立場が変わる

14 行動類似度評価システム MimicMotion 13 コンテンツを模倣しながら3 軸加速度データを取得測定後データをサーバに送り類似度を取得コンテンツ類似度はWebサイトもしくは携帯情報端末アプリケーション上で100 点満点で確認提供者インターネット模倣者得た評価 3 軸加速度データ類似度評価コンテンツ動画像 3 軸加速度データ ALKAN2 Server サーバデータ格納類似度計算閲覧者ユーザは使用する機能で立場が変わる

15 行動類似度評価システム MimicMotion 14 コンテンツ動画像 3 軸加速度データ得た評価提供者 Webサイトを閲覧する人インターネット閲覧者にはユーザ登録をしなくてもなれる 3 軸加速度データコンテンツに対してコメントをして評価できる模倣者類似度評価コンテンツ ALKAN2 Server サーバデータ格納類似度計算閲覧者ユーザは使用する機能で立場が変わる

16 行動類似度評価システム MimicMotion 15

17 行動類似度評価システム MimicMotion 16

18 行動類似度評価システム MimicMotion 17 動画再生

19 行動類似度評価システム MimicMotion 18 加速度波形

20 行動類似度評価システム MimicMotion 19 コメント欄

21 行動類似度評価システム MimicMotion 20 QR コード読み込み

22 行動類似度評価システム MimicMotion 21 スタートボタンカウントに合わせて携帯情報端末のスタートボタンを押す

23 行動類似度評価システム MimicMotion 22 動画に合わせて行動する行動中携帯情報端末は右手に持つ

24 行動類似度評価システム MimicMotion Finish ボタンを押すとデータをサーバへ送信点数を計算し表示する携帯情報端末でも表示

25 システム評価 24 実験目的幅広いコンテンツに対して正しく類似度を判定できるか調査動かす部位と動きの激しさに注目し人工的に 6 種類のコンテンツを作成し実験を行った 1. 体を常に動かす 2. 体をゆっくり動かす 3. 体を時々動かす 4. 手を常に動かす 5. 手をゆっくり動かす 6. 手を時々動かす

26 システム評価 25 常に動かすゆっくり動かす時々動かす体横移動前後移動一回転ボックスステップスクワットジャンプ手両手を回すペイシング体をねじる運動腕を上下に伸ばす運動背伸びボクシングコンテンツの内容は分類した 6 種類の動きに基づいて独自に選択一つのコンテンツの長さは約 35 秒前後作成者はダンススクールなどで特別な訓練を受けていない一般ユーザ

27 システム評価 26 被験者ダンススクールなどで特別な訓練を受けていない一般ユーザ 10 名使用した携帯情報端末 TOSHIBA 社の WindowsPhone 端末である IS12T 被験者は, 6 つのコンテンツをそれぞれ 3 回ずつ模倣結果を集計しコンテンツごとの点数の分布を見る

28 システム評価 27 コンテンツ数平均点 (E)=51 標準偏差 (σ)=16.1 歪度 =0.039 歪度は 0 に近いことから左右の偏りが少ないことがわかる score

29 システム評価 28 動きの激しさ動きの激しさが異なるコンテンツを用いる場合点数差が大きく改良が必要

30 システム評価 29 E 52 点 40 点 58 点 52 点 43 点 63 点 σ 動きの激しさが異なるコンテンツを用いる場合点数差が大きく改良が必要

31 システム評価 30 行動の種類別に点数調整を行い点数の差を少なくする改良前改良後ユーザ同士の 3 軸加速度データの相関から点数 (S) を 100 点満点で計算ユーザ同士の 3 軸加速度データの相関から点数 (S) を 100 点満点で計算コンテンツの 3 軸加速度データの 2 乗和平方の値から閾値を求めコンテンツを動きの激しさで 3 つに分類動きの激しさ別の E と得点の σ を揃え点数差をなくす

32 システム評価 31 [ コンテンツの 3 軸加速度データの 2 乗和平方の分布 ] 体 1 手常に動かすゆっくり動かす時々動かす

33 システム評価 32 E を揃える σ を揃える d= 動きの激しさ ( 常に動かす or ゆっくり動かす or 時々動かす ) S= 得点調整前の点数 E(d)= 動きの激しさ別の点数の E V(d)= 動きの激しさ別の点数の σ E(E(d))= 全コンテンツの点数の E(d はすべての場合 ) E(V(d))= 全コンテンツの σ(d はすべての場合 ) 入力 S d 出力 Score

システム評価 33 常に動かすゆっくり動かす時々動かす E 52 点 41 点 61 点 σ 14.4 14.0 14.

34 システム評価 33 常に動かすゆっくり動かす時々動かす E 52 点 41 点 61 点 σ 常に動かすゆっくり動かす時々動かす E 51 点 52 点 51 点 σ 得点の差をなくすことができた

35 まとめ 34 多くの行動情報を収集する目的で行動類似度評価システム MimicMotion を開発した Web サイトの利用や類似度の評価機能によりユーザにメリットが生まれ多くの行動情報の収集が期待できるシステム評価動かす部位と動きの激しさに注目し人工的に作成したコンテンツを使って実験を行った全コンテンツの得点分布の偏りは少なく類似度を正しく判断できることがわかった激しさが異なるコンテンツを用いる場合点数差が大きく計算方法を改良し ±10 点ほど違っていた平均点を揃えることができた

36 まとめ 35 今後は様々な携帯情報端末に実装 ios 端末 android 端末人間の関節の変位情報であるモーションデータをコンテンツとして利用行動認識に有効なデータを集める方法の作成

37 36

38 37 医療分野生活習慣を客観的に計測できる生活習慣病の予防農業分野農業従事者の行動記録を自動的に取得できる作業の効率化スポーツ分野手本となる行動にどれだけ近いかを評価することができる客観的に習熟度を確認可能

39 モーションデータ再生 38

40 39 QR コード読み込み加速度データ計測点数表示

41 40 コンテンツを準備サーバにアップロードコンテンツ登録画面で登録

42 41 模倣するコンテンツを選択コンテンツを模倣しながら加速度データ取得サーバに加速度データを送信サーバで類似度を計算し表示

43 42 閲覧したいコンテンツを選択コンテンツ再生コメントを書き込む行動情報取得

44 類似度の点数の分布体常に体ゆっくり体時々手常に手ゆっくり手時々

45 1. 3 軸加速度データが行動種別と正確に対応付けられている 2. 行動の記録に使用される携帯情報端末の取り付け位置が明確に記録されている 3. ユーザが簡単にいつでも, どこでも行動情報の作成を行える 4. 大規模に行動情報を収集できる 5. ユーザが本システムを繰り返し使用したくなるような, 動機付けがされている 6. ユーザのニーズに応じて対応できる拡張性 44

46 45 3 軸加速度センサを搭載した携帯情報端末と Web サイトを利用した行動情報収集システム携帯情報端末で計測した 3 軸加速度データと自分の動きを撮影した動画像から成るコンテンツを用意しアップロードすることでそれらを Web サイトで共有ユーザは模倣者提供者閲覧者に分類されそれによってメリットが生まれる動画像インターネット 3 軸加速度データ

47 46 提供者コンテンツに対する評価優越感さらなる評価への意欲模倣者提供者の行動を習得する達成感閲覧者娯楽的楽しさ評価することで一体感の向上

48 47

HASC2012corpus HASC Challenge 2010,2011 HASC2011corpus( 116, 4898), HASC2012corpus( 136, 7668) HASC2012corpus HASC2012corpus

HASC2012corpus HASC Challenge 2010,2011 HASC2011corpus( 116, 4898), HASC2012corpus( 136, 7668) HASC2012corpus HASC2012corpus HASC2012corpus 1 1 1 1 1 1 2 2 3 4 5 6 7 HASC Challenge 2010,2011 HASC2011corpus( 116, 4898), HASC2012corpus( 136, 7668) HASC2012corpus HASC2012corpus: Human Activity Corpus and Its Application Nobuo KAWAGUCHI,