九州工業大学右田尚人服部祐一田中翔太井上創造
1 背景 目的 関連研究 HASC Challenge 大規模行動情報収集システム ALKAN 行動類似度評価システム MimicMotion システム評価 まとめ
背景 目的 2 人間の行動が客観的に計測 認識できるようになれば 様々な分野への応用が期待できる 医療分野 農業分野 スポーツ分野など
背景 目的 3 客観的な行動の計測は難しかったが 3 軸加速度センサジャイロスコープ気圧センサ GPS h"p://www.microso..com/ja- jp/windowsphone/design/7/phones.aspx 3 軸加速度センサなどを搭載した携帯情報端末が普及し客観的な行動の計測が可能に
背景 目的 4 センサデータなどから人間の行動を認識して何をしているか解釈するパターン認識の枠組みの一つ ある行動のセンサデータ 特徴量計算 分類モデル 歩く A 機械学習 歩く のセンサデータ 歩く B 歩く C 特徴量計算 行動識別 多くのセンサデータが必要
背景 目的 5 センサデータを解析するシステムを構築するには 多くの行動情報を集める仕組みが必要 本研究の目的 多くの行動情報を 収集するためのシステムの開発
関連研究 6 HASC Challenge: Gathering Large Scale Human Activity Corpus for the Real-World Activity Understandings. Proc of ACM AH 2011, pp.27:1-27:5, 2011. 2010 年から行われており 複数の研究室から行動データを収集することを提案 2010 年には 540 人のユーザから 6700 個の加速度データを収集 センサデータ以外にも性別 身長 体重 靴の種類 床の種類などの情報も収集 データセットとしてより精度の高いデータを目指している 本研究では研究室間という狭い範囲ではなく より一般のユーザに利用してもらうことを目指している
関連研究 7 "A Large Scale Gathering Systemfor AcFvity Data using Mobile Devices", Journal of Infor- mafon Processing, Vol. 20, No. 1, pp. 177-184, September12, 2011. 3 軸加速度センサを搭載した携帯情報端末を用いた行動情報収集システム 送信された行動情報をサーバに格納 インターネット 行動情報行動情報行動情報 ALKAN s Server ユーザにメリットがなので 本研究ではユーザのメリットを考慮した仕組みを用いている
行動類似度評価システム MimicMotion 8 システム構成 携帯情報端末アプリケーション Web サイト 行動情報共有サーバ 搭載した機能 Web サイトで 3 軸加速度データと動画像から成るコンテンツを閲覧 共有できる ユーザ同士が収集した 3 軸加速度データが, どの程度一致しているのかを表した類似度を評価できる これらの機能を加えることで 多くのユーザの利用が期待される
行動類似度評価システム MimicMotion 9 携帯情報端末アプリケーション 3 軸加速度データの取得とサーバへ送信 Web サイト コンテンツの登録 閲覧 共有 行動情報収集サーバ 行動情報を保存 類似度計算 類似度の計算は提供者と模倣者の 加速度データの相関を計算する
行動類似度評価システム MimicMotion 10 携帯情報端末アプリケーション Microsoft 社の WindowsPhone 上で動作 使用したプログラミング言語 C サーバアプリケーション 使用したプログラミング言語は PHP HTML CSS 及び ActionScript3 類似度の計算は R を使用
行動類似度評価システム MimicMotion 11 コンテンツ 動画像 3 軸加速度データ 提供者 模倣者 得た評価 インターネット 3 軸加速度データ 類似度 評価 コンテンツ ALKAN2 Server サーバ データ格納 類似度計算 閲覧者 ユーザは使用する機能で立場が変わる
行動類似度評価システム MimicMotion 12 コンテンツ 動画像 3 軸加速度データ 提供者 得た評価 インターネット コンテンツを初めに登録するユーザ 3 軸加速度データ コンテンツは類似度 1. 3 軸加速度データと自分で撮影した動画像 2. 3 軸加速度データと既存の動画像模倣者の2 種類 コンテンツに対する評価を得ることができる 評価 コンテンツ ALKAN2 Server サーバ データ格納 類似度計算 * 動画像はインターネット動画共有サービス YouTube 閲覧者上のものを使用ユーザは使用する機能で立場が変わる
行動類似度評価システム MimicMotion 13 コンテンツを模倣しながら3 軸加速度データを取得 測定後 データをサーバに送り類似度を取得 コンテンツ 類似度はWebサイトもしくは 携帯情報端末 アプリケーション上で100 点満点で確認提供者インターネット 模倣者 得た評価 3 軸加速度データ 類似度 評価 コンテンツ 動画像 3 軸加速度データ ALKAN2 Server サーバ データ格納 類似度計算 閲覧者 ユーザは使用する機能で立場が変わる
行動類似度評価システム MimicMotion 14 コンテンツ 動画像 3 軸加速度データ 得た評価 提供者 Webサイトを閲覧する人インターネット 閲覧者には ユーザ登録をしなくてもなれる 3 軸加速度データ コンテンツに対してコメントをして評価できる 模倣者 類似度 評価 コンテンツ ALKAN2 Server サーバ データ格納 類似度計算 閲覧者 ユーザは使用する機能で立場が変わる
行動類似度評価システム MimicMotion 15
行動類似度評価システム MimicMotion 16
行動類似度評価システム MimicMotion 17 動画再生
行動類似度評価システム MimicMotion 18 加速度波形
行動類似度評価システム MimicMotion 19 コメント欄
行動類似度評価システム MimicMotion 20 QR コード読み込み
行動類似度評価システム MimicMotion 21 スタートボタン カウントに合わせて携帯情報端末のスタートボタンを押す
行動類似度評価システム MimicMotion 22 動画に合わせて行動する 行動中 携帯情報端末は右手に持つ
行動類似度評価システム MimicMotion 23 59 Finish ボタンを押すとデータをサーバへ送信 点数を計算し表示する 携帯情報端末でも表示
システム評価 24 実験目的 幅広いコンテンツに対して 正しく類似度を判定できるか調査 動かす部位と 動きの激しさに注目し人工的に 6 種類のコンテンツを作成し 実験を行った 1. 体を常に動かす 2. 体をゆっくり動かす 3. 体を時々動かす 4. 手を常に動かす 5. 手をゆっくり動かす 6. 手を時々動かす
システム評価 25 常に動かすゆっくり動かす時々動かす 体 横移動前後移動一回転ボックスステップ スクワット ジャンプ 手 両手を回すペイシング体をねじる運動腕を上下に伸ばす運動 背伸び ボクシング コンテンツの内容は 分類した 6 種類の動きに基づいて独自に選択 一つのコンテンツの長さは約 35 秒前後 作成者は ダンススクールなどで特別な訓練を受けていない一般ユーザ
システム評価 26 被験者 ダンススクールなどで特別な訓練を受けていない 一般ユーザ 10 名 使用した携帯情報端末 TOSHIBA 社の WindowsPhone 端末である IS12T 被験者は, 6 つのコンテンツをそれぞれ 3 回ずつ模倣 結果を集計し コンテンツごとの点数の分布を見る
システム評価 27 コンテンツ数 平均点 (E)=51 標準偏差 (σ)=16.1 歪度 =0.039 歪度は 0 に近いことから 左右の偏りが少ないことがわかる score
システム評価 28 動きの激しさ 動きの激しさが異なるコンテンツを用いる場合点数差が大きく改良が必要
システム評価 29 E 52 点 40 点 58 点 52 点 43 点 63 点 σ 13.5 14.1 16.7 15.6 13.8 10.4 動きの激しさが異なるコンテンツを用いる場合点数差が大きく改良が必要
システム評価 30 行動の種類別に点数調整を行い点数の差を少なくする 改良前 改良後 ユーザ同士の 3 軸加速度データの相関から点数 (S) を 100 点満点で計算 ユーザ同士の 3 軸加速度データの相関から点数 (S) を 100 点満点で計算 コンテンツの 3 軸加速度データの 2 乗和平方の値から閾値を求めコンテンツを動きの激しさで 3 つに分類 動きの激しさ別の E と 得点の σ を揃え 点数差をなくす
システム評価 31 [ コンテンツの 3 軸加速度データの 2 乗和平方の分布 ] 体 1 手 0 1 0 常に動かすゆっくり動かす時々動かす
システム評価 32 E を揃える σ を揃える d= 動きの激しさ ( 常に動かす or ゆっくり動かす or 時々動かす ) S= 得点調整前の点数 E(d)= 動きの激しさ別の点数の E V(d)= 動きの激しさ別の点数の σ E(E(d))= 全コンテンツの点数の E(d はすべての場合 ) E(V(d))= 全コンテンツの σ(d はすべての場合 ) 入力 S d 出力 Score
システム評価 33 常に動かす ゆっくり動かす 時々動かす E 52 点 41 点 61 点 σ 14.4 14.0 14.0 常に動かす ゆっくり動かす 時々動かす E 51 点 52 点 51 点 σ 14.2 14.1 14.1 得点の差をなくすことができた
まとめ 34 多くの行動情報を収集する目的で 行動類似度評価システム MimicMotion を開発した Web サイトの利用や 類似度の評価機能により ユーザに メリットが生まれ多くの行動情報の収集が期待できる システム評価 動かす部位と 動きの激しさに注目し 人工的に作成した コンテンツを使って実験を行った 全コンテンツの得点分布の偏りは少なく 類似度を正しく 判断できることがわかった 激しさが異なるコンテンツを用いる場合点数差が大きく 計算方法を改良し ±10 点ほど違っていた平均点を揃えることができた
まとめ 35 今後は 様々な携帯情報端末に実装 ios 端末 android 端末 人間の関節の変位情報であるモーションデータをコンテンツとして利用 行動認識に有効なデータを集める方法の作成
36
37 医療分野 生活習慣を客観的に計測できる 生活習慣病の予防 農業分野 農業従事者の行動記録を自動的に取得できる 作業の効率化 スポーツ分野 手本となる行動にどれだけ近いかを評価する ことができる 客観的に習熟度を確認可能
モーションデータ再生 38
39 QR コード 読み込み 加速度データ計測 点数表示
40 コンテンツを準備 サーバに アップロード コンテンツ登録画面で登録
41 模倣する コンテンツを選択 コンテンツを模倣しながら加速度データ取得 サーバに加速度データを送信 サーバで類似度を計算し表示
42 閲覧したい コンテンツを選択 コンテンツ再生 コメントを書き込む 行動情報取得
43 100 類似度の点数の分布 0 20 40 60 80 体 常に体 ゆっくり体 時々手 常に手 ゆっくり手 時々
1. 3 軸加速度データが行動種別と正確に対応付けられている 2. 行動の記録に使用される携帯情報端末の取り付け位置が明確に記録されている 3. ユーザが簡単にいつでも, どこでも行動情報の作成を行える 4. 大規模に行動情報を収集できる 5. ユーザが本システムを繰り返し使用したくなるような, 動機付けがされている 6. ユーザのニーズに応じて対応できる拡張性 44
45 3 軸加速度センサを搭載した携帯情報端末 と Web サイトを利用した行動情報収集システム 携帯情報端末で計測した 3 軸加速度データと 自分の動きを撮影した動画像から成るコンテンツを用意し アップロードすることで それらを Web サイトで共有 ユーザは 模倣者 提供者 閲覧者に分類され それによって メリットが生まれる 動画像 インターネット 3 軸加速度データ
46 提供者 コンテンツに対する評価 優越感 さらなる評価への意欲 模倣者 提供者の行動を習得する達成感 閲覧者 娯楽的楽しさ 評価することで一体感の向上
47