研究背景センサなどによって観測される情報の多くは時系列列データたくさんの時系列列データの中から有益な情報を取得しその内容を理理解する手法の開発が重要取得された情報をより抽象度度の高いレベルで表現時系列列データの振る舞いを言語で説明する手法の開発 HandRight_x HandRi

Size: px

Start display at page:

Download "研究背景センサなどによって観測される情報の多くは時系列列データたくさんの時系列列データの中から有益な情報を取得しその内容を理理解する手法の開発が重要取得された情報をより抽象度度の高いレベルで表現時系列列データの振る舞いを言語で説明する手法の開発 HandRight_x HandRi"

いおりえいさか
5 years ago
Views:

1 高次元の時系列列データの潜在意味解析に基づく言語化手法の開発小林林一郎郎お茶茶の水女女子大学

研究背景センサなどによって観測される情報の多くは時系列列データたくさんの時系列列データの中から有益な情報を取得しその内容を理理解する手法の開発が重要取得された情報をより抽象度度の高いレベルで表現

FootRight_y FootRight_z ShoulderCen ShoulderCen ter_x ter_y 0.380939-0.10587 3.020782 0.015284-0.78998 2.

199422-0.80493 3.003734 0.08577 0.551193 0.379711-0.10481 3.021493 0.014799-0.79251 2.972933 0.200795-0.

996885 0.085709 0.551523 0.380783-0.10587 3.021479 0.021336-0.7942 2.972367 0.197579-0.80354 2.996275 0.

551657 0.383713-0.10992 3.023785 0.017725-0.79528 2.971089 0.196955-0.80526 2.994971 0.085588 0.552148 0.

10845 3.023927 0.025987-0.79322 2.971295 0.199581-0.80747 2.996397 0.085767 0.552196 0.382782-0.10583 3.

2 研究背景センサなどによって観測される情報の多くは時系列列データたくさんの時系列列データの中から有益な情報を取得しその内容を理理解する手法の開発が重要取得された情報をより抽象度度の高いレベルで表現時系列列データの振る舞いを言語で説明する手法の開発 HandRight_x HandRight_y HandRight_z FootLeft_x FootLeft_y FootLeft_z FootRight_x FootRight_y FootRight_z ShoulderCen ShoulderCen ter_x ter_y データはです

3 研究目的センサによって取得した時系列列データの情報から有益な情報を取得しその内容を言語化する Kinect により観測された人の動作を説明する文の生成を行行うセンサ :MicroSoft 社製 Kinect カメラ ( 視覚情報 ) 表現対象 : 人の動作人と物とのインタラクション Pick up ball 3

4 研究の流流れ人の一連の動きの時系列データ取得処理 e d 中間表現へのラベル付け機械学習 c b a Kinect aeacada SAX テキストの収集バイグラムモデルの構築 INPUT 動作判別 up(left-hand) ドメイン適応による言語資源の補強テキスト生成言語生成モデル OUTPUT up(left-hand) ボールを持ち上げる 4

5 時系列列データの取得 l 人の動作データ l Kinect l 物体の動作データ l パーティクルフィルタ 5

6 データの圧縮処理理 Symbolic Aggregation approximation (SAX) 時系列列データの圧縮方法取得した時系列列データを文字列列に変換 [Lin, J. et al. 2003] SAX に動的計画法を適用しフレーム分割をする e d c b a eg.) 5 a,b,c,d,e フレーム分割平均値算出縦軸の分割 a eee aaa cc bbb dd aaaaaaaaa 文字への変換 6

7 動作部分抽出動作部分のデータ抽出全ての部位の xyz 座標において 3 つ前の文字と変わらなければ動きがないとみなす ( ヒューリスティックな知識識 ) 左手右手ボール x y z x y z x y z eeeeeeeeeeeeeeeeeeeeeeeeeeee cccccccccccccccccccccccccccc dddddddddddddddddddddddddddd fffffffeeeeeeeeeeffffffeeddd ccffgggggggggggggggffbbbbbbb eeeeeeeeeeeeeeeeeeeeeeeeeeee dddddddddddddddddddddddddddd eeeeeeeeeeeeeeeeeeeeeeeeeeee dddddddddddddddddddddddddddd 7

8 動作データの圧縮と選別動作データを機械学習に適した形に変換する SAX X:cccccbbcccccc Y:aaabbeeeeeeee Z:dccbbaaaabbbc X:cc Y:ee Z:cb X:0,0,0,0,-1,0,1,0,0,0,0,0 Y:0,0,1,0,2,0,0,0,0,0,0,0 Z:-1,0,-1,0,-1,0,0,0,1,0,0,1 X:0 Y:0 Z:-1 X:-1,1 Y:3 Z:-3,2 X:0 Y:0 Z:-1 X:-1,1 Y:3 Z:-3,2 8

9 中間表現 : 時系列列データの識識別中間表現 : 動作データと自然言語表現を結ぶ動作自体の表現中間表現 up(joint,null) down(joint,null) up(joint,object) down(joint,object) 動作 jointを上げる jointを下げる jointでobjectを持ち上げる jointでobjectを置く対数線形モデル L eft Right G reen hand hand Ball X:[0] L eft X:[- 1,1] Right X:[0] G reen Y:[0] hand Y:[4] hand Y:[0] Ball Z:[0] X:[- 1,1] Z:[- 3,2] X:[0] Z:[0] X:[- 1,1] up(right_hand.null) Y:[- 4] Y:[0] Y:[- 3] Z:[- 3,2] Z:[0] Z:[0] down(left_hand,green) 新しい動作データ Left Right Green hand hand Ball X:[-1,1] X:[0] X:[1] Y:[4] Y:[0] Y:[0] Z:[-3,2] Z:[0] Z:[0] up(left_ hand,null) 9

10 バイグラムモデルによる文生成テキスト収集動画中に映る人の各動作について自由表記したものバイグラムの構築形態素解析器 MeCab を用いて単語に分ける動的計画法 : 全体の尤度度が最も高い組み合わせの探索索高い所へ下げる e BOS 右手を上から下に下ろす EOS e-19 10

11 仮想の単語の導入仮想の単語 null : すべての文の長さを揃える単語数に束縛されない言語生成モデルを構築できる text 1 左手で緑色のボールを持ち上げる text 2 ボールを持ち上げる null4 null5 null6 null7 text 3 左手でボールを持ち上げる null6 null7 最大長 null 11

12 文長によらない言語生成 12 右手を高い所へ下げるから下に下ろす null null BOF 語で打ち切り 1.28e e-34 null 上 null

13 実験 : 言語生成推定する関節追跡対象の物体肩の中心右肘左肘右手左手緑色のボール対象動作右手を上げる / 下げる左手を上げる / 下げる両手を上げる / 下げるボールを持ち上げる / 置くテストデータ左手を上げる右手を上げる両手を下げるボールを取るボールを置く両手を上げる右手を下げる左手を下げる動作識識別器動画数 :21 各動画に映る動作数 :6 ~ 8 抽出された全動作データ数 :153 交差検定 : 正答率率率 90.9% 13

実験結果中心左肘左手 x 0 0-2,1 y 0 0 5 z 0 0-1 中心左肘左手 x 0 0 0 y 0 0 0 z 0 0 0 中心左肘左手 x 0 0 0 y 0 0-5 z 0 0 0 中心左肘左手 x 0 0 0 y

0 0 y 0 0-4 z 0 0,1 右肘右手ボ x 0 0 0 y 0 0 0 z 0 0 0 右肘右手ボ x 0 3,-2 0 y 0 4 0 z 0 0 0 右肘右手ボ x 0 2,-2 0 y 0-4 0 z 0 0 0

0 右肘右手ボ x 0 0 0 y 0 0 0 z 0 0 0 up((lefthand),null) down ((lefthand,righthand),nu ll) down ((righthand),green) down

14 実験結果中心左肘左手 x 0 0-2,1 y z 中心左肘左手 x y z 中心左肘左手 x y z 中心左肘左手 x y z 中心左肘左手 x y z 中心左肘左手 x y z 中心左肘左手 x y z 中心左肘左手 x y z 0 0,1 右肘右手ボ x y z 右肘右手ボ x 0 3,-2 0 y z 右肘右手ボ x 0 2,-2 0 y z 右肘右手ボ x y z 右肘右手ボ x y z 右肘右手ボ x y z 右肘右手ボ x y z 右肘右手ボ x y z up((lefthand),null) down ((lefthand,righthand),nu ll) down ((righthand),green) down ((righthand),null) up((righthand),null) up ((righthand),green) up ((lefthand,righthand),nu ll) down ((lefthand),null) 14

15 実験結果 up ((lefthand),null) up ((righthand),null) down ((lefthand,righthand),nu ll) up ((righthand),green) down ((righthand),green) up ((lefthand,righthand),nu ll) down ((righthand),null) down ((lefthand),null) 15

16 ドメイン適応 ( 転移学習 ) による言語資源の拡充言語資源の拡充最小二乗法を用いた Zero- shot 学習実験 16

17 言語資源の拡充ー目的ー一度度も説明したことのない事象は説明できない... 語彙文法言語資源が不不足 17

18 言語資源の拡充ー目的ー一度度も説明したことのない事象は説明できない... 転移学習による言語資源の拡充語彙文法言語資源が不不足 18

19 言語資源の拡充ー目的ー一度度も説明したことのない事象は説明できない... 説明できる!! 転移学習による言語資源の拡充語彙文法言語資源が不不足 19

20 ドメイン適応 ( 転移学習 ) による言語資源の拡充言語資源の拡充最小二乗法を用いた Zero- shot 学習実験 20

21 Zero- shot 学習 [Larochelle+2008] A 笑顔 B C 笑顔でない 21

22 Zero- shot 学習 [Larochelle+2008] A 笑顔 B? C 笑顔でない 22

23 Zero- shot 学習 [Larochelle+2008] A 笑顔 B A よりは笑顔でなく C よりは笑顔 C 笑顔でない Zero-shot 学習を行行うと一度度も判別したことのないカテゴリを判別可能に 23

24 実験設定実験データの組み合わせ構造 24

25 動作の意味的な構成に基づく Zero-shot 学習意味的な構成上げる動作ある動作に対して言語資源がないときを想定下げる Zero- shot 学習による言語資源の拡充手足手足手を上げる足を上げる手を下げる足を下げる 25

26 最小二乗推定を用いた Zero- shot 学習 Φ = min Ψ φ $ A $ Φ 2 = A $ + Ψ $ 動作意味的な構成上げる下げる手足手足手を上げる足を上げる手を下げる足を下げる手を上げる単語 1 単語 2 単語 3 単語 Ψ 足を上げる手を下げる

27 最小二乗推定を用いた Zero- shot 学習 Φ = min Ψ φ $ A $ Φ 2 = A $ + Ψ $ 動作意味的な構成上げる下げる手足手足手を上げる足を上げる手を下げる足を下げる上げる下げる手足 A 手を上げる足を上げる手を下げる単語 1 単語 2 単語 3 単語 Ψ 手を上げる足を上げる手を下げる

28 最小二乗推定を用いた Zero- shot 学習 Φ = min Ψ φ $ A $ Φ 2 = A $ + Ψ $ 動作意味的な構成 Φ 単語 1 単語 2 単語 3 単語 4 上げる上げる下げる下げる手手足手足足手を上げる足を上げる手を下げる足を下げる上げる下げる手足 A 手を上げる足を上げる手を下げる単語 1 単語 2 単語 3 単語 Ψ 手を上げる足を上げる手を下げる

29 言語モデルの Zero- shot 学習動作カテゴリ ( 観測動画 ) に対するユニグラムバイグラムの言語資源 0 Ψ 動作カテゴリ動作要素の関係 0 A 29

30 言語モデルの Zero- shot 学習動作カテゴリ ( 観測動画 ) に対するユニグラムバイグラムの言語資源 0 削除データ Ψʼ 動作カテゴリ動作要素の関係 0 Aʼ 削除データ対応するデータを削除動作カテゴリ両手を横から上に上げる ( 学習データ ) を全て削除削除データ 30

31 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 = 要素 A 0 bi-gram(or uni-gram) 要素 Φ Aʼ とΨʼ から ^ Φを推定 ^ ΦとAから ^ Ψを推定 31

32 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 削除要素 A 0 Aʼ とΨʼ から ^ Φを推定 ^ ΦとAから ^ Ψを推定 32

33 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) 0 Ψʼ Ψ 要素 Aʼ 0 Aʼ とΨʼ から ^ Φを推定 ^ ΦとAから ^ Ψを推定 33

34 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 = 要素 A 0 bi-gram(or uni-gram) 要素 Φ Ψʼ Aʼ Aʼ とΨʼ から ^ Φを推定 bi-gram(or uni-gram) Ψʼ 0 ^ ΦとAから ^ Ψを推定 34

35 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 = 要素 A 0 bi-gram(or uni-gram) 要素 Φ Ψʼ Aʼ Aʼ とΨʼ から ^ Φを推定一般逆行行列列 + Aʼ bi-gram(or uni-gram) Ψʼ 0 ^ ΦとAから ^ Ψを推定 35

36 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 = 要素 A 0 bi-gram(or uni-gram) 要素 Φ Ψʼ Aʼ Aʼ とΨʼ から ^ Φを推定 ^ ΦとAから ^ Ψを推定一般逆行行列列 + Aʼ bi-gram(or uni-gram) bi-gram(or uni-gram) Ψʼ = ^ 要 Φ 0 素 36

37 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 = 要素 A 0 bi-gram(or uni-gram) 要素 Φ Ψʼ Aʼ Aʼ とΨʼ から ^ Φを推定 ^ ΦとAから ^ Ψを推定一般逆行行列列 + Aʼ bi-gram(or uni-gram) bi-gram(or uni-gram) Ψʼ = ^ 要 Φ 0 素要素 A 0 bi-gram(or uni-gram) 要 ^ 素 Φ 37

38 本研究における Zero- shot 学習の流流れ言語資源を一部取り除く bi-gram(or uni-gram) Ψ 0 = 要素 A 0 bi-gram(or uni-gram) 要素 Φ Ψʼ Aʼ Aʼ とΨʼ から ^ Φを推定 ^ ΦとAから ^ Ψを推定一般逆行行列列 + Aʼ bi-gram(or uni-gram) ^ Ψ 0 bi-gram(or uni-gram) bi-gram(or uni-gram) Ψʼ = ^ 要 Φ 0 素 = 要素 A 0 bi-gram(or uni-gram) 要 ^ 素 Φ 38

39 ドメイン適応 ( 転移学習 ) による言語資源の拡充言語資源の拡充最小二乗法を用いた Zero- shot 学習実験 39

40 データ 40

41 データ総計 9 記述要素総計 20 行行為 12 文 / 行行為 4 記述要素含まれる 41

42 データ左手を前から上げる 42

43 実験概要と設定目的削減の程度度にあわせて正解に近い文を作れるかを検証削減の条件 ❶full( 言語資源を全て使用 ) ❷three quarters(4 分の3 使用 ) ❸half( 半分を使用 ) ❹min( 文生成が可能な最低限の数を使用 ) 43

44 削減部分 ❶- ❹ ❶full( 言語資源を全て使用 ) ❷three quarters(4 分の 3 使用 ) 20/20 15/20 ❸half( 半分を使用 ) ❹min( 文生成が可能な最低限の数を使用 ) 10/20 3/20 44

45 削減部分 ❶- ❹ ❶full( 言語資源を全て使用 ) 20/20 ❷three quarters(4 分の 3 使用 ) 15/20 上げる前から手左上げる横から手両下げる横から足右 ❸half( 半分を使用 ) ❹min( 文生成が可能な最低限の数を使用 ) 10/20 3/20 45

46 実験結果表 1: 右手を上にあげるという動作に対する削減された言語資源の下での生成文動作 ❶ ❷ ❸ ❹ 生成文右手, を, あげる,, null4, null5, null6, null7, null8, null9, null10, null11, null12, null13, null14 右手, を, あげる,, null5, null6, null7, null8, null9, null10, null11,null12, null13, null14, EOS 右手, を, 上, に, あげる,, null4, null5, null6, null7, null8, null9, null10, null11, null12 右手, を, あげる,, null4, null5, null6, null7, null8, null9, null10, null11,null12,null13,null14 右手, を, あげる,, null5, null6, null7, null8, null9, null10, null11,null12, null13, null14,eos 右手, を, 前, に, あげる,, null4, null5, null6, null7, null8, null9, null10, null11, null12 右手, を, 下げる,, null4, null5, null6, null7, null8, null9, null10, null11, null12, null13, null14 右手, を, 下げる,, null5, null6, null7, null8, null9, null10, null11, null12, null13, null14, EOS 右手, を, 上, に, あげる,, null4, null5, null6, null7, null8, null9, null10, null11, null12 左手, を, あげる,, null4, null5, null6, null7, null8, null9, null10, null11, null12, null13, null14 左手, を, あげる,, null5, null6, null7, null8, null9, null10, null11, null12, null13, null14, EOS 左手, を, 上, に, 上げる,, null4, null5, null6, null7, null8, null9, null10, null11, null12 ❶full ❷three quarters ❸half ❹min 46

47 言語資源の転移に基づく生成文の精度度 ❶full ❷three quarters ❸half ❹min 47

48 まとめ動画像中の人の動作を表現する確率率率的言語生成の枠組みの提案高次元の時系列列データの圧縮によるパターンの識識別バイグラムを用いた自然言語文生成 Zero- shot 学習による言語資源の拡充転用可能な言語資源の量量に応じた精度度で自然言語文が生成されることを確認した 48

49 今後の課題構文制約などの知識識を導入する中間表現とバイグラムモデルとの対応付けをより柔軟にする一連の動作から自然言語文によって説明される動作を区切切る 49

50 謝辞本研究を遂行行するにあたり研究助成の支援をいただけましたことを深謝いたします 50