Computer Security Symposium 2018 22-25 October 2018 DTW 1 2 Microsoft Kinect 3 DTW 6 145 5 45 Kinect DTW 1. [1] Muaaz [5] DTW [2][3] [2] 2 10 4 ( ) 0.25 1 Graduate School of Advanced Mathematical Sciences, Meiji University 2 School of Interdisciplinary Mathematical Science, Meiji University [3] 3 Dynamic Time Warping(DTW)[4] DTW DTW 31 5 0.03 [3] DTW (HipLeft/Right) DTW 0.8(m/ ) (HandTipLeft/Right) 3.7(m/ ) 1/4 (FootLeft/Right) 4.0(m/ ) 1/5 5 c 2018 Information Processing Society of Japan - 1 -
1 Muaaz[5] [2] [3] 1 1-36 1-24 1-24, DTW DTW DTW 35 10 31 145 0.13 0.25 0.060 0.048 () ( ) ( 1 ) ( a ) [3] ( b ) DTW (SD) ( c ) ( 2 ) DTW [5] ( 3 ) DTW 145 1 [3] n = 31 0.036 n = 145 0.060 2. 2.1 DTW[4] DTW(Dynamic Time Warping) 2 n p n q 2 P = (p 1, p 2,..., p np ) Q = (q 1, q 2,..., q nq ) DTW d(p, Q) d(p, Q) = f(n P, n Q ) f(i, j) f(i, j) = p i q j + min ( f(i, j 1), f(i 1, j), f(i 1, j 1) ), f(0, 0) = 0, f(i, 0) = f(0, j) =. 2.2 Muaaz [5] Android 1 1 DTW 50% DTW zero-effort attack minimal-effort attack 3. 3.1 DTW 3 DTW [3] 3 1 l t a l (t) a c (t) r r l (t) = a l (t) a c (t) DTW 3 1 xyz 3 MD-DTW(Multi-Dimensional Dynamic Time Warping)[6] r l (t) DTW d l c DTW d l1,..., d lc 3.2 DTW 6 ( 1 ) ( a ) [3] ( b ) DTW (SD) ( c ) ( d ) SD c 2018 Information Processing Society of Japan - 2 -
( 2 ) DTW [5] ( 3 ) DTW 3.2.1 DTW [3] DTW l DTW d l D euc l m D euc = d 2 l + d2 m D euc θ euc 3.2.2 DTW 1/ l m E l E m D eer ( ) 2 ( ) 2 dl dm D eer = + E l E m D eer θ eer 3.2.3 SD DTW (SD) l m SD σ l σ m D sd ( ) 2 ( ) 2 dl dm D sd = + σ l σ m D sd θ sd 3.2.4 SD 3.2.2 3.2.3 l m E l, E m DTW SD σ l, σ m D eer sd ( ) 2 ( ) 2 dl dm D eer = + E l σ l E l σ l D eer sd θ eer sd 3.2.5 Muaaz [5] c DTW DTW θ θ t 3.2.6 [7] DTW l m DTW ˆd l ˆ d m D m Dm 2 = 1 ( ) ( ) 1 ( ) 1 r d l d k l d m r 1 d m ( ) = 1 ( ) 1 ( 1 1 r d k l d m 1 r 2 r 1 = d2 l 2rd ld m + d 2 m k(1 r 2 ) k k = 2 r d l d m r = 0 D 2 m = (d 2 l + d2 m)/2 D euc D m 4. 4.1 ( 1 ) Kinect DTW d l d m ( 2 ) c c ( 3 ) n ( 4 ) 4.2 Kinect v2 Kinect v2 Microsoft NUI(Natural User Interface) 4.3 4.3.1 Kinect v2 2 1 t ( a 1 (t),..., a 25 (t) ) Kinect 0.9m Kinect 5.5m 1m 4.5m 2m 1 5 1 5 / 145 =760 1 2 ) c 2018 Information Processing Society of Japan - 3 -
表 2 項目 被験者の情報 期間 1 期間 2 1 実験日 2018 年 4 月 19 日 2018 年 7 月 26,27,30 日 実験時刻 12 時 40 分から 2 時間 11 時 00 分から 7 時間 人数 31 名 男女比 男性 26 名:女性 5 名 男性 77 名:女性 44 名 測定回数 5回/人 5回/人 年齢 18 51 歳 場所 本学教室 114 名 0.5 18 70 歳 0 本学体育館 -0.5 0.9m -1 0m Kinectの位置 1m 歩行終了 図 3 1 サイクルのスケルトンデータ a(t) の変化 4.5m 測定開始 2m 測定終了 5.5m 歩行開始 る 最大このときの閾値は FRR が 0.1 になるよう調整し 図 1 実験環境 たときのものを使用する なお c = 1 の場合は重み付け ベクトルを使用する 4 手法 Deuc, Deer, Dsd, Deer -1-0.5 0 は同じ結果となる sd では 0.5 4.3.5 最適な関節の選択 24 個の関節の DTW 距離全ての組に関して相関係数を求 める 全ての関節において 相関係数が最も高い関節が同 じグループに属するようにクラスタリングをして グルー プ内の代表的な関節のみを用いて識別を行う 4.4 実験結果 4 14.4.1 3D 測定データの統計量 収 集 し た ス ケ ル ト ン デ ー タ a(t) の 一 部 を 図 3 に 示 図 2 実験風景 す 24 個の関節のうち主要な 11 個 (Head SpineShoulる 期間 2 における実験の様子を図 2 に示す der ShoulderRight/Left HandTipRight/Left SpineBase 4.3.2 各特徴量統合手法の精度比較 HipRight/Left FootRight/Left) のみをプロットしている これは 24 歳男性の歩行であり 頭を左右に振りながら歩 に固定して Equal Error Rate() を調べる このとき いている特徴がわかる 時間は 1 サイクルに正規化してい 1.0 提案手法の 6 つの手法を用いて精度を計算する n = 145 閾値は F AR = F RR となるときの θ を用いて 6 つの統 る 本例は t1,..., t33 の 1.1 秒が 1 サイクルであった 測定したスケルトンデータの時系列データについて 各 んだ関節の組み合わせをそれぞれ 300 組計算した ベンチ フレームごとに SpineBase を原点とした相対座標に変換し マークとして 今回収集したデータを用いて [3] の手法を 各関節ごとに DTW 距離を計算した 各関節ごとの 0.8 合手法のそれぞれについて c = 8 のとき ランダムに選 適用した際の を求める DTW 距離の平均値 標準偏差を表 3 に示す 表 3 の統計 4.3.3 統合する関節の数 c の評価 量は全て 本人同士の DTW 距離と他人同士の DTW 距離 統合する関節の数 c についての変動を確かめるため 24 の両方を含んでいる 個の関節からランダムに c 個を抜き出し その関節のみを 各関節ごとの平均値 SD の相関を図 4 に示す 平均値 値 2.0 を境として 右上の動的な関節群と 左下の静的な 4.3.4 被験者数 n の変化による FAR の変動 関節群の 2 つに分かれている WristRight と WristLeft の 0.6 と SD の間に相関係数 0.99 の強い正の相関がみえる 平均 Density 用いて繰り返し を計算した 24 Cc は c の値によって は膨大になってしまうため 最大で 300 組に制限をした 本実験では 合計 145 名の被験者を集めた この被験 0.4 者からいくつかの部分集合を求めて FAR を評価すること で 被験者数 (規模) が精度に及ぼす影響を明らかにする ように 左右の関節はほぼ同一の平均値で分布している 4.4.2 各結合手法の精度 Deer sd と Dm の 本人同士 他人同士の結合結果のヒ ストグラムを図 5 図 6 に示す 図 5 の Deer つ変化させたときのそれぞれの関節ごとの FAR を計算す 図 6 の Dm では他人間が混在して分布しており それゆえ 0.2 c = 1 のときの Deuc について n を 5 から 145 まで 5 ず c 2018 Information Processing Society of Japan 4 sd と比べて S O
3 DTW Mean SD ElbowLeft 0.10 1.76 0.62 ElbowRight 0.11 1.73 0.64 ShoulderRight 0.11 0.95 0.38 ShoulderLeft 0.12 0.99 0.40 HandLeft 0.12 3.31 1.44 KneeRight 0.12 2.39 1.08 WristLeft 0.12 2.80 1.20 Neck 0.12 0.76 0.31 HandTipLeft 0.13 3.77 1.67 SpineShoulder 0.13 0.57 0.23 HipRight 0.13 0.88 0.36 FootRight 0.13 4.03 1.79 AnkleRight 0.13 3.33 1.64 HandRight 0.14 3.28 1.59 HipLeft 0.14 0.83 0.34 HandTipRight 0.14 3.70 1.83 WristRight 0.14 2.79 1.30 Head 0.14 1.35 0.55 KneeLeft 0.14 2.42 1.14 FootLeft 0.14 4.03 1.80 SpineBase 0.14 0.80 0.33 AnkleLeft 0.14 3.31 1.63 ThumbLeft 0.19 3.84 1.48 ThumbRight 0.19 3.79 1.57 Density Density 0.00 0.04 0.08 0.12 0.00 0.04 0.08 0.12 0 50 100 150 200 5 Distance Self Others c = 8 D eer sd 0 50 100 150 200 Distance Self Others SD 0.5 1.0 1.5 ShoulderRight ShoulderLeft HipRight HipLeft SpineBase Neck SpineShoulder ElbowRight ElbowLeft Head WristLeft KneeLeft KneeRight HandTipRight FootRight FootLeft HandTipLeft AnkleRight HandRight AnkleLeft ThumbRight HandLeft ThumbLeft WristRight 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4 Mean SD CDF 0.0 0.2 0.4 0.6 0.8 1.0 6 Euclid SD _SD Voting Mahalanobis c = 8 D m 0 0.02 0.05 0.08 0.11 0.14 c = 8 6 c 300 7 D eer sd 5 ROC 8 4 D sd 0.048 [3] 0.060 20% 7 (c = 8) 4 D euc D eer D sd D eer sd Voting D m 0.083 0.075 0.048 0.049 0.061 0.086 4.4.3 c c D eer 9 10 5 9 6 c c 2018 Information Processing Society of Japan - 5 -
5 c 6 FRR 0.0 0.1 0.2 0.3 0.4 0.5 0.06 0.10 0.14 0.18 9 0.05 0.10 0.15 0.0 0.1 0.2 0.3 0.4 0.5 8 FAR Euclid SD _SD Voting Mahalanobis ROC 1 3 5 7 9 11 13 15 17 19 21 23 Num. of Features c c D eer 1 3 5 7 9 11 13 15 17 19 21 23 10 Num. of Features c c 6 c 5 11 5 c c D eer sd 4.4.4 n n FAR 12 n 45 c D euc D eer D sd D eer sd Voting D m 1 0.136 0.136 0.136 0.136 0.134 0.210 2 0.119 0.116 0.101 0.100 0.143 0.136 3 0.108 0.104 0.086 0.084 0.162 0.124 4 0.104 0.098 0.080 0.078 0.097 0.116 5 0.097 0.092 0.073 0.071 0.109 0.105 6 0.095 0.090 0.070 0.067 0.080 0.102 7 0.093 0.087 0.068 0.066 0.086 0.103 8 0.091 0.086 0.066 0.064 0.069 0.098 9 0.089 0.084 0.065 0.062 0.074 0.094 10 0.087 0.082 0.063 0.061 0.066 0.093 11 0.086 0.081 0.062 0.060 0.068 0.092 12 0.085 0.081 0.062 0.059 0.064 0.089 13 0.085 0.080 0.061 0.059 0.064 0.086 14 0.084 0.080 0.061 0.058 0.064 0.084 15 0.084 0.079 0.059 0.057 0.060 0.083 16 0.084 0.079 0.060 0.057 0.062 0.081 17 0.084 0.079 0.059 0.056 0.058 0.080 18 0.083 0.079 0.059 0.056 0.060 0.077 19 0.083 0.078 0.059 0.055 0.056 0.075 20 0.082 0.078 0.058 0.056 0.058 0.074 21 0.082 0.078 0.058 0.055 0.054 0.074 22 0.081 0.078 0.057 0.054 0.056 0.074 23 0.080 0.078 0.055 0.056 0.053 0.073 24 0.077 0.080 0.060 0.054 0.055 0.070 0.091 0.087 0.068 0.066 0.077 0.096 0.06 0.10 0.14 11 Euclid SD _SD Voting Mahalanobis 5 10 15 20 Num. of Features c c 6 FAR n = 45 [3] 31 4.4.5 24 6 7 1: 2: 3: 4: 5: 5 KneeRight c 2018 Information Processing Society of Japan - 6 -
FAR 0.10 0.20 0.30 5 15 30 45 60 75 90 105 120 135 Subjects n 12 n FAR 6 AnkleLeft FootLeft 0.901 SpineBase SpineShoulder 0.973 WristLeft HandLeft 0.983 ElbowLeft WristLeft 0.877 WristRight HandRight 0.989 KneeRight KneeLeft 0.787 HipLeft SpineBase 0.959 Neck SpineShoulder 0.999 Head Neck 0.591 HandTipRight HandRight 0.995 HandTipLeft HandLeft 0.991 FootLeft AnkleLeft 0.901 SpineShoulder Neck 0.999 KneeLeft AnkleLeft 0.807 ShoulderRight HipLeft 0.667 FootRight AnkleRight 0.878 HandLeft HandTipLeft 0.991 HipRight SpineBase 0.954 ElbowRight WristRight 0.832 AnkleRight FootRight 0.878 ShoulderLeft HipRight 0.731 HandRight HandTipRight 0.995 ThumbLeft HandLeft 0.825 ThumbRight HandTipRight 0.897 KneeLeft 13 k DTW 3 4 (r = 0.71) 4 neck 1 ElbowL 4.5 10 n θ v c = 3 c = 4 FAR, FRR 14 15 c = 3 =0.081 c = 4 =0.096 c 14 FAR FRR c 15 FAR FRR n 11 D sd D euc [3] Euclid SD 11 D euc 5 c D eer sd D sd 3.7% SD 11 c 6 c = 5 12 n 45 FAR n DTW n 45 FAR n 45 5. 6 145 SD D eer sd c 5 n 45 ElbowLeft/Right, KneeRight, FootRight, Neck 20% c 2018 Information Processing Society of Japan - 7 -
7 1 WristL HandL HandTipL ThumbL ElbowL ElbowL 2 HandR HandTipR ElbowR WristR ThumbR ElbowR 3 FootL AnkleL KneeL KneeR KneeR 4 AnkleR FootR FootR 5 HipR SpineBase ShoulderL ShoulderR Head Neck SpineShoulder HipL Neck 1: ElbowLeft 0.5 1.0 1.5 2.0 2.5 3.0 3.5 1 2 3 4 5 6 7 0.5 1.5 2.5 3.5 0.5 1.5 2.5 3.5 2: ElbowRight 3: KneeRight 1 2 3 4 1 2 3 4 5 6 7 4: FootRight 0.5 1.0 1.5 2.0 2.5 3.0 3.5 1 2 3 4 0.5 1.0 1.5 0.5 1.0 1.5 5: Neck 13 0.0 0.1 0.2 0.3 0.4 Threshold Error Ratio 0 1 2 FAR FRR 14 c = 3 FAR, FRR 0.0 0.1 0.2 0.3 0.4 Threshold Error Ratio 0 1 2 3 FAR FRR 15 c = 4 FAR, FRR [1],, 32 pp. 1-4, 2018 [2] (CSS 2017), pp. 972-979 2017 [3] DTW DICOMO 2018 pp. 672-680 2018 [4] D. Berndt, J. Clifford, Using Dynamic Time Warping to Find Patterns in Time Series, The Third International Conference on Knowledge Discovery and Data Mining pp.359-370, 1944. [5] M. Muaaz, R. Mayrhofer, Smartphone-Based Gait Recognition: From Authentication to Imitation, IEEE Transactions on Mobile Computing, Vol. 16, pp. 3209-3221, 2017. [6] G. A. ten Holt, M. J. Reinders, E. A. Hendriks, Multi- Dimensional Dynamic Time Warping for Gesture Recognition, Thirteenth annual conference of the Advanced School for Computing and Imaging, 2007. [7] Mahalanobis, P. C., On the Generalized Distance in Statistics,, Proceedings of the National Institute of Sciences of India, Vol. 2(1) pp. 49-55, 1936. c 2018 Information Processing Society of Japan - 8 -