WISS 2018 [2 4] [5,6] Query-by-Dancing Query-by- Dancing Cao [1] OpenPose 2 Ghias [7] Query by humming Chen [8] Query by rhythm Jang [9] Query-by-tapp

Size: px

Start display at page:

Download "WISS 2018 [2 4] [5,6] Query-by-Dancing Query-by- Dancing Cao [1] OpenPose 2 Ghias [7] Query by humming Chen [8] Query by rhythm Jang [9] Query-by-tapp"

れいがまきい
5 years ago
Views:

1 Query-by-Dancing: WISS Query-by-Dancing Query-by-Dancing 1 OpenPose [1] Copyright is held by the author(s). DJ DJ DJ

2 WISS 2018 [2 4] [5,6] Query-by-Dancing Query-by- Dancing Cao [1] OpenPose 2 Ghias [7] Query by humming Chen [8] Query by rhythm Jang [9] Query-by-tapping Maezawa [10] Query-by-conducting Query-bydancing OpenPose [1] OpenPose x x max x min y y max y max A o P d P c (X mean, Y mean ) D c R = Ao D c

Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム図 1. UI 画面図 4. 関節角度の算出図 2.

ダンサーの検出準の 0 度として時計回りに角度を算出するさらにこれら関節角度を図 4 に示すように θx と θy の 2 つの次元に分解し i

I i 番目のビデオのフレーム数を N とした骨格情報が検出されなかった関節角度は 0 を代入した次にモーションを考慮するために

(n 1)) (1) v 2 θ (n) = abs(v θ (n) v θ (n 1)) (2) 踊っているダンサーとして選択した (図 3). 3.1.2

動作が重要であると考えるまずポーズを考慮するために OpenPose によって推定された骨格情報から得られる 17 個の関節角度すべてを 1 フレー

3 Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム図 1. UI 画面図 4. 関節角度の算出図 2. システム概要図 3. ダンサーの検出準の 0 度として時計回りに角度を算出するさらにこれら関節角度を図 4 に示すように θx と θy の 2 つの次元に分解し i 番目の動画の n 番目のフレームにおける関節角度を 34 次元の特徴ベクトル vθ (n)(1 n N )(1 i I) で表すデータベースのビデオ総数を I i 番目のビデオのフレーム数を N とした骨格情報が検出されなかった関節角度は 0 を代入した次にモーションを考慮するためにフレーム間の関節角度の変化に焦点を当てる v θ (n) と v 2 θ (n) を次式に基づいて算出する: v θ (n) = abs(vθ (n) vθ (n 1)) (1) v 2 θ (n) = abs(v θ (n) v θ (n 1)) (2) 踊っているダンサーとして選択した (図 3) 特徴量動画間のダンス動作類似度を計算するためにフレームごとに 3 つ特徴量を抽出するここでダンスを特徴付ける要素としてポーズ姿勢とモーション動作が重要であると考えるまずポーズを考慮するために OpenPose によって推定された骨格情報から得られる 17 個の関節角度すべてを 1 フレームごとに計算する角度は画面垂直方向上側を基 x の各要素の絶対値を含むベクトルを abs(x) とした以上 3 つの特徴量を 102 次元の 1 つのベクトル vα (n) にまとめた検索対象のすべての動画で計算したベクトルの各要素の平均と分散を求めそれらを用いて vα (n) の各要素が平均 0 分散 1 になるように正規化を行なった

WISS 2018 4 2 100 82 Hip-hop Break Pop Waack 4 1 25 5. 3.

4 WISS Hip-hop Break Pop Waack v α (n) in (1 n N in ) (1 i I) i (1 m N ) d(vα in (n), v α (m)) ( 5) x y d(x, y) N IN N : R α = 1 N in N N in N d(v in α (n), v α (m)). (3) R α tf-idf : 1 N N d(v in W α (n) = α (n), v α (m)) max { 1 N d(v i I N in α (n), v α (m)}. (4) W α (n) 30 W α(n) 30 : N in [W U α = α (n) N d(vα in (n), v α (m))]. N in N (5) U α : 12 ( 4 8 ) ADD ADD DTW DTW 4. vα(n) i ADD. (3, 4, 5) α (m)) Dynamic Time Warping d(v in α (n), v 6 DTW 15 Waack Waack (F (3,236) = 4.21, p <.05) LSD ADD (p <.05) ADD 4.2 : 12 ( 6 6 ) Waack Hip-hop Pop Break 4 I Waack Break 13 Break Pop Hip-hop 16

5 Query-by-Dancing: : : : p< : p< ADD( ) ADD( ) DTW( ) DTW( ) 1.0 Waack Break Hip-hop Pop : I: II( ) 4 ADD 5 I 5 6 (F (3,236) = 3.92, p <.05) LSD Waack Hip-hop Break Hip-hop Break Pop (p <.05) Hip-hop Break 2 1 Hip-hop Hip-hop Middle Hip-hop Style Hip-hop Jazz Hip-hop Girls Hiphop 2 Middle Hip-hop Break Break Middle Hip-hop 2 Break Pop Break Waack. 5 Query-by-Dancing 5.1

6 WISS Query-by-Dancing JST ACCEL (JPMJAC1602) [1] Z. Cao, T. Simon, S.E. Wei, and Y. Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition, [2] W. Chai and B. Vercoe. Using user models in music information retrieval systems. In Proceedings of the 1st International Society of Music Information Retrieval, pp , [3] K. Hoashi, K. Matsumoto, and N. Inoue. Personalization of user profiles for content-based music retrieval based on relevance feedback. In Proceedings of the 11th ACM international conference on Multimedia, pp , [4] K. Hoashi, H. Ishizaki, K. Matsumoto, and F. Sugaya. Content-based music retrieval using query integration for users with diverse preferences. In Proceedings of the 8th International Society of Music Information Retrieval, pp , [5] SoundHound Inc. Soundhound. soundhound.com/soundhound (accessed June 1, 2018). [6] Shazam Entertainment Ltd. Shazam. (accessed June 1, 2018). [7] A. Ghias, J. Logan, D. Chamberlin, and B. C. Smith. Query by humming - musical information retrieval in an audio database. In Proceedings of the 3rd ACM international conference on Multimedia, pp , [8] J.C.C. Chen and A.L.P. Chen. Query by rhythm: an approach for song retrieval in music databases. In Proceedings of the 8th International Workshop on Research Issues in Data Engineering: Continuous-Media Databases and Applications, pp , [9] J.S.R. Jang, H. R. Lee, and C. H. Yeh. Query by tapping: A new paradigm for content-based music retrieval from acoustic input. In Proceedings of the 2nd Pacific-Rim Conference on Multimedia, pp , [10] A. Maezawa, M. Goto, and H. G. Okuno. Query-by-conducting: An interface to retrieve classical-music interpretations by realtime tempo input. In Proceedings of the 11th International Society of Music Information Retrieval, pp , 2010.

IPSJ SIG Technical Report Vol.2017-MUS-116 No /8/24 MachineDancing: 1,a) 1,b) 3 MachineDancing MachineDancing MachineDancing 1 MachineDan

IPSJ SIG Technical Report Vol.2017-MUS-116 No /8/24 MachineDancing: 1,a) 1,b) 3 MachineDancing MachineDancing MachineDancing 1 MachineDan MachineDancing: 1,a) 1,b) 3 MachineDancing 2 1. 3 MachineDancing MachineDancing 1 MachineDancing MachineDancing [1] 1 305 0058 1-1-1 a) s.fukayama@aist.go.jp b) m.goto@aist.go.jp 1 MachineDancing 3 CG