sigmus-2009-yoshii.dvi

Size: px

Start display at page:

Download "sigmus-2009-yoshii.dvi"

みそらうすい
5 years ago
Views:

1 IPSJ SIG Technical Repor MusicCommenaor: 1 1 MusicCommenaor MusicCommenaor: A Compuaional Sysem of Generaing Music-Synchronized Commens Kazuyoshi Yoshii 1 and Masaaka Goo 1 This paper presens a sysem called MusicCommenaor ha suggess suiable commens for appropriae emporal posiions in a music clip. Recenly, an online video sharing service in which users can provide commens for emporal evens occurring in video clips no for enire clips has gained a lo of populariy. We focus on musical audio signals included in video clips of music performances and propose a probabilisic model ha joinly generaes acousic feaures and commen feaures. The model can be rained by using many music clips and heir corresponding commens. Given a new clip as inpu, he sysem hen deermines appropriae emporal posiions of commens and esimaes heir conen and lengh. Finally, commen senences are generaed by aking word concaenaions ino accoun as language consrains. Our experimenal resuls showed ha commen accuracy was improved when he sysem used no only acousic feaures of an inpu clip bu also users commens in he clip. 1. 1) MusicCommenaor 1 (AIST) 1 c 2009 Informaion Processing Sociey of Japan

2 IPSJ SIG Technical Repor 2) MusicCommenaor MusicCommenaor Whiman 3) Turnbull 4) Berin-Mahieux AdaBoos 5) 2 6),7) 6) 3. N n (1 n N) (MFCC) MFCC n 28 a Bag-of-Words Bag-of-Words Mecab 8) V /3 n Bag-of-Words w w,v = {w,1,,w (1 v V ) v n d,v } 2 c 2009 Informaion Processing Sociey of Japan

3 IPSJ SIG Technical Repor Bag-of-Words Mecab n l o = {a, w,d,l } n T n O O O = {o 1,, o T n } O = {O (1),, O (N) } 4. MusicCommenaor 1 MusicCommenaor (1) (2) (3) 1 2 (HMM) K n z = {z,1,,z,k } z K 1 0 Z = {z 1,, z T n } Z = {Z (1),, Z (N) } θ = {π, A, φ} π {π 1,,π K} 楽曲 1 楽曲 2 楽曲 N コメントを形態素解析音楽音響信号これすごくうまい美しい演奏に感動した時刻に対応付けられたユーザコメントユニグラム学習用の楽曲群特徴量抽出音響的特徴量とコメント特徴量の確率的同時生成モデル 3 適応ユニグラム 1 トライグラム汎用言語モデル学習フェーズバイグラムアウトライン部アセンブル部システムにコメントさせたい楽曲すでに付与されたユーザコメント美しいこれが生起する確率大これは美しすぎる音楽音響信号コメントの時刻と内容を決定すごい感動するが生起する確率大コメント文を生成生成フェーズ MusicCommenaor すごく感動した π k p(z ( ) 1,k =1) A {A jk 1 j, k K}, A jk p(z ( ) =1 z( ),k 1,j =1). φ HMM O Z φ b k k o b k (o ) 4 {a, w,d,l } b k (o )=b a,k (a ) b w,k (w ) b d,k (d ) b l,k (l ) (1) b a,k HMM (GMM) GMM M m (1 m M) g a,k,m μ a,k,m Σ a,k,m b w,k bag-of-words p k = {p k,1,,p k,v } b d,k 3 c 2009 Informaion Processing Sociey of Japan

4 IPSJ SIG Technical Repor μ d,k Σ d,k b l,k μ l,k Σ l,k k φ k, φ k = {{g a,k,m, μ a,k,m, Σ a,k,m 1 m M}, p k,μ d,k, Σ d,k,μ l,k, Σ l,k } K φ = {φ 1,, φ K } 4.2 EM Z θ E M [ N Tn ] Tn p(o, Z θ) = p(z 1 π) p(z z 1 ) p(o z ) (2) n=1 =2 p(z 1 π) = K k=1 πz k Q Q(θ θ old )= p(z O, θ old )logp(o, Z θ) (3) Z 1,k θ old E γ(z ) p(z O, θ old ), ξ(z 1, z γ(y,k ) p(y,k O, θ old) =p(y,k z =1 γ(z ) z γ(z,k ) z,k 1 K ξ(z ) p(z 1, z O, θ old ) (4) )γ(z ) (5) =1 γ(z ) 1, z ) z 1 z 1 K K Forward- Backward y,k GMM b a,k a z z,k M {y,k,1,,y,k,m } p(y,k z =1 K M =1 y,k,m M Q Q(θ θ old )= N K n=1 k=1 γ(z 1,k )logπ k + N T n K K n=1 =2 j=1 k=1 T N n K + n=1 =1 k=1 ξ(z 1,j,z,k )loga jk ) γ(z,k )logp(o φ k ) (6) ( n) z 1 混合ガウス分布 (GMM) メル周波数ケプストラム係数 (MFCC) とエネルギー上記の動的変動成分 a 2 音響的特徴量 log p(o 楽曲 n における共有状態の遷移 z ガウス分布ガウス分布多項分布 ( n) z + 1 コメント密度 d 平均コメント長 l 平均 Bag-of-Words 素性 w コメント特徴量 HMM φ k ) = logb a,k (a )+logb w,k (w )+logb d,k (d )+ log b l,k (l ) n=1 π k = γ(z 1,k ) N K n=1 k=1 γ(z 1,k ), A n=1 =2 jk = ξ(z 1,j,z,k ) N K n=1 l=1 =2 ξ(z 1,j,z,l ), n=1 n=1 =1 γ(y,k,m ) =1 γ(y,k,m )a g a,k,m = M n=1 =1 m=1 γ(y,k,m ), μ a,k,m = n=1 =1 γ(y,k,m ), n=1 =1 Σ a,k,m = γ(y,k,m )(a μ a,k,m ) 2 N n=1 =1 n=1 =1 γ(y,k,m ), p k = γ(z,k )w n=1 =1 γ(z,k ), n=1 =1 μ d,k = γ(z,k )d n=1 =1 n=1 =1 γ(z,k ), Σ d,k = γ(z,k )(d μ d,k ) 2 n=1 =1 γ(z,k ), n=1 =1 μ l,k = γ(z,k )l n=1 =1 n=1 =1 γ(z,k ), Σ l,k = γ(z,k )(l μ l,k ) 2 n=1 =1 γ(z,k ) (7) 4.3 a = {a 1,, a T } w = {w 1,, w T } d = {d 1,,d T } l = {l 1,,l T } T 4 c 2009 Informaion Processing Sociey of Japan

5 IPSJ SIG Technical Repor z = {z 1,, z T } p(o φ k )=b a,k (a ) k z,k =1 ˆd b d,k ˆd = μ d,k ŵ b w,k p k ŵ V 3 (1) (2) (3) ŵ ŵ 3 ŵ ŵ ŵ 1 α 1 α α ŵ ĉ ˆl {ĉ, ˆl } =argmax c,l p(c,l; θ k ) = argmax p(c l; θ k )p(l; θ k ) (8) c,l 3 縮退ユニグラムで定義された単語とその活用形 ( 活用単語の場合 ) その他の単語汎用ユニグラム適応ユニグラム汎用ユニグラムの生起確率を縮退ユニグラムの生起確率で置換総和が α になるように正規化 α 1 α なにもしない総和が 1-α になるように正規化 p(l; θ k ) k l b k,l p(c l; θ k ) l c ĉ, l argmaxc p(c l; θ k ). HMM SilB SilE c ( l ) p(c l) =p(w 1 SilB) p(w i w i 2,w i 1) p(sile w l 1,w l ) (9) i=2 w i i w 0 SilB p(w i w i 2,w i 1) p(w i w i 2,w i 1) β p (w i w i 2,w i 1)+β b p b (w i w i 1)+β up u(w i) β β b β u p(w 1 SilB) p(w 1 SilB) β b p b (w 1 SilB)+β up u(w i) p(c l) p(c l) 1 l V = c 2009 Informaion Processing Sociey of Japan

6 IPSJ SIG Technical Repor 10 (%) 8 F 値 (a) コメント内容の評価演奏してみた弾いてみた 80 (%) 65 0% 25% 50% 75% 0% 25% 50% 75% コメント対象となる楽曲中でシステムが参考にしたユーザのコメント F 値 (b) コメント時刻の評価弾いてみた演奏してみた V = [khz] PCM WAV 256 [ms] K = 200 M =8,α =0.9 β = β b = β u = % 25% 50% 75% F (= 2PR ) P R P +R 5 V # P = #, R = # (10) # % F 10% F 70% 25% F 40% 6. MusicCommenaor HMM HMM HMM MFCC : CresMuse (JST CREST). 1) : hp:// 2) : II. InerCommunicaion No.65 Summer 2008, Vol.17, No.3, NTT, pp.90-95, ) Whiman, B. and Rifkin, R.: Musical Query-by-Descripion as a Muliclass Learning Problem. MMSP, pp , ) D. Turnbull, e al.: Semanic Annoaion and Rerieval of Music and Sound Effecs. IEEE Trans. on ASLP, Vol.16, No.2, pp , ) T. Berin-Mahieux, e al.: Auoagger: A Model for Predicing Social Tags from Acousic Feaures on Large Music Daabases. JNMR, Vol.37, No.2, pp , ), :., Vol.48, No.1, pp , ) X. Amariain, e al.: The CLAM Annoaor: A Cross-plaform Audio Descripors Ediing Tool. ISMIR, pp , ) T. Kudo, e al.: Applying Condiional Random Fields o Japanese Morphological Analysis. EMNLP, c 2009 Informaion Processing Sociey of Japan

N cos s s cos ψ e e e e 3 3 e e 3 e 3 e

3 3 5 5 5 3 3 7 5 33 5 33 9 5 8 > e > f U f U u u > u ue u e u ue u ue u e u e u u e u u e u N cos s s cos ψ e e e e 3 3 e e 3 e 3 e 3 > A A > A E A f A A f A [ ] f A A e > > A e[ ] > f A E A < < f ; >