情報処理学会研究報告図 1 LYRICS RADAR の歌詞検索用インタフェースの表示例実際にはポピュラー音楽 (J-POP) を用いて実装しているが本図では歌詞の例示のために RWC 研究用音楽データベースの楽曲 (RWC-MDB-P-2001 No.30) を用いたる動作というトピッ

Size: px

Start display at page:

Download "情報処理学会研究報告図 1 LYRICS RADAR の歌詞検索用インタフェースの表示例実際にはポピュラー音楽 (J-POP) を用いて実装しているが本図では歌詞の例示のために RWC 研究用音楽データベースの楽曲 (RWC-MDB-P-2001 No.30) を用いたる動作というトピッ"

そよひでやま
5 years ago
Views:

1 LYRICS RADAR: 1,a) LYRICS RADAR 5 1. [1] [2][3][4][5] [6] Web 1 Waseda University 2 National Institute of Advanced Industrial Science and Technology (AIST) a) joudanjanai-ss akane.waseda.jp Web [7] LyricSynchronizer[8] VocaRefiner[9] [10] LYRICS RADAR 4597 c 2014 Information Processing Society of Japan 1

2 情報処理学会研究報告図 1 LYRICS RADAR の歌詞検索用インタフェースの表示例実際にはポピュラー音楽 (J-POP) を用いて実装しているが本図では歌詞の例示のために RWC 研究用音楽データベースの楽曲 (RWC-MDB-P-2001 No.30) を用いたる動作というトピックにおける舞う後者は花びらや雪などの軽い物体の動きというトピックにおける舞うとして使われれていると考えられるただし本研究ではこうした個別のトピックではなくデータベース中のすべての歌詞に共通する代表的なトピック 5 種類を求めを検索することもできる 2. 歌詞の潜在的な意味をクエリとして検索を行うインタフェース LYRICS RADAR LYRICS RADAR は潜在的ディリクレ配分法によって各歌詞をそれらの比率で表現するこの 5 個の値の比率を多数の楽曲の歌詞に共通して出現する複数のトピックを自五角形の形状で表現した表示をトピックレーダーチャー動的に求め各楽曲の歌詞のもつ潜在的な意味をトピックトと呼ぶユーザがそれを見れば各歌詞に各トピックがの比率で可視化したりそれをクエリとして活用したりすどの程度関係しているかがわかり直感的な歌詞検索可ることで直感的な検索を可能にするインタフェースであ視化が可能になるるこれにより単に歌詞中に出現する語句をクエリとしまた歌詞のトピックを推定するために歌詞の選別及た検索では実現できない歌詞の意味に踏み込んだ新たなびアーティスト単位での推定を行った歌詞は楽曲で歌インタラクティブな歌詞検索を実現するユーザがトピッわれる文字であるため一楽曲の中で用いることの出来るクを言語表現する必要がないのでどのようなトピックの単語の数は限られているさらに A メロやサビなど繰り歌詞を探したいのかわからない曖昧な状況でも活用できる返し使用される単語が存在するため一般的な文章と比べ特長を持つると登場する単語数は少ないトピック推定は文章内の単語に依存するため単に歌詞を文章とみなしてもトピッ 2.1 歌詞のトピックに基づく可視化機能クを正確に推定することは困難であるそこで単語数の LYRICS RADAR はトピックレーダーチャートと二閾値の設定による歌詞の選別やアーティスト単位でのト次平面へのマッピングという 2 種類の可視化機能を持つピック推定により歌詞の持つトピックの比率を求めた図 1 にそのインタフェースの画面表示例を示すトピック LYRICS RADAR ではトピックの比率が近い歌詞トレーダーチャートは各歌詞の潜在的な 5 種類のトピックピックレーダーチャートが似ている歌詞が近くになるよの比率を 5 角形内に着色して可視化する機能であり図 1 うにすべての歌詞を二次元平面上に配置するユーザはの左上に表示されているマッピングはデータベース中この平面を覗くことで好みの歌詞の近傍に位置するトのすべての歌詞をそのトピックの類似度に応じて二次元平ピック比率の似た歌詞を発見できるまたユーザはトピッ面上にマッピングしユーザがインタラクティブに歌詞をクレーダーチャートの形状を直接変形させることで歌詞探すことができる機能であり図 1 の左側に表示されてい c 2014 Information Processing Society of Japan 2

情報処理学会研究報告図2 アーティストのマッピング左図アーティスト名選択による歌詞の表示例右図るまたアーティスト単位でトピック分析を行うことで歌詞を二次元平面上にマッピングしその一部を拡大してアーティストのマッピングも行ったトピックレーダー歌詞を探すことが出来る各歌詞に対応する点は各歌詞チャートが絶対的な指標に基づく可視化機能なのに対し

3 情報処理学会研究報告図2 アーティストのマッピング左図アーティスト名選択による歌詞の表示例右図るまたアーティスト単位でトピック分析を行うことで歌詞を二次元平面上にマッピングしその一部を拡大してアーティストのマッピングも行ったトピックレーダー歌詞を探すことが出来る各歌詞に対応する点は各歌詞チャートが絶対的な指標に基づく可視化機能なのに対しの持つトピック比率を三次元に圧縮しそれぞれ RGB に対二次平面へのマッピングは相対的な指標に基づく可視化機応させることで着色されているこれにより歌詞の色を能である以下それぞれについて説明する見ることでトピックに基づいて歌詞がどのように分布しトピックレーダーチャート 5 種類のトピックの比ているかを一目で確認できるマッピングや色付けにおけ率を表現した五角形すべての歌詞に共通する 5 種類のトピックを求めそのる次元圧縮は Maaten らが提案した t-sne を用いた [11] ユーザがカーソルをマウスオーバーすると桃色に着色さ各トピックの要素を各歌詞がどれぐらいの比率で含んでいれ図 1 左上にタイトルアーティスト名作詞家名のメるかを自動分析した結果を五角形内にプロットして表示タ情報その下にトピックレーダーチャート右側に歌詞した可視化がトピックレーダーチャートである五角形のが表示されるこれらはカーソル移動でマウスオーバー各頂点が異なるトピックに対応し図 1 の左上のようにを繰り返すことで次々とリアルタイムに更新表示されるそのトピックと関連の高い代表語を五角形の外側に複数表こうしてある歌詞にトピックが類似した他の歌詞を発見示することでユーザが各トピックの意味を類推できるよすることができるマッピングされた歌詞はドラッグやうにしたキーボード操作で移動拡大縮小ができるさらに各外周に近いほど大きな比率を表し 5 個の値の合計が一歌詞にメタデータとして付与されているアーティスト名と定値であるためある一つのトピックの比率が突出してい作詞家名を活用した可視化も可能である図 2 の右側のよると尖った形状になるこれにより選択した歌詞のトうにアーティスト名を選択するとそのアーティストの歌ピックを視覚的に把握しやすく歌詞間の直感的な比較も詞の点が黄色で着色され作詞家名を選択するとその歌しやすい詞の点がオレンジ色で着色されるこれはアーティストなお本インタフェースでのトピック数は潜在的ディや作詞家をクエリとした歌詞検索に相当するがアーティリクレ配分法で求めたトピックの内容とインタフェーススト作詞家ごとにいかに分布しているかを直感的に把握としての操作性のバランスから 5 個に決めたトピック数できる点が新しい従来の音楽情報検索ではアーティスを増やせばより細分化した意味内容を扱うことができるト名での検索は活用されていても作詞家名での検索が活可能性があるがユーザにとって操作がより煩雑になるト用される機会は乏しかったが本機能によって自分の好レードオフの関係にあるきな歌詞の作詞家が手がけた他の歌詞に興味を持つきっか歌詞をマッピングした二次元平面けが増え新しい歌詞との出会いが広がる可能性があるトピック比率が近いほど配置が近くなるように各楽曲の c 2014 Information Processing Society of Japan またアーティスト単位でトピック分析をすることで 3

3 2 2.2 LYRICS RADAR 2.2.1 5 3 3. LYRICS RADAR LYRICS RADAR (Latent Dirichlet Allocation: LDA)[12] LDA K 3.1 Latent Dirichlet Allocation (LDA) LDA D X = {X 1,..., X D } X d N d X d = {x d,1,.

4 LYRICS RADAR LYRICS RADAR LYRICS RADAR (Latent Dirichlet Allocation: LDA)[12] LDA K 3.1 Latent Dirichlet Allocation (LDA) LDA D X = {X 1,..., X D } X d N d X d = {x d,1,..., x d,nd } V x d,n 1 0 V X d Z d = {z d,1,..., z d,nd } K z d,n 1 0 K Z = {Z 1,..., Z D } 4 p(x, Z, π, ϕ) = p(x Z, ϕ)p(z π)p(π)p(ϕ) (1) π D K ϕ K V ( D N d V K ) xd,n,v p(x Z, ϕ) = (2) p(z π) = D d=1 n=1 v=1 N d d=1 n=1 ϕ z d,n,k k,v π z d,n,k d,k (3) D D p(π) = Dir(π d α (0) ) = C(α (0) ) d=1 d=1 π α(0) 1 d,k (4) c 2014 Information Processing Society of Japan 4

5 4 LDA V p(ϕ) = Dir(ϕ k β (0) ) = C(β (0) ) ϕ β(0) v 1 k,v (5) v=1 5 α (0) β (0) C(α (0) ) C(β (0) ) Γ(ˆx) I C(x) = Γ(x 1 ) Γ(x I ), ˆx = x i (6) i=1 π ϕ 3.2 LDA LDA (J-POP) V MeCab[13] idf (Inverse Document Frequency) LDA K = 5 α (0) β (0) LDA, ( D d=1 perplexity(x) = exp log p(x ) d) D d=1 N (7) d K = LYRICS RADAR LDA 4.1 LDA (1) (2) (3) (4) c 2014 Information Processing Society of Japan 5

5. 6 7 (1) 1.0 4 6 5 1: 2: 3: 4: 5: (1) (4) 4.1.2 7 4 5 (1) 1 (2) (3) 3 (4) 4.1.3 1 LYRICS RADAR [14] JST CREST OngaCREST [1] :,, 10, pp. 131 137, (2010). [2] Müller, M., Kurth, F., Damm, D.

6 (1) : 2: 3: 4: 5: (1) (4) (1) 1 (2) (3) 3 (4) LYRICS RADAR [14] JST CREST OngaCREST [1] :,, 10, pp , (2010). [2] Müller, M., Kurth, F., Damm, D., Fremerey, C., and Clausen, M.: Lyrics-based Audio Retrieval and Multimodal Navigation in Music Collections, Proc. of ECDL, pp , (2007). [3] Neumayer, R. and Rauber, A.: Multi-modal Music Information Retrieval: Visualisation and Evaluation of Clusterings by Both Audio and Lyrics, Proc. of RIAO, pp , (2007). [4] Laurier, C., Grivolla, J., and Herrera, P.: Multimodal Music Mood Classification Using Audio and Lyrics, Proc. of ICMLA, pp , (2008). [5] Neumayer, R. and Rauber, A.: Integration of Text and Audio Features for Genre Classification in Music Information Retrieval, Proc. of ECIR, pp , (2008). [6] Brochu, E. and de Freitas, N.: Name That Song! : A Probabilistic Approach to Querying on Music and Text, Proc. of NIPS, (2002). [7] Takahashi, R., Ohishi, Y., Kitaoka, N., and Takeda, K.: Building and Combining Document and Music Spaces for Music Query-By-Webpage System, Proc. of Interspeech 2008, pp , (2008). [8] Fujihara, H., Goto, M., Ogata, J., and Okuno, H.G.: LyricSynchronizer: Automatic Synchronization System c 2014 Information Processing Society of Japan 6

7 between Musical Audio Signals and Lyrics, IEEE Journal of Selected Topics in Signal Processing, 5(6), pp , (2011). [9], : VocaRefiner:, WISS 2012, pp. 1 6, (2012). [10],,,, :,, 100(21), pp. 1 8, (2013). [11] Maaten, L. and Hinton, G. E.: Visualizing data using t-sne, Journal of Machine Learning Research, 9, pp , (2008). [12] Blei, D. M., Ng, A. Y., and Jordan, M. I.: Latent Dirichlet Allocation, Journal of Machine Learning Research, 3, pp , (2003). [13] : MeCab: Yet Another Part-of-Speech and Morphological Analyzer, svn/trunk/mecab/doc/index.html. [14] Adams, R., Ghahramani, Z., and Jordan, M.: Tree- Structured Stick Breaking Processes for Hierarchical Data, Proc. of NIPS, 23, pp , (2010). c 2014 Information Processing Society of Japan 7

3 LDA perplexity 4 web Lyric Jumper Lyric Jumper 12,000 Lyric Jumper Müller [4] [9], [10] Fujihara [5] Music Web SongWords [11] Lyricon [12]

3 LDA perplexity 4 web Lyric Jumper Lyric Jumper 12,000 Lyric Jumper Müller [4] [9], [10] Fujihara [5] Music Web SongWords [11] Lyricon [12] Lyric Jumper 1,a) 1,b) 1,c) latent Dirichlet allocation LDA 3,722 147,990 Lyric Jumper Lyric Jumper Lyric Jumper 12,353 1. [1], [2] [3], [4] [5] latent Dirichlet allocation LDA [6] LDA 1 a) k.tsukuda@aist.go.jp