DEIM Forum 2016 E3-6 : SERVA

Size: px

Start display at page:

Download "DEIM Forum 2016 E3-6 : SERVA"

たみじろうこしの
5 years ago
Views:

1 DEIM Forum 2016 E3-6 : SERVA k317680@kansai-u.ac.jp, ryama@media.ritsumei.ac.jp, mat@res.kutc.kansai-u.ac.jp [1] 2. [1] (a) (b) (c) 2. 1 [8] [5]

1 3 [9] (a) 2. 2 () 3 3 1 3 (b) 2. 3 1 3 (1)P (2) P P Q (3)R 1 SERVA 3 (c) 3. : SERVA 2.

2 1 3 [9] (a) 2. 2 () (b) (1)P (2) P P Q (3)R 1 SERVA 3 (c) 3. : SERVA 2. SERVA (Sound-effects Exploratory Retrieval system based on Various Aspects) SERVA 3 1 SERVA 3 SERVA HTML, CSS, JavaScript, jquery 1 Web D3.js [2] Force JSON [1] [9] 1http://jquery.com/

3 2 i 1 RMS energy 2 Low energy 3 Tempo 4 Zero cross 0 5 Roll off 85% 6 Brightness 1500Hz 7 Inharmonicity 8 Mode major minor [1]. MIRtoolbox 2 [6] 2 8 Ward [3] % SERVA 3. 2 word2vec 3 word2vec 4 MeCab 5 SERVA 1 word2vec 5 20 (e.g., ) SERVA 3. 3 [7] 3 2http:// materials/mirtoolbox( ) 3https://code.google.com/p/word2vec/ http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html ( ) 3 TI HU NN ZI XTU SERVA i.e., 3 3 ( 4 ) 4. SERVA () SERVA

4 (d) そのクエリに代替可能なクエリ (e.g., ちりんちりんからからんからん ) の再生成の 4 パターンに集約された (d) については入力したクエリで検索対象の効果音が検索されない場合でのみ行われたクエリ入力後の探索は全ユーザとも (1) 提示された全効果音を聴取し (2) いくつかの候補に絞り (3) それらの候補を聴き比べて検索対象の効果音に適合した効果音を選択するという過程を辿りそれを検索対象の効果音が決定されるまで繰り返していた音響文脈オノマトペの表象の 3 種類の観点はどの観点も使用されていた全効果音を聴取する中で興味を持った効果音は検索対象とは異なっていても積極的に聴取されていた図2 クエリをかちゃと入力した場合効果音候補を選定する過程では同一タイトルの効果音を何度も聴き比べそれらの違いを確認している様子やこれはの音に類似しているというように聴取された効果音を自身の経験と照らし合わせる様子が見受けられたまた何度も候補を比較する中でしばしば候補以外の効果音も聴取されたり検索対象の効果音を発見してからも探索を繰り返したりしていたあるユーザは探索過程で聴取した効果音を学習し次回検索時にこの音をさっき聴いたと想起しながら検索していた最終的に決定された効果音は検索開始時に生成したクエリと異なるタイトルを持つ効果音が 3 分の 2 を占めていた一方で検索条件に合致した音の発生源のタイトルを持つ効果音が発見されない場合一切探索を行わずに検索条件に合致し図 3 検索ボタン押下時たオノマトペのタイトルを持つ効果音を選択し自身がその効果音に納得していなくても検索をやめてしまう場面もあったインタビューでは 5 人中 4 人のユーザが 3 種類の観点の使い分けを意識せずにシステムを使用したと回答した 3 種類の観点を使い分けたユーザは音響は発想を広げるために使い文脈オノマトペは目的が明確になっている場合に使用したと回答した 4. 3 考察ユーザは提示された全効果音を聴取することでどのような効果音が存在しているのかを確認しその中からいくつかの候補に絞ることを繰り返しながら検索していたこのような検索は Exploratory Search 探索的検索 [4] という情報検索図 4 かちゃんというノードをクリックして遷移した場合モデルの Exploratory Browsing (探索空間を拡大する検索) と Focused Searching (探索空間を絞る検索) に当たる行動である発話させながら検索を行わせたその後検索において音響文脈オノマトペの表象の 3 種類の観点を使い分けたかについてのインタビューを行った検索過程は開始から終了まで録画した 4. 2 結果効果音検索の開始後 3 種類の画像に効果音を付与し終わるまでにかかった時間は 5 分 10 分程度であった画像を確認したユーザは全ユーザとも効果音を付与する対象を確定しクエリ生成を行ったクエリ生成は (a) 対象の言語化 (e.g., 風鈴) (b) 対象から発せられる音のオノマトペ化 (e.g., ちりんちりん) (c) 対象が発する音を聞くことができる場面 (e.g., 夏) このことから SERVA は探索的検索のモデルに基づいた検索が可能な環境を提供できているといえるまた検索開始時に生成したクエリと最終的に決定された効果音タイトルが異なっていることから検索開始時にユーザが持っていた検索要求は検索過程を通して変化あるいは明確化していったと考えられる検索過程で聴取した効果音を異なる対象に付与する効果音の検索に役立てているユーザが見受けられたため類似した効果音のみを提示するだけでなく共通点を持ちながらも多様な効果音を提示することは 2 回目以降の効果音検索にも寄与するといえる最終的な検索対象となる効果音を発見してからも探索を継続することから自身が選択した効果音がデータベース内から自

5 SERVA SERVA Wake (1) (2) (3) [10](a) (b) (c) [5]Wake 1 [12] [11] [13] (1) (2) (3) (4) (5) [14]

6 6. 3 SERVA 2 69, No. 2, pp (2007). [12],,, :, 2003, p.42 (2003). [13], : Songrium:, 2012, Vol MUS 96, No. 1, pp.1 8 (2012). [14],,, :,, Vol. 11, No. 4, pp (2012). 6 #15K12151 (B)#15H02780 [1] Okamoto, K. and Yamanishi, R. and Matsushita, M.: Exploratory Searches for sound effects: Verification of similarity based on the acoustic features of sound effects, The Proc. of The Fourth Asian Conference on Information Systems, MS1 3 (2015). [2] Bostock, M., Ogievetsky, V. and Heer, J., D3: Data Driven Documents, Visualization and Computer Graphics, IEEE Transactions on, Vol. 17, No. 12, pp (2011). [3] Ward, J. H.: Hierarchical Grouping to Optimize an Objective Function, Journal of the American Statistical Association, Vol. 58, No. 301, pp (1963). [4] White, R. W. and Roth, R. A.: Exploratory Search : Beyond the Query-Response Paradigm, Morgan and Claypool Publishers (2009). [5] Wake, S. and Asahi, T.: Sound Retrieval with Intuitive Verbal Expressions, Ploc International Conference on Auditory Display, Vol. 6, pp.1 5 (1998). [6] Lartillot, O., Toiviainen, P. and Eerola, T.: A Matlab Toolbox for Music Information Retrieval, Data Analysis, Machine Learning and Applications, pp (2008). [7] Levenshtein V.I., Binary Codes Capable of Correcting Deletions, Insertions, and Reversals, SOVIET PHYSICS DOKLADY, Vol. 10, No. 8, pp (1966). [8] : ( ), (2002). [9] :, (2010). [10],, :, 48, pp (1994). [11],,,, : OnomaTree:, 6http://taira-komori.jpn.org/freesound.html

DEIM Forum 2012 E Web Extracting Modification of Objec

DEIM Forum 2012 E Web Extracting Modification of Objec DEIM Forum 2012 E4-2 670 0092 1 1 12 E-mail: nd11g028@stshse.u-hyogo.ac.jp, {dkitayama,sumiya}@shse.u-hyogo.ac.jp Web Extracting Modification of Objects for Supporting Map Browsing Junki MATSUO, Daisuke