1, 1 2,a) HMM A study on an implementation of semiautomatic composition of music which matches impressions of color still image Sae NEMOTO 1, 1 Yasuyuki SAITO 2,a) Abstract: This paper shows a creation method of music pieces which match with impressions of an input color still image. The picture and the music have a strong influence on the emotion of the person. When people watch an image such as a picture or a photograph, it is considered that they can feel deeper the impression of the image if a music which matches the image impression is played. Keywords: color still image, musical piece, impression word, color scheme, hidden Markov model 1. [1] [2] 1 Advanced Course, Dept. of Control and Information System Engineering, NITKC, Chiba, 292 0041, Japan 2 NIT, Kisarazu College, Kisarazu, Chiba, 292 0041, Japan 1 a) saito@j.kisarazu.ac.jp 2. [3][4] 2.1 PCCS PCCS Practical Color Coordinate System c 2016 Information Processing Society of Japan 1
1 8 1 PCCS 2 PCCS 3 8 1 2 2 PCCS [5] 2.2 Hevner Hevner 6 Hevner 6 8 1 8 3 [6] 3. 1 hidden Markov model HMM HMM 4 O t b i a ij [7] 4. SMF standard MIDI file 5 2 c 2016 Information Processing Society of Japan 2
5 4.1 4 HMM RGB 8 RGB HSV Hevner 8 awe-inspiring, dark, dreamy, calm, delicate, bright, agitated, emphatic 4 5 4.1.1 PCCS PCCS 24 12 [8] PCCS H RGB d RGB R j, G j, B j RGB R k, G k, B k d = (R j R k ) 2 + (G j G k ) 2 + (B j B k ) 2 (1) N k S k (2) S k = N k N total (2) N total = N k S k 4.1.2 [8] 2 dark 0 20 0 30 dreamy 20 40 25 50 delicate 20 40 75 100 awe-inspiring 60 80 0 33 calm 60 80 50 75 bright 60 80 66 100 emphatic 60 80 33 66 agitated 80 100 25 75 3 delicate bright agitated emphatic awe-inspiring dark dreamy calm 2 4.2 5 A B 1 4.2.1 Hevner 3 bright calm delicate calm calm C, F G Am Dm E HMM 6 T D S c 2016 Information Processing Society of Japan 3
5 awe-inspiring, agitated, dark, delicate, emphatic bright, calm, dreemy 6 7 4 delicate 6 bright 20 agitated 21 emphatic 6 awe-inspiring -14 dark -12 dreamy -16 calm -20 7 Hevner 4 4 Hevner (3) = 88 + (44 184) (3) (3) 88 [9] bright calm delicate calm calm bright delicate calm calm -20 3 (3) 28 44 4.2.2 8 2 1 Hevner 8 1 5 (A) 2 8 2 (B) 1 10 2 dv dv > 0 dv < 0 dv = 0 4.2.3 8 16 c 2016 Information Processing Society of Japan 4
6 dark dreamy delicate awe-inspiring calm bright emphatic agitated 9 8 8 8 8 5.2 1 (A) 3 5 1) 2) 3) 4) 5) 8 5 5 [12] 10 11 7 [10] 2 5.1 4.3 Qt[11] 9 Open Analyze Make Music Listen Music MIDI [13] 5. 5.1 4.2.3 12 [10] 6 5.3 2 (B) 3 10 5 1 [12] 12 13 6. c 2016 Information Processing Society of Japan 5
情報処理学会研究報告 (a) (a) (b) (c) (b) 図 10 主観評価実験 1 で使用した画像 (1) 画像にマッチしているか (2) メロディが自然か (3) ドラムが自然か (4) 伴奏が自然か 図 12 (2) メロディが自然か (3) ドラムが自然か (4) 伴奏が自然か 謝辞 [2] [3] [4] [5] [6] 図 13 本研究の一部は 日本学術振興会の科学研究補助 参考文献 [1] (5) ユーザの好みの反映 主観評価実験結果 1 費 基盤研究 (A) 26240025 による 神田 尚子 配色イメージに基づいた演奏支援システム 電気通信大学 平成 22 年度 卒業論文 (2011). 前田 和博 カラー画像からの楽曲生成 木更津高専 専攻 科 特別研究論文 (2010). 社団法人日本流行色協会 色のイメージ事典 同朋舎出 版 (1991). 山崎 晃男 音楽と感情についての心理学的研究 大阪樟 蔭女子大学人間科学研究紀要, 8, pp.221 232 (2009). 色彩カラー研究所 入手先 http://www.ts-depot.com/color/color/ basic03.html Hevner, K.: Expression in music: A discussion of experimental studies and theories, Psychological Review, c 2016 Information Processing Society of Japan 主観評価実験 2 で使用した画像 (1) 画像にマッチしているか (5) ユーザの好みが反映 図 11 (c) [7] [8] [9] [10] [11] [12] [13] 主観評価実験結果 2 Vol.42, pp.186 204 (1935). 徳田 恵一 隠れマルコフモデルによる音声認識と音声合 成 情報処理学会誌 Vol.45, No.10, pp.1005 1011 (2004). WSJ - Good! よいホームページを創ろう講座 5.3 入手先 http://www.wsj21.net/ghp/ghp0c 03.html BPM についての簡単な説明 入手先 http://www14.plala.or.jp/nekokirin/ 02aboutbpm/01aboutbpm.html 根本 彩惠 画像の印象にマッチした楽曲の半自動生成に 関する研究 木更津高専 専攻科 特別研究論文 (2015). Blancbette, J. and Summerfield, M. 入門 Qt4 プログラ ミング オライリー ジャパン (2007). PHOTO PIN, 入手先 http://photopin.com/ おーぷん MIDI ぷろじぇくと 入手先 http://openmidiproject.sourceforge.jp/ Sekaiju.html/ 6