IPSJ SIG Technical Report Vol.2016-MUS-111 No /5/21 1, 1 2,a) HMM A study on an implementation of semiautomatic composition of music which matc

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2016-MUS-111 No /5/21 1, 1 2,a) HMM A study on an implementation of semiautomatic composition of music which matc"

あかりさだい
5 years ago
Views:

1 1, 1 2,a) HMM A study on an implementation of semiautomatic composition of music which matches impressions of color still image Sae NEMOTO 1, 1 Yasuyuki SAITO 2,a) Abstract: This paper shows a creation method of music pieces which match with impressions of an input color still image. The picture and the music have a strong influence on the emotion of the person. When people watch an image such as a picture or a photograph, it is considered that they can feel deeper the impression of the image if a music which matches the image impression is played. Keywords: color still image, musical piece, impression word, color scheme, hidden Markov model 1. [1] [2] 1 Advanced Course, Dept. of Control and Information System Engineering, NITKC, Chiba, , Japan 2 NIT, Kisarazu College, Kisarazu, Chiba, , Japan 1 a) saito@j.kisarazu.ac.jp 2. [3][4] 2.1 PCCS PCCS Practical Color Coordinate System c 2016 Information Processing Society of Japan 1

1 8 1 PCCS 2 PCCS 3 8 1 2 2 PCCS [5] 2.2 Hevner Hevner 6 Hevner 6 8 1 8 3 [6] 3.

2 1 8 1 PCCS 2 PCCS PCCS [5] 2.2 Hevner Hevner 6 Hevner [6] 3. 1 hidden Markov model HMM HMM 4 O t b i a ij [7] 4. SMF standard MIDI file 5 2 c 2016 Information Processing Society of Japan 2

5 4.1 4 HMM RGB 8 RGB HSV Hevner 8 awe-inspiring, dark, dreamy, calm, delicate, bright, agitated, emphatic 4 5 4.1.1 PCCS PCCS 24 12 [8] PCCS H RGB d RGB R j, G j, B j RGB R k, G k, B k d = (R j R k ) 2 + (G j G k ) 2 + (B j B k ) 2 (1) N k S k (2) S k = N k N total (2) N total = N k S k 4.

3 HMM RGB 8 RGB HSV Hevner 8 awe-inspiring, dark, dreamy, calm, delicate, bright, agitated, emphatic PCCS PCCS [8] PCCS H RGB d RGB R j, G j, B j RGB R k, G k, B k d = (R j R k ) 2 + (G j G k ) 2 + (B j B k ) 2 (1) N k S k (2) S k = N k N total (2) N total = N k S k [8] 2 dark dreamy delicate awe-inspiring calm bright emphatic agitated delicate bright agitated emphatic awe-inspiring dark dreamy calm A B Hevner 3 bright calm delicate calm calm C, F G Am Dm E HMM 6 T D S c 2016 Information Processing Society of Japan 3

4 5 awe-inspiring, agitated, dark, delicate, emphatic bright, calm, dreemy delicate 6 bright 20 agitated 21 emphatic 6 awe-inspiring -14 dark -12 dreamy -16 calm Hevner 4 4 Hevner (3) = 88 + (44 184) (3) (3) 88 [9] bright calm delicate calm calm bright delicate calm calm (3) Hevner (A) (B) dv dv > 0 dv < 0 dv = c 2016 Information Processing Society of Japan 4

6 dark dreamy delicate awe-inspiring calm bright emphatic agitated 9 8 8 8 8 5.2 1 (A) 3 5 1) 2) 3) 4) 5) 8 5 5 [12] 10 11 7 [10] 2 5.1 4.

5 6 dark dreamy delicate awe-inspiring calm bright emphatic agitated (A) 3 5 1) 2) 3) 4) 5) [12] [10] Qt[11] 9 Open Analyze Make Music Listen Music MIDI [13] [10] (B) [12] c 2016 Information Processing Society of Japan 5

情報処理学会研究報告 (a) (a) (b) (c) (b) 図 10 主観評価実験 1 で使用した画像 (1) 画像にマッチしているか (2) メロディが自然か (3) ドラムが自然か (4) 伴奏が自然か

ユーザの好みの反映主観評価実験結果 1 費基盤研究 (A) 26240025 による神田尚子配色イメージに基づいた演奏支援システム電気通信大学平成 22 年度卒業論文 (2011).

山崎晃男音楽と感情についての心理学的研究大阪樟蔭女子大学人間科学研究紀要, 8, pp.221 232 (2009). 色彩カラー研究所入手先 http://www.ts-depot.

: Expression in music: A discussion of experimental studies and theories, Psychological Review, c 2016

[9] [10] [11] [12] [13] 主観評価実験結果 2 Vol.42, pp.186 204 (1935). 徳田恵一隠れマルコフモデルによる音声認識と音声合成情報処理学会誌 Vol.

html BPM についての簡単な説明入手先 http://www14.plala.or.jp/nekokirin/ 02aboutbpm/01aboutbpm.

6 情報処理学会研究報告 (a) (a) (b) (c) (b) 図 10 主観評価実験 1 で使用した画像 (1) 画像にマッチしているか (2) メロディが自然か (3) ドラムが自然か (4) 伴奏が自然か図 12 (2) メロディが自然か (3) ドラムが自然か (4) 伴奏が自然か謝辞 [2] [3] [4] [5] [6] 図 13 本研究の一部は日本学術振興会の科学研究補助参考文献 [1] (5) ユーザの好みの反映主観評価実験結果 1 費基盤研究 (A) による神田尚子配色イメージに基づいた演奏支援システム電気通信大学平成 22 年度卒業論文 (2011). 前田和博カラー画像からの楽曲生成木更津高専専攻科特別研究論文 (2010). 社団法人日本流行色協会色のイメージ事典同朋舎出版 (1991). 山崎晃男音楽と感情についての心理学的研究大阪樟蔭女子大学人間科学研究紀要, 8, pp (2009). 色彩カラー研究所入手先 basic03.html Hevner, K.: Expression in music: A discussion of experimental studies and theories, Psychological Review, c 2016 Information Processing Society of Japan 主観評価実験 2 で使用した画像 (1) 画像にマッチしているか (5) ユーザの好みが反映図 11 (c) [7] [8] [9] [10] [11] [12] [13] 主観評価実験結果 2 Vol.42, pp (1935). 徳田恵一隠れマルコフモデルによる音声認識と音声合成情報処理学会誌 Vol.45, No.10, pp (2004). WSJ - Good! よいホームページを創ろう講座 5.3 入手先 03.html BPM についての簡単な説明入手先 02aboutbpm/01aboutbpm.html 根本彩惠画像の印象にマッチした楽曲の半自動生成に関する研究木更津高専専攻科特別研究論文 (2015). Blancbette, J. and Summerfield, M. 入門 Qt4 プログラミングオライリージャパン (2007). PHOTO PIN, 入手先おーぷん MIDI ぷろじぇくと入手先 Sekaiju.html/ 6

(1) (2) 2. Eurydice Eurydice Eurydice 1) Eurydice 2) Eurydice 3) Eurydice Eurydice 2.2 Eurydice 1 hidden Markov model, HMM Viterbi [7] SMF forma

(1) (2) 2. Eurydice Eurydice Eurydice 1) Eurydice 2) Eurydice 3) Eurydice Eurydice 2.2 Eurydice 1 hidden Markov model, HMM Viterbi [7] SMF forma 1, 1 1,a) 2 3 Eurydice Eurydice Eurydice standard File SMF Tempo control for automatic accompaniment while player rests in musical score Nagano Ami 1, 1 Saito Yasuyuki 1,a) Nakamura Eita 2 Sagayama Shigeki