~2013 年 音 の 匠 記 念 講 演 より~ 歌 声 合 成 技 術 VOCALOID と 新 しい 音 楽 ヤマハ 株 式 会 社 事 業 開 発 部 yamaha+ 推 進 室 VOCALOID プロジェクト 剣 持 秀 紀 1. はじめに ここ 数 年 歌 声 合 成 技 術 に 注 目 が 集 まっています ニコニコ 動 画 や YouTube などの 動 画 サイト には 合 成 された 歌 声 による 楽 曲 が 数 多 く 投 稿 されており 若 い 人 を 中 心 にそのような 楽 曲 を 楽 しむ 人 々が 増 えています ここでは この 音 楽 の 新 しい 動 きを 支 えてい る 歌 声 合 成 技 術 VOCALOID とその 仕 組 みについて 歌 声 合 成 技 術 の 歴 史 にも 触 れながら 説 明 します 2. 自 己 紹 介 ~ 私 の 原 点 ~ 私 は 昔 から 機 械 いじりや 電 気 工 作 あるいはコンピュータをいじることが 好 きで 中 学 校 や 高 校 の 頃 には ラジオの 製 作 I/O マイコン BASIC Magazine などをよく 読 んでいました 中 学 の 頃 に PC-8001 というパソコンが 発 売 されましたが 友 達 のお 父 さんがこれを 持 っていたの で 友 達 の 家 に 遊 びに 行 ってはこれを 触 っていました PC-8001 は Z80 互 換 の CPU を 使 ってい た と 思 い ま す が 今 で も Z80 の 機 械 語 で 覚 え て い る 命 令 も あ り ま す ま た そ の 後 PC-8001mkIISR というパソコンを 家 で 買 いましたが そのパソコンには FM 音 源 が 搭 載 されて おり PLAY 文 で MML を 入 力 し 簡 単 な 音 楽 を 演 奏 することが 可 能 でした このあたりが 私 の 原 点 の 一 つです もう 一 つの 原 点 は 音 楽 です 小 さいころピアノを 習 っ ていましたが 高 校 の 部 活 でヴァイオリンを 始 め 大 学 でもオーケストラで 弾 いていました とはいえ 私 が 入 った 大 学 のオーケストラはプロの 音 楽 家 になる 人 を 何 人 も 輩 出 した 名 門 で ついていくために 必 死 に 練 習 し ていました しかし その 頃 に 培 った 音 楽 に 対 する 知 識 や 考 え 方 は 間 接 的 ではありますが 今 に 生 かされている のではないかと 最 近 になって 思 えるようになってきまし た 一 方 大 学 院 での 修 士 論 文 のタイトルは あけぼの 衛 星 で 観 測 された 赤 道 域 ELF 波 動 の 伝 搬 特 性 に 関 する 研 究 です 人 工 衛 星 で 観 測 された 自 然 発 生 の 電 波 を 信 号 処 理 で 解 析 して 到 来 方 向 を 推 測 するという 研 究 です 音 ではなく 電 波 の 研 究 をしていたわけですが その 当 時 使 っていた 横 軸 が 時 間 縦 軸 が 周 波 数 という 図 は 音 声 の 図 1 修 士 論 文 より 7
世 界 ではよく 使 われる 図 なので こちらも 間 接 的 には 今 の 仕 事 に 役 立 っているといえると 思 いま す このあたりが 私 の 第 3 の 原 点 と 言 えると 思 います そして 1993 年 にヤマハに 入 社 しました 入 社 当 時 はアクティブ ノイズ コントロールとい う 騒 音 に 対 して 逆 の 波 を 出 して 軽 減 するという 技 術 の 研 究 開 発 をしていました 3 年 後 の 1996 年 音 声 合 成 や 音 声 認 識 の 技 術 を 開 発 しているベルギーの L&H という 会 社 とヤマハとの 合 弁 会 社 に 出 向 し そこでいわば 音 声 屋 としての 素 養 を 身 につけ 1999 年 に 復 職 し それ 以 来 VOCALOID を 含 む 歌 声 や 音 声 に 関 する 技 術 開 発 に 従 事 しています 仕 事 以 外 では ヴァイオ リンをアマチュアオーケストラや 弦 楽 四 重 奏 で 演 奏 したり アナログレコードを 鑑 賞 するのが 趣 味 です カートリッジは DL-103 ターンテーブルはヤマハの GT-2000 そしてアンプは 真 空 管 のアンプ(C.E.C. Tube53)を 使 っています 仕 事 ではデジタルの 世 界 ですが 趣 味 の 世 界 では 完 全 なアナログ 人 間 です 前 置 きはこの 程 度 にして 本 題 に 入 りたいと 思 います 3. 歌 声 合 成 システム VOCALOID VOCALOID とは ヤマハが 開 発 した 歌 声 合 成 技 術 およびその 応 用 ソフトウェアを 表 します 歌 詞 と 音 符 を 入 力 するだけで 高 品 質 な 歌 声 を 合 成 することができます システムの 構 成 は 図 2 の ようになります 図 2 VOCALOID 構 成 図 歌 詞 と 音 符 を 入 力 するので 何 らかのユーザインタフェースが 必 要 になります このために 歌 詞 と 音 符 を 関 連 づけられる 形 で 入 れられるようなインタフェースを 持 つ 専 用 のエディタ (VOCALOID Editor)が 用 いられます また 歌 詞 と 音 符 を 入 力 する 機 能 を Cubase という DAW(Digital Audio Workstation) 上 に 組 み 込 み 伴 奏 で 用 いられる 他 の 楽 器 と 同 等 に 歌 声 を 扱 う ことができるようにした VOCALOID Editor for Cubase という 製 品 も 販 売 されています この ユーザインタフェースから 合 成 エンジン に 音 符 と 歌 詞 の 情 報 を 送 り 合 成 エンジンは 歌 声 を 合 成 してその 結 果 をユーザインタフェース 側 に 返 し ユーザは 歌 声 を 聴 くことができます 合 成 エンジンでは 何 もないところから 歌 声 を 作 れれば 良 いのですが まだそこまでは 進 んで いませんので 実 際 の 人 間 の 歌 声 から 歌 声 の 断 片 を 集 めたもの( 歌 声 ライブラリと 読 んでいます) 8
から 必 要 な 断 片 を 取 ってきて それを 加 工 してつなげることで 歌 声 を 作 り 出 しています 歌 声 ライブラリを 作 る 技 術 や 権 利 はヤマハからパートナー 企 業 にライセンスしており 各 社 か ら 様 々な 歌 声 ライブラリ 製 品 が 出 ています 有 名 な 初 音 ミク は クリプトン フューチャー メディアさんが 歌 声 ライブラリを 開 発 し 製 品 化 したものです ところで この VOCALOID という 名 前 ですが Vocal に -oid という 接 尾 辞 をつけたものです -oid というのは ~のような という 意 味 を 作 る 接 尾 辞 ですから VOCALOID とは Vocal の ような という 意 味 になります この 名 前 は いつかは 人 間 の 声 と 区 別 がつかないくらい 品 質 を 高 めたい という 願 いと 人 間 の 声 と 同 じではないことによる 新 しい 表 現 を 追 求 という 2 つ の 意 味 が 込 められる 良 い 名 前 だと 思 います ヤマハが 発 表 する 前 には 世 の 中 に 存 在 していなかっ た 名 前 なので この 名 前 はもちろんヤマハの 登 録 商 標 になっています 開 発 は 2000 年 にスタートして 2003 年 に 新 技 術 に 関 するプレス 発 表 を 行 い 2004 年 に 最 初 の バージョンがリリースされました 2007 年 には VOCALOID2 にバージョンアップし これを 用 いたクリプトン フューチャー メディアさんの 初 音 ミク が 大 ヒットし これを 用 いた 楽 曲 がニコニコ 動 画 などの 動 画 サイトに 数 多 く 投 稿 されるようになりました 2011 年 には 更 にバージ ョンアップして VOCALOID3 となり それを 使 った 歌 声 ライブラリも 数 多 く 発 売 されています 数 え 方 にもよりますが 最 初 のバージョンから VOCALOID3 まで 合 わせると 50 種 類 以 上 のも のが 発 売 されており 言 語 も 日 本 語 だけでなく 英 語 中 国 語 韓 国 語 スペイン 語 に 対 応 して います これらの 歌 声 ライブラリとソフトウェアを 用 いて 多 くの 皆 さんがオリジナル 曲 を 作 り 競 い 合 うようにニコニコ 動 画 などに 投 稿 しています そして そのような 楽 曲 を 多 くの 若 い 人 々が 好 んで 聴 いています 人 気 曲 は 大 手 レコード 会 社 から CD として 発 売 され オリコン 1 位 になった ものも 複 数 あります カラオケでのランキングでも VOCALOID を 使 って 作 られた 楽 曲 が 上 位 に 来 ることもあります アスキー 総 合 研 究 所 が 2012 年 に 行 った 調 査 によると 女 子 中 学 生 高 校 生 の 54%はボーカロイドの 曲 が 好 きという 結 果 が 出 ています このように 若 い 人 々を 中 心 に 大 き な 音 楽 ムーブメントとなっています 4. 歌 声 合 成 技 術 開 発 の 背 景 VOCALOID の 開 発 を 始 めたのは 2000 年 です 当 時 は 音 楽 をシーケンサで 打 ち 込 み で 行 う のは 当 たり 前 になっていました また 音 源 は 外 部 のハードウェア 音 源 を 用 いるのが 主 流 でしたが 一 方 で コンピュータの 中 で 演 算 により 音 源 を 実 現 する ソフト 音 源 も 発 売 され 始 めた 頃 です いろいろな 楽 器 が 電 子 的 に 再 現 できるようになってきた 中 で 歌 声 だけはそういう 世 界 とは 無 縁 でした 歌 声 も 打 ち 込 み で 制 作 できるようになれば いろいろな 可 能 性 が 広 がると 考 え 開 発 を 始 めました もちろん VOCALOID 以 前 にも 歌 声 を 合 成 する 研 究 はいろいろなところで 行 われておりました 世 界 で 初 めてのコンピュータによる 歌 声 は 1960 年 代 のベル 研 の Kelly らによる 研 究 の 成 果 です Daisy Bell という 歌 を 歌 わせたものですが 今 聴 いても 1960 年 代 にこれだけの 歌 声 を 合 成 でき ていたことは 驚 きです (インターネットで daisy bell computer などのキーワードで 検 索 する と 見 つかります )この 歌 声 は 文 化 的 にもさまざまな 影 響 を 与 えました スタンリー キューブ 9
リック 監 督 の 映 画 2001 年 宇 宙 の 旅 の 最 後 の 方 で 人 工 知 能 HAL 9000 がシャットダウンし ていくところで 昔 こんな 歌 を 歌 った ということで この 歌 を 歌 う 場 面 があります その 後 も 色 々な 研 究 機 関 で 歌 声 を 合 成 しようという 試 みが 行 われてきました また コンシュ ーマ 向 け 商 品 として 発 売 されたものもあります 歌 声 合 成 では 歌 声 の 2 つの 性 質 (つまり 音 声 としての 性 質 と 楽 器 としての 性 質 )の 両 方 を 考 慮 しなければなりません 音 声 としての 性 質 としてまず 考 えられるのは 他 の 楽 器 に 比 べて 圧 倒 的 に 音 色 のバリエーションが 広 いという 点 です 音 韻 による 音 色 の 違 いは めまぐるしく 楽 器 が 変 わっていくことに 相 当 するかもしれません その 他 にも 個 人 性 による 音 色 の 違 いもあります また 発 音 機 構 を 話 し 声 と 共 用 していることから ピッチが 急 には 変 えられない( 常 にポルタメ ントがかかる)ということも 音 声 としての 特 徴 として 挙 げられます 一 方 楽 器 としての 性 質 と は 韻 律 ( 音 の 高 さの 変 化 とタイミング)が 楽 譜 あるいはそれに 相 当 するものによって 支 配 され るということです またビブラートなどの 表 現 も 楽 器 としての 性 質 です いずれにせよ この 音 声 としての 性 質 と 楽 器 としての 性 質 の 両 方 を 考 慮 しなければならない 点 が 歌 声 合 成 の 難 しい 点 で す 先 人 の 業 績 に 敬 意 を 払 いつつ 音 楽 制 作 の 現 場 で 使 っていただくこと を 目 標 に 新 たに 2000 年 から 開 発 を 始 めたのが VOCALOID です 5. VOCALOID の 仕 組 み VOCALOID は 実 際 の 歌 手 の 歌 声 から 取 り 出 された 声 の 断 片 ( 音 声 素 片 と 呼 びます)をつな ぎ 合 わせることで 歌 声 を 合 成 しています そして その 音 声 素 片 を 集 めたものを 歌 声 ライブラ リ と 呼 んでいます 歌 声 ライブラリに 含 まれる 音 声 素 片 は ある 音 素 から 次 の 音 素 への 移 り 変 わりの 部 分 と 母 音 の 伸 ばし 音 です 例 えば あさーー という 歌 詞 の 歌 ( あ は 短 く さ は 長 い)を 合 成 するためには #-a, a-s, s-a, a( 伸 ばし 音 ) a# (#は 無 音 を 示 す)という 音 声 素 片 が 必 要 となります これをつなぎ 合 わせることで 歌 声 を 作 り 出 します しかし 単 に 音 声 素 片 をペタペタとはりつけただけでは 歌 声 になりません 音 声 素 片 の 音 の 高 さが 楽 譜 から 要 求 される 音 の 高 さとは 異 なることと 音 の 高 さを 合 わせたとしても 素 片 と 素 片 の 間 の 音 色 の 微 妙 な 音 色 の 違 いがノイズとなって 聞 こえるからです VOCALOID では 以 下 のような 方 法 で 音 色 を 調 整 して 素 片 と 素 片 の 境 界 での 音 色 が 急 激 に 変 化 しないようにしています (a) 時 間 があまりない 場 合 には 音 色 を 合 わせていく( 音 色 をクロスフェード) (b) 時 間 が 十 分 にある 伸 ばし 音 については 直 前 の 音 色 ( あさーー の 場 合 だと s-a の 最 後 の 音 色 )を 引 き 伸 ばし 最 後 のところで 次 の 音 色 (a-#の 最 初 の 音 色 )に 徐 々に 変 化 させる この 音 色 の 調 整 の 様 子 を 図 3 に 示 します 10
図 3 音 色 の 調 整 音 の 高 さの 調 整 と 音 色 の 調 整 は 周 波 数 領 域 での 信 号 処 理 によって 行 っています 波 形 をいっ たん FFT( 高 速 フーリエ 変 換 )した 後 周 波 数 軸 上 でスケーリングすることで 音 の 高 さを 変 える ことができます また 各 倍 音 のレベルを 上 げ 下 げすることで 音 色 を 調 整 することができます このようにして 滑 らかに 音 声 素 片 をつないで 歌 声 を 作 り 出 します また 歌 声 では タイミングも 重 要 です 簡 単 のため さ という 歌 詞 が4 分 音 符 で 連 続 する 場 合 を 考 えます このときに さ の 発 音 開 始 を4 分 音 符 の 頭 のタイミングで 行 うと どうしても 遅 れて 聞 こえてしまいます これは 人 間 が 歌 うときに 音 節 の 中 の 母 音 の 位 置 でタイミングを 合 わせているからです つまり 合 成 する 場 合 には 音 節 の 母 音 の 位 置 を 音 符 のタイミングに 合 う ように 音 声 素 片 の 位 置 を 調 整 する 必 要 があります この 様 子 を 図 4 に 示 します 図 4 素 片 使 用 のタイミングの 調 整 実 際 の 実 装 ではここが 一 番 苦 労 した 点 です ユーザインタフェース 側 から 音 符 開 始 の 指 示 を 受 けた 合 成 エンジンは その 音 符 開 始 よりも 前 に 発 音 を 開 始 しなければならないという 因 果 律 に 反 することを 行 わなければならないからです 現 実 的 な 解 決 法 として 音 符 開 始 の 指 示 を 前 もっ て 送 るということをしています 例 えば 今 から 500 ミリ 秒 後 に さ という 音 節 をもつ 音 符 を 発 音 しなさい というという 指 示 を 合 成 エンジン 側 に 送 ると 合 成 エンジンはタイミングを 合 わ せて 500 ミリ 秒 後 には さ の 中 の a の 発 音 が 始 まるように 調 整 します さてここで 歌 声 ライブラリについても 簡 単 に 説 明 したいと 思 います 歌 声 ライブラリを 作 る には 歌 手 や 声 優 の 声 を 録 音 し その 中 から 音 声 素 片 を 取 り 出 すことが 必 要 です しかし どん な 歌 詞 が 来 ても 合 成 できるようにするためには 対 象 となる 言 語 で 可 能 性 がある 全 ての 音 素 の 組 み 合 わせを 効 率 よく 収 録 する 必 要 があり そのために 特 別 な 歌 詞 を 考 案 しています その 歌 を 収 11
録 した 後 データ 処 理 の 作 業 になりますが 波 形 を 見 ながら 必 要 な 音 声 素 片 をひたすら 切 りだし ていく 作 業 になります ここの 部 分 は 合 成 品 質 のクオリティを 左 右 する 大 事 な 作 業 ですので お ろそかにはできません 6. 歌 声 合 成 と 新 しい 音 楽 最 後 に なぜ 若 い 人 を 中 心 に VOCALOID を 使 った 楽 曲 が 人 気 になっているのかを 考 えてみた いと 思 います ここからは 私 の 主 観 的 な 分 析 になりますが 私 は 生 身 の 人 間 の 歌 手 が 歌 ってい ないことそのものがポイントだと 考 えています 音 符 と 歌 詞 を 入 力 するという 作 業 は オフライ ンの 演 奏 行 為 そのものです 出 来 上 がった 歌 声 の 演 奏 者 は 音 符 と 歌 詞 を 入 力 した 人 になりま す しかし キャラクタが 与 えられた 場 合 は そのキャラクタに 歌 ってもらっている ような 錯 覚 があるのも 事 実 です その 錯 覚 を 受 け 入 れることで 新 しい 世 界 観 が 広 がり 新 しい 表 現 が 生 まれ それを 若 い 人 の 心 をとらえたのではないでしょうか VOCALOID で 作 られた 楽 曲 を 聴 くと 特 に 歌 詞 に 私 ははっとします 今 までの 商 業 音 楽 にはない 商 業 音 楽 ではありえないよう な 粗 削 りではあるけれども 斬 新 な 歌 詞 をもつ 楽 曲 が 多 いのです ネットの 発 達 により アマチ ュアでも 自 分 の 楽 曲 を 世 界 中 に 届 けることができるようになりました 作 った 人 が 直 接 聴 く 人 に 届 ける 産 地 直 送 のようなところが 魅 力 の 一 つなのかもしれません 歴 史 を 振 り 返 ると 音 楽 が 変 化 するタイミングには 社 会 の 変 化 がありました 例 えばモーツァル トの 最 後 の 交 響 曲 である 交 響 曲 41 番 ハ 長 調 K.551 が 作 曲 されたのは 1788 年 一 方 ロマン 派 の 入 り 口 であるベートーヴェンの 交 響 曲 第 3 番 変 ホ 長 調 英 雄 作 品 55 はそれからわずか 16 年 後 の 1804 年 です その 間 にはフランス 革 命 という 社 会 の 変 化 がありました 音 楽 はこのように 短 期 間 に 変 化 します 音 楽 が 変 化 するもう 一 つの 要 素 として 楽 器 の 変 化 があります ベートーヴ ェンはピアノソナタ 32 曲 を 作 曲 する 中 で 徐 々に 音 域 を 広 げてきました これは 何 も 初 期 に 出 し 惜 しみをしていたわけではなく 当 時 のフォルテピアノの 音 域 がだんだんと 拡 大 してきたこと に 対 応 していると 言 われています このように 楽 器 の 変 化 は 音 楽 そのものも 変 化 させます 歌 声 合 成 という 新 しい 道 具 (=instrument すなわち 楽 器 )も(ベートーヴェンのピアノソナタほどの 大 きな 話 ではないかもしれませんが) 音 楽 を 変 化 させていると 言 えると 思 います ネットの 発 達 という 社 会 の 変 化 と 歌 声 合 成 という 新 しい 楽 器 により 新 しい 音 楽 がこれから も 生 み 出 されていくことを 願 っています 筆 者 プロフィール 剣 持 秀 紀 (けんもち ひでき) 1967 年 : 静 岡 県 生 まれ 1993 年 : 京 都 大 学 大 学 院 工 学 研 究 科 修 士 課 程 修 了 同 年 ヤマハ( 株 ) 入 社 1996 年 :ヤマハとベルギー 企 業 との 合 弁 会 社 L&H ジャパン( 株 )に 出 向 1999 年 :ヤマハ( 株 )に 復 職 2000 年 :VOCALOID 開 発 を 開 始 以 降 VOCALOID を 含 む 歌 声 音 声 信 号 処 理 に 関 する 研 究 開 発 を 行 う 12