2009 年 度 上 期 未 踏 IT 人 材 発 掘 育 成 事 業 採 択 案 件 評 価 書 1. 担 当 PM 後 藤 真 孝 PM( 産 業 技 術 総 合 研 究 所 情 報 技 術 研 究 部 門 メディアインタラクション 研 究 グループ 長 ) 2. 採 択 者 氏 名 チーフクリエータ: 鎌 土 記 良 ( 奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科 音 情 報 処 理 学 講 座 ) コクリエータ : 鈴 木 翔 太 ( 奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学 研 究 科 音 情 報 処 理 学 講 座 ) 3.プロジェクト 管 理 組 織 リトルスタジオインク 株 式 会 社 4. 委 託 金 支 払 額 2,971,902 円 5.テーマ 名 オーディオオブジェクト 操 作 機 能 を 有 する 圧 縮 符 号 化 ソフトの 開 発 6. 関 連 Webサイト http://spalab.naist.jp/aocdemo.html
7.テーマ 概 要 近 年 計 算 機 性 能 向 上 によって 信 号 のマルチチャネル 化 や 音 質 改 善 多 様 なエフェ クトなど 多 くの 音 響 技 術 が 発 展 してきている 信 号 のマルチチャネル 化 によって ホ ームシアター 用 5.1ch サラウンドシステムなどのマルチチャネルシステムが 普 及 し 始 めており 7.1ch や 9.1ch とチャネル 数 は 増 加 し 続 けている DVD や Blu-ray Disc 地 上 波 デジタル 放 送 などがマルチチャネル 信 号 に 対 応 しているため 今 後 もマルチチャ ネルシステムの 普 及 が 進 むと 考 えられる また オーディオのエフェクト 技 術 は 単 にトーンを 変 えるだけでなく 臨 場 感 さえもコ ントロールすることが 可 能 となっている 単 純 なトーンコントロールだけでなく 部 屋 の 広 さに 代 表 される 空 間 的 印 象 さえも 制 御 できるようになり これらの 技 術 は 制 作 者 の みならず ユーザー 側 においても 可 能 になった そして 近 年 オーディオ 信 号 に 含 ま れる 各 オーディオオブジェクト( 例 えば ギター ピアノ ボーカルなど)に 対 してエフェ クト 処 理 ができるような ユーザーがオーディオをより 柔 軟 に 制 御 できるシステムの 研 究 開 発 が 盛 んに 行 われている このような 背 景 の 元 Moving Picture Experts Group(MPEG)では MPEG-Surround を 拡 張 した 技 術 として ユーザーがオブジェクトの 定 位 感 を 自 由 に 操 作 できる 圧 縮 技 術 Spatial Audio Object Coding(SAOC)の 標 準 化 (MPEG-SAOC)を 進 めている しかし 現 状 の SAOC では 原 理 上 音 質 务 化 や 現 在 市 場 において 大 半 のシェアを 占 めるミ ックスダウンが 施 された CD DVD Blu-ray Disk などの 混 合 音 源 や 実 環 境 にて 収 音 さ れた 音 に 対 して 用 いることができない 問 題 点 がある 本 提 案 では 高 音 質 高 圧 縮 効 率 で 既 存 混 合 音 源 においてもユーザーが 各 オーデ ィオオブジェクトの 操 作 を 行 うことができる 新 たな 技 術 の 開 発 と この 技 術 を 用 いユー ザーが 手 元 でヴィジュアルに 既 存 音 源 における 空 間 音 情 報 を 操 作 好 みの 音 を 演 出 可 能 なこれまでに 類 を 見 ない 画 期 的 なオーディオソフトウェアの 開 発 を 行 うことを 目 的 とする 8. 採 択 理 由 ユーザが 自 分 好 みの 臨 場 感 を 得 られるように オーディオオブジェクトの 操 作 が 可 能 な 音 響 技 術 を 実 現 する 提 案 である 要 は 音 源 の 定 位 を 自 由 に 操 作 できるようにするインタフェースを 提 供 するということ であるが 技 術 的 なポイントは ミックスダウン 前 の 音 源 情 報 を 使 わずに 音 楽 CD の ようなステレオ 収 録 された 楽 曲 に 対 しても 適 用 できることである 精 度 と 操 作 性 をどこまで 上 げられるかが 大 きな 挑 戦 ではあるが それ 以 上 に 実 際 に 提 案 しているようなインタフェースを 実 現 するには 各 方 向 の 音 がどの 楽 器 かを 特
定 する 必 要 があり 音 源 分 離 にも 取 り 組 まなければならない 鎌 土 君 鈴 木 君 は 面 接 の 質 疑 でかなり 厳 しい 質 問 を 私 が 連 発 したにも 関 わらず まったく 動 じずに 自 分 達 にはやれる という 姿 勢 で 議 論 ができたのは 素 晴 らしかっ た 本 当 に 使 いたいと 思 えるものに 仕 上 がるかどうかが 鍵 であり それには 高 い 信 号 処 理 性 能 と 魅 力 的 なインタフェースが 不 可 欠 である どこまで 達 成 してくれるのか その 技 術 力 に 裏 付 けされた 意 気 込 みと 元 気 に 大 いに 期 待 したい 9. 開 発 目 標 マルチチャネル 信 号 において 高 音 質 かつ 高 圧 縮 効 率 を 実 現 し かつユーザが 自 由 にオーディオオブジェクトを 操 作 することができるソフトウェアを 構 築 した ソフトウェア は 次 の 要 素 から 成 り 立 つ - データの 圧 縮 を 行 うエンコーダ - データの 伸 張 をリアルタイムで 行 うデコーダ - オーディオオブジェクトの 操 作 を 行 うことのできるコントローラ 10. 進 捗 概 要 未 踏 プロジェクト 開 始 段 階 では 基 本 的 な 信 号 処 理 の 一 部 のみができている 状 態 で あった プロジェクト 開 始 後 前 半 では エンコーダ デコーダに 関 して MATLAB での プロトタイプの 実 装 を C++ 上 で 動 作 するように 移 植 作 業 を 着 実 に 進 めて 高 速 化 を 図 り タッチ 式 のオブジェクトコントローラの 実 装 に 取 り 掛 かり 始 めていた 11 月 にプロジェクトレビューをした 際 には 全 体 をいかにバランスよく 進 め トータ ルのシステムとして 魅 力 的 に 仕 上 げるかが 重 要 になることを 確 認 し 主 にコントローラ をどう 仕 上 げるか 最 後 にどう 見 せるかを 中 心 に 議 論 した その 後 も 開 発 は 順 調 に 進 み 操 作 しているときの 適 切 かつ 魅 力 的 な 視 覚 的 聴 覚 的 なフィードバックも 検 討 して 効 果 的 なデモンストレーションシステムを 実 現 した 11. 成 果 マルチチャネル 信 号 に 含 まれるオーディオオブジェクトの 操 作 ( 定 位 感 操 作 )を 可 能 と す る ソ フ ト ウ ェ ア を 開 発 し リ オ ー ラ ( REAULA : REformation of AUditory LAteralization)システムと 名 付 けた リオーラシステムは データの 圧 縮 を 行 うエンコーダ(リオーラ エンコーダ) これら の 伸 張 をリアルタイムで 行 うデコーダ(リオーラ デコーダ) オーディオオブジェクトの
操 作 を 行 うことのできるコントローラ(リオーラ コントローラ)の 3 つのアプリケーション により 構 成 される コーデックの 開 発 では 音 質 圧 縮 効 率 共 に 従 来 手 法 より 優 れるコサイン 距 離 規 範 k-means クラスタリングによる 圧 縮 符 号 化 に 着 目 し この 手 法 において SAOC と 同 様 のオーディオオブジェクト 操 作 が 施 せないか 検 討 を 行 った コサイン 距 離 規 範 k-means クラスタリングによる 圧 縮 符 号 化 では エンコーダか らダウンミックス 信 号 と 空 間 情 報 が 出 力 される 空 間 情 報 はマルチチャネル 信 号 に 含 まれるオーディオオブジェクトに 対 応 した 空 間 代 表 ベクトルと 呼 ばれる 複 数 本 のベクト ルから 成 っており ベクトルの 大 きさや 角 度 がオーディオオブジェクトの 音 量 や 配 置 に 関 連 していると 考 えられる そのため 空 間 代 表 ベクトルの 操 作 を 行 うことでコサイン 距 離 規 範 k-means クラスタリングによる 圧 縮 符 号 化 においても SAOC のようなオー ディオオブジェクトの 操 作 が 可 能 になると 考 えた そこで, 空 間 代 表 ベクトルの 大 きさはオーディオオブジェクトの 距 離 感 角 度 はオー ディオオブジェクトの 方 位 感 に 対 応 していると 考 え これらを 操 作 することにより SAOC のようなオーディオオブジェクトごとの 音 響 的 操 作 が 可 能 と 考 えた 図 1 に 提 案 内 容 の 概 要 を 示 す 本 システムでは デコーダ 内 部 にて 空 間 情 報 を 操 作 する 処 理 ブロックを 追 加 することにより コサイン 距 離 規 範 k-means クラスタリング による 圧 縮 符 号 化 の 枠 組 みの 中 でオーディオオブジェクト 操 作 が 可 能 となっている 図 1 提 案 システムにおけるマルチチャネル 信 号 圧 縮 伸 張 過 程 エンコーダ デコーダ 機 能 の 実 装 には 速 度 が 求 められるため 言 語 には C++ を マ ルチメディア 操 作 や 科 学 技 術 計 算 には IT++ SDL や PortAudio などの 高 速 高 品 質 なオープンソースソフトウェアを 用 い 効 率 的 に 開 発 を 行 った また デコーダにおいてはリアルタイム 性 が 求 められるため 計 算 処 理 の 最 適 化 を 行 うために Intel C++ コンパイラを 用 いた コントローラにおいては 被 験 者 から 得 た 使 用 感 の 情 報 をコントローラの GUI に 対 し 即 座 に 反 映 できるよう C++ と Python を
用 い 効 率 的 な 開 発 を 行 った 現 存 のオーディオ 機 器 に 見 られるユーザインターフェースではオーディオオブジェク トごとの 音 響 的 操 作 は 困 難 であるため ユーザが 直 感 的 にオーディオオブジェクトを 操 作 可 能 なコントローラを 開 発 した 図 2 にリオーラのコントローラを 示 す このコントローラでは 画 面 中 心 に 受 聴 者 を 模 したアイコンが 表 示 され その 回 りにエンコーダにより 識 別 されたオーディオオブジェ クトが 配 置 される これらのオーディオオブジェクトを 受 聴 者 を 中 心 に 回 転 ( 方 位 感 操 作 ) 遠 近 ( 距 離 感 操 作 ) 操 作 をすることにより 好 みの 位 置 に 音 像 を 定 位 させること が 可 能 となる 図 2 リオーラコントローラ 実 際 の 圧 縮 効 率 音 質 オーディオオブジェクトの 操 作 性 の 評 価 を 行 った 結 果 圧 縮 効 率 音 質 は 共 に 従 来 手 法 より 良 いという 結 果 を 得 た また オーディオオブジェク トの 操 作 性 に 関 しては 学 習 効 率 が 高 く 初 見 で 全 ての 操 作 方 法 がわかるという 評 価 を 得 た 本 プロジェクトの 開 発 の 成 功 により, 開 発 したソフトウェアは 競 合 技 術 である MPEG-SAOC と 比 較 し 圧 縮 率 音 質 に 関 して 従 来 技 術 より 優 れているため 従 来 コ ンテンツより 高 音 質 で 臨 場 感 溢 れる 音 の 伝 送 が 狭 帯 域 で 可 能 となり ネットワークを 介 したよりリッチな 音 響 コンテンツを 充 実 させることが 可 能 となった また 従 来 は 不 可 能 であった 音 源 に 依 存 しないオーディオオブジェクトの 音 響 操 作 が 可 能 となった これにより これまで 想 像 もしなかったような 音 響 的 体 験 が 可 能 とな った 12.プロジェクト 評 価 鎌 土 君 鈴 木 君 は 期 間 全 体 を 通 じて 主 体 的 に 開 発 を 進 めており 完 成 度 の 高 いシ ステムを 実 現 する 開 発 力 プロジェクトを 推 進 する 実 行 力 才 能 を 高 く 評 価 する 特 に 成 果 のプログラム 配 布 を 意 識 した C++ 実 装 にも 取 り 組 み 音 源 種 類 の 自 動 同 定 まで
は 着 手 しなかったものの ユーザがコントローラを 操 作 する 際 にいかに 視 認 性 操 作 性 の 高 いコントローラを 提 供 するかを 深 く 検 討 して 実 装 した 点 が 優 れている まだシ ステム 自 体 の 配 布 の 目 処 は 立 っていないが 成 果 報 告 会 において タッチ 式 のオブ ジェクトコントローラを 体 験 できる 形 で 効 果 的 なデモンストレーションを 実 演 したこと は 高 く 評 価 できる 13. 今 後 の 課 題 どこまで 本 気 に 社 会 にこの 技 術 を 根 付 かせようとしているかによって 今 後 の 展 開 は 変 わりうるが まずは 誰 もが 体 験 する 形 で 配 布 する 等 Web ページやデモビデオ の 整 備 も 含 め その 良 さを 一 人 でも 多 くの 人 にわかってもらう 工 夫 がなされることを 期 待 したい また 産 業 界 と 連 携 した 展 開 も 可 能 になれば 素 晴 らしい