Multimedia Webコンテンツ 自 動 生 成 ツール MPMeister Multimedia Web Contents Automatic Generation Tool -MPMeister- 國 枝 孝 之 脇 田 由 喜 高 橋 望 Takayuki KUNIEDA Yuki WAKITA Nozomu TAKAHASHI 要 旨 MPMeisterは, 簡 単 に 短 時 間 でマルチメディアWebコンテンツを 作 成 するツールとして 開 発 さ れた.すなわち, 映 像 や 音 声, 画 像,3Dオブジェクトといったマルチメディア 情 報 とテキストを 複 合 的 に 組 み 合 わせ,その 情 報 間 の 同 期 をとって1つのWebコンテンツとしてまとめたものや,プ レゼンテーションを 対 象 とした 場 合 は 映 像 と 発 表 資 料 が 同 期 して 表 示 され, 目 次 をクリックする と 目 的 の 発 表 シーンへすばやくアクセスできる 機 能 をもった 統 合 型 のコンテンツがマルチメディ アである.しかし,このコンテンツを 作 成 するには, 発 表 の 撮 影, 資 料 の 切 り 替 えタイミング, Webコンテンツのデザインレイアウトの 設 計 と 多 くの 手 間 とコストがかかるのが 現 状 で, 本 ツー ルはそれを 自 動 的 に 簡 単 に 作 成 するツールとして 開 発 されたものである. 本 ツールで 作 成 したコ ンテンツは, マルチメディア 内 容 記 述 インタフェース として 国 際 標 準 となったMPEG-7 (ISO/IEC 15938)を 用 いて 内 容 記 述 が 施 され,コンテンツが 大 量 に 蓄 積 された 場 合 でも 簡 単 に シーン 単 位 の 検 索 やコンテンツの 再 利 用 が 可 能 である. Abstract Quick and automatic creation tool for Multimedia Web Contents MPMeister is developed. Web Contents are comprised of the video, audio, images, 3D objects and text synchronizing each other. In the case of presentation contents, it is necessary the slides are synchronized with the presentation video so that by clicking an item in the table of contents, a user can quickly access any scene they want. This type of integrated unified multimedia content is being used for the investor relation information, lecture contents as well as widespread broadband network. Since there are many steps involved in producing this type of content, including recording the video, timing the slide changes and connecting this to web content, production costs are still high. The web content generated by MPMeister provides the metadata, which is represented by using the MPEG-7 (ISO/IEC 15938) Multimedia Content Description Interface. The advantage of using MPEG-7 is that users are able to search and reuse the web contents even if they store a lot of multimedia web content. ソフトウェア 研 究 開 発 本 部 マルチメディア 研 究 所 Multimedia Lab, Software R&D Group Ricoh Technical Report No.29 114 DECEMBER, 2003
1. 背 景 と 目 的 ブロードバンドの 急 速 な 普 及 にともない,インターネッ トの 世 界 においては 従 来 のテキストや 画 像 といったコンテン ツだけではなく, 音 声 や 映 像 といったネットワークの 帯 域 を 多 く 必 要 とするコンテンツが 流 通 しはじめた. 現 在 これらの コンテンツの 多 くは, 映 画 や 音 楽 といったエンターテイメン ト 系 のコンテンツが 主 流 であるが, 今 後, 教 育 やビジネス ユースのコンテンツの 増 加 も 見 込 まれる.そのような 中 で, 映 像 情 報 と 画 像,テキスト 等 を 複 合 的 に 同 期 させる 技 術 (シ ンクロナイズドマルチメディア 技 術 )が 登 場 し,より 理 解 し やすいコンテンツ(Fig.1 Multimedia Web Content)として 講 義 や 講 演 記 録 に 利 用 されるようになった.しかし,これらの コンテンツを 制 作 するには, 発 表 を 録 画 し, 発 表 資 料 と 発 表 映 像 の 同 期 タイミングを 記 録 し, 目 次 を 作 成 し, 背 景 レイア ウトをデザインするといった 時 間 とコストがかかり, 手 軽 に 利 用 できるものではなかった. 我 々は,このようなコンテン ツを 手 軽 に 短 時 間 で 生 成 できるツールとして,マルチメディ アWebコンテンツを 映 像 撮 影 終 了 後, 約 1 分 程 度 で 自 動 生 成 するMPMeisterを 映 像 インデキシングの 技 術 をベースに 開 発 した. ツ 生 成 PCから 構 成 される. 発 表 者 PCには, 発 表 の 状 況 を 監 視 し, 発 表 終 了 時 にMicrosoft 社 製 PowerPoint( 以 降 PPT) ファイルをコンテンツ 生 成 PCに 送 付 するMPWatcherと 呼 ば れるソフトウェアが 導 入 されている. 一 方,コンテンツ 生 成 PCは,DVカメラがIEEE1394(FireWire)で 接 続 されており, 映 像 のHDDレコーディングを 行 うと 同 時 に 撮 影 終 了 後, 発 表 者 PCから 送 られてくるPPTファイルと 発 表 状 況 記 録 ファ イルからマルチメディアWebコンテンツを 生 成 する.これら の2つのPC 間 はネットワーク 接 続 されており,その 形 態 は 撮 影 会 場 の 状 況 により 様 々で 無 線 LANによる 接 続 も 可 能 である. Fig.2 MPMeister System Configuration 2-2 機 能 と 特 長 MPMeisterは, 発 表 資 料 を 用 いた 講 演 や 発 表 をその 場 で 撮 影 し,すぐにマルチメディアWebコンテンツを 生 成 するツー ルであり,それを 実 現 するために 以 下 のような 機 能 を 持 つ. 撮 影 映 像 はHDDレコーディングが 行 われリアルタイム で 映 像 が 記 録 される. 発 表 者 は 通 常 通 りPPTを 用 いて 発 表 を 行 う.コンテンツ 作 成 では 撮 影 開 始 撮 影 終 了 の2 回 の 操 作 だけで 自 動 的 にコンテンツが 生 成 できる 発 表 者 のスライドのページめくりのタイミングは 自 動 に 記 録 され, 映 像 に 同 期 してページが 遷 移 するコンテ 2. 製 品 の 概 要 2-1 システム 構 成 Fig.1 Multimedia Web Content MPMeisterは, 通 常 Fig.2に 示 すように 発 表 者 PCとコンテン ンツが 生 成 される 発 表 者 のPPTの 誤 操 作 による 一 定 の 時 間 より 短 いページ の 表 示 は, 自 動 的 にカットされる コンテンツ 作 成 時 にタイトルや 発 表 者 名, 日 時, 発 表 の 概 要 や 著 作 権 情 報 などを 入 力 しておくことで, 生 成 されるコンテンツのタイトル 等 が 自 動 挿 入 されると 同 Ricoh Technical Report No.29 115 DECEMBER, 2003
時 にコンテンツ 管 理 に 必 要 な 情 報 はすべてMPEG-7 1 形 式 で 格 納 される.また,PPTのスライド 中 の 情 報 も 自 動 的 にMPEG-7 形 式 で 格 納 される PPTのスライド 中 のタイトル 部 に 記 述 された 文 字 列 を 利 用 し 自 動 的 にコンテンツの 目 次 が 作 成 される.またコ ンテンツ 中 のこれらの 目 次 をクリックすることでその シーンへ 飛 び, 映 像,スライドが 再 生 される あらかじめ 用 意 されているテンプレートから 好 きなデ ザイン, 背 景 のレイアウトを 選 択 しコンテンツを 生 成 する.また,コンテンツ 作 成 後 でもデザインを 変 更 す ることができる 生 成 されたコンテンツは,そのままCDやDVDに 保 存 し 再 生 できる.また,ストリーミング 配 信 する 場 合 は, アクセスポイントのURLを 指 定 し,アップロードする ことができる MPEG-7を 用 いてスライドごとの 構 造 情 報 を 記 述 し, 各 構 造 に 対 しPPTから 抽 出 した 情 報 を 内 容 記 述 として 記 録 する.こ の 時 点 で 発 表 情 報 を 集 約 したMPEG-7ファイルの 生 成 が 完 了 する. 次 に 生 成 されたMPEG-7ファイルの 内 容 と 選 択 されたデザ インテンプレートに 基 づき,マルチメディアWebコンテンツ を 作 成 するが,コンテンツはSMILによるプレゼンテーショ ン 方 式 のものとHTMLによるプレゼンテーション 方 式 のもの がある.このように 生 成 されたWebコンテンツは 最 終 的 に 所 定 の 配 信 サーバーに 対 しアップロードされるか,CD-ROM 等 に 記 録 される. 3. 技 術 の 特 徴 3-1 処 理 データフロー MPMeisterのコンテンツ 生 成 PCでは, 撮 影 開 始 ボタンをク リックすると,IEEE1394 経 由 で 接 続 されたDVカメラから 送 られる 映 像 ストリームをリアルタイムでWindowsMediaもし くはRealMediaフォーマットに 変 換 しながらHDDに 録 画 する. 一 方, 発 表 者 PC 上 では, 発 表 者 の 利 用 したPPTファイルと 発 表 者 がページを 切 り 替 えるタイミングをコンテンツ 生 成 PCと 同 期 したカウンタ 情 報 に 基 づき 記 録 していく. 発 表 者 が 発 表 を 終 了 し,コンテンツ 生 成 PC 上 で 撮 影 終 了 ボタンが クリックされると,HDDレコーディングは 停 止 し,それと 同 時 に 発 表 者 PCから 有 線 もしくは 無 線 ネットワークを 介 し てPPTファイルと 切 り 替 えタイミングを 記 録 した 発 表 状 況 記 録 ファイルが 転 送 される. 転 送 されたPPTファイルからは,タイトル 文 字 列 や 検 索 等 に 利 用 される 文 字 列 が 自 動 抽 出 される. 次 に 発 表 状 況 記 録 ファイル 中 の 同 期 情 報 に 基 づき, 録 画 された 映 像 に 対 し 1 MPEG-7とは, 通 称 MPEG(Moving Picture Experts Group)として 知 ら れるISO/IEC JTC1 SC29/WG11において 策 定 されたマルチメディア コ ンテンツに 対 するメタデータの 表 記 方 法 に 関 する 国 際 標 準 規 格 ( ISO/IEC 15938 part1-8 )であり, 正 式 名 称 をMultimedia Content Description Interfaceという. Fig.3 Content Generation Flow 3-2 MPEG-7の 採 用 MPMeisterのコンテンツ 生 成 における 特 徴 は,その 中 間 データとしてMPEG-7を 採 用 した 点 にある.MPEG-7は 一 般 に 映 像 や 音 声 コンテンツの 構 造 や 内 容 を 色 特 徴 などの 低 レベ ル 記 述 から 意 味 情 報 として 誰 が 何 をした といった 高 レベ ル 記 述 まで 行 えるXMLベースの 記 述 体 系 である. 本 ツール では,1つの 発 表 を 論 理 的 なコンテンツとしてMPEG-7を 用 いて 記 述 を 施 すことにした. 発 表 の 構 造 としては,1. 発 表 前 ( 司 会 者 による 発 表 者 の 紹 介 など),2. 発 表 者 による 発 表, 3. 発 表 後 ( 質 疑 応 答 など)を 上 位 階 層 の 構 造 とし,2の 発 表 者 による 発 表 部 分 では 下 位 にスライドごとの 構 造 表 現 を 持 た せる. 各 スライドの 構 造 に 対 して,そこで 利 用 したPPTのス ライドイメージ,タイトル 文 字 列, 内 容 等 の 発 表 に 関 連 した 情 報 を 記 述 する. 最 終 的 には, 発 表 内 容 をすべて 集 約 して 表 現 したMPEG-7に 記 述 された 情 報 をもとに 利 用 者 の 希 望 する デザインやコンテンツ 同 期 方 式 に 従 ったマルチメディアWeb コンテンツをXSLT ( Extensible Stylesheet Language Transformations) 等 の 技 術 を 利 用 して 簡 単 に 生 成 することが Ricoh Technical Report No.29 116 DECEMBER, 2003
できる.Fig.4は,1つのスライドシーンをMPEG-7 表 現 した サンプルインスタンスである. また,MPEG-7の 本 来 の 目 的 であるマルチメディア 情 報 検 索 への 適 用 も 可 能 であり,コンテンツが 大 量 に 蓄 積 された 場 合 でもシーン 単 位 でのきめ 細 かな 検 索 や,ユーザー 嗜 好 情 報 に 基 づくコンテンツの 再 構 成 も 可 能 となる. 3-3 映 像 とスライドの 同 期 MPMeisterでは 当 初,SMILによるプレゼンテーション 方 式 を 採 用 していたが, 最 新 のバージョンでは, 利 用 者 の 視 聴 環 境 を 考 慮 してHTMLによるプレゼンテーション 方 式 を 採 用 し ている.それぞれの 方 式 とメリットに 関 して 説 明 する. <Mpeg7 xmlns="urn:mpeg:mpeg7:schema:2001" xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001" xmlns:xsi="http://www.w3.org/2001/xmlschema-instance" xsi:schemalocation="urn:mpeg:mpeg7:schema:2001 Mpeg7-2001.xsd"> <AudioVisualSegment id="structure-26"> <StructuralUnit href="urn:ricoh:mmvision:segmenttypecs:4"> <Name xml:lang="en">page</name> </StructuralUnit> <CreationInformation id="creationinformation-27"> <Creation id="creation-28"> <Title>Presentation Slide 0</Title> </Creation> <RelatedMaterial id="relatedmaterial-29"> <MaterialType> <Name>Microsoft PowerPoint</Name> </MaterialType> <MediaLocator xsi:type="imagelocatortype"> <MediaUri>file:///C:/Data/PPTFile/1/1_0.JPG</MediaUri> </MediaLocator> </RelatedMaterial> </CreationInformation> <TextAnnotation type="headline"> <FreeTextAnnotation xml:lang="ja"> </FreeTextAnnotation> </TextAnnotation> <TextAnnotation type="commentary"> <FreeTextAnnotation xml:lang="ja"> </FreeTextAnnotation> </TextAnnotation> <PointOfView viewpoint="importance"> <Importance> <Value>1.0</Value> </Importance> </PointOfView> <MediaTime> <MediaRelTimePoint mediatimebase="ancestor::description/multimediacontent[1]/audiov isual[1]/mediatime[1]">p0dt0h0m0s0n30f</mediareltimepoint> <MediaIncrDuration mediatimeunit="p0dt0h0m0s1n30f">750</mediaincrduration> </MediaTime> </AudioVisualSegment> Fig.4 MPEG-7 Instance 3-3-1 SMILによるプレゼンテーションコンテンツ SMIL(Synchronized Multimedia Integration Language)では, 実 際 にストリーミングされる 映 像 の 時 間 に 同 期 する 形 で, 画 像 やテキストを 表 示 することができる.この 方 式 では, 再 生 プレーヤーが 主 体 となってSMILで 記 述 されたタイムテーブ ルに 従 ってスライドイメージなどの 必 要 なコンテンツをサー バーに 要 求 し 表 示 する.そのため,きめ 細 かなコンテンツ 間 の 同 期 を 指 定 することができるが,すべてのコンテンツ 素 材 は1つのストリームデータとして 配 信 されるため, 細 いネッ トワーク 回 線 ではコンテンツの 中 断 が 生 じたり,シーン 切 り 替 え 時 にスライド 等 の 映 像 以 外 のコンテンツもストリーミン グ 配 信 が 完 了 するまで 表 示 されない 場 合 が 生 じたりする. 3-3-2 HTMLによるプレゼンテーションコンテンツ SMILがプレーヤー 主 体 のプレゼンテーションコンテンツ であるのに 対 し,HTMLによるプレゼンテーションコンテン ツは, 映 像 ストリーム 主 体 のプレゼンテーションコンテンツ である. 最 もシンプルな 表 現 手 法 として,ビデオの 進 行 に 合 わせて 自 動 的 にページが 切 り 替 わっていくという,ホーム ページとストリーミングを 連 動 させた 演 出 ができる.この 方 式 では,ストリームデータの 特 定 時 間 の 箇 所 にコンテンツへ アクセスするためのURLをイベントとして 埋 め 込 み,そのイ ベントをブラウザーが 受 けると 指 定 されたURLのコンテンツ をホームページとして 表 示 する.そのため, 実 際 にストリー ミング 配 信 されるのは, 映 像 だけであり, 他 のスライド 等 は HTMLファイルとしてWebサーバー 上 に 存 在 すればよい.し かし, 映 像 を 配 信 する 前 にあらかじめイベントを 埋 め 込 む 処 理 を 施 さなければならない.スライド 等 の 映 像 以 外 のコンテ ンツは,HTML 表 現 されているため,ホームページを 作 成 し たことがある 人 であれば, 内 容 の 修 正 や 追 加 を 比 較 的 容 易 に 行 うことができる. Ricoh Technical Report No.29 117 DECEMBER, 2003
3-4 背 景 デザインテンプレート 実 際 にマルチメディアWebコンテンツを 作 成 する 場 合 に 時 間 と 手 間 がかかる 作 業 として,コンテンツの 内 容 に 合 った 背 景 デザインや 各 メディア( 映 像 やスライド)レイアウト 設 計 がある.そこで,MPMeisterでは, 映 像,スライド, 目 次 の 配 置 と 大 きさ, 背 景 色 をパターン 化 し 背 景 のデザインテンプ レート(Fig.5)として 用 意 している. このように 利 用 が 想 定 されるパターンのデザインテンプ レートをあらかじめ 用 意 することで, 利 用 者 は 簡 単 に 利 用 目 的 にあったマルチメディアWebコンテンツを 作 成 することが できる. Fig.5 Sample Design template 3-5 コンテンツの 手 動 作 成 と 修 正 MPMeisterは, 基 本 的 には 講 演 や 発 表 をその 場 で 撮 影 し, すぐにマルチメディアWebコンテンツを 生 成 する 記 録 型 の ツールである.あらかじめビデオテープに 録 画 された 映 像 と 発 表 資 料 が 存 在 する 場 合, 映 像 の 内 容 を 視 聴 し 発 表 状 況 記 録 ファイルを 作 成 する 必 要 があるものの 手 動 でのコンテンツ 作 成 を 可 能 としている.また, 発 表 開 始 終 了 部 分 に 録 画 され た 不 要 な 映 像 の 削 除 やスライドから 抽 出 した 目 次 (タイトル 部 )の 修 正 のためのインタフェースを 備 えている. 4. 活 用 事 例 成 の 速 さから,ビジネスや 教 育 の 現 場 のさまざまな 発 表 や 講 演 の 撮 影 に 利 用 されている.そうした 中 で,マルチメディア Webコンテンツを 利 用 した 新 しい 試 みが 行 われており, 以 下 にその 事 例 を 紹 介 する. E-Learningコンテンツ 教 育 現 場 では,E-Learning が 普 及 しはじめており, MPMeisterは,このような 現 場 でも 利 用 されている. 特 に 座 学 中 心 の 講 座 は, 講 義 をMPMeisterで 収 録 し,マルチメディ アWebコンテンツとその 内 容 にあった 練 習 問 題 のホームペー ジと 組 み 合 わせることでE-Learningコンテンツとして 利 用 で きる.その 結 果, 受 講 者 が 好 きな 時 間 に 好 きな 場 所 で 学 習 で き, 内 容 もスライドにあわせて 講 師 の 説 明 を 聞 くことで 理 解 し 易 いE-Learningコンテンツとなっている. 学 会 発 表 の 収 録 学 会 の 全 国 大 会 では, 多 くの 研 究 者 が 集 まり,その 内 容 によりセッションに 分 かれて, 同 じ 時 間 に 複 数 の 発 表 が 行 わ れる 場 合 が 多 い. 参 加 者 は, 同 時 に 複 数 のセッションには 参 加 することはできない. 日 本 データベース 学 会 では, 世 界 初 の 試 みとして, 撮 影 許 諾 を 得 た 約 140の 発 表 をMPMeisterで 撮 影 し,セッション 終 了 後 すぐに 会 場 に 設 置 した 複 数 のPCで コンテンツを 公 開 した.そのため 参 加 できなかったセッショ ンの 発 表 も 休 憩 時 間 などに 聞 くことができ, 参 加 者 から 好 評 を 得 た.また,これらのコンテンツは 大 会 終 了 後 も 学 会 の ホームページから 会 員 に 対 してストリーム 配 信 サービスを 行 っている. 5. 今 後 の 展 開 今 回,MPMeisterを 提 供 することで,ビジネスシーンにお いても, 理 解 しやすいマルチメディア 情 報 を 用 いたコンテン ツを 手 軽 に 作 成, 利 用 できるようになった. 今 後,これらの コンテンツが 大 量 に 作 成 され 蓄 積 されると, 既 存 のドキュメ ントと 同 様 に 検 索, 再 利 用 の 要 求 も 高 まると 思 われる.その ため,これらのニーズに 対 してもMPEG-7を 採 用 したメリッ トを 活 かしたポータルサイト 構 築 のための 研 究 と 携 帯 端 末 な どの 普 及 に 見 られるように 視 聴 環 境 の 多 様 性 への 対 応 も 行 っ ていく 予 定 である. MPMeisterは,その 機 動 性, 操 作 の 簡 易 さ,コンテンツ 生 Ricoh Technical Report No.29 118 DECEMBER, 2003