8.6. 研究背景 大容量記憶メディアの普及 動画圧縮 転送技術の発達 放送方式のシフト シーン自動検出と投球動作分析を用いた 野球中継映像のインデキシング手法の提 案Detection and Automatic Scene マルチメディアコンテンツの氾濫 芝浦工業大学大学院 工学研究科 電気電子情報工学専攻 メディア工学研究室 庄野 雄紀 青木 義満 効率よい検索 管理技術への要求 6/3/ 研究背景 映像メディア内容記述の国際標準 映像メディアの効率よい検索 管理を実現するためには Mpeg Multimedia Content Description Interface 詳細なメタデータの付与を行う必要がある マルチメディア情報に対するメタデータ記述の国際標 準 従来のＭＰＥＧのような圧縮アルゴリズムではない コンテンツの記述や素性を抽出する方法は規定しない ＸＭＬに準拠 従来 人手によるインデクス付与 それぞれがニーズにあったアプリケーションを 開発する事が求められる 各映像の特性を考慮した自動化へ 3 ICOH Movie Tool 従来研究 研究目的 ニュース映像 スポーツ映像に対しそれぞれの特性に沿っ た 構造化手法が提案されている 野球番組映像ストリームから 固定カメラショットシーン 投球シーン を自動的に抽出 分類する手法の提案 News programs 投球シーン Sports programs 5 センターカメラ 6
8.6. なぜ投球シーンか なぜ投球シーンか 投球シーンは野球映像において一連のプレイシーン の 先頭シーンであり 映像構造化のキーとなる Inning Score Color Count Motion Pitching scene hit Camera change Pitching scene Position Name atting Ave. etc. メタデータ付与に有益な情報が含まれている 8 研究の流れ Target video シーン抽出 Pitching scenes 3 野球中継映像特性 自動分類 Pitching scene groups 8 6 3 9 5 6 5 3 8 5 9 3 3 3 6 9 3 3 35 8 33 36 カット点の位置 シーンの位置情報 選手の色情報など 映像検索に有用なメタデータを付与する 9 野球映像特性① 野球映像特性② 背景色情報は安定 オブジェクト 選手 テロップ が不安定 投球シーン中心の構成 ame Information Telop ショットレングスの安定性 Players Area 5frames 3frames frames frames frames Player Data Telop
t 3 Pitch by Pitch Mpeg 5 6 -Shot Segmentation- Target Video Shot Shot Shot 3 Shot Shot N CUT POINT! 8
8.6. カット点の検出 -Shot Segmentation- カット点の検出 -Shot Segmentation6frame 6frame process HIST HIST cut! sequence cut point search process HIST Effect? HIST3 9 3frame テンプレートの生成 Manually selected pitching shots 投球シーン抽出処理 テンプレートの生成 マスク画像の生成 カット検出 Shots Shots Shots 3 ショット選択 Selecting color of maximum appearance frequency 背景画像生成 選択したショット全体から ピクセルごとに最大頻度 を持つ輝度を選択 マッチング処理 投球シーン抽出 投球シーンのアーカイブ マッチング処理 マッチング処理 ＢｌｏｃｋＳｉｚｅ ２０ Time Difference X Frames Input Image Pixels Input Image Pitching scene template Motion Difference rightness Difference Hue Difference matching Composite Image 3 lock Filter
8.6. 対象映像 投球シーン分類処理 投球シーン分類処理 投球シーン抽出処理 テンプレートの生成 マスク画像の生成 選手領域検出 選手領域検出 投球動作区間フレームの取得 投球動作区間フレームの取得 相関マトリクスの生成 相関マトリクスの生成 投球シーンの分類 投球シーンの分類 カット点検出 マッチング処理 ショット選択 背景画像生成 投球シーン抽出 投球シーンのアーカイブ Pitch by Pitch ダイジェストの生成 Mpeg７によるメタデータ付与支援 投手の投球動作の反復に注目した投球シーン分類を試みる 5 投手領域検出 6 投球動作区間フレームの取得 選手は動き出しからリリースまで安定した動作を反復する 差分マスク画像に対し検索窓を走査させる事で取 得 Searching Area Window Key frames 8 相関マトリクスの生成 Shot A 投球シーン分類処理 Shot A 選手領域検出 55 3 8 3 55 55 8 (f [i, j ] f )(s[i, j] s ) 55 相関マトリクスの生成 N M = 投球シーンの分類 Shot Shot 投球動作区間フレームの取得 j = i = N M N M ( f [i, j] f ) (s[i, j] s ) j = i = j = i = [i, j ]= j ]= 相関マトリクス Pixel(i, j) の輝度値, position ) = ショット ( MAにおける )のposition ((フレーム位置 におけ ) (るペアの ) 相関値 M pixel ([ia, position A i, j Ai, j A i, j (,, ) M pixel 3 55 f [ i, j ] = input image color value s[ i, j ] = template color value 9 3 5
A Centroid of pitching motion 3 3, 33 3 Target Video A C - - 3 S-Hi- 5839 Frames 89 Frames 586 Frames D 6 Frames - Video format : IndeoVideo Codec 3 9.9 frame/s C D 5839 89 686 6 3 3 3 6 35 % 3% 59% 6% PC : CPU Pentium M.3 Memory. AM 35 36
8.6. Pitch by Pitch Digest 自動生成されたメタデータ <Mpeg xmls="urn:mpeg:mpeg:schema:"...> <Description xsi:type="contententitytype"> <MultimediaContent xsi:type="audiovisualtype"> <AudioVisual id="c:\ My datas \ For esearch \野球君シリーズ\野球君LIHT \test movie and temp\giants.avi"> <MediaTimePoint>T::</MediaTimePoint> <MediaDuration>5839</MediaDuration> <AudioVisualSegment id=pitching Scene> <MediaTime> <MediaTimePoint></MediaTimePoint> <MediaTimeDuration>55</MediaTimeDuration> <AudioVisualSegment id=pitching Scene3> <MediaTime> <MediaTimePoint>5</MediaTimePoint> <MediaTimeDuration>65</MediaTimeDuration> <AudioVisualSegment id=pitching Scene> <MediaTime> <MediaTimePoint>695</MediaTimePoint> <MediaTimeDuration>5</MediaTimeDuration> <AudioVisualSegment id=pitching Scene5> <MediaTime> <MediaTimePoint>5</MediaTimePoint> <MediaTimeDuration>35</MediaTimeDuration> 3 実験 ２ 38 生成されたマトリクス 実験 ２ ４投手の投球動作５ショット 全２０ショットによる相関マトリクス生成 Player１ チームA 右投げオーバースロー Player２ チームA 右投げオーバースロー Player３ チーム 右投げオーバースロー Player４ チームＢ 左投げサイドスロー 各投手の投球数が既知でなかった場合 投球シーンをどのように分類するか 39 実験結果 マトリクスを用いた投球シーン分類 微 分 値 6 93 9 9 5 68 6 9 88 9 6 9 63 6 6 9 93 9 6 6 6 9 96 96 6 6 6 9 96 66 63 9 65 6 3 8 9 8 8 8 86 8 88 8 Player Player 3 Player Player 89 注 目 83 マ ト 95 リ ク ス に 対 す る 各 マ ト リ ク ス の 相 関 値 9 Player 3 Player Player Player Player Player 88 マトリクス[,]に対する相関値テーブル
3