shono_DIA06.ppt

Size: px

Start display at page:

Download "shono_DIA06.ppt"

れいなみやくぼ
9 years ago
Views:

1 8.6. 研究背景大容量記憶メディアの普及動画圧縮転送技術の発達放送方式のシフトシーン自動検出と投球動作分析を用いた野球中継映像のインデキシング手法の提案Detection and Automatic Scene マルチメディアコンテンツの氾濫芝浦工業大学大学院工学研究科電気電子情報工学専攻メディア工学研究室庄野雄紀青木義満効率よい検索管理技術への要求 6/3/ 研究背景映像メディア内容記述の国際標準映像メディアの効率よい検索管理を実現するためには Mpeg Multimedia Content Description Interface 詳細なメタデータの付与を行う必要があるマルチメディア情報に対するメタデータ記述の国際標準従来のＭＰＥＧのような圧縮アルゴリズムではないコンテンツの記述や素性を抽出する方法は規定しないＸＭＬに準拠従来人手によるインデクス付与それぞれがニーズにあったアプリケーションを開発する事が求められる各映像の特性を考慮した自動化へ 3 ICOH Movie Tool 従来研究研究目的ニュース映像スポーツ映像に対しそれぞれの特性に沿った構造化手法が提案されている野球番組映像ストリームから固定カメラショットシーン投球シーンを自動的に抽出分類する手法の提案 News programs 投球シーン Sports programs 5 センターカメラ 6

マルチメディア情報に対するメタデータ記述の国際標準従来のＭＰＥＧのような圧縮アルゴリズムではないコンテンツの記述や素性を抽出する方法は規定しないＸＭＬに準拠従来人手によるインデクス付与それぞれがニーズにあったアプリケーションを開発する事が求められる各映像の特性を考慮した自動化へ 3 ICOH

2 8.6. なぜ投球シーンかなぜ投球シーンか投球シーンは野球映像において一連のプレイシーンの先頭シーンであり映像構造化のキーとなる Inning Score Color Count Motion Pitching scene hit Camera change Pitching scene Position Name atting Ave. etc. メタデータ付与に有益な情報が含まれている 8 研究の流れ Target video シーン抽出 Pitching scenes 3 野球中継映像特性自動分類 Pitching scene groups カット点の位置シーンの位置情報選手の色情報など映像検索に有用なメタデータを付与する 9 野球映像特性① 野球映像特性② 背景色情報は安定オブジェクト選手テロップが不安定投球シーン中心の構成 ame Information Telop ショットレングスの安定性 Players Area 5frames 3frames frames frames frames Player Data Telop

メタデータ付与に有益な情報が含まれている 8 研究の流れ Target video シーン抽出 Pitching scenes 3 野球中継映像特性自動分類 Pitching scene groups 8 6 3 9 5 6 5 3 8 5 9 3 3 3 6 9

3 t 3 Pitch by Pitch Mpeg 5 6 -Shot Segmentation- Target Video Shot Shot Shot 3 Shot Shot N CUT POINT! 8

4 8.6. カット点の検出 -Shot Segmentation- カット点の検出 -Shot Segmentation6frame 6frame process HIST HIST cut! sequence cut point search process HIST Effect? HIST3 9 3frame テンプレートの生成 Manually selected pitching shots 投球シーン抽出処理テンプレートの生成マスク画像の生成カット検出 Shots Shots Shots 3 ショット選択 Selecting color of maximum appearance frequency 背景画像生成選択したショット全体からピクセルごとに最大頻度を持つ輝度を選択マッチング処理投球シーン抽出投球シーンのアーカイブマッチング処理マッチング処理ＢｌｏｃｋＳｉｚｅ２０ Time Difference X Frames Input Image Pixels Input Image Pitching scene template Motion Difference rightness Difference Hue Difference matching Composite Image 3 lock Filter

maximum appearance frequency 背景画像生成選択したショット全体からピクセルごとに最大頻度を持つ輝度を選択マッチング処理投球シーン抽出投球シーンのアーカイブマッチング処理マッチング処理ＢｌｏｃｋＳｉｚｅ２０ Time Difference X

5 8.6. 対象映像投球シーン分類処理投球シーン分類処理投球シーン抽出処理テンプレートの生成マスク画像の生成選手領域検出選手領域検出投球動作区間フレームの取得投球動作区間フレームの取得相関マトリクスの生成相関マトリクスの生成投球シーンの分類投球シーンの分類カット点検出マッチング処理ショット選択背景画像生成投球シーン抽出投球シーンのアーカイブ Pitch by Pitch ダイジェストの生成 Mpeg７によるメタデータ付与支援投手の投球動作の反復に注目した投球シーン分類を試みる 5 投手領域検出 6 投球動作区間フレームの取得選手は動き出しからリリースまで安定した動作を反復する差分マスク画像に対し検索窓を走査させる事で取得 Searching Area Window Key frames 8 相関マトリクスの生成 Shot A 投球シーン分類処理 Shot A 選手領域検出 (f [i, j ] f )(s[i, j] s ) 55 相関マトリクスの生成 N M = 投球シーンの分類 Shot Shot 投球動作区間フレームの取得 j = i = N M N M ( f [i, j] f ) (s[i, j] s ) j = i = j = i = [i, j ]= j ]= 相関マトリクス Pixel(i, j) の輝度値, position ) = ショット ( MAにおける )のposition ((フレーム位置におけ ) (るペアの ) 相関値 M pixel ([ia, position A i, j Ai, j A i, j (,, ) M pixel 3 55 f [ i, j ] = input image color value s[ i, j ] = template color value 9 3 5

投球シーン分類処理 Shot A 選手領域検出 55 3 8 3 55 55 8 (f [i, j ] f )(s[i, j] s ) 55 相関マトリクスの生成 N M = 投球シーンの分類 Shot Shot 投球動作区間フレームの取得 j = i = N M N M ( f [i, j] f ) (s[i, j] s ) j = i = j = i = [i, j ]= j ]=

6 A Centroid of pitching motion 3 3, 33 3 Target Video A C S-Hi Frames 89 Frames 586 Frames D 6 Frames - Video format : IndeoVideo Codec frame/s C D % 3% 59% 6% PC : CPU Pentium M.3 Memory. AM 35 36

7 8.6. Pitch by Pitch Digest 自動生成されたメタデータ <Mpeg xmls="urn:mpeg:mpeg:schema:"...> <Description xsi:type="contententitytype"> <MultimediaContent xsi:type="audiovisualtype"> <AudioVisual id="c:\ My datas \ For esearch \野球君シリーズ\野球君LIHT \test movie and temp\giants.avi"> <MediaTimePoint>T::</MediaTimePoint> <MediaDuration>5839</MediaDuration> <AudioVisualSegment id=pitching Scene> <MediaTime> <MediaTimePoint></MediaTimePoint> <MediaTimeDuration>55</MediaTimeDuration> <AudioVisualSegment id=pitching Scene3> <MediaTime> <MediaTimePoint>5</MediaTimePoint> <MediaTimeDuration>65</MediaTimeDuration> <AudioVisualSegment id=pitching Scene> <MediaTime> <MediaTimePoint>695</MediaTimePoint> <MediaTimeDuration>5</MediaTimeDuration> <AudioVisualSegment id=pitching Scene5> <MediaTime> <MediaTimePoint>5</MediaTimePoint> <MediaTimeDuration>35</MediaTimeDuration> 3 実験２ 38 生成されたマトリクス実験２４投手の投球動作５ショット全２０ショットによる相関マトリクス生成 Player１チームA 右投げオーバースロー Player２チームA 右投げオーバースロー Player３チーム右投げオーバースロー Player４チームＢ左投げサイドスロー各投手の投球数が既知でなかった場合投球シーンをどのように分類するか 39 実験結果マトリクスを用いた投球シーン分類微分値 Player Player 3 Player Player 89 注目 83 マト 95 リクスに対する各マトリクスの相関値 9 Player 3 Player Player Player Player Player 88 マトリクス[,]に対する相関値テーブル

avi"> <MediaTimePoint>T::</MediaTimePoint> <MediaDuration>5839</MediaDuration> <AudioVisualSegment id=pitching Scene> <MediaTime> <MediaTimePoint></MediaTimePoint>

8 3

Microsoft PowerPoint - pr_12_template-bs.pptx

Microsoft PowerPoint - pr_12_template-bs.pptx 12 回パターン検出と画像特徴テンプレートマッチング領域分割画像特徴テンプレートマッチング 1 テンプレートマッチング ( 図形画像などの ) 型照合 Template Matching テンプレートと呼ばれる小さな一部の画像領域と同じパターンが画像全体の中に存在するかどうかを調べる方法画像内にある対象物体の位置検出物体数のカウント物体移動の検出などに使われるテンプレートマッチングの計算