ｽﾗｲﾄﾞﾀｲﾄﾙなし

Size: px

Start display at page:

Download "ｽﾗｲﾄﾞﾀｲﾄﾙなし"

みちしげかわらい
5 years ago
Views:

1 画像情報特論 (5) - ディジタル圧縮とメディア表現 (2) 音声オーディオ SMIL グラフィクス情報ネットワーク専攻甲藤二郎 katto@waseda.jp

2 音声オーディオ圧縮の原理

3 ディジタルオーディオキャプチャ & 圧縮典型的なサンプリングレートマイクサウンドキャプチャ音声 : 8 khz 8 ビットオーディオ : 22.5, 44.1, 48 khz 16 ビット

4 音声オーディオ符号化の歴史 kbit/s 512 PCM G.711 (PCM) CD/DAT 電話 8 ボコーダ ( 音源モデル ) 4 2 オーディオ MPEG1 G.726 (ADPCM) MPEG4 G.728 (CELP) GSM (CELP) G (CELP) G.729 (CELP) VSELP AMR (CELP) PSI-CELP 波形符号化 ( フィルタバンク ) 携帯 CELP ( 音源モデル ) 守谷 : 音声符号化

5 音声符号化 (1) 音声合成モデル有声音ピッチ周期以下のパラメータを推定 ( 予測 ) して送信するパルス列 ( 有声無声 ) ピッチ周期ゲイン LPCパラメータ周期パルス声道 ( フィルタ ) 音源 ( パルス源 ) 無声音 x 声道モデル励振ベクトルランダム雑音 G ( ゲイン ) LPC 分析合成 L.Rabiner et al: Fundamentals of Speech Recognition

6 音声符号化 (2) CELP CELP: Code Excitation Linear Prediction 音声入力 LPC 分析局所デコーダピッチ予測音声出力 + LPC 合成雑音予測ゲイン探索誤差最小化守谷 : 音声符号化

7 音声符号化 (3) LPC 分析 ( 線形予測分析 ) : 声道モデル LPC: Linear Prediction Coding s( n) p = a k = 1 k s( n k) + G u( n) 過去の k 個のサンプル値から線形予測 ( 注 ) 通常画像のモデルでは雑音と扱う s(n): 音声サンプル a k : LPC 係数 p: LPC 分析次数 G: 励振ゲイン u(n): 正規化励振項予測誤差二乗平均の最小化 e( n) a k = 0 p k = 1 r ( i k) aˆ n k = r n ( i) r(k): a^ k : 自己相関係数推定 LPC 係数自己相関法 (Durbin のアルゴリズム )

8 音声符号化 (4) ベクトル量子化 : 音源パルス列励振ベクトルとゲインの探索 : d = x gac min となる励振ベクトルとゲインを探索さまざまな探索手法... d: ひずみ x: 目標ベクトル ( 入力音声 ) A: LPC 係数行列 g: ゲイン c: 励振ベクトル ( パルス列 ) 励振ベクトルベクトル量子化ゲインスカラー量子化 ( 声道パラメータベクトル量子化 ) 入力ベクトルインデクス出力コード量子化ブック探索コードブック事前学習

9 音声符号化 (5) ベクトル量子化 : コードブックの学習 (1) K- 平均アルゴリズム ( 一般化 Lloyd アルゴリズム ) クラスタ ( 符号ベクトル ) 初期化 c, c2,, c 1 K M (M: 符号ベクトル数 ) 新しい学習ベクトルの入力 r ( k = 1, 2, K, L) (L: 学習ベクトル数 ) k 最近隣 (NN) 探索 2 c r min ( ユークリッド距離の場合 ) i k クラスタ重心更新 c i = r k C i r k 欠点 : 最終結果が初期ベクトルに依存

10 音声符号化 (6) ベクトル量子化 : コードブックの学習 (2) LBG アルゴリズム全学習ベクトルの重心算出 ( 初期化 ) クラスタ分割 c c + n n = = c c n n (1 + ε) (1 ε) 新しい学習ベクトルの入力最近隣 (NN) 探索クラスタ重心更新 k- 平均アルゴリズム

11 オーディオ符号化 (1) オーディオ符号化の基本音声入力周波数分割量子化エントロピー符号化周波数分析心理聴覚分析周波数分割周波数分析 : FFT サブバンド分割 (QMF) MDCT 心理聴覚分析 : 絶対閾値とマスキング量子化エントロピー符号化 : スカラー量子化とハフマン符号

12 オーディオ符号化 (2) 心理聴覚分析絶対閾値 : 人間は絶対可聴閾値よりも大きな音しか知覚できない振幅聞こえる聞こえない周波数マスキング ( 相対閾値 ): 大きな音の周波数の近傍の小さな音の周波数は知覚できない振幅聞こえる聞こえない周波数

13 オーディオ符号化 (3) MP3 (MPEG-1 Layer III) ハイブリッド分割 QMF 適応ブロック長 MDCT 非線形量子化ハフマン符号化 FFT 心理聴覚分析量子化制御 cf. Layer I, II QMF 線形量子化符号化 FFT 心理聴覚分析

14 オーディオ符号化 (4) MPEG-2 AAC 適応ブロック長 MDCT 時間領域ノイズ整形予測非線形量子化ハフマン符号化心理聴覚分析量子化制御時間領域ノイズ整形 (for transient signals): 一部のMDCT 係数を時系列とみなして線形予測 (LPC) 分析振幅の大きい部分に量子化雑音が集中する ( ノイズ整形 ) 予測 (for stationary signals): MDCT 係数毎に過去 2フレームのMDCT 係数から予測入力が定常的な場合に有効

15 オーディオ符号化 (5) Twin VQ 適応ブロック長 MDCT ピッチスペクトル包絡電力分析係数正規化インタリーブベクトル量子化 LPC 分析心理聴覚モデル LPC 分析ピッチスペクトル包絡電力分析 : MDCT 係数の平坦化ベクトル量子化のコードブック削減インターリーブベクトル量子化 : 適応量子化に替わるひずみの最小化手法傾向の似た変換係数のグルーピング

16 音声とオーディオビデオの対比音声符号化 PCM 波形符号化分析合成符号化 ( 音声合成モデル ) オーディオ符号化ビデオ符号化 PCM 波形符号化オーディオ合成モデル : 楽器 (+ ボーカル ) ビデオ合成モデル : コンピュータグラフィックス? 分析合成手法の試み ( ブレークスルーにはなっていない ): オーディオ符号化 : 音源分離ビデオ符号化 : 知的符号化 ( 顔画像アニメーション )

17 SMIL

18 コンテンツの進化ストリーミング ( リアルタイム ) 将来? 3D ビデオ AV レイアウト記述 CG ストリーミングダウンロードウェブゲーム CG 受動的能動的 ( インタラクティブ )

19 SMIL SMIL * Synchronized Multimedia Integration Language ストリーミングのためのレイアウト記述言語 <smil> <head> <layout> レイアウト記述 </layout> </head> <body> <par> メディア記述 </par> </body> </smil> * XML ベース... HTML に慣れていれば習得は簡単

20 SMIL レイアウト記述 root a b <root-layout width= 500 height= 400 /> <region id= a top= 50 left= 50 width= 100 height= 80 /> <region id= b top= 200 left= 50 width= 400 height= 200 /> 表示画面レイアウト記述

21 SMIL メディア記述ストリーミング <par> <video region= b src= rtsp:// /> <seq> <img region= a src= dur= 10s /> <img region= a src= dur= 10s /> <img region= a src= dur= 10s /> </seq> </par> <par> メディア 1, メディア 2, </par> <seq> メディア 1, メディア 2, </seq> 複数メディアの並列再生複数メディアの逐次再生 <video>, <audio>, <img>,... 各種メディアタグ

22 グラフィクス

23 VRML VRML * Virtual Reality Modeling Language 三次元 CG の記述フォーマットシーングラフ Hello VRML 記述 Transform { Transform { translation Shape { geometry Box } } Transform { translation Shape { geometry Cylinder } } }... シーン合成

24 VRML VRML 2.0 のノード一覧グループ : Billboard Group Inline LOD Switch Transform 形状 : Shape Box Cone Cylinder ElevationGrid Extrusion IndexedFaceSet IndexedLineSet PointSet Sphere Text 形状特性 : Coordinate Color Normal TextureCoordinate アピアランス : Appearance Material ImageTexture PixelTexture MovieTexture TextureTransform 光源視点 : DirectionalLight PointLight SpotLight Viewpoint センサ : Anchor Collision CylinderSensor PlaneSensor ProximitySensor SphereSensor TimeSensor TouchSensor VisibilitySensor インタポレーター : ColorInterpolator CoordinateInterpolator NormalInterpolator OrientationInterpolator PositionInterpolator ScalarInterpolator その他 : AudioClip Background Fog FontStyle NavigationInfo Script Sound WorldInfo

25 合成自然音響符号化化分離重化MPEG4/SNHC MPEG-4 4 Systems/SNHC 自然画像符号化グラフィクス符号化合成音響符号化多多重自然音響復号自然画像復号グラフィクス復号合成音響復号出力テキスト符号化テキスト復号シーン符号化シーン復号インタラクション目的 : 従来の AV 系システムへの CG コンピュータミュージックの取り込み

26 (1) シーン記述 (MPEG4 BIFS) MPEG4/SNHC シーン記述ネットワーク蓄積媒体 * Binary Format for Scene シーン合成 VRML のストリーミング拡張シーングラフ (VRML) シーングラフのストリーミングビデオ CG + 従来の AV ストリーミング合成シーン Hello オーディオ顔画像アニメーション

27 MPEG4/SNHC (2) 顔画像アニメーション顔画像パラメータネットワーク蓄積媒体顔画像合成顔画像パラメータ : FAP (Facial Animation Parameter) 顔の基本的な動きの表現 FAP 初期値で基本的な顔を転送以下は差分を転送 ( ストリーミング ) FAP を与えない場合にはニュートラルフェイスを使用 FDP (Facial Definition Parameter) FAP で与えられる一般的な顔画像のカスタマイズセッション開始時に転送 ( オプション )

28 MPEG4/SNHC (3) 人体アニメーション人体パラメータネットワーク蓄積媒体人体合成人体パラメータ : BAP (Body Animation Parameter) 人体の基本的な動きの表現 BAP 初期値で基本的な人体を転送以下は差分を転送 ( ストリーミング ) BAP を与えない場合にはデフォルト人体を使用 BDP (Body Definition Parameter) BAP で与えられる一般的な人体のカスタマイズセッション開始時に転送 ( オプション )

29 MPEG4/SNHC (4) 三次元メッシュ符号化三次元メッシュ : ポリゴンの頂点座標 + 頂点間の接続情報 + 各種特性情報三次元メッシュ符号化 : 上記の三次元メッシュ記述の圧縮 G.Taubin: Geometric Compression Through Topological Surgery, ACM Trans on Graphics.

30 多重重化分MPEG4/SNHC メッシュ符号化のブロック図化3 次元メッシュ符号化頂点離接続情報接続情報復号頂点 3 次元メッシュ再構成多頂点座標符号化頂点座標復号三段階の符号化 : 1. ポリゴン頂点の接続情報 (connectivity) の符号化 2. ポリゴン頂点の三次元座標 (geometry) の符号化 3. 色法線テクスチャ座標などの特性 (property) の符号化

31 MPEG4/SNHC 接続情報の符号化 [1] シンプルメッシュ頂点木頂点の接続関係三次元メッシュ (A) 一頂点の選択と頂点木の作成 (C) A C E 二次元平面に展開 (E) ( 一番外側が選択頂点 ) デュアルグラフ ( 双対木 ) の作成 (F) B D F ( カットスルー ) ポリゴンループデュアルグラフ双対木の符号化 ( 次ページ ) G.Taubin: Geometric Compression Through Topological Surgery, ACM Trans on Graphics.

32 MPEG4/SNHC 接続情報の符号化 [2] ポリゴン接続関係の符号化ルート ( 開始線 ) 符号化結果符号化ルール左エッジ (1) 両方 (3) 右エッジ (2) 現在のエッジ G.Taubin: Geometric Compression Through Topological Surgery, ACM Trans on Graphics.

33 MPEG4/SNHC ビデオ符号化に類似頂点座標の符号化 (1) ポリゴンによる予測符号化対象の頂点をポリゴンを構成する頂点の一つと仮定して座標を外挿予測予測誤差を符号化 (2) 平均による予測符号化対象の頂点をそれを囲むポリゴンの重心と仮定して座標を内挿予測予測誤差を符号化仮想的なポリゴン

34 MPEG4/SNHC (5) 合成オーディオオーディオパラメータネットワーク蓄積媒体合成オーディオオーディオ合成パラメータ : SAOL (Structured Audio Orchestra Language): 楽器の特徴信号処理方法を記述する言語... 音源物理モデルに相当 SASL (Structured Audio Score Language): 楽譜情報を記述するフォーマット... MIDI に相当 SABSF (SA Bank Sample Format): 音源波形をそのまま使うフォーマット... PCM 音源に相当

35 関連情報

36 SMIL SMIL エディタ SMIL ファイル作成支援ツール ( オーサリングツール ) GRiNS Editor for SMIL (Oratrix: trial) SMIL Composer (Sausage Software: free) Fluituion (Confluent Technologies: trial) SMIL Editor (NTT DoCoMo システムズ : trial)

37 その他 MPEG-4/VRML: Broadcast Studio (MPEG-4 BIFS) 三次元形状圧縮ストリーミング : Metastream ( 階層化メッシュ + CGストリーミング ) XVL ( 曲面記述を活用した形状圧縮 ) SpaceStream (VRML + AV/CG ストリーミング )

ｽﾗｲﾄﾞﾀｲﾄﾙなし

ｽﾗｲﾄﾞﾀｲﾄﾙなし (5) - (2) SMIL 2003.05.23 E-Mail: katto@waseda.jp 8 khz 8 22.5, 44.1, 48 khz 16 512 256 128 64 32 16 kbit/s G.711 (PCM) G.726 (ADPCM) GSM (CELP) 8 ( ) VSELP 4 2 40 PCM CD/DAT MPEG1 PSI-CELP G.728 (CELP)

ｽﾗｲﾄﾞ ﾀｲﾄﾙなし

ｽﾗｲﾄﾞﾀｲﾄﾙなし