音 楽 と 言 語 への ベイズ 統 計 的 アプローチ 持 橋 大 地 統 計 数 理 研 究 所 数 理 推 論 研 究 系 准 教 授 daichi@ism.ac.jp 統 計 数 理 研 究 所 オープンハウス 2014 2014-6-13 (Fri)
統 計 的 自 然 言 語 処 理 とは 言 語 の 統 計 的 な 取 り 扱 い (= 計 算 言 語 学 ) 1990 年 代 後 半 以 降 Webに よる 電 子 テキストの 増 大 に よって 加 速 的 に 進 歩 2014 年 : 大 きく 進 歩 したが まだ 解 けていない 基 本 問 題 もある
統 計 的 自 然 言 語 処 理 とは (2) 彼 女 は 花 を 買 った 0.92 0.85 0.61 文 書 2 文 書 1 構 文 解 析 0.37 1.0 文 書 モデル 代 表 的 な 応 用 : 構 文 解 析 形 態 素 解 析 文 書 モデル 意 味 極 性 分 類 照 応 解 析 言 語 進 化 モデル
音 楽 との 共 通 性 音 楽 は 楽 譜 をもち それ 自 身 の 構 造 を 持 っている 言 語 と 同 じ 音 響 処 理 だけからはわからない!
例 :Mozart, ヴァイオリン 協 奏 曲 音 楽 情 報 処 理 のためのPythonパッケージである Music21 (http://web.mit.edu/music21/) 付 属 のコーパスの 一 部
例 :Mozart, ヴァイオリン 協 奏 曲 (2) 記 号 列 に 直 してみる (mozart-notes.py) <tune> note:5/4/1 note:5/4/0.25 note:5/2/0.25 note:5/1/0.25 note:5/2/0.25 note:5/4/0.25 note:5/6/0.25 note:5/8/0.25 note:5/9/0.25 note:5/4/0.25 note:5/9/0.25 note:5/9/2 note:5/8/0.5 note:5/2/0.25 note:5/2/0.25 note:5/2/2 note:5/1/0.5 note:4/11/0.25 note:5/11/0.25 隠 れ 状 態 がある? 言 語 と 同 じ!
教 師 なし 品 詞 解 析 When she arrived at the hotel, he realized that the era.. CONJ N V P DT N N V CONJ DT N 言 語 には 品 詞 があり われわれは 品 詞 を 認 識 している 名 詞 動 詞 形 容 詞 冠 詞 接 続 詞 どうやって 品 詞 がわかるのか? 隠 れMarkovモデル (Merialdo 1994, van Gael+ 2009)
隠 れMarkovモデル z z t 1 z t+1 z t w 観 測 データ: 単 語 列 w = w 1 w 2 w 3 w T 潜 在 変 数 : 品 詞 列 z = z 1 z 2 z 3 z T データ 全 体 の 確 率 : T p(w, z) = p(w t z t ) p(z t z t 1 ) t=1 w t had a little lamb
隠 れMarkovモデルの 学 習 Baum-Welchともいう EMアルゴリズム: Forward-Backward ( 動 的 計 画 法 ) しかし 学 習 された 品 詞 間 の 状 態 遷 移 行 列 うまく 学 習 できていない! モデルが 悪 いのか? No!
隠 れMarkovモデルのベイズ 学 習 EMアルゴリズムは 最 尤 推 定 ˆθ =argmaxp(w θ) 実 際 のデータでは 多 数 の 局 所 解 θ
隠 れMarkovモデルのベイズ 学 習 (2) MCMCで 解 けばよい! (Johnson, Goldwater 2007) p(z t z t 1 ) Dir(γ) p(w z) Dir(η) このとき p(z t w t,z t 1,z t+1, others) p(w t z t ) p(z t+1 z t ) p(z t z t 1 ) z t 1 z t z t+1 w t p(z t z t 1,z t+1,w t, others) ( ) ( n(wt,z t )+η n(zt,z t 1 )+γ w n(w, z t)+η n(z t 1 )+Kγ ) ( ) n(zt+1,z t )+I(z t+1 =z t =z t 1 )+γ n(z t )+I(z t =z t 1 )+Kγ
隠 れMarkovモデルのベイズ 学 習 (3) 結 果 : 劇 的 に 改 善 ベイズ 推 定 +MCMC 最 尤 推 定 +EM
隠 れMarkovモデルのベイズ 学 習 (3) 問 題 : 隠 れクラス 数 (= 品 詞 数 ) Kは? infinite HMM (Beal 2002; Teh+ 2006)
infinite HMM HMMのパラメータは p(w z) とp(z t+1 z t ) z を 生 成 する p(z t+1 z t ) が 無 限 次 元 のGEM 分 布 p(z t+1 z t ) GEM(γ) に 従 うとする. GEM 分 布 からのサンプル:
infinite HMM (2) このままだと 学 習 に 個 の 次 元 を 調 べないと いけないが (1) CRP ( 中 国 料 理 店 過 程, Aldous 1985) (2) Slice Sampling (Neal 2003, van Gael+ 2008) を 使 うと 有 限 次 元 で 計 算 できる 注 意 : データ 数 N 以 上 のクラス 数 は 必 要 ない 自 然 数 Nの 分 割 問 題 ( 確 率 分 割 )
infinite HMM (3) 不 思 議 の 国 のアリス (26689 語,1431 行 )を 学 習 データにしてiHMMを 学 習 K 10 9 8 7 6 5 4 3 2 隠 れ 品 詞 数 の 学 習 0 100 200 300 400 500 600 700 800 900 1000 Gibbs iteration Log Likelihood -120000-122000 -124000-126000 -128000-130000 -132000-134000 -136000 データの 対 数 尤 度 の 変 化 0 100 200 300 400 500 600 700 800 9001000 Gibbs iteration
Infinite HMM (2) 状 態 遷 移 行 列 1 she 432 to 387 i 324 it 265 you 218 alice 166 and 147 they 76 there 61 he 55 that 39 who37 what 27 i'll 26 2 the 1026 a 473 her 116 very 84 its 50 my 46 no 44 his 44 this 39 $ 39 an 37 your 36 as 31 that 27 3 was 277 had 126 said 113 $ 87 be 77 is 73 went 58 were 56 see 52 could 52 know 50 thought 44 herself 42 began 40 5 way 45 mouse 41 thing 39 queen 37 head 36 cat 35 hatter 34 duchess 34 well 31 time 31 tone 28 rabbit 28 door 28 march 26 教 師 なしで 品 詞 に 相 当 するものが 学 習 できている!
Infinite Mozart? フレーズのカテゴリがわかる! ( 実 験 はまだ 不 完 全 )
Infinite Mozart? (2) 潜 在 クラス 数 K MCMC 400 iteration 程 度 でほぼ 収 束 Joint Log Likelihood
音 符 のn-gramモデル 慎 重 論 が なお 根 強 く 音 符 や 単 語 には 直 接 状 態 遷 移 があるのでは? n-gramモデル w t 3 w t 2 } {{ } (n 1) 語 } {{ } n w t 1 語 w t (n-1) 語 を 見 た 後 次 に 来 る 語 の 条 件 付 き 確 率 p(w t w t 1,,w t (n 1) ) を 計 算 する
n-gramモデルの 問 題 p(w t w t 1,w t 2,,w t (n 1) ) 組 み 合 わせが 指 数 的 に 増 大! 語 彙 の 数 V=10,000のとき 4-gramでは 原 理 的 に 10000 3 =10 12 =1000000000000 個 のパラメータ
nグラムモデルのベイズ 学 習 nグラムモデル 古 典 的 だが 音 声 認 識 や 機 械 翻 訳 では 未 だ 重 要 基 本 的 ( 言 葉 のMarkovモデル) nグラムモデルの 問 題 : スムージング 現 在 のGoogle カウント 頻 度 そのままでなく 何 か 値 を 足 したりする 必 要!
Pitman-Yor 過 程 (Pitman and Yor 1997) ディリクレ 過 程 とは 自 然 言 語 の1 次 元 の 場 合 無 限 次 元 の 多 項 分 布 を 生 成 する 分 布 のこと 横 軸 : 可 能 な 単 語 の 種 類 元 となる( 連 続 ) 分 布 G 0 に 少 し 似 た 無 限 次 元 の 離 散 分 布 Gを 生 成 と 表 記 ( : 集 中 度 パラメータ) この2パラメータ 拡 張 がPitman-Yor 過 程
階 層 Pitman-Yor 過 程 nグラム 分 布 が 階 層 的 に(n-1)グラム 分 布 からの Pitman-Yor 過 程 によって 生 成 されたと 仮 定 最 初 はUniform, だんだん 急 峻 になる
階 層 CRP 表 現 測 度 を 直 接 扱 う 代 わりに カウントで 離 散 表 現 する 一 人 の 客 が1 単 語 分 のカウントに 対 応 下 の 青 い 客 は 文 脈 she will の 後 に sing が1 回 現 れたことを 意 味 する ( 全 部 で2 回 )
HPYLMの 学 習 HPYLM (hierarchical Pitman-Yor language model) の 学 習 = 潜 在 的 な 代 理 客 の 最 適 配 置 Gibbs sampling: 客 を 一 人 削 除 して 再 追 加 を 繰 り 返 す For each w = randperm(all counts in the corpus), 客 w と 関 連 する 代 理 客 をモデルから 削 除 客 w をモデルに 追 加 = 代 理 客 を 再 サンプル : 白 い 代 理 客 の seating arrangements
HPYLM=nグラムモデルの 問 題 常 に 客 を 深 さn-1に 配 置 していいのか? other than, the united states of america など 必 要 なnグラムのオーダーは 本 来 異 なるはず HPYLMではどうすればいい?
VPYLM (Variable-order HPYLM) 客 を 木 の 根 から 確 率 的 にたどって 追 加 ノード i に,そこで 止 まる 確 率 がある ( : 通 過 確 率 ) は ランダムにベータ 事 前 分 布 から 生 成 ゆえに 深 さnで 止 まる 確 率 は
VPYLM, Variable-order HPYLM (2) 通 過 確 率 (1-q i )が 大 きい 深 いノードに 到 達 できる 通 過 確 率 (1-q i )が 小 さい 短 いMarkov 依 存 性 を 持 つ
VPYLMの 学 習 学 習 データの 各 単 語 に, それを 生 んだ 隠 れたMarkovオーダー が 存 在 Gibbs (MCMC)で を 推 定 n t グラム 予 測 確 率 深 さn t に 到 達 するprior 2つの 項 のトレードオフ ( 深 いn t にペナルティ) 第 二 項 の 事 前 確 率 はどう 計 算 する?
VPYLMの 学 習 結 果 NAB (WSJ) コーパスの 各 単 語 が 生 成 されたMarkov オーダーの 推 定 結 果 情 報 量 の 多 い 語 の 後 は 短 く 連 語 の 後 は 長 いなどの 傾 向 が 学 習 されている
VPYLMの 予 測 従 来 と 異 なり nグラムオーダーnを 事 前 に 知 ら ないので nに 関 して 積 分 消 去 は 先 の 計 算 で から 計 算 できる Suffix tree 上 の Stick-breaking process になっている 説 明 省 略 NIPS 2011にほぼ 同 じアイデアが この 話 を 引 かずに 掲 載
VPYLMの 性 能 SRILM: SRI 言 語 モデルツールキット (Kneser-Ney) 少 ないノード 数 で 高 い 性 能 パープレキシティ= 平 均 予 測 確 率 の 逆 数 (smaller is better) -gram が 可 能!! ( 今 や nは 不 要 )
VPYLMからの 生 成 不 思 議 の 国 のアリス の -gram 文 字 モデルからのラ ンダムウォーク 生 成 生 成 では 気 をつけないと 元 データがそのまま 再 生 されてしまう
-gramによるメロディ 生 成 ( 白 井 & 谷 口 2011) 旋 律 のトピック 適 応 等 様 々な 確 率 的 技 法 が 使 われて いるようです
-gramに 基 づくコード 進 行 認 識 (Yoshii+2011) C7 F7 C7のようなコード 進 行 は 特 定 のMarkov オーダーでは 記 述 できない コード 進 行 の パープレキシティ: モデル PPL Good-Turing 38.3 Kneser-Ney 18.5 HPYLM 18.0 VPYLM 15.8 VF-VPYLM 14.6
音楽と歌詞 (Facebookより[6/10], 公開記事)
音 楽 と 歌 詞 統 計 モデルにできるか? もちろん! 有 名 なモデル: トピックモデル
LDA: トピックモデル 文 書 wを 話 題 (トピック)の 混 合 で 表 現 w 1 θ 1 =(0.1 0.2 0.4 0.3) w 2 混 合 比 θ θ 2 =(0.8 00.2 0) をディリクレ 事 前 分 布 から 生 成 θ 1 θ 2 θ 3
トピックモデル (2) 話 題 とは? 単 語 の 生 起 確 率 分 布 β k = { p(w k) } (w =1 V ) β 1 政 治 法 案 点 国 会 議 院 β 2 スポーツ バスケット 点 フォーム 競 泳
LDAの 文 書 生 成 モデル θ Dir(α) 1. トピック 混 合 比 を 生 成. θ 2. For n = 1 N, z n Mult(θ) a. トピック を 選 択 w n p(w z) b. 単 語 を 生 成. w n z n 政 治 トピック 法 案 点 国 会 議 院
LDAの 学 習 : Gibbs Sampler 導 出 や 実 装 が 簡 単 で 高 性 能 Gibbs Samplerとは マルコフ 連 鎖 モンテカルロ 法 (MCMC)の 最 も 簡 単 な 場 合 潜 在 変 数 を 分 布 ではなく 条 件 つき 分 布 から 実 際 にサンプリング = 単 語 の 潜 在 トピックを 次 々とサンプリング EMと 違 い 原 理 的 に 無 限 回 繰 り 返 せば 真 の 分 布 からのサンプル 42
LDAのGibbs Sampler LDAの 潜 在 変 数 : ( 文 書 のトピック 分 布 )と ( 各 単 語 のトピック) 実 は だけでよい から を 次 々とサンプルして 更 新. 43
LDAのGibbs Sampler (2) (Griffiths+ 2004) データ 全 体 で 単 語 wがトピック kに 割 り 当 てられた 回 数 (w i 除 く) 文 書 d 中 でトピックkに 割 り 当 てられた 単 語 数 (w i 除 く) のような 意 味 44
Last.fm データセット Million Song Dataset http://labrosa.ee.columbia.edu/ millionsong/ 中 の Last.fm データセットのうち タグの 付 けられた1,611 曲 の 歌 詞 Bag of Words 形 式 頻 度 順 で 上 位 5000 語 を 使 用
Last.fm in LDA Topic 1: german 0.064031 ich 0.041963 und 0.029936 die 0.025735 du 0.021566 der 0.020731 ist 0.019416 in 0.018470 das 0.017061 es 0.016384 nicht 0.016217 mich 0.015953 na 0.015548 demain 0.015046 auf Topic 3: love 0.050848 go 0.050427 love 0.047225 let 0.044963 babi 0.036644 me 0.035958 no 0.032467 one 0.029634 the 0.024699 more 0.023832 my 0.022584 time 0.018943 in 0.018062 and 0.014692 again Topic 17: young 0.107093 danc 0.060974 the 0.022725 kill 0.018697 cherri 0.018126 night 0.016975 lyric 0.015383 pop 0.015153 jag 0.013968 to 0.013483 no 0.013464 i 0.011929 som 0.010176 more 0.009995 kan
Last.fm in LDA Topic 3: stopwords 0.048826 the 0.037000 to 0.032441 and 0.020244 in 0.019731 it 0.019236 a 0.018974 way 0.016048 they 0.015976 no 0.014010 up 0.011777 have 0.011509 with 0.011457 them 0.011078 good Topic 9: french 0.031964 de 0.026116 la 0.023961 et 0.020578 le 0.019688 je 0.017437 pas 0.016745 a 0.016607 les 0.016585 que 0.014540 un 0.013672 tu 0.013404 qui 0.012692 ce 0.012599 e Topic 10: general 0.184127 i 0.074498 me 0.069192 you 0.050677 to 0.032629 my 0.022816 have 0.021597 know 0.021543 be 0.018998 and 0.016740 would 0.016288 for 0.016179 love 0.015297 want 0.015199 that
しかし LDAのGibbsサンプラーの 更 新 式 : 各 単 語 は1つのクラスタにしか 属 さない 本 当? 文 書 = 人 単 語 = 商 品 と 考 えてみる ( 協 調 フィルタリング) さまざまな 属 性 : 小 説 / 本 / 若 者 向 け/ 挿 絵 あり /ラテン 語 / 単 なるクラスタリングでは 表 現 できない!
Restricted Boltzmann Machines Deep Learning の 最 も 基 本 的 なモデル 出 力 層 v と0/1の 潜 在 層 h が 重 み W で 結 ばれた ニューラルネット Hinton (2002) 混 合 モデルではなく 積 モデル (Product of Experts)
Restricted Boltzmann Machines (2) LDAと 異 なり 意 味 を 分 散 表 現 できる 国 際 経 済 = 国 際 経 済 海 外 サッカー= 国 際 サッカー 自 然 言 語 処 理 = 数 学 言 語 学 しかし
RBMの 最 適 化 の 難 しさ LDAの 性 能 Replicated Softmax (Salakhut- dinov 2009) のNIPSコー パスでの 実 験 結 果 Better RBMには 学 習 率 ミニバッチサイズ モーメント CD iterations などの 多 数 のメタパラメータ ほとんどの 場 合 非 常 に 悪 い 性 能 しか 出 ない
何 が 問 題 か? RBMは 生 成 モデルがなく 0/1の 潜 在 変 数 と シグモイド 関 数 で 強 引 に 正 則 化 している RBM, LDAとも 語 彙 の 情 報 が 非 常 に 重 要 RBM: ニューラルネットの 重 み LDA: 単 語 のトピック 分 布 単 語 に 潜 在 座 標 を 明 示 的 に 与 えるモデル. 実 は 統 計 学 では Latent space models (Hoff 2002) として 知 られている ( 社 会 ネットワーク 解 析 )
CSTM: Continuous space topic models ( 持 橋 2013) 単 語 wはd 次 元 の 潜 在 座 標 をもつ この 上 に ガウス 過 程 を 生 成
Gaussian process とは ガウス 過 程 : への 回 帰 関 数 を 生 成 する 確 率 分 布 実 際 には 無 限 次 元 のガウス 分 布 1 次 元 の 場 合
Gaussian processとは (2) 2 次 元 の 場 合
Gaussian processとは (2) 2 次 元 の 場 合
Gaussian processとは (3) 2 次 元 の 場 合
CSTM: 最 初 のモデル 単 語 の 平 均 的 な 確 率 ( 最 尤 推 定 ) を ガウス 過 程 でモジュレート は 8000 倍 から0.0001 倍 くらいの 値
Empirical Evidence Brownコーパス Cranfield コーパス を 最 尤 推 定 で 計 算 してプロット 確 率 の 比 はほぼGaussianで 分 布 している!
Polya 分 布 による 拡 張 言 語 にはバースト 性 がある Polya (DCM) 分 布 Draw For n=1..n, Draw を 文 書 ごとに 下 で 生 成 Draw Set Draw
CSTMとLDAの 単 語 確 率 分 布 CSTM LDA CSTMは 全 単 語 Simplexを 網 羅 ( 和 が1の 制 約 がない)
学 習 ガウス 過 程 から 生 成 した 関 数 fは 文 書 ごとに 無 限 次 元 学 習 不 可 能 DILN (Paisley+ 2012)と 同 様 に 補 助 変 数 uを 導 入 単 語 座 標 の 行 列 を とする のとき はuを 積 分 消 去 して これは 線 形 カーネル を 使 ったGPと 等 価 なことを 意 味 する として と の 学 習 問 題!
学 習 (2) 通 常 のMH MCMCで 単 語 と 文 書 の 潜 在 座 標 を 学 習 For j = 1.. J, for i = randperm(1.. D), Draw u ~ N(u,σ 2 ) & MH-accept(u ); Update Z For w = randperm(1.. W), Draw φ (w) ~ N(φ(w),σ 2 ) & MH-accept(u ); Update Z 1..Z N z ~ N(0,σ 2 ); α 0 = α 0 exp(z) If MH-accept(α 0 ) then α 0 =α 0 実 際 は uとφ(w)の 更 新 をランダムに 混 合 単 語 間 に 強 い 相 関 があるため 勾 配 法 では 局 所 解
実 験 結 果 ( 予 測 パープレキシティ) CSTM RSM SDM LDA NIPS 1383.66 1290.74 1638.94 1648.3 KOS 1632.35 1396.61 1936.25 1730.7 毎 日 新 聞 466.83 622.69 582.37 507.39
CSTMの 次 元 選 択 毎 日 新 聞 データでの 性 能 と 潜 在 次 元 数 PPL 700 600 500 400 300 200 100 0 2 3 5 10 15 20 30 40 50 文 書 の 潜 在 次 元 が 連 続 なため 小 さい 値 で 高 性 能 次 元 選 択 を 行 う 簡 単 な 方 法 はない (Beta FA?)
毎日新聞テキスト (2000年度) 出現に偏りの大きい語ほど原点から遠くに位置する
潜 在 的 回 帰 モデル W η θ y(w) φ(w) テキストの 共 変 量 φ(w)と 内 容 単 語 y(w)を 直 接 リンク させるのは 難 しい 潜 在 層 θに 意 味 を 集 約 まずφ(w)からの 線 形 回 帰 +ノイズでθが 生 成 され θからさらに 内 容 単 語 たち y(w)が 確 率 的 に 生 成 される
Latent Linear topic model (lltm) 内 容 語 y(w) 機 械 ソニー 映 像 鮮 やか 1 0 2 1 0 0 0 0 0 0 0 0 0 1 0 exp() W 特 徴 ベクトルf θ Wf η(w) 共 変 量 の 特 徴 からの 回 帰 +ノイズで 観 測 された 語 y(w)が 生 成 される
Latent Linear topic model (2) f θ y W 確 率 で 表 すと p(y f) = p(y θ) p(θ f)dθ ( e η(w)t θ G 0 (w) Z w G 0 (w) は 単 語 wの デフォルト 確 率 で 最 尤 推 定 する η ) c(w) exp yの 中 に 単 語 wが 現 れた 頻 度 ( β2 (Wf θ)2 )
Latent Linear Topic Model (3) f θ y 学 習 はMCMC(θおよびη)+ベイズ 線 形 回 帰 (W) θ,ηは 普 通 のランダムウォークMH Wはθを 目 的 変 数 とした 回 帰 モデルのガウス 事 後 分 布 からサンプル p(y f) = p(y θ) p(θ f)dθ ( w W η e η(w)t θ G 0 (w) Z ) c(w) β も 確 率 変 数 exp ( β2 ) (Wf θ)2
Last.fmデータ Last.fmの 各 曲 についているタグ(Rock,80s,Electro pop, )を 入 力 の 特 徴 として 使 用 上 位 5,000 個 の 特 徴 5000 次 元 の 離 散 データ(タグ) 10000 次 元 の 離 散 データ( 歌 詞 )への 回 帰 問 題 MCMC 100 iterations, K=2,10
Last.fm regression タグ 特 徴 の 潜 在 層 への 回 帰 係 数 をプロット 図 示 のため K=2 次 元 に 圧 縮 して 学 習
Last.fm regression (2) 歌 詞 の 単 語 の 潜 在 座 標 φ(w) をプロット (K=2)
Last.fm 歌 詞 予 測 タグから 潜 在 的 回 帰 を 通 じて 歌 詞 を 予 測 普 通 より 確 率 の 高 くなる 語 の 上 位 語 タグ rock タグ love タグ female vocalists 2.096279 donc 2.069825 rum 2.298850 illumin 2.053631 mere 2.025971 dancin 2.189100 independ 2.008083 mississippi 2.024850 famous 2.185653 crawl 1.964316 toni 2.007292 anybodi 2.150131 comprehend 1.943512 modern 1.971674 cancer 2.131693 hustl 1.881520 brooklyn 1.937310 whoa 2.108225 carv 1.843006 losin 1.913502 wretch 2.101845 spite 1.838629 rewind 1.904969 glimps 2.099663 fade 1.828743 juli 1.904207 spell 2.096050 depress 1.825501 hug 1.880279 lane 2.090748 wrath 1.816417 sleepless 1.855865 kneel 2.085099 gypsi 1.761052 goodby 1.846672 dizzi 2.081990 shallow
まとめ ベイズ 統 計 の 手 法 を 用 いることで 言 語 と 同 様 に 記 号 を 用 いる 楽 曲 データが 解 析 できる 複 雑 な 階 層 モデル 音 響 信 号 だけからは 分 からない 知 識 音 響 と 言 語 をつなぐ 手 法 が 必 要 潜 在 的 回 帰 モデル 回 帰 モデルの 目 的 変 数 自 体 が 未 知 の 潜 在 変 数 パラメータのベイズ 事 後 分 布 からのサンプリング 歌 詞 のより 緻 密 なモデル 化 が 課 題
今 後 の 研 究 課 題 歌 詞 を 自 動 生 成 する 統 計 モデル n-gram ( -gram)だけでなく 文 法 に 基 づいた 生 成 楽 譜 情 報 からの 回 帰 ( 離 散 時 系 列 への 回 帰 問 題!) 音 響 信 号 の 教 師 なし 学 習 との 接 続
終 わり ご 清 聴 ありがとうございました