IEICE-Robotics ppt

Size: px

Start display at page:

Download "IEICE-Robotics ppt"

まれあとくやす
5 years ago
Views:

1 教師なし形態素解析とその周辺持橋大地統計数理研究所数理推論研究系ロボット学会データ工学ロボティクス研究会 (Wed)

2 自己紹介奈良先端大 (NAIST) 情報科学研究科松本研 ATR 音声研研究員 ( ) NTT CS 研研究員 ( ) 統計数理研究所 (2011-) 専門 : 統計的自然言語処理

3 統計的自然言語処理 1990 年代後半 ~: 大量の言語データから言語の性質を統計的に学習統計的機械学習の重要な一部代表的な応用 : 構文解析形態素解析文書モデル意味極性分類照応解析言語進化モデル彼女は花を買った文書文書 1 構文解析文書モデル

4 統計的自然言語処理でのモデル論理式から高度な統計モデルへチョムスキーの亡霊からの脱却 Web の登場と電子テキスト計算資源の爆発的増大対数線形モデル階層ベイズモデル観測値 : 単語列ある単語 x の品詞が形容詞である確率統計的機械学習の一部として重要な地位を占める

5 統計的言語モデル自然言語の教師なし学習の別名単語列に対しその確率を最大にする確率モデルを学習 n グラムとは限らない情報理論と密接な関係 ( 良いモデル良い符号化 ) 隠れ変数があってよいは何でもよい!! 構文木品詞列感情極性意味トピック単語分割 etc,etc

6 統計的言語モデル (2) 言語モデル研究の良い点 : 人手のラベルが一切不要あらゆる言語データがそのまま学習データになる新語新表現未知の言語.. のモデル化が可能統計的には一般に難しい Cons: 人手の正解と一致するとは限らない半教師あり学習これには教師なしモデルが先に必要

7 教師なし品詞解析単語の持つ動詞, 形容詞, 名詞などの品詞を同定することは自然言語処理の多くの場面で有効たなびく雲の合間から漏れ出る静かな月 After procrastination, it is the time for prime-ministerial leadership. PREP N PN V DT N PREP ADJ N 従来は, 上のような品詞タグを学習データに与えておき識別器 (= 回帰問題 ) を学習問題 : 上の品詞タグは充分に意味があるか? 人手で大量のタグ付けをしなくとも, 自動的に品詞を学習できないか?

8 教師なし品詞解析 (2) 基本的なアプローチ : HMM ( 隠れマルコフモデル ) を使おう (Johnson EMNLP 2007) 隠れ状態が品詞に対応する ( はず ) PN V ADJ N PREP it is high time for 学習方法 : EM アルゴリズム (Baum-Welch) or Gibbs 1 次 Markov の場合は, 次の確率に従って状態 y をサンプル

9 教師なし品詞解析 (3) V 左側 : ベイズ HMM (Gibbs), 右側 : EM アルゴリズム最尤推定の EM アルゴリズムでは, 局所解に陥って良い解が見つかっていない ( 大データでは EM も良い場合 : EMNLP08)

10 教師なし構文解析 (1) 確率的文脈自由文法 (PCFG) 与えられた文法の確率を学習し確率最大となる構文木を解析文法があれば inside/outside 確率テーブルと EM アルゴリズムで計算可能

11 教師なし構文解析 (2) 問題点 : 文法は手で書いて与える必要がある自然言語をきちんと解析するためには必要な文法は通常非常に複雑になる V motion,pp place などのカテゴリはヒューリスティックに決めただけ ( 粗すぎ細かすぎ ) 自動的にカテゴリを決められないか?

12 教師なし構文解析 (3) 学習は変分ベイズ EM Liang+ (EMNLP 2007): HDP による無限カテゴリ PCFG の教師なし学習階層ディリクレ過程でカテゴリ生成 + 状態遷移行列生成

13 n グラムモデル n グラムモデル古典的だが音声認識や機械翻訳では未だ重要基本的 ( 言葉の Markov モデル ) n グラムモデルの問題 : スムージング現在の Google カウント頻度そのままでなく何か値を足したりする必要!

14 多項分布 ( 離散分布 ) K K 種類のアイテムのどれかが出る確率分布離散データの統計モデルの基本中の基本は (K-1) 次元の単体 (Simplex) の内部に存在 (0,0,1) (1,0,0) (0,1,0)

15 ディリクレ分布 : ランダムな多項分布を生成する確率分布のとき単体上で Uniform な分布期待値 : 分散 :

16 ディリクレ分布 (2) のとき上に凸のとき下に凸統計的自然言語処理等では多くの場合 ( くらい )

17 ディリクレ分布に基づく予測ゆがんだ三面サイコロを振ったら結果は (1=1 回,2=3 回,3=2 回 ) だった次の目は? ベイズの定理 : の期待値は

18 ディリクレ分布に基づく予測 (2) 一般に n 回の観測の中で k 番目のアイテムが回出現したとすると 1 2 k K 注 : のとき ( 出現しなかったアイテムにも正の確率 )

19 ディリクレスムージング (MacKay 1994) n グラム確率分布にディリクレ事前分布を仮定すると結果はを足すのと同じはバイグラムなら Newton 法で最適化できる問題 : 性能が意外と低いカウント n(w h) が 0 のときなのでに物凄い差!! 大体 0.1~0.001 くらい

20 Kneser-Ney スムージング (Kneser,Ney 1995) 最高精度とよばれるスムージング法頻度 n(w h) から一定数 D をディスカウントは h に後続する単語の種類数から決まるこれは下の階層 Pitman-Yor 過程による予測の近似であることが最近判明 (Goldwater+ 2006, Teh 2006) 階層 Pitman-Yor 過程とは?

21 ディリクレ過程 (Ferguson 1973) ディリクレ過程 (Dirichlet process) とは自然言語の 1 次元の場合無限次元の多項分布を生成する分布のこと横軸 : 可能な単語の種類元となる ( 連続 ) 分布 G 0 に少し似た無限次元の離散分布 G を生成と表記 ( : 集中度パラメータ ) この 2 パラメータ拡張が Pitman-Yor 過程

22 階層 Pitman-Yor 過程 n グラム分布が階層的に (n-1) グラム分布からの Pitman-Yor 過程によって生成されたと仮定最初は Uniform, だんだん急峻になる

23 階層 CRP 表現 CRP=Chinese Restaurant Process 測度を直接扱う代わりにカウントで離散表現する一人の客が 1 単語分のカウントに対応下の青い客は文脈 she will の後に sing が 1 回現れたことを意味する ( 全部で 2 回 ) america butter

24 階層 CRP 表現 (2) 実際のカウント = 黒い客は常に深さ (n-1) へ追加下のトライグラムの場合は深さ 2 適宜確率的にスムージングのためのカウントを親に再帰的に送る ( 白い客代理客 ) america butter

25 HPYLM の学習 HPYLM (hierarchical Pitman-Yor language model) の学習 = 潜在的な代理客の最適配置 Gibbs sampling: 客を一人削除して再追加を繰り返す For each w = randperm(all counts in the corpus), 客 w と関連する代理客をモデルから削除客 w をモデルに追加 = 代理客を再サンプル : 白い代理客の seating arrangements america butter

26 HPYLM=n グラムモデルの問題常に客を深さ n-1 に配置していいのか? other than, the united states of america など必要な n グラムのオーダーは本来異なるはず HPYLM ではどうすればいい? america butter

27 VPYLM (Variable-order HPYLM) 客を木の根から確率的にたどって追加ノード i に, そこで止まる確率がある ( : 通過確率 ) はランダムにベータ事前分布から生成ゆえに深さ n で止まる確率は

28 VPYLM, Variable-order HPYLM (2) 通過確率 (1-q i ) が大きい深いノードに到達できる通過確率 (1-q i ) が小さい短い Markov 依存性を持つ

29 VPYLM の学習学習データの各単語に, それを生んだ隠れた Markov オーダーが存在 Gibbs (MCMC) でを推定 n t グラム予測確率深さ n t に到達する prior 2 つの項のトレードオフ ( 深い n t にペナルティ ) 第二項の事前確率はどう計算する?

30 VPYLM の学習 (2)

31 VPYLM の学習結果 NAB (WSJ) コーパスの各単語が生成された Markov オーダーの推定結果情報量の多い語の後は短く連語の後は長いなどの傾向が学習されている

32 VPYLM の予測従来と異なり n グラムオーダー n を事前に知らないので n に関して積分消去は先の計算でから計算できる Suffix tree 上の Stick-breaking process になっている説明省略 NIPS 2011 にほぼ同じアイデアがこの話を引かずに掲載

33 VPYLM の性能 SRILM: SRI 言語モデルツールキット (Kneser-Ney) 少ないノード数で高い性能パープレキシティ = 平均予測確率の逆数 (smaller is better) -gram が可能!! ( 今や n は不要 )

34 VPYLM からの生成不思議の国のアリスの -gram 文字モデルからのランダムウォーク生成生成では気をつけないと元データがそのまま再生されてしまう

35 確率的フレーズの計算 ( 英語 /WSJ)

36 確率的フレーズの計算 ( 日本語 / 毎日新聞 )

37 最近の話潜在的な Markov オーダーを学習せずデータを丸覚えしてベイズで最適な予測を行う Sequence Memoizer が提案 (Wood+, ICML 2009) 途中のノードでの確率を復元する統計理論ただし言語の性質は何も学習しない生成に用いると常に最長の文脈を用いるため学習データがそのまま出てくる学習データを全部覚えるのは無駄なのではないか? 統計的には非常に興味深い話

38 形態素解析日本語や中国語等は単語に分けられていない自然言語処理の非常に重要な課題 % echo やあこんにちは, 大学内はどうですか mecab -O wakati やあこんにちは, 大学内はどうですか ( やあこんにちは, 大学内はどうですか ) Chasen, MeCab (NAIST) などが有名なツールこれまで教師あり学習 (supervised learning) によって学習されてきた人手で単語分割の正解例を何万文も作成膨大な人手と手間のかかるデータ作成

39 形態素解析 (2) # S-ID: KNP:99/12/27 * 0 5D 一方いっぽう * 接続詞 * * * * 特殊読点 * * * 1 5D 震度しんど * 名詞普通名詞 * * はは * 助詞副助詞 * * * 2 3D 揺れゆれ * 名詞普通名詞 * * のの * 助詞接続助詞 * * * 3 4D 強弱きょうじゃく * 名詞普通名詞 * * 毎日新聞 1995 年度記事から 38,400 文 ( 京大コーパス ) の例膨大な人手で作成した教師 ( 正解 ) データ対数線形モデルやその拡張を用いて識別器を学習話し言葉の正解? 古文? 未知の言語? 女御更衣あまたさぶらひたまひける中に

40 中国語の場合 : 新浪微博 (Twitter クローン小 : 星期五吃 ~~!6 点啊 [ ] 快下班了可是我的才开始! 注册口碑卡 ~\( )/~ 啦啦啦的, 在的我很成熟, 我知道你我意味着什么, 我要好好珍惜你, 我不要在一个得我一生的女孩快考了中西上, 最差也要山哈哈哈天真不嘛 ~ 可耐不嘛! 雕塑明是拍的 -.- 中国語日本語と同様にまず単語に分ける必要膨大で無限に生まれる未知語! 新浪微博のユーザーは 1 億 4 千万人 (!)

41 教師なし形態素解析確率モデルに基づくアプローチ : 文字列それを分割した単語列の確率についてを最大にするを探す例 : p( 今日はもう見た ) > p( 今日はもう見た ) 教師データを使わない ; 辞書を使わない言語として最も自然な分割を学習するあらゆる単語分割の可能性を考えるたった 50 文字の文でも 2^50=1,125,899,906,842,624 通りの天文学的組み合わせ ( さらに無数の文が存在 )

42 文の確率 : n グラムモデル p( 今日はもう見た ) = p( 今日 ^) p( は今日 ) p( もうは ) p( 見たもう ) 文頭を表す特殊文字条件付き確率の積で文の確率を計算自然言語処理ではきわめて強力 (Shannon 1948) 確率のテーブルはほとんどが 0 階層的なスムージングが不可欠あらゆる部分文字列が単語になりうる階層ベイズモデル : 階層 Pitman-Yor 過程言語モデル (HPYLM) (Teh 2006; Goldwater+ 2005) Pitman-Yor 過程 : ディリクレ過程 (GEM 分布 ) の一般化

43 準備 : HPYLM n-gram バイグラム PY ユニグラム Pitman-Yor 過程 (PY) : PY PY がトライグラム PY: 確率分布から確率分布を生成彼が教会がカウントが 0 でもより低いオーダーの Markov モデルを用いて階層ベイズでスムージング注目している単語がそもそも存在しなかったら?

44 HPYLM: 無限語彙モデル PY PY PY : 基底測度基底測度は単語の事前確率を表す語彙 V が有限ならは可算無限でもよい! 無限語彙 PY に従って必要に応じて単語が生成される単語の確率は文字 n-gram= もう一つの HPYLM 他の方法で与えてもよい ( が再学習が面倒 )

45 NPYLM: 文字 - 単語 HPYLM の階層化 PY PY PY が彼が教会が PY 単語 HPYLM は会臨 HPYLM-HPYLM の埋め込み言語モデルつまり階層 Markov モデル PY 教国時文字 HPYLM 文字 HPYLM のは, 文字数分の 1 ( 日本語なら 1/6879)

46 NPYLM の学習問題の定式化データ : 文 : 隠れ変数 : ( ) ( ) 隠れ変数の組み合わせは指数的に爆発文がそれぞれ独立だと仮定すると ( ) 各文の分割をどうやって推定するか? ブロック化ギブスサンプリング MCMC.

47 Blocked Gibbs Sampling 文 2 の分割確率密度 p(x,z) の等高線文 1 の分割確率 p(x,z) を最大にする単語分割を求める単語境界は前後の単語に強い依存関係文ごとに可能な単語分割をまとめてサンプル (Blocked Gibbs sampler)

48 Blocked Gibbs Sampler for NPYLM 各文の単語分割を確率的にサンプリング言語モデル更新別の文をサンプリング... を繰り返す. アルゴリズム : 0. For s=s_1 s_x do parse_trivial(s,θ). 文字列全体が一つの単語 1. For j = 1..M do Θ: 言語モデル For s=randperm(s_1 s_x) do のパラメータ言語モデルからwords(s) を削除 words(s) ~ p(w s,θ) をサンプリング言語モデルにwords(s) を追加して更新 done.

49 Gibbs Sampling と単語分割 1 神戸では異人館街の二十棟が破損した 2 神戸では異人館街の二十棟が破損した 10 神戸では異人館街の二十棟が破損した 50 神戸では異人館街の二十棟が破損した 100 神戸では異人館街の二十棟が破損した 200 神戸では異人館街の二十棟が破損したギブスサンプリングを繰り返すごとに単語分割とそれに基づく言語モデルを交互に改善していく

50 動的計画法による推論 words(s)~p(w s,θ) : 文 s の単語分割のサンプリング確率的 Forward-Backward (Viterbi だとすぐ局所解 ) Forward テーブルを用いる : 文字列が時刻 t から k 文字前までを単語として生成された確率それ以前の分割について周辺化動的計画法で再帰 t-k t-k+1 t Y X Y k Y j

51 動的計画法によるデコード EOS : = 文字列の最後の k 文字が単語となる文字列確率なので EOS に接続する確率に従って後ろから k をサンプルが最後の単語だとわかったのでを使ってもう一つ前の単語をサンプル以下文頭まで繰り返す

52 動的計画法による推論 ( トライグラムの場合 ) t-k-1-j-1-i t-k-1-j-1 t-k-1 t トライグラムの場合は Forward 変数としてを用いる : 時刻 t までの文字列の k 文字前までが単語さらにその j 文字前までが単語である確率動的計画法によりを使って再帰プログラミングが超絶ややこしい ;_; ( 文字列は有限なので前が存在しないことがある )

53 グラフィカルモデル表現 ( バイグラム ) BOS 京都市のです EOS 都が単語京都が単語 Semi-Markov モデル (Sawaragi&Cohen 04 など ) と同じ状態遷移確率が階層言語モデルで与えられる正しいパスが何かは未知 (HMM と同じ ) 動的計画法によって確率の高いパスをサンプリング

54 グラフィカルモデル表現 ( バイグラム ) BOS 京都市のです EOS 都が単語京都が単語 Semi-Markov モデル (Sawaragi&Cohen 04 など ) と同じ状態遷移確率が階層言語モデルで与えられる正しいパスが何かは未知 (HMM と同じ ) 動的計画法によって確率の高いパスをサンプリング

55 実験 : 日本語 & 中国語コーパス京大コーパス &SIGHAN Bakeoff 2005 中国語単語分割公開データセット京大コーパスバージョン 4 学習 : 37,400 文評価 : 1000 文 ( ランダムに選択 ) 日本語話し言葉コーパス : 国立国語研究所中国語簡体中国語 : MSR セット, 繁体中国語 : CITYU セット学習 : ランダム 50,000 文評価 : 同梱テストセット学習データをそれぞれ 2 倍にした場合も同時に実験

56 京大コーパスの教師なし形態素解析結果一方村山富市首相の周囲にも韓国の状況や立場を知る高官はいない日産自動車は小型乗用車ブルーバードの新モデル S V シリーズ 5 車種を 12 日から発売した季刊誌で今月三十日発行の第一号は車いすテニス新世代チャンピオン誕生斎田悟司ジャパンカップ松本平和カップ広島連覇フェスピック北京大会日本健闘メダル獲得総数 8 8 個ジャパンパラリンピック日本の頂点を目指す熱い闘いなどの内容整備新幹線へ投入する予算があるのなら在来線を改良するなどして高速化を推進し輸送力増強を図ればよい国連による対イラク制裁解除に向け関係の深い仏に一層の協力を求めるのが狙いとみられるこの日検査されたのはワシントン州から輸出されたレッドデリシャス五二トンビタビアルゴリズムで効率的に計算可能 ( 先行研究では不可能 )

57 正解との一致率 (F 値 ) NPY(2),NPY(3)=NPYLM 単語バイグラム or トライグラム + 文字グラム NPY(+) は NPY(3) でデータを 2 倍にしたもの中国語 : ZK08=(Zhao&Kit 2008) での最高値と比べ大きく改善 ZK08 はヒューリスティックな手法をさらに混合したもの

58 計算時間の比較 10 時間 55 分 17 分 HDP(Goldwater+ ACL 2006): 学習データのすべての文字について 1 文字ずつサンプリングモデルは単語 2 グラムのみ ( 文字モデルなし ) NPYLM: 文毎に動的計画法により効率的にサンプリング単語 3 グラム - 文字グラムの階層ベイズモデル

59 日本語話し言葉コーパス ( 国立国語研究所 ) うーんうんなってしまうところでしょうねへーあーでもいいいいことですよねうーんうーん自分にも凄くプラスになりますものねそうですねふーん羨ましいです何かうーん精神的にもう子供達に何かこう支えられるようなうーものってやっぱりあるんですよやってるとうーんうーんうーんうーん長くやってればそんなものがうんうんそうでしょうねたくさんやっぱりありますねうんうーんなるほど NPYLM うーんうんなってしまうところでしょうねへーあーでもいいいいことですよねうーんうーん自分にも凄くプラスになりますものねそうですねふーん羨ましいです何かうーん精神的にもう子供達に何かこう支えられるようなうーものってやっぱりあるんですよやってるとうーんうーんうーんうーん長くやってればそんなものがうんうんそうでしょうねたくさんやっぱりありますねうんうーんなるほど

60 源氏物語の教師なし形態素解析しばしは夢かとのみたどられしをやうやう思ひしづまるにしもさむべき方なくたへがたきはいかにすべきわざにかとも問ひあはすべき人だになきを忍びては参りたまひなんや若宮のいとおぼつかなく露けき中に過ぐしたまふも心苦しう思さるるをとく参りたまへなどはかばかしうものたまはせやらずむせかへらせたまひつつかつは人も心弱く見たてまつるらむと思しつつまぬにしもあらぬ御気色の NPYLM しばしは夢かとのみたどられしをやうやう思ひしづまるにしもさむべき方なくたへがたきはいかにすべきわざにかとも問ひあはすべき人だになきを忍びては参りたまひなんや若宮のいとおぼつかなく露けき中に過ぐしたまふも心苦しう思さるるをとく参りたまへなどはかばかしうものたまはせやらずむせかへらせたまひつつかつは人も心弱く見たてまつるらむと思しつつまぬにしもあらぬ御気色の

61 アラビア語教師なし形態素解析 Arabic Gigawords から 40,000 文 (Arabic AFP news) الفلسطينيبسببتظاهرةلانصارحركةالمقاومةالاسلاميةحماس. واذاتحققذلكفانكيسلوفسكييكونقدحازثلاثجوائزكبرىفيابرزثلاثة المحليةوالدوليةللحصولعلىلوازمهمالصحية. لايتمتعبلقب+رئيس+بلهو+قائد+مايسمىب+السلطةالفلسطينية+". Google translate: اعلنتشرطةجنوبافريقيااليومالاثنينانمالايقل تاريخي".وقداستغرقاعدادهخمسةاعوام.وقالتدانييلتومسونالتيكتبتالسيناريو Filstinebsbptazahrplansarhrkpalmquaompalaslamiph amas. NPYLM الفلسطيني بسبب تظاهرة ل انصار حركة المقاومة الاسلامية حماس. و اذا تحقق ذلك ف ان كيسلوفسكي يكون قد حاز ثلاث جوائز كبرىفيابرز ثلاثة المحليةو الدولية للحصولعلى لوازم هم الصحية. لايتمتع ب لقب + رئيس + ب ل هو + قائد + مايسمى ب + translate: السلطة Google الفلسطينية + ". event because of the اعلن ت of the شرطة جنوبافريقي supporters ا اليوم الاثنين Palestinian انمالايقل وقد استغرق اعداد ه خمسةاعوام. و قال ت دان ييل تومسون التي " تاريخي Islamic Resistance Movement, Hamas.

Alice in Wonderland の解析 first,shedreamedoflittlealiceherself,andonceagainthetinyhandswereclaspedup onherknee,andthebrighteagereyeswerelookingupintohersshecouldhearthevery

62 Alice in Wonderland の解析 first,shedreamedoflittlealiceherself,andonceagainthetinyhandswereclaspedup onherknee,andthebrighteagereyeswerelookingupintohersshecouldhearthevery tonesofhervoice,andseethatqueerlittletossofherheadtokeepbackthewanderingh airthatwouldalwaysgetintohereyesandstillasshelistened,orseemedtolisten,thew holeplacearoundherbecamealivethestrangecreaturesofherlittlesister'sdream.the longgrassrustledatherfeetasthewhiterabbithurriedbythefrightenedmousesplashe dhiswaythroughtheneighbouringpoolshecouldheartherattleoftheteacupsasthema rchhareandhisfriendssharedtheirneverendingmeal,andtheshrillvoiceofthequeen first, she dream ed of little alice herself,and once again the tiny hand s were clasped upon her knee,and the bright eager eyes were looking up into hers -- shecould hearthe very tone s of her voice, and see that queer little toss of herhead to keep back the wandering hair that would always get into hereyes -- and still as she listened, or seemed to listen, thewhole place a round her became alive the strange creatures of her little sister 'sdream. thelong grass rustled ather feet as thewhitera bbit hurried by -- the frightened mouse splashed his way through the neighbour ing pool -- shecould hearthe rattle ofthe tea cups as the marchhare and his friends shared their never -endingme a l,and the

63 まとめベイズ単語 n グラム - 文字 n グラムを階層的に統合した言語モデルによる教師なし形態素解析動的計画法 +MCMC による効率的な学習あらゆる自然言語に適用できるデータに自動的に適応未知語問題がない識別学習と違い学習データをいくらでも増やせる話し言葉ブログ未知の言語古文あらゆる言語の文字列から直接単語を推定しながら言葉のモデルを学習する方法ともみなせる

64 実装数万 ~ 数十万文 ( 数百万 ~ 数千万文字 ) の学習テキストに対して Gibbs サンプリングを繰り返すため高速な実装が不可欠 MATLAB や R では計算が追いつかない C++&C で実装, 6000 行程度解析速度は 100~200 文 / 秒 (10ms/ 文以下 ) 1 つの文を解析するのに n グラム確率を回程度計算する必要階層的データ構造の動的なアップデート学習時間 : 10~20 時間程度

65 展望教師あり学習と異なり学習データをいくらでも増やせる学習の高速化並列化 HDP-LDA の Gibbs の並列化 (Welling+, NIPS ) が適用可能識別学習との融合による半教師あり学習 Loglinear の枠組で統合するにも生成モデルが必要これまで生成モデルが存在しなかった提案法は CRF の Forward-Backward の教師なし版のようなもの POS Tagging: CRF+HMM ( 鈴木, 藤野 ) で提案

66 最近の関連研究音声認識での音素モデルの分割 Neubig+, 情報処理学会 SLP82, 2010 July 統計的機械翻訳への適用 Nguyen+ (CMU LTI), COLING 2010 [ 参考 1] 文法構造を仮定した分割 Johnson&Goldwater, NAACL 2009 [ 参考 2] Log-Linear モデルとしての定式化 Poon+, NAACL 2009

67 音声認識への適用 (Neubig+ 2010) 音声認識の目標 : 音声信号 ( 音素列 ) から単語列を復元すること問題 : で会話文の単語を膨大な人手で作成人手の単語分割なしに単語を自動認識できないか? [ 未知の言語の会話文の解析にも有効 ] : (WFST/OpenFST ) ( ) mo-shiagetemasukedmo mo-shiage te ma sukedomo ( 申し上げてますけども ) kyo-moshikkariyarimasuyoto kyo- mo shikkari yarimasu yoto ( 今日もしっかりやりますよと )

69 統計的機械翻訳への適用統計的機械翻訳 = 英語中国語のような文対から完全に自動的に翻訳規則を学習我想要靠窗的桌子 We want to have a table near the window. 原言語の単語分割を翻訳に最適化するべき先行研究 : Bayesian Semi-Supervised Chinese Word Segmentation for Statistical Machine Translation, Xu+, COLING 本研究の翻訳への拡張 : Nonparametric Word Segmentation for Machine Translation, Nguyen, Vogel, & Noah Smith, COLING 2010

70 [ 参考 1] 文法構造による分割 (Johnson&Goldwater, NAACL 2009) 文の文字列が次のような規則 ( 一部 ) で再帰的に生成されたと仮定 : Sentence Colloc+ Colloc Word+ Word SyllableIF Word SyllableI (Syllable) (Syllable) SyllableF Syllable Onset Rhyme SyllableIF OnsetI RhymeF 子供の発話コーパス (Bernstein-Ratner コーパス ) に対して正解率 88% 程度で最高精度 lukd*z6b7withizh&t luk D*z 6 b7 wit hiz h&t (look there s a boy with his hat) ただし平均 9.79 文字 / 文の短い文 / 音素列のみ

71 [ 参考 2] 対数線形モデルによる分割 BOS 京都市のです EOS 都が単語京都が単語グラフィカルモデルのパスの重みは必ずしも確率になっていなくても良い Log-linear モデル Prefix, Suffix 等の重み付け学習は contrastive estimation (Poon+ 2009): 単語分割は既知でその内部を分割アラビア語 : wvlavwn w-vlav-wn ( 最大 14 文字 )

72 連続系のモデリングの場合 Wang+, Gaussian process dynamical model, PAMI 2008/NIPS 2005 潜在座標観測値モデル潜在座標の非線形 AR モデル

73 連続系のモデリング (2) Lawrence&Moore, Hierarchical Gaussian process Latent variable models, ICML 2007.

74 文献本研究 : Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor language modeling, ACL ベイズ階層言語モデルによる教師なし形態素解析情報処理学会 NL-190, 関連研究 : ベイズ推論を用いた連続音声からの言語モデル学習 Graham Neubig+, 情報処理学会 SLP-82, July Nonparametric Word Segmentation for Machine Translation, ThuyLinh Nguyen+, COLING Improving nonparametric Bayesian inference: experiments on unsupervised word segmentation with adaptor grammars, Mark Johnson & Sharon Goldwater, NAACL Unsupervised Morphological Segmentation with Log-Linear Models, Hoifung Poon, Colin Cherry, Kristina Toutanova, NAACL 2009.

75 まとめ言語モデル自然言語の教師なし学習 nグラムとは限らない形態素解析構文解析など NLPの殆どのタスクを内包 HPYLM, VPYLM nグラム ( グラム) のベイズモデル従来と違い他の確率モデルの部品にできる応用 : 教師なし形態素解析半教師あり形態素解析自然言語の教師なし学習は未だ急速に発展中半教師あり学習のためにもさらに研究が必要個人的にはより深い統計に基づくノンパラメトリックベイズ法に興味

76 終わりご清聴ありがとうございました

ノンパラメトリックベイズ法による教師なし形態素解析

ノンパラメトリックベイズ法による教師なし形態素解析 NTT daichi@cslab.kecl.ntt.co.jp 2009 Bayes etc, etc 2 0.92 0.85 0.61 1 0.37 1.0 1990 Web : x % echo, mecab -O wakati, (, ) Chasen, MeCab (NAIST) (supervised learning) (2) # S-ID:950117245-006 KNP:99/12/27