Graham Neubig ノンパラメトリックベイズ法 ノンパラメトリックベイズ法 Graham Neubig 2011 年 5 月 10 1
|
|
|
- めぐの ちゅうか
- 5 years ago
- Views:
Transcription
1 ノンパラメトリックベイズ法 Graham Neubig 2011 年 5 月 10 1
2 概要 ノンパラメトリックベイズ法について ベイズ法の基礎理論 サンプリングによる推論 サンプリングを利用した HMM の学習 有限 HMM から無限 HMM へ 近年の展開 ( サンプリング法 モデル化法 音声処理 言語処理のおける応用 基本は離散分布の教師なし学習 2
3 Non-parametric Bayes ノンパラメトリック ベイズ パラメータの数は予め決まっていない ( 無限 パラメータに事前分布をかけ パラメータの分布を扱う 3
4 確率モデルの分類 パラメータの事前分布 パラメータ数 ( クラス数 離散分布の代表 連続分布の代表 最尤推定無有限多項式分布ガウス分布 ベイズ推定 有 有限 多項式 + ディリクレ 分布 ガウス分布 + ガウス分布 ノンパラベイズ 有 無限 多項式 + ディリクレ 過程 ガウス過程 今日の話 4
5 ベイズ法の基礎 5
6 最尤推定 ある観測データがある ( 幼稚園児の年齢? X = 頻度を数える c x ={3,2,0,4,1} 頻度を全体の頻度でわることで 確率を得る P x =i = c x=i c 多項式分布 P x = ={0.3,0.2, 0,0.4, 0.1} 6
7 ベイズ推定 最尤推定はスパースなデータに弱い 実際のパラメータは知らない ={0.3,0.2, 0,0.4, 0.1} c x ={3,2,0,4,1} なら かもしれないし ={0.35,0.05, 0.05,0.35, 0.2} かもしれない ベイズ推定で一意に決めずに パラメータにも分布を持たせて パラメータの期待値で確率を計算 P x =i = i P X d 7
8 パラメータの分布をどうやって計算? ベイズ則で分解 尤度 事前分布 P X P P X = P X P d 正則化定数 尤度は一般的にモデルの定義に基づいて簡単に計算 事前分布は適当に決める 正則化定数の計算は積分処理が必要で難しい が 共役事前分布を利用すると簡単! 8
9 共役事前分布 定義 : 尤度関数と事前分布の掛け算の結果は事前分布と同じ形である 多項式尤度 * ディリクレ事前分布 = ディリクレ分布 ガウス尤度 * ガウス事前分布 = ガウス分布 同じ ディリクレ分布とガウス分布の正則化定数は既知であるため 積分をしなくても求まる 9
10 ディリクレ分布 過程 ディリクレ分布は多項式分布に生成確率を与える 例えば : P {0.3, 0.2,0.01, 0.4, 0.09} = P {0.35, 0.05,0.05, 0.35,0.2} = 確率として成り立つ実数の集合 { 1,, n } にだけ確率を与える i 0 i 1 i =1 i =1 n ディリクレ過程はディリクレ分布の一般化 無限の集合でも扱える 10
11 式 : ディリクレ過程 P ;,P base = 1 Z i =1 n i P base x=i 1 資料で欠落 α は 集中パラメータ 大きければ大きいほど確率のピークが尖っている P base は 基底測度 θ の期待値を表す ( 後述 ディリクレ分布における書き方 i = P base x=i ディリクレ過程における書き方 正則化定数は計算可 : n Z = i =1 n i=1 P base x=i P base x =i 11
12 確率密度の例 α = 10 P base = {0.6,0.2,0.2} α = 15 P base = {0.2,0.47,0.33} α = 9 P base = {0.22,0.33,0.44} α = 14 P base = {0.43,0.14,0.43} 12 図 : Wikipedia
13 なぜ共役なのか? 尤度は多項分布から生成された事象の確率の積 データ : x 1 =1, x 2 =5, x 3 =2, x 4 =5 P X =p x=1 p x=5 p x =2 p x=5 = 頻度を利用し同一の事象を一緒にすると c x=i ={1,1,0,0, 2} P X = = i =1 ディリクレ事前分布との積を取ると n i c x =i n i=1 c x =i i 1 n Z i=1 prior 1 i i 1 n Z i =1 post i c x = i i 1 13
14 ディリクレ分布における θ の期待値 N=2 の場合 1 1 E [ 1 ]= 1 0 Z d 1 = 1 Z [ / 2 ] Z / d 1 = 1 Z d 0 1 部分積分で u= 1 1 du= d 1 dv = d 1 = Z d 1 = 1 2 E [ 2 ]= E [ 1 ] v = / 2 u dv =u v v du E [ 1 ]=
15 一般化すると E [ i ] = i n i =1 i = P base x =i = P base x =i ディリクレ過程の事後確率に当てはめると 1 1 n P x =i = i 0 Z i=1 post i c x =i i 1 観測頻度 = c x=i P base x=i c 基底測度 集中パラメータ 加算スムージングと同じ 15
16 ディリクレ過程の周辺確率 連鎖法則を使って コーパス全体の周辺確率を計算 X = α=1 P base (x=1,2,3,4 =.25 P x i = c x i P base x i c c = { 0, 0, 0, 0 } P x 1 =1 = = c = { 1, 0, 0, 0 } P x 2 =2 x 1 = c = { 1, 1, 0, 0 } =.125 P x 3 =1 x 1,2 = = c = { 2, 1, 0, 0 } P x 4 =3 x 1,2,3 = c = { 2, 1, 1, 0 } P x 5 =1 x 1,2,3,4 = =.063 =.45 全体の周辺確率 P(X =.25*.125*.417*.063*.45 16
17 中華料理店過程 ディリクレ過程などの表現法 中華料理店があり 無限のテーブルがある 客が 1 人ずつ入ってきて 以下の行動を取る : p テーブル i に座る c i p 新しいテーブルに座る テーブルに初めての客が座る時に そのテーブルに盛ってある料理を P base の確率で選ぶ X = α=1 N=
18 サンプリングの基礎 18
19 サンプリングの基本 ある確率分布にしたがって サンプルを生成する 実際の分布 : P( 名詞 =0.5 P( 動詞 =0.3 P( 助詞 =0.2 サンプル : 動詞動詞助詞名詞名詞助詞名詞動詞動詞名詞 各品詞のサンプル数を数えて 確率を近似 P( 名詞 = 4/10 = 0.4, P( 動詞 = 4/10 = 0.4, P( 助詞 = 2/10 = 0.2 サンプルの数を増やせば実際の分布に収束 確率 E+00 1E+01 1E+02 1E+03 1E+04 1E+05 1E+06 サンプル数 名詞動詞助詞 19
20 具体的なアルゴリズム SampleOne(probs[] z = sum(probs remaining = rand(z for each i in 1:probs.size remaining -= probs[i] if remaining <= 0 return i バグチェック! 確率の和を計算 [0,z の一様分布に従って乱数を生成 可能な確率をすべて考慮 現在の仮説の確率を引いて ゼロより小さくなったなら サンプルの ID を返す 20
21 ギブスサンプリング 2 つの変数 A,B があり P(A,B をサンプリングしたい が P(A,B 自体からサンプルできない ただし P(A B と P(B A からサンプルできる ギブスサンプリングでは 変数を一個ずつサンプルできる 毎回 : A を固定して P(B A から B をサンプルする B を固定して P(A B から A をサンプルする 21
22 ギブスサンプリングの例 親 A と子 B は買い物している それぞれの性別は? P( 母 娘 = 5/6 = P( 母 息子 = 5/8 = P( 娘 母 = 2/3 = P( 娘 父 = 2/5 = 0.4 初期状態 : 母 / 娘 A をサンプル : P( 母 娘 =0.833, 母を選んだ! B をサンプル : P( 娘 母 =0.667, 息子を選んだ! c( 母, 息子 ++ A をサンプル : P( 母 息子 =0.625, 母を選んだ! B をサンプル : P( 娘 母 =0.667, 娘を選んだ! c( 母, 娘 ++ 22
23 実際にやってみると 確率 E+00 1E+01 1E+02 1E+03 1E+04 1E+05 1E+06 サンプル数 母 / 娘母 / 息子父 / 娘父 / 息子 同時確率の式を手で解いてこの結果を確認できる 23
24 サンプリングを用いた HMM の学習 24
25 教師なし学習の設定 観測された学習データ X HMM の場合 : 自然言語のコーパス 潜在変数 Y HMM の場合 : コーパスの単語の品詞タグ 未観測のパラメータ θ 主に確率 25
26 題材とするタスク : 教師なし品詞推定 入力 : 単語列の集合 X 行ごとに処理を行う 出力 : クラスタ列のコーパス Y 名詞 2 接尾辞 3 助詞 4 動詞 5 語尾 行ごとに処理を行う名詞接尾辞助詞名詞品詞動詞語尾 26
27 題材とするモデル : HMM 品詞 Y は隠れている状態 状態の遷移確率は P T y i y i 1 = T, y i, y i 1 各状態から単語を生成する 状態が与えられた場合の生成確率は P E x i y i = E, y i, x i P T (1 0 P T (2 1 P T ( 行ごとに処理を行う P E ( 行 1 P E ( こと 2 P E ( に 3 27
28 HMM におけるギブスサンプリング まず Y をランダムに初期化 Y を一個ずつギブスサンプリングでサンプルする これだけサンプル 行ごとに処理を行う 28
29 HMM におけるギブスサンプリング マルコフブランケット 行ごとに処理を行う あるタグに関わる確率 前のタグから遷移する確率 : P T (y i y i-1 次のタグへ遷移する確率 : P T (y i+1 y i タグが単語を生成する確率 : P E (x i y i この確率にしたがって各タグを順にサンプリングする 確率を決める周りの変数は マルコフブランケット 29
30 ディリクレ過程で HMM 確率を計算 遷移確率 生成確率 P T y i y i 1 = c y i 1 y i T P baset y i c y i 1 T P E x i y i = c y i, x i E P basee x i c y i E 30
31 1 つのタグをサンプルするアルゴリズム SampleTag(y i c(y i-1 y i --; c(y i y i+1 --; c(y i x i -- for each tag in S ( 品詞の集合 p[tag]=p E (tag y i-1 *P E (y i+1 tag*p T (x i tag いまのタグのカウントを削除する 可能なタグの確率を計算 y i = SampleOne(p c(y i-1 y i ++; c(y i y i+1 ++; c(y i x i ++ 新しいタグを選ぶ そのタグを追加する 31
32 全てのタグをサンプルするアルゴリズム SampleCorpus( initialize Y randomly for N iterations for each y i in the corpus SampleTag(y i save parameters average parameters タグをランダムに初期化する N イタレーション繰り返す全てのタグをサンプルする θ のサンプルを保存する θ のサンプルの平均を取る 32
33 ハイパーパラメータの選び方 α を選ぶ時に α の効果を考えなければならない 小さい α(<0.1 を選べば よりスパースな分布ができ上がる 例えば 1 つの単語がなるべく 1 つの品詞になるように生成確率 P E の α E を小さくする 自然言語処理で多くの分布はスパースなので 小さい α が基本 実験で確認するのがベスト また ハイパーパラメータ自体に事前分布をかけて自動的に調整する手法もある 33
34 有限 HMM から無限 HMM へ 34
35 基底測度の次元数 一様分布の基底測度を利用すると 0.2 品詞が 6 個の場合 確率 品詞番号 0.06 品詞が 20 個の場合 確率 品詞番号 35
36 さらに伸ばすと 確率 品詞が 100 個の場合品詞が 100 万個の場合 品詞番号 確率 1.50E E E E 品詞番号 品詞の数を極大まで増やしていくと それぞれの品詞の P base がゼロに近づく しかし P base 全体から品詞を生成する確率はそのまま P y i y i 1 = c y i 1 y i P base y i c y i 1 N= 品詞の数 N 1 lim i =1 N N =1 36
37 有限 HMM と無限 HMM 有限 HMM 存在する品詞 y i を (y i-1 の後に 生成する確率 P y i y i 1 = c y i 1 y i P base y i c y i 1 無限 HMM 存在する品詞 y i を (y i-1 の後に 生成する確率 P y i y i 1 = c y i 1 y i c y i 1 新しい品詞を (y i-1 の後に 生成する確率 P y i =new y i 1 = c y i 1 37
38 例えば c(y i-1 =1 y i =1=1 c(y i-1 =1 y i =2=1 としよう 可能な品詞が 2 個 (y 1,y 2 の場合 P y i =1 y i 1 =1 = 1 1 /2 2 可能な品詞が 20 個 (y 1,y 20 の場合 P y i =1 y i 1 =1 = 1 1 /20 2 可能な品詞が 個 (y 1,y の場合 P y i =1 y i 1 =1 = 1 1 / 2 P y i =2 y i 1 =1 = 1 1/2 2 P y i =1,2 以外 y i 1 =1 = 0 2 P y i =2 y i 1 =1 = 1 1/20 2 P y i =1,2 以外 y i 1 =1 = 18/20 2 P y i =2 y i 1 =1 = 1 1/ 2 P y i =1,2 以外 y i 1 =1 =
39 サンプリングアルゴリズム SampleTag(y i c(y i-1 y i --; c(y i y i+1 --; c(y i x i -- for each tag in S ( 品詞の集合 p[tag]=p E (tag y i-1 *P E (y i+1 tag*p T (x i tag p[ S +1]=P E (new y i-1 *P E (y i+1 new*p T (x i new y i = SampleOne(p c(y i-1 y i ++; c(y i y i+1 ++; c(y i x i ++ 今のタグのカウントを削除する 存在するタグの確率を計算 ( ディリクレ過程の式で 新しいタグの確率を計算 y i の値を選ぶ そのタグを追加する 39
40 一様でない基底測度 今までの展開は一様分布を前提としたが 一様でない基底測度も考えられる 代表的な一例 : 言語モデルの未知語モデル P 単語 = c 単語 P base 単語 c 単語 単語を文字に分解し すべての可能な文字列に確率が与えられるようにする : P base 単語 =P len 2 P char 単 P char 語 確率は一定ではないが 無限の集合に対して確率を与えている=ノンパラメトリック 40
41 実装のいろいろ 普通は 0 頻度のクラスは残る クラス数が上がる一方 新しいクラスを作る時に 0 頻度のクラス番号を使い回す c(y 1 =5 c(y 2 =0 c(y 3 =1 単純 : c(y 1 =5 c(y 2 =0 c(y 3 =1 c(y 4 =1 賢い : c(y 1 =5 c(y 2 =1 c(y 3 =1 c(y 1 =0 になると y 1 が復活する確率が 0 になる このモデルだと新しい品詞に弱い 新しい品詞は1つの品詞の後にしか来ない 階層モデル ( 後述 で解決 遷移確率 品詞確率 P T y i y i 1 =DP,P T y i P T y i =DP, P base y i 41
42 バグ探し 頻度の引き算や足し算を行う関数を作り 負になった場合に即時終了する プログラム終了時に全てのサンプルを削除し 全ての頻度がゼロになることを確認する 尤度は必ずしも単調上昇しないが 一旦上がってから単調減少すれば必ずバグが入っている 小さいデータで単体テストを作る 乱数生成器のシードを一定の値に設定する (srand 42
43 近年の進展 43
44 サンプリング : ブロックサンプリング 多くの場合 潜在変数は強い依存関係にある 強く依存 サンプル対象 強く依存 行ごとに処理を行う 例えば言語処理なら 文内の変数は強く依存 ブロックサンプリングで 複数の潜在変数を同時にサンプリングする ( 依存関係も考慮 HMM なら forward filtering/backward sampling PCFG なども可能 44
45 forward-filtering forward-filtering は前向き後ろ向きアルゴリズムの前向きステップと同等 p(s 3 s 1 p(s 1 s 0 s 1 s 3 p(s 5 s 3 p(s 3 s 2 s 0 p(s 4 s 1 s 5 p(s 2 s 0 s 2 s 4 p(s 5 s 4 p(s 4 s 2 forward filtering 前向き確率を順番に計算 f(s 0 = 1 f(s 1 = p(s 1 s 0 *f(s 0 f(s 2 = p(s 2 s 0 *f(s 0 f(s 3 = p(s 3 s 1 *f(s 1 + p(s 3 s 2 *f(s 2 f(s 4 = p(s 4 s 1 *f(s 1 + p(s 4 s 2 *f(s 2 f(s 5 = p(s 5 s 3 *f(s 3 + p(s 5 s 4 *f(s 4 45
46 backward-sampling backward-sampling は 受理状態から後ろ向きにエッジをサンプリングして行く p(s 3 s 1 p(s 1 s 0 s 0 p(s 2 s 0 s 1 s 2 p(s 4 s 2 s 3 p(s 3 s 2 p(s 4 s 1 s 4 p(s 5 s 3 s 5 p(s 5 s 4 e(s 5 x backward sampling 後ろからパスをサンプリング p(x=s 3 p(s 5 s 3 *f(s 3 p(x=s 4 p(s 5 s 4 *f(s 4 e(s 3 x p(x=s 1 p(s 3 s 1 *f(s 1 p(x=s 2 p(s 3 s 2 *f(s 2 46
47 サンプリング : タイプサンプリング 同じマルコフブランケットを持つ変数を同時にサンプリング 行ごとに処理を行う この行は処理が無理だ 3, 処理,3 の場合 x=1 か x=2 かを考える 47
48 タイプサンプリング ディリクレ過程などで 同じ状況のものに同じタグを振る傾向 ( rich-gets-richer 効果 がある モデルとしては良い : スパースで簡潔なモデルを学習 推論は難しい : これによって確率の 谷 ができる 現在の状況が右側 より高い確率の領域に行く前に 低い確率の領域を通る サンプリングで脱出可能であるが 非常に時間がかかる 48
49 タイプサンプリング タイプをまとめて x=1 は何個あるか を解析的にサンプリングする x=1 は 1 回 が選べれた マルコフブランケットは同じなので 確率は全て同等 必要な個数をランダムに割り当てる 5 個中 ランダムに 1 個だけ 1 にし それ以外を 2 にする 49
50 モデル : 階層的モデル 階層的ディリクレ過程でモデルによる多層化 P(y i y i-1 =1 P(y i y i-1 =2 P(y i y i-1 =3 P base (y i 遷移確率 : 共通の基底測度 : P y i y i 1 = c y i 1 y i P base y i c y i 1 P base y i = c base y i 1 /N c base 50
51 c base の数え方 中華料理店過程を利用 y i-1 = 1 y i-1 = 2 y i = y i = base 上の分布にテーブルが追加される場合のみ 下の分布に客を追加 ( Kneser-Ney の頻度の数え方と類似 51
52 モデル : Pitman-Yor 過程 ディリクレ過程の頻度に テーブルごとの割引 d を追加 P x i = c x i d t x i d t P base x i c P x i =1 = 3 d 2 d Kneser-Ney などで利用する割引スムージング法と類似している形 言語処理等で現れるべき乗則 (power-law 分布を表すのに適している 52
53 言語 音声処理における実用例 53
54 トピックモデル Latent Dirichlet Allocation (LDA [Blei+ 03] 文章の集合があり : this is a document this is a document this is a document this is a document this is a document this is a document this is a document this is a document this is a document this is a document this is a document this is a document 文章ごとにトピック多項式分布を生成 ( ディリクレ事前分布 各単語のトピックをトピック分布から生成 トピックの単語分布から単語を生成 政治芸能スポ経済社会科学 { 0.4, 0.05, 0.3, 0.2, 0.01, 0.04} Bill Clinton buys the Detroit Tigers 階層モデルを使った無限トピックモデル [Teh+ 06] コンピュータービジョン 文書分類 音声認識の言語モデル等で利用 ( 例 : [Heidel+ 07] 54
55 言語モデル 階層的 Pitman-Yor 言語モデル [Teh 06] bi-gram P(w i w i-1 =1 P(w i w i-1 =2 P(w i w i-1 =3 uni-gram P base (w i ディリクレ過程ではなく Pitman-Yor 過程を利用することで性能アップ Kneser-Ney とほぼ同等の精度 音声認識で利用 [Huang&Renals 07] 55
56 教師なし単語分割 階層的ディリクレ過程を利用した単語分割 [Goldwater+ 09] サンプリング これは単語です or これは単語です P( 単語 or P( 単 P( 語 ブロックサンプリングと Pitman-Yor 言語モデルへの展開 [Mochihashi+ 09] 56
57 音声からの言語モデル学習 Pitman-Yor 言語モデルを使ってテキストではなく音声から直接言葉モデルと単語辞書を作る [Neubig+ 10] 音声 音響モデル 音素ラティス 学習 話し言葉言語モデル forward filtering-backward sampling を音素ラティスに対して行う 色々な応用が可能 : 資源の少ない言語の言語モデル構築 話し言葉の口語的表現や発音変動に忠実なモデルが学習可能 57
58 様々な言語的情報の学習 品詞推定とその無限版 [Beal+ 02] 文脈自由文法 [Johnson+ 07] とその無限版 [Liang+ 07] 機械翻訳の単語やフレーズアライメント [DeNero+ 08, Blunsom+ 09, Neubig+ 11] 教師なし意味解析 [Poon+ 09] をノンパラメトリックベイズで実現した研究 [Titov+ 11] 58
59 参考文献 M.J. Beal, Z. Ghahramani, and C.E. Rasmussen The infinite hidden Markov model. Proceedings of the 16th Annual Conference on Neural Information Processing Systems, 1: David M. Blei, Andrew Y. Ng, and Michael I. Jordan Latent Dirichlet allocation. Journal of Machine Learning Research, 3: Phil Blunsom, Trevor Cohn, Chris Dyer, and Miles Osborne A Gibbs sampler for phrasal synchronous grammar induction. In Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics, pages John DeNero, Alex Bouchard-Cˆot e, and Dan Klein Sampling alignment structure under a Bayesian translation model. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pages Sharon Goldwater, Thomas L. Griffiths, and Mark Johnson A Bayesian framework for word segmentation: Exploring the effects of context. Cognition, 112(1: A. Heidel, H. Chang, and L. Lee Language model adaptation using latent Dirichlet allocation and an efficient topic inference algorithm. In Proceedings of the 8th Annual Conference of the International Speech Communication Association (InterSpeech. S. Huang and S. Renals Hierarchical Pitman-Yor language models for ASR in meetings. In Proceedings of the 2007 IEEE Automatic Speech Recognition and Understanding Workshop, pages Mark Johnson, Thomas Griffiths, and Sharon Goldwater Bayesian inference for PCFGs via Markov chain Monte Carlo. In Proceedings of the Human Language Technologies: The Annual Conference of the North American Chapter of the Association for Computational 59 Linguistics, pages
60 参考文献 P. Liang, S. Petrov, M. Jordan, and D. Klein The infinite PCFG using hierarchical Dirichlet processes. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pages Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda Bayesian unsupervised word segmentation with nested Pitman-Yor modeling. In Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics. Graham Neubig, Masato Mimura, Shinsuke Mori, and Tatsuya Kawahara Learning a language model from continuous speech. In Proceedings of the 11th Annual Conference of the International Speech Communication Association (InterSpeech, Makuhari, Japan, 9. Graham Neubig, Taro Watanabe, Eiichiro Sumita, Shinsuke Mori, and Tatsuya Kawahara An unsupervised model for joint phrase alignment and extraction. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, Portland, Oregon, USA, 6. H. Poon and P. Domingos Unsupervised semantic parsing. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pages Y.W. Teh, M.I. Jordan, M.J. Beal, and D.M. Blei Hierarchical dirichlet processes. Journal of the American Statistical Association, 101(476: Yee Whye Teh A Bayesian interpretation of interpolated Kneser-Ney. Technical report, School of Computing, National Univ. of Singapore. Ivan Titov and Alexandre Klementiev A Bayesian model for unsupervised semantic parsing. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics. 60
文章のトピック 文章には様々なトピックが存在する Cuomo to Push for Broader Ban on Assault Weapons 2012 Was Hottest Year in U.S. History 2
自然言語処理プログラミング勉強会 7 - トピックモデル Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 文章のトピック 文章には様々なトピックが存在する Cuomo to Push for Broader Ban on Assault Weapons 2012 Was Hottest Year in U.S. History 2 文章のトピック 文章には様々なトピックが存在する
21 Pitman-Yor Pitman- Yor [7] n -gram W w n-gram G Pitman-Yor P Y (d, θ, G 0 ) (1) G P Y (d, θ, G 0 ) (1) Pitman-Yor d, θ, G 0 d 0 d 1 θ Pitman-Yor G
![21 Pitman-Yor Pitman- Yor [7] n -gram W w n-gram G Pitman-Yor P Y (d, θ, G 0 ) (1) G P Y (d, θ, G 0 ) (1) Pitman-Yor d, θ, G 0 d 0 d 1 θ Pitman-Yor G](/thumbs/89/99361107.jpg "21 Pitman-Yor Pitman- Yor [7] n -gram W w n-gram G Pitman-Yor P Y (d, θ, G 0 ) (1) G P Y (d, θ, G 0 ) (1) Pitman-Yor d, θ, G 0 d 0 d 1 θ Pitman-Yor G")
ol2013-nl-214 No6 1,a) 2,b) n-gram 1 M [1] (TG: Tree ubstitution Grammar) [2], [3] TG TG 1 2 a) ohno@ilabdoshishaacjp b) khatano@maildoshishaacjp [4], [5] [6] 2 Pitman-Yor 3 Pitman-Yor 1 21 Pitman-Yor
NLP プログラミング勉強会 5 HMM による品詞推定 自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1
自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 品詞推定 文 X が与えられた時の品詞列 Y を予測する Natural language processing ( NLP ) is a field of computer science JJ -LRB- -RRB- VBZ DT IN 予測をどうやって行うか
言語モデルの基礎 2
自然言語処理プログラミング勉強会 1 1-gram 言語モデル Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 言語モデルの基礎 2 言語モデル 英語の音声認識を行いたい時に どれが正解 英語音声 W1 = speech recognition system W2 = speech cognition system W3 = speck podcast histamine
1. はじめに 2
点予測と能動学習を用いた効率的なコーパス構築 形態素解析における実証実験 京都大学情報学研究科 Graham NEUBIG 1 1. はじめに 2 形態素解析 べた書きの文字列を意味のある単位に分割し 様々な情報を付与 品詞 基本形 読み 発音等を推定 農産物価格安定法を施行した 価格 / 名詞 / 価格 / かかく / かかく安定 / 名詞 / 安定 / あんてい / あんてー法 / 接尾辞 /
生命情報学
生命情報学 5 隠れマルコフモデル 阿久津達也 京都大学化学研究所 バイオインフォマティクスセンター 内容 配列モチーフ 最尤推定 ベイズ推定 M 推定 隠れマルコフモデル HMM Verアルゴリズム EMアルゴリズム Baum-Welchアルゴリズム 前向きアルゴリズム 後向きアルゴリズム プロファイル HMM 配列モチーフ モチーフ発見 配列モチーフ : 同じ機能を持つ遺伝子配列などに見られる共通の文字列パターン
? (EM),, EM? (, 2004/ 2002) von Mises-Fisher ( 2004) HMM (MacKay 1997) LDA (Blei et al. 2001) PCFG ( 2004)... Variational Bayesian methods for Natural
SLC Internal tutorial Daichi Mochihashi daichi.mochihashi@atr.jp ATR SLC 2005.6.21 (Tue) 13:15 15:00@Meeting Room 1 Variational Bayesian methods for Natural Language Processing p.1/30 ? (EM),, EM? (, 2004/
IPSJ SIG Technical Report Pitman-Yor 1 1 Pitman-Yor n-gram A proposal of the melody generation method using hierarchical pitman-yor language model Aki
Pitman-Yor Pitman-Yor n-gram A proposal of the melody generation method using hierarchical pitman-yor language model Akira Shirai and Tadahiro Taniguchi Although a lot of melody generation method has been
No. 3 Oct The person to the left of the stool carried the traffic-cone towards the trash-can. α α β α α β α α β α Track2 Track3 Track1 Track0 1
ACL2013 TACL 1 ACL2013 Grounded Language Learning from Video Described with Sentences (Yu and Siskind 2013) TACL Transactions of the Association for Computational Linguistics What Makes Writing Great?
A Japanese Word Dependency Corpus ÆüËܸì¤Îñ¸ì·¸¤ê¼õ¤±¥³¡¼¥Ñ¥¹
A Japanese Word Dependency Corpus 2015 3 18 Special thanks to NTT CS, 1 /27 Bunsetsu? What is it? ( ) Cf. CoNLL Multilingual Dependency Parsing [Buchholz+ 2006] (, Penn Treebank [Marcus 93]) 2 /27 1. 2.
NLP プログラミング勉強会 6 かな漢字変換 自然言語処理プログラミング勉強会 6 - かな漢字変換 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1
自然言語処理プログラミング勉強会 6 - かな漢字変換 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 かな漢字変換のモデル 日本語入力でひらがな列 X をかな漢字混じり文 Y へ変換 かなかんじへんかんはにほんごにゅうりょくのいちぶ かな漢字変換は日本語入力の一部 HMM や単語分割と同じく 構造化予測の一部 2 選択肢が膨大! かなかんじへんかんはにほんごにゅうりょくのいちぶ
nl226ithmm.dvi
Markov 1,a),b) Markov (HMM),, Stick-breaking (Adams+ 010), Markov (ithmm),,, Markov, PCFG Stick-breaking,, The Infinite Tree Hidden Markov Model for Unsupervised Hierarchical Part-of-speech Induction Daichi
したがって このモデルではの長さをもつ潜在履歴 latent history が存在し 同様に と指標化して扱うことができる 以下では 潜在的に起こりうる履歴を潜在履歴 latent history 実際にデ ータとして記録された履歴を記録履歴 recorded history ということにする M
Bayesian Inference with ecological applications Chapter 10 Bayesian Inference with ecological applications 輪読会 潜在的な事象を扱うための多項分布モデル Latent Multinomial Models 本章では 記録した頻度データが多項分布に従う潜在的な変数を集約したものと考えられるときの
Microsoft PowerPoint - LD1_iwata.ppt
潜在トピックモデルに基づく データマイニング NTT コミュニケーション科学基礎研究所 岩田具治 1 トピックモデルとは 文書が生成される過程を確率的に表現したモデル 様々な離散データで有効性が確認 文書 購買 ネットワーク 画像 音楽 幅広い応用範囲 情報検索 可視化 画像認識 推薦システム 音声認識 拡張が容易 実装が簡単 2 トピック抽出 入力 : 文書集合 D. Blei, A. Ng, M.
Microsoft PowerPoint - 14回パラメータ推定配布用.pptx
パラメータ推定の理論と実践 BEhavior Study for Transportation Graduate school, Univ. of Yamanashi 山梨大学佐々木邦明 最尤推定法 点推定量を求める最もポピュラーな方法 L n x n i1 f x i 右上の式を θ の関数とみなしたものが尤度関数 データ (a,b) が得られたとき, 全体の平均がいくつとするのがよいか 平均がいくつだったら
¥ì¥·¥Ô¤Î¸À¸ì½èÍý¤Î¸½¾õ
2013 8 18 Table of Contents = + 1. 2. 3. 4. 5. etc. 1. ( + + ( )) 2. :,,,,,, (MUC 1 ) 3. 4. (subj: person, i-obj: org. ) 1 Message Understanding Conference ( ) UGC 2 ( ) : : 2 User-Generated Content [
音響モデル triphone 入力音声 音声分析 デコーダ 言語モデル N-gram bigram HMM の状態確率として利用 出力層 triphone: 3003 ノード リスコア trigram 隠れ層 2048 ノード X7 層 1 Structure of recognition syst
1,a) 1 1 1 deep neural netowrk(dnn) (HMM) () GMM-HMM 2 3 (CSJ) 1. DNN [6]. GPGPU HMM DNN HMM () [7]. [8] [1][2][3] GMM-HMM Gaussian mixture HMM(GMM- HMM) MAP MLLR [4] [3] DNN 1 1 triphone bigram [5]. 2
トピックモデルの応用： 関係データ、ネットワークデータ
NTT コミュニケーション科学基礎研究所 石黒勝彦 2013/01/15-16 統計数理研究所会議室 1 1 画像認識系から尐し遅れますが 最近では音声 音響データに対してもトピックモデルが利用されるようになっています 2 1. どの特徴量を利用するか? 2. 時系列性をどう扱うか? 3 どの特徴量を利用して どうやって BoW 形式に変換するかを検討する必要があります MFCC: 音声認識などで広い範囲で利用される
x i 2 x x i i 1 i xi+ 1xi+ 2x i+ 3 健康児に本剤を接種し ( 窓幅 3 n-gram 長の上限 3 の場合 ) 文字 ( 種 )1-gram: -3/ 児 (K) -2/ に (H) -1/ 本 (K) 1/ 剤 (K) 2/ を (H) 3/ 接 (K) 文字 (
1. 2 1 NEUBIG Graham 1 1 1 Improving Part-of-Speech Tagging by Combining Pointwise and Sequence-based Predictors Yosuke NAKATA, 1 Graham NEUBIG, 1 Shinsuke MORI 1 and Tatsuya KAWAHARA 1 This paper proposes
目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定
公開講座 : ガウス過程の基礎と応用 05/3/3 ガウス過程の基礎 統計数理研究所 松井知子 目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定 GP 序論 ノンパラメトリック予測 カーネル法の利用 参照文献 : C. E. Rasmussen and C. K. I. Williams
Microsoft PowerPoint - …Z…O…†…fi…g…‡…f…‰‡É‡æ‡é™ñ‘oflÅ
セグメントモデルによる音声認識 NTTコミュニケーション科学基礎研究所南泰浩 セグメントモデルとは? HMM の欠点 継続時間モデルが導入されていない 状態内の観測系列の時間依存性を反映できない 改良 セグメントモデル HMM とセグメントモデルの違い y t y 1 y 2 y 3 y T P s (y t ) P a,t (y 1,y 2,y 3 y T ) s HMM a P(T a) セグメントモデル
main.dvi
DEIM Forum 2012 E2-4 1 2 2 2 3 4 5 6 7 1 305-8573 1-1-1 2 305-8573 1-1-1 3 305-8573 1-1-1 4 ( ) 141-0031 8-3-6 5 060-0808 8 5 6 101-8430 2-1-2 7 135-0064. 2-3-26 113-0033 7-3-1 305-8550 1-2 Analyzing Correlation
PowerPoint プレゼンテーション
ロボットの計画と制御 マルコフ決定過程 確率ロボティクス 14 章 http://www.probabilistic-robotics.org/ 1 14.1 動機付けロボットの行動選択のための確率的なアルゴリズム 目的 予想される不確かさを最小化したい. ロボットの動作につての不確かさ (MDP で考える ) 決定論的な要素 ロボット工学の理論の多くは, 動作の影響は決定論的であるという仮定のもとに成り立っている.
数理言語
人工知能特論 II 二宮崇 1 今日の講義の予定 CFG 構文解析 教科書 北研二 ( 著 ) 辻井潤一 ( 編 ) 言語と計算 4 確率的言語モデル東大出版会 C. D. Manning & Hinrich Schütze FOUNDATIONS OF STATISTICAL NATURAL LANGUAGE PROCESSING MIT Press, 1999 D. Jurafsky, J. H.
ベイズ統計入門
ベイズ統計入門 条件付確率 事象 F が起こったことが既知であるという条件の下で E が起こる確率を条件付確率 (codtoal probablt) という P ( E F ) P ( E F ) P( F ) 定義式を変形すると 確率の乗法公式となる ( E F ) P( F ) P( E F ) P( E) P( F E) P 事象の独立 ある事象の生起する確率が 他のある事象が生起するかどうかによって変化しないとき
Computational Semantics 1 category specificity Warrington (1975); Warrington & Shallice (1979, 1984) 2 basic level superiority 3 super-ordinate catego
Computational Semantics 1 category specificity Warrington (1975); Warrington & Shallice (1979, 1984) 2 basic level superiority 3 super-ordinate category preservation 1 / 13 analogy by vector space Figure
kubo2015ngt6 p.2 ( ( (MLE 8 y i L(q q log L(q q 0 ˆq log L(q / q = 0 q ˆq = = = * ˆq = 0.46 ( 8 y 0.46 y y y i kubo (ht
kubo2015ngt6 p.1 2015 (6 MCMC kubo@ees.hokudai.ac.jp, @KuboBook http://goo.gl/m8hsbm 1 ( 2 3 4 5 JAGS : 2015 05 18 16:48 kubo (http://goo.gl/m8hsbm 2015 (6 1 / 70 kubo (http://goo.gl/m8hsbm 2015 (6 2 /
& 3 3 ' ' (., (Pixel), (Light Intensity) (Random Variable). (Joint Probability). V., V = {,,, V }. i x i x = (x, x,, x V ) T. x i i (State Variable),
.... Deeping and Expansion of Large-Scale Random Fields and Probabilistic Image Processing Kazuyuki Tanaka The mathematical frameworks of probabilistic image processing are formulated by means of Markov
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-MPS-93 No /5/23 統計的文法獲得モデルのための部分木ブロック化サンプリング法 進藤裕之 1,a) 松本裕治 2 永田昌明 1 概要 : 自然言語処理分野における統計的文法獲得では,
統計的文法獲得モデルのための部分木ブロック化サンプリング法 進藤裕之 1,a) 松本裕治 2 永田昌明 1 概要 : 自然言語処理分野における統計的文法獲得では, 確率文法モデルの学習に Gibbs サンプリング法が広く用いられている. しかしながら, 木構造データを扱う場合には,Gibbs サンプリング法のように変数の値を一つずつ順番に更新していく方法では局所解に留まりやすく, 十分に尤度の高い解を得られないという問題がある.
オートマトン 形式言語及び演習 1. 有限オートマトンとは 酒井正彦 形式言語 言語とは : 文字列の集合例 : 偶数個の 1 の後に 0 を持つ列からなる集合 {0, 110, 11110,
オートマトン 形式言語及び演習 1 有限オートマトンとは 酒井正彦 wwwtrscssinagoya-uacjp/~sakai/lecture/automata/ 形式言語 言語とは : 文字列の集合例 : 偶数個の 1 の後に 0 を持つ列からなる集合 {0, 110, 11110, } 形式言語 : 数学モデルに基づいて定義された言語 認識機械 : 文字列が該当言語に属するか? 文字列 機械 受理
NLP プログラミング勉強会 4 単語分割 自然言語処理プログラミング勉強会 4 - 単語分割 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1
自然言語処理プログラミング勉強会 4 - 単語分割 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 単語分割とは 日本語や中国語 タイ語などは英語と違って単語の間に空白を使わない 単語分割を行う 単語分割は単語の間に明示的な区切りを入れる 単語分割を行う 2 必要なプログラミング技術 : 部分文字列 文字列の一部からなる部分文字列を作る方法 $./my-program.py
AI技術の紹介とセンサーデータ解析への応用
AI を活用したセンサーデータ解析 MathWorks Japan アプリケーションエンジニアリンググループアプリケーションエンジニア吉田剛士 2018 The MathWorks, Inc. 1 AI を活用したセンサーデータ解析 11:20-11:50 MATLAB による AI 作成 アプリを使った簡易的な解析 学習モデルのパラメータ自動調整 学習モデルのスタンドアロン化 2 課題 : ターボファンエンジンの予知保全
(TokyoCL2016semiseg.pptx)
条件付確率場とベイズ階層言語モデルの 統合による半教師あり形態素解析 持橋大地統計数理研究所 藤井遼道本龍博報堂 ( 株 ) 研究開発局 daichi@ism.ac.jp TokyoCL 第 5 回勉強会 2016-6-15( 水 ) 不自然 言語の解析! 従来の新聞記事コーパスでは扱えない言語データが増えている ( 口語, 新語, 新表現,...) Twitter Blog 全部人手で辞書登録...?
集中理論談話会 #9 Bhat, C.R., Sidharthan, R.: A simulation evaluation of the maximum approximate composite marginal likelihood (MACML) estimator for mixed mu
集中理論談話会 #9 Bhat, C.R., Sidharthan, R.: A simulation evaluation of the maximum approximate composite marginal likelihood (MACML) estimator for mixed multinomial probit models, Transportation Research Part
46 583/4 2012
4-3 A Transliteration System Based on Bayesian Alignment and its Human Evaluation within a Machine Translation System Andrew Finch and YASUDA Keiji This paper reports on contributions in two areas. Firstly,
1 IDC Wo rldwide Business Analytics Technology and Services 2013-2017 Forecast 2 24 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/pdf/n2010000.pdf 3 Manyika, J., Chui, M., Brown, B., Bughin,
[1], B0TB2053, 20014 3 31. i
![[1], B0TB2053, 20014 3 31. i](/thumbs/40/20550507.jpg "[1], B0TB2053, 20014 3 31. i")
B0TB2053 20014 3 31 [1], B0TB2053, 20014 3 31. i 1 1 2 3 2.1........................ 3 2.2........................... 3 2.3............................. 4 2.3.1..................... 4 2.3.2....................
memo
数理情報工学特論第一 機械学習とデータマイニング 4 章 : 教師なし学習 3 かしまひさし 鹿島久嗣 ( 数理 6 研 ) kashima@mist.i.~ DEPARTMENT OF MATHEMATICAL INFORMATICS 1 グラフィカルモデルについて学びます グラフィカルモデル グラフィカルラッソ グラフィカルラッソの推定アルゴリズム 2 グラフィカルモデル 3 教師なし学習の主要タスクは
スライド 1
第 13 章系列データ 2015/9/20 夏合宿 PRML 輪読ゼミ B4 三木真理子 目次 2 1. 系列データと状態空間モデル 2. 隠れマルコフモデル 2.1 定式化とその性質 2.2 最尤推定法 2.3 潜在変数の系列を知るには 3. 線形動的システム この章の目標 : 系列データを扱う際に有効な状態空間モデルのうち 代表的な 2 例である隠れマルコフモデルと線形動的システムの性質を知り
untitled
DEIM Forum 2019 B3-3 305 8573 1-1-1 305 8573 1-1-1 ( ) 151-0053 1-3-15 6F word2vec, An Interface for Browsing Topics of Know-How Sites Shuto KAWABATA, Ohkawa YOUHEI,WenbinNIU,ChenZHAO, Takehito UTSURO,and
Microsoft Word - Time Series Basic - Modeling.doc
時系列解析入門 モデリング. 確率分布と統計的モデル が確率変数 (radom varable のとき すべての実数 R に対して となる確 率 Prob( が定められる これを の関数とみなして G( Prob ( とあらわすとき G( を確率変数 の分布関数 (probablt dstrbuto ucto と呼 ぶ 時系列解析で用いられる確率変数は通常連続型と呼ばれるもので その分布関数は (
WII-D 2017 (1) (2) (1) (2) [Tanaka 07] [ 04] [ 10] [ 13, 13], [ 08] [ 13] (1) (2) 2 2 e.g., Wikipedia [ 14] Wikipedia [ 14] Linked Open
![WII-D 2017 (1) (2) (1) (2) [Tanaka 07] [ 04] [ 10] [ 13, 13], [ 08] [ 13] (1) (2) 2 2 e.g., Wikipedia [ 14] Wikipedia [ 14] Linked Open](/thumbs/92/108593098.jpg "WII-D 2017 (1) (2) (1) (2) [Tanaka 07] [ 04] [ 10] [ 13, 13], [ 08] [ 13] (1) (2) 2 2 e.g., Wikipedia [ 14] Wikipedia [ 14] Linked Open")
Web 2017 Original Paper Supporting Exploratory Information Access Based on Comic Content Information 1 Ryo Yamashita Byeongseon Park Mitsunori Matsushita Nomura Research Institute, LTD. r-yamashita@nri.co.jp
Dirichlet process mixture Dirichlet process mixture 2 /40 MIRU2008 :
Dirichlet Process : joint work with: Max Welling (UC Irvine), Yee Whye Teh (UCL, Gatsby) http://kenichi.kurihara.googlepages.com/miru_workshop.pdf 1 /40 MIRU2008 : Dirichlet process mixture Dirichlet process
_314I01BM浅谷2.indd
587 ネットワークの表現学習 1 1 1 1 Deep Learning [1] Google [2] Deep Learning [3] [4] 2014 Deepwalk [5] 1 2 [6] [7] [8] 1 2 1 word2vec[9] word2vec 1 http://www.ai-gakkai.or.jp/my-bookmark_vol31-no4 588 31 4 2016
Probit , Mixed logit
Probit, Mixed logit 2016/5/16 スタートアップゼミ #5 B4 後藤祥孝 1 0. 目次 Probit モデルについて 1. モデル概要 2. 定式化と理解 3. 推定 Mixed logit モデルについて 4. モデル概要 5. 定式化と理解 6. 推定 2 1.Probit 概要 プロビットモデルとは. 効用関数の誤差項に多変量正規分布を仮定したもの. 誤差項には様々な要因が存在するため,
N-gram Language Models for Speech Recognition
N-gram Language Models for Speech Recognition Yasutaka SHINDOH ver.2011.01.22 1. 2. 3. 4. N-gram 5. N-gram0 6. N-gram 7. 2-gram vs. 3-gram vs. 4-gram 8. 9. (1) name twitter id @y_shindoh web site http://quruli.ivory.ne.jp/document/
様々なミクロ計量モデル†
担当 : 長倉大輔 ( ながくらだいすけ ) この資料は私の講義において使用するために作成した資料です WEB ページ上で公開しており 自由に参照して頂いて構いません ただし 内容について 一応検証してありますが もし間違いがあった場合でもそれによって生じるいかなる損害 不利益について責任を負いかねますのでご了承ください 間違いは発見次第 継続的に直していますが まだ存在する可能性があります 1 カウントデータモデル
スライド 1
Keal H. Sahn A R. Crc: A dual teperature sulated annealng approach for solvng blevel prograng probles Coputers and Checal Engneerng Vol. 23 pp. 11-251998. 第 12 回論文ゼミ 2013/07/12( 金 ) #4 M1 今泉孝章 2 段階計画問題とは
SAP11_03
第 3 回 音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和 東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所 講義内容 ( キーワード ) 信号処理 符号化 標準化の実用システム例の紹介情報通信の基本 ( 誤り検出 訂正符号 変調 IP) 符号化技術の基本 ( 量子化 予測 変換 圧縮 ) 音声分析 合成 認識 強調 音楽信号処理統計的信号処理の基礎
日心TWS
2017.09.22 (15:40~17:10) 日本心理学会第 81 回大会 TWS ベイジアンデータ解析入門 回帰分析を例に ベイジアンデータ解析 を体験してみる 広島大学大学院教育学研究科平川真 ベイジアン分析のステップ (p.24) 1) データの特定 2) モデルの定義 ( 解釈可能な ) モデルの作成 3) パラメタの事前分布の設定 4) ベイズ推論を用いて パラメタの値に確信度を再配分ベイズ推定
工業数学F2-04（ウェブ用）.pptx
工業数学 F2 #4 フーリエ級数を極める 京都大学加納学 京都大学大学院情報学研究科システム科学専攻 Human Systems Lab., Dept. of Systems Science Graduate School of Informatics, Kyoto University 復習 1: 複素フーリエ級数 2 周期 2π の周期関数 f(x) の複素フーリエ級数展開 複素フーリエ係数
スライド 1
. 無情報事前分布 前回 前回の復習 データの分布 ( 統計モデル を設定 ( θ モデルごとに相性のよい事前分布 ( 共役事前分布 を紹介 事後分布の計算 π (θ π ( θ, π ( θ dθ, 昔 共役事前分布を利用して 解析的に事後分布を導出簡単な形で書けない場合は ラプラス近似を利用 現在 パラメータの次元が高い, もしくは複雑な入り方をする統計モデル 数値的な方法 ( 第六回 で近似するため共役事前分布にこだわらない
Microsoft PowerPoint - 3.ppt [互換モード]
![Microsoft PowerPoint - 3.ppt [互換モード]](/thumbs/95/124643964.jpg "Microsoft PowerPoint - 3.ppt [互換モード]")
3. プッシュダウンオートマトンと文脈自由文法 1 3-1. プッシュダウンオートマトン オートマトンはメモリがほとんど無かった この制限を除いた機械を考える 理想的なスタックを利用できるようなオートマトンをプッシュダウンオートマトン (Push Down Automaton,PDA) という 0 1 入力テープ 1 a 1 1 0 1 スタッb 入力テープを一度走査したあと ク2 入力テプを度走査したあと
i
2011 2012 3 26 ( : A8TB2114) i 1 1 2 3 2.1 Espresso................................. 3 2.2 CPL................................... 4 2.3.................................... 5 2.4.........................
Microsoft PowerPoint 新道路研究会_公開用.pptx
人物動態のモニタリングに向けた統計的異常検知 背景 物動態の把握の要請 多岐にわたる分野において重要 交通モデリング マーケティング等 位置情報取得の容易化 GPS や WiFi を利 した測位技術の発達 分解能かつ低コスト 物の位置情報をリアルタイムに集計し, 時々刻々と変化する 物動態のモニタリングへの期待 2 東京大学大学院工学系研究科社会基盤学専攻 布施孝志 モニタリングでは異常状態の検知が重要
Presentation Title
データの本質を読み解くための機械学習 MATLAB でデータ解析の課題に立ち向かう MathWorks Japan アプリケーションエンジニア部アプリケーションエンジニア井原瑞希 2016 The MathWorks, Inc. 1 Buzzwords IoT 人工知能 / AI データ解析 ビッグデータ 2 データ解析ワークフロー データへのアクセスと探索 データの前処理 予測モデルの構築 システムへの統合
Microsoft PowerPoint slide2forWeb.ppt [互換モード]
![Microsoft PowerPoint slide2forWeb.ppt [互換モード]](/thumbs/96/126561931.jpg "Microsoft PowerPoint slide2forWeb.ppt [互換モード]")
講義内容 9..4 正規分布 ormal dstrbuto ガウス分布 Gaussa dstrbuto 中心極限定理 サンプルからの母集団統計量の推定 不偏推定量について 確率変数, 確率密度関数 確率密度関数 確率密度関数は積分したら. 平均 : 確率変数 分散 : 例 ある場所, ある日時での気温の確率. : 気温, : 気温 が起こる確率 標本平均とのアナロジー 類推 例 人の身長の分布と平均
gengo.dvi
4 97.52% tri-gram 92.76% 98.49% : Japanese word segmentation by Adaboost using the decision list as the weak learner Hiroyuki Shinnou In this paper, we propose the new method of Japanese word segmentation
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌 スペクトルデータの特徴 1 波 ( 波数 ) が近いと 吸光度 ( 強度 ) の値も似ている ノイズが含まれる 吸光度 ( 強度 ) の極大値 ( ピーク ) 以外のデータも重要 時系列データの特徴 2 時刻が近いと プロセス変数の値も似ている ノイズが含まれる プロセス変数の極大値
IPSJ SIG Technical Report Vol.2017-SLP-115 No /2/18 1,a) 1 1,2 Sakriani Sakti [1][2] [3][4] [5][6][7] [8] [9] 1 Nara Institute of Scie
![IPSJ SIG Technical Report Vol.2017-SLP-115 No /2/18 1,a) 1 1,2 Sakriani Sakti [1][2] [3][4] [5][6][7] [8] [9] 1 Nara Institute of Scie](/thumbs/104/162724895.jpg "IPSJ SIG Technical Report Vol.2017-SLP-115 No /2/18 1,a) 1 1,2 Sakriani Sakti [1][2] [3][4] [5][6][7] [8] [9] 1 Nara Institute of Scie")
1,a) 1 1,2 Sakriani Sakti 1 1 1 1. [1][2] [3][4] [5][6][7] [8] [9] 1 Nara Institute of Science and Technology 2 Japan Science and Technology Agency a) ishikawa.yoko.io5@is.naist.jp 2. 1 Belief-Desire theory
Microsoft Word doc
. 正規線形モデルのベイズ推定翠川 大竹距離減衰式 (PGA(Midorikawa, S., and Ohtake, Y. (, Attenuation relationships of peak ground acceleration and velocity considering attenuation characteristics for shallow and deeper earthquakes,
アルゴリズムとデータ構造
講義 アルゴリズムとデータ構造 第 2 回アルゴリズムと計算量 大学院情報科学研究科情報理工学専攻情報知識ネットワーク研究室喜田拓也 講義資料 2018/5/23 今日の内容 アルゴリズムの計算量とは? 漸近的計算量オーダーの計算の方法最悪計算量と平均計算量 ポイント オーダー記法 ビッグオー (O), ビッグオメガ (Ω), ビッグシータ (Θ) 2 お風呂スケジューリング問題 お風呂に入る順番を決めよう!
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self-
![TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self-](/thumbs/78/78095837.jpg "TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self-")
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) Proposing a Growing Self-Organizing Map Based on a Learning Theory of a Gaussian Mixture Model Kazuhiro Tounaga National Fisheries University Abstract:
Poincaré Embedding による 分散表現の獲得 M1 橋本隼人 森信介 京都大学情報学研究科 / 学術情報メディアセンター森研究室 1
Poincaré Embedding による 分散表現の獲得 M1 橋本隼人 森信介 京都大学情報学研究科 / 学術情報メディアセンター森研究室 1 おしらせ 予稿集から変更 ネガティブサンプリングの式 追加実験 ご意見等は予稿のアドレスかこちらへ http://www.ar.media.kyoto-u.ac.jp/ 京都大学森研究室自然言語処理
jpaper : 2017/4/17(17:52),,.,,,.,.,.,, Improvement in Domain Specific Word Segmentation by Symbol Grounding suzushi tomori, hirotaka kameko, takashi n
,,.,,,.,.,.,, Improvement in Domain Specific Word Segmentation by Symbol Grounding suzushi tomori, hirotaka kameko, takashi ninomiya, shinsuke mori and yoshimasa tsuruoka We propose a novel framework for
untitled
DEIM Forum 2019 C1-2 305-8573 1-1-1 305-8573 1-1-1 () 151-0053 1-3-15 6F QA,,,, Detecting and Analysing Chinese Web Sites for Collecting Know-How Knowledge Wenbin NIU, Yohei OHKAWA,ShutoKAWABATA,ChenZHAO,TianNIE,
Microsoft PowerPoint - H17-5時限（パターン認識）.ppt
パターン認識早稲田大学講義 平成 7 年度 独 産業技術総合研究所栗田多喜夫 赤穂昭太郎 統計的特徴抽出 パターン認識過程 特徴抽出 認識対象から何らかの特徴量を計測 抽出 する必要がある 認識に有効な情報 特徴 を抽出し 次元を縮小した効率の良い空間を構成する過程 文字認識 : スキャナ等で取り込んだ画像から文字の識別に必要な本質的な特徴のみを抽出 例 文字線の傾き 曲率 面積など 識別 与えられた未知の対象を
, Shannon (1948) A mathematical theory of communication : 3. THE SERIES OF APPROXIMATIONS TO ENGLISH To give a visual idea of how this series of proce
daichi@ism.ac.jp 2016 12 13( ) SITA 2016 1 / 54 , Shannon (1948) A mathematical theory of communication : 3. THE SERIES OF APPROXIMATIONS TO ENGLISH To give a visual idea of how this series of processes
Haiku Generation Based on Motif Images Using Deep Learning Koki Yoneda 1 Soichiro Yokoyama 2 Tomohisa Yamashita 2 Hidenori Kawamura Scho
Haiku Generation Based on Motif Images Using Deep Learning 1 2 2 2 Koki Yoneda 1 Soichiro Yokoyama 2 Tomohisa Yamashita 2 Hidenori Kawamura 2 1 1 School of Engineering Hokkaido University 2 2 Graduate
例 e 指数関数的に減衰する信号を h( a < + a a すると, それらのラプラス変換は, H ( ) { e } e インパルス応答が h( a < ( ただし a >, U( ) { } となるシステムにステップ信号 ( y( のラプラス変換 Y () は, Y ( ) H ( ) X (
第 週ラプラス変換 教科書 p.34~ 目標ラプラス変換の定義と意味を理解する フーリエ変換や Z 変換と並ぶ 信号解析やシステム設計における重要なツール ラプラス変換は波動現象や電気回路など様々な分野で 微分方程式を解くために利用されてきた ラプラス変換を用いることで微分方程式は代数方程式に変換される また 工学上使われる主要な関数のラプラス変換は簡単な形の関数で表されるので これを ラプラス変換表
( )
B4IM2035 2017 2 10 ( ) (e.g., eat ) (e.g., arrest ),,, 10., B4IM2035, 2017 2 i 1 1 2 3 2.1................. 3 2.2........ 3 3 5 3.1.... 5 3.2 DCS Vector.............................. 6 3.3 DCS Vector.......
PowerPoint プレゼンテーション
ノンパラメトリックベイズによるメディア処理 202.. 5 AI チャレンジ研究会 NTT コミュニケーション科学基礎研究所中野允裕 nakano.masahiro@lab.ntt.co.jp 5,6 年前であれば 教科書に載っているような各種ツールのノンパラベイズ化が話題の中心になっていたが 主成分分析 非負値行列分解 確率文脈自由文法 独立成分分析 隠れマルコフモデル n-gram ダイナミックベイジアンネット
航空機の運動方程式
オブザーバ 状態フィードバックにはすべての状態変数の値が必要であった. しかしながら, システムの外部から観測できるのは出力だけであり, すべての状態変数が観測できるとは限らない. そこで, 制御対象システムの状態変数を, システムのモデルに基づいてその入出力信号から推定する方法を考える.. オブザーバとは 次元 m 入力 r 出力線形時不変システム x Ax Bu y Cx () の状態変数ベクトル
main.dvi
DEIM Forum 2017 D3-4 305-8573 1-1-1 305-8573 1-1-1 ( ) 151-0053 1-3-15 6F 101-8430 2-1-2 This paper presents techniques of retrieving know-how sites from the collection of Web pages. The proposed techniques
名称未設定
NAACL-HLT 2012, 1 2012 6 3 8 NAACL-HLT 2012 (North American Chapter of ACL: Human Language Technologies) ACL Anthology 1 2 NAACL ACL (Association for Computational Linguistics) 2000 2001 2 ACL HLT 2003
Microsoft PowerPoint - pr_12_template-bs.pptx
12 回パターン検出と画像特徴 テンプレートマッチング 領域分割 画像特徴 テンプレート マッチング 1 テンプレートマッチング ( 図形 画像などの ) 型照合 Template Matching テンプレートと呼ばれる小さな一部の画像領域と同じパターンが画像全体の中に存在するかどうかを調べる方法 画像内にある対象物体の位置検出 物体数のカウント 物体移動の検出などに使われる テンプレートマッチングの計算
Microsoft PowerPoint - 09-search.ppt [互換モード]
![Microsoft PowerPoint - 09-search.ppt [互換モード]](/thumbs/99/142050111.jpg "Microsoft PowerPoint - 09-search.ppt [互換モード]")
ヒューリスティック探索 ( 経験を用いた探索 ) これまでに到達した探索木の末梢状態から展開される状態のうち, 解に至る可能性の高い状態に注目し, 探索の効率を高める. 末梢状態 : 探索木上で, これまでに探索した端の状態. 展開 : 与えられた節点に対し, 直接移行可能な全ての後継状態を作り出すこと. 探索の効率化に用いる判断基準 ( ヒューリスティック情報 ) 状態 s における評価関数 (
概要 協調フィルタリング Start-up問題 利用者が少ないとうまくいかない 集団協調フィルタリング 複数サイトの情報をマルチタスク学習を利用して集める 広域ネットワーク上に分散 通信量を抑制 個人情報の保護 個人嗜好データは局所サイト内でのみ保持 各サイトの個性の保持 個別の推薦モデルの獲得 実
転移学習を利用した 集団協調フィルタリング 神嶌 敏弘 赤穂 昭太郎 産業技術総合研究所 2009年度人工知能学会全国大会 (2009/6/17-19) http://www.kamishima.net/ 開始 1 概要 協調フィルタリング Start-up問題 利用者が少ないとうまくいかない 集団協調フィルタリング 複数サイトの情報をマルチタスク学習を利用して集める 広域ネットワーク上に分散 通信量を抑制
(IBISMLTutorial-NLPU.pptx)
第 2 回 IBISML チュートリアル 機械学習に基づく自然言語処理 教師なし学習と最近の話題 持橋大地 統計数理研究所 daichi@ism.ac.jp 2013-11-10( 日 ) IBIS 2013 本チュートリアルの目的 教師あり学習 と 教師なし 学習の関係につい て 実際の立場から 自然言語処理における教師なし学習は どんなもの が可能か 自然言語処理を題材にした教師なし学習入門 教師なし学習の可能性と展望
(Microsoft PowerPoint - \203|\203X\203^\201[\224\255\225\\\227p\216\221\227\ ppt)
Web ページタイプによるクラスタリングを用いた検索支援システム 折原大内海彰電気通信大学システム工学専攻 はじめに 背景 文書クラスタリングを用いた検索支援システム Clusty(http://clusty.jp/) KartOO(http://www.kartoo.com/) Carrot(http://www.carrot-search.com/) これらはすべてトピックによる分類を行っている
[1] B =b 1 b n P (S B) S S O = {o 1,2, o 1,3,, o 1,n, o 2,3,, o i,j,, o n 1,n } D = {d 1, d 2,, d n 1 } S = O, D o i,j 1 i
![[1] B =b 1 b n P (S B) S S O = {o 1,2, o 1,3,, o 1,n, o 2,3,, o i,j,, o n 1,n } D = {d 1, d 2,, d n 1 } S = O, D o i,j 1 i](/thumbs/79/79671767.jpg "[1] B =b 1 b n P (S B) S S O = {o 1,2, o 1,3,, o 1,n, o 2,3,, o i,j,, o n 1,n } D = {d 1, d 2,, d n 1 } S = O, D o i,j 1 i")
1,a) 2,b) 3,c) 1,d) CYK 552 1. 2 ( 1 ) ( 2 ) 1 [1] 2 [2] [3] 1 Graduate School of Information Science, Nagoya University, Japan 2 Information Technology Center, Nagoya University, Japan 3 Information &
Variational Auto Encoder
Variational Auto Encoder nzw 216 年 12 月 1 日 1 はじめに 深層学習における生成モデルとして Generative Adversarial Nets (GAN) と Variational Auto Encoder (VAE) [1] が主な手法として知られている. 本資料では,VAE を紹介する. 本資料は, 提案論文 [1] とチュートリアル資料 [2]
Trial for Value Quantification from Exceptional Utterances 37-066593 1 5 1.1.................................. 5 1.2................................ 8 2 9 2.1.............................. 9 2.1.1.........................
main.dvi
DEIM Forum 2015 D3-1 305-8573 1-1-1 305-8573 1-1-1 ( ) 151-0051 5-13-18 101-8430 2-1-2.com,,,, Market Share Estimation based on Statistics of Search Engine Suggests Takakazu IMADA,IchiroMORIYA, Yusuke
Microsoft PowerPoint - Ishiguro_IBIS_presentation.pptx
2011/11/10 第 14 回情報論的学習理論ワークショップ NTT コミュニケーション科学基礎研究所石黒勝彦 SNSにおける友達コミュニティ抽出 オンラインショッピング履歴に基づくレコメンド 論文と著者の組み合わせによる研究トピック解析 SNS 上の友達関係は簡単に変化します CMが当たると突然商品が売れ出します 研究プロジェクトや異動で共著者は変わります フォ0 1 0 1 0 チローし0
航空機の運動方程式
可制御性 可観測性. 可制御性システムの状態を, 適切な操作によって, 有限時間内に, 任意の状態から別の任意の状態に移動させることができるか否かという特性を可制御性という. 可制御性を有するシステムに対し, システムは可制御である, 可制御なシステム という言い方をする. 状態方程式, 出力方程式が以下で表されるn 次元 m 入力 r 出力線形時不変システム x Ax u y x Du () に対し,
PowerPoint プレゼンテーション
[SIGIR2013 勉強会 ] 2013 年 10 月 6 日 Session 6 Topic Modeling 担当 : 嫁兼 ( 同志社大学大学院 ), 孟 ( 同志社大学大学院 ), 杉田 ( 同志社大学 ) Topic Modeling An Unsupervised Topic Segmentation Model Incorporating Word Order 2 Shoaib Jameel,
Microsoft Word ã‡»ã…«ã‡ªã…¼ã…‹ã…žã…‹ã…³ã†¨åłºæœ›å•¤(佒芤喋çfl�)
Cellulr uo nd heir eigenlues 東洋大学総合情報学部 佐藤忠一 Tdzu So Depren o Inorion Siene nd rs Toyo Uniersiy. まえがき 一次元セルオ-トマトンは数学的には記号列上の行列の固有値問題である 固有値問題の行列はふつう複素数体上の行列である 量子力学における固有値問題も無限次元ではあるが関数環上の行列でその成分は可換環である
main.dvi
DEIM Forum 2018 J7-3 305-8573 1-1-1 305-8573 1-1-1 305-8573 1-1-1 () 151-0053 1-3-15 6F URL SVM Identifying Know-How Sites basedonatopicmodelandclassifierlearning Jiaqi LI,ChenZHAO, Youchao LIN, Ding YI,ShutoKAWABATA,
クラスタリング クラスタリングとは クラスタの良さを類似度 目的関数で定義 困難 教師ありクラスタリング 類似度 目的関数ではなく 教師情報 制約を導入 教師情報 制約に一致するクラスタが良い クラスタリング問題を 絶対クラスタリングと相対クラスタリング に分けて考える必要 2
教師ありクラスタリング と 絶対/相対クラスタリング 神嶌 敏弘 http://www.kamishima.net/ 産業技術総合研究所 2006年情報論的学習理論ワークショップ(IBIS2006) 2006/10/31-11/2 1 クラスタリング クラスタリングとは クラスタの良さを類似度 目的関数で定義 困難 教師ありクラスタリング 類似度 目的関数ではなく 教師情報 制約を導入 教師情報 制約に一致するクラスタが良い
PowerPoint Presentation
パターン認識入門 パターン認識 音や画像に中に隠れたパターンを認識する 音素 音節 単語 文 基本図形 文字 指紋 物体 人物 顔 パターン は唯一のデータではなく 似通ったデータの集まりを表している 多様性 ノイズ 等しい から 似ている へ ~ だ から ~ らしい へ 等しい から 似ている へ 完全に等しいかどうかではなく 似ているか どうかを判定する パターンを代表する模範的データとどのくらい似ているか
Microsoft PowerPoint - 夏の学校2018配布用佐々木.pptx
最尤推定法 点推定量を求める 般的な 法 L n x n i1 f x i 梨 学佐々 邦明 右上の式を θ の関数とみなしたものが尤度関数 尤度関数を最 化する θ の値を最尤推定量とするのが最尤推定法 平均値の推定を例にすると データ (x:3,5,4) が得られたとき, 平均をいくつとするのがよいか? 平均がいくつの分布だったらデータ (x:3,5,4) が得られやすいか? 2 最 化アルゴリズムの考え
main.dvi
1 1 1 2 3 LDA Estimating and Analyzing a Domain Topic Model of Entries Kensaku Makita 1 Hiroko Suzuki 1 Daichi Koike 1 Takehito Utsuro 2 Yasuhide Kawada 3 Abstract: In order to address the issue of quickly
OngaCREST [10] A 3. Latent Dirichlet Allocation: LDA [11] Songle [12] Pitman-Yor (VPYLM) [13] [14,15] n n n 3.1 [16 18] PreFEst [19] F
![OngaCREST [10] A 3. Latent Dirichlet Allocation: LDA [11] Songle [12] Pitman-Yor (VPYLM) [13] [14,15] n n n 3.1 [16 18] PreFEst [19] F](/thumbs/77/74495478.jpg "OngaCREST [10] A 3. Latent Dirichlet Allocation: LDA [11] Songle [12] Pitman-Yor (VPYLM) [13] [14,15] n n n 3.1 [16 18] PreFEst [19] F")
1,a) 2,b) 1,c) LPMCC MFCC Fluctuation Pattern (LDA) Songle Pitman-Yor (VPYLM) 3278 1. (MIR: Music Information Retrieval) [1 5] [6 8] 1 National Institute of Advanced Industrial Science and Technology (AIST)
RSS Higher Certificate in Statistics, Specimen A Module 3: Basic Statistical Methods Solutions Question 1 (i) 帰無仮説 : 200C と 250C において鉄鋼の破壊応力の母平均には違いはな
RSS Higher Certiicate in Statistics, Specimen A Module 3: Basic Statistical Methods Solutions Question (i) 帰無仮説 : 00C と 50C において鉄鋼の破壊応力の母平均には違いはない. 対立仮説 : 破壊応力の母平均には違いがあり, 50C の方ときの方が大きい. n 8, n 7, x 59.6,
( : A8TB2163)
2011 2012 3 26 ( : A8TB2163) ( A B [1] A B A B B i 1 1 2 3 2.1... 3 2.1.1... 3 2.1.2... 4 2.2... 5 3 7 3.1... 7 3.2... 7 3.3 A B... 7 4 8 4.1... 8 4.1.1... 9 4.1.2... 9 4.1.3... 9 4.1.4... 10 4.2 A B...
共有辞書を用いた 効率の良い圧縮アルゴリズム
大規模テキストに対する 共有辞書を用いた Re-Pair 圧縮法 Variable-to-Fixed-Length Encoding for Large Texts Using Re-Pair Algorithm with Efficient Shared Dictionaries 関根渓, 笹川裕人, 吉田諭史, 喜田拓也 北海道大学大学院情報科学研究科 1 背景 : 巨大なデータ 計算機上で扱うデータの巨大化.
FEM原理講座 （サンプルテキスト）
サンプルテキスト FEM 原理講座 サイバネットシステム株式会社 8 年 月 9 日作成 サンプルテキストについて 各講師が 講義の内容が伝わりやすいページ を選びました テキストのページは必ずしも連続していません 一部を抜粋しています 幾何光学講座については 実物のテキストではなくガイダンスを掲載いたします 対象とする構造系 物理モデル 連続体 固体 弾性体 / 弾塑性体 / 粘弾性体 / 固体
ばらつき抑制のための確率最適制御
( ) http://wwwhayanuemnagoya-uacjp/ fujimoto/ 2011 3 9 11 ( ) 2011/03/09-11 1 / 46 Outline 1 2 3 4 5 ( ) 2011/03/09-11 2 / 46 Outline 1 2 3 4 5 ( ) 2011/03/09-11 3 / 46 (1/2) r + Controller - u Plant y
数値計算法
数値計算法 008 4/3 林田清 ( 大阪大学大学院理学研究科 ) 実験データの統計処理その 誤差について 母集団と標本 平均値と標準偏差 誤差伝播 最尤法 平均値につく誤差 誤差 (Error): 真の値からのずれ 測定誤差 物差しが曲がっていた 測定する対象が室温が低いため縮んでいた g の単位までしかデジタル表示されない計りで g 以下 計りの目盛りを読み取る角度によって値が異なる 統計誤差