Kullback-Leibler

Size: px

Start display at page:

Download "Kullback-Leibler"

しょうこあいきょう
5 years ago
Views:

1 Kullback-Leible Sanov Kullback-Leible Kullback-Leible Kullback-Leible max-plus Laplace KL Massieu Boltzmann Boltzmann URL Ve.0.0 ) Ve.0.26 )..7 Sanov 3. Stiling. 6 8 Ve Ve ). Sanov Gibbs Ve Ve ) Rényi Ve ) Tsallis Ve ). KL KL Sanov..3,. Tsallis...4.

2 2 3 Sanov 8 3. Sanov Sanov Sanov Sanov Gibbs Gibbs Gibbs : Stiling Stiling.. Kullback-Leible ) Boltzmann exp ν β νf ν k)) Gibbs.,. 3, 4.. [] Csisza, Ime. A simple poof of Sanov s theoem. Bull Baz Math Soc, New Seies 374), , [2] Dembo, Ami and Zeitouni, Ofe. Lage Deviations Techniques and Applications. Stochastic Modelling and Applied Pobability fomely: Applications of Mathematics), 38, Second Edition, Spinge, 998, 396 pages. Google ), Kullback-Leible ) 2 2, Kullback-Leible. Kullback-Leible n Kullback-Leible., n Kullback-Leible. Sanov., Boltzmann, Gibbs ) n Sanov ). Boltzmann e βe i.

3 3 [3] Ellis, Richad, S. The theoy of lage deviations and applications to statistical mechanics. Lectue notes fo École de Physique Les Houches, August 5 8, 2008, 23 pages. [4] Sanov, I. N. On the pobability of lage deviations of andom vaiables. English tanslation of Matematicheskii Sbonik, 4284):, pp. 44. Institute of Statistics Mimeogaph Seies No. 92, Mach, pdf [5] Suyai, Hioki. Mathematical stuctue deived fom the q-multinomial coefficient in Tsallis statistics. axiv:cond-mat/ [6]. I, II., 2008/2), [7] Tim van Even and Pete Haemoës. Rényi divegence and Kullback-Leible divegence. axiv: [8] Ramon van Handel. Lectue 3: Sanov s theoem. Stochas Analytic Semina Pinceton Univesity), Blog Aticle, 0 Octobe [9] Vasicek, Oldich Alfonso. A conditional law of lage numbes. Ann. Pobab., Volume 8, Numbe 980), Kullback-Leible Stiling Kullback-Leible ).. 0, i= =. i. q = q,..., q ). n, i k i k i ). i k i /n ) n., ) n i ) n. n k i /n,. 2 Boltzmann.

4 4. Kullback-Leible q = q,..., q ), k /n,..., k /n), n. n i k i, i= k i = n k! k! qk q k, 0 ). p i 0, i= p i =. n i k i /n p i, p i. ).2 n p i. n, k i )) log n k i = np i + Olog n) = np i + O ) n, ). logk i /n) = log p i + Olog n)/n) 2. Stiling i= k i = n log = n log n n + Olog n) = k i log n i= k i + Olog n), log k i! = k i log k i k i + Olog k i ) = k i log k i k i + Olog n), log q k i i = k i log. ) k i. ) : ) log k! k! qk q k k i = n log k ) i n n log + Olog n) i= = n p i log p i log ) + Olog n) = n i= i= i= p i log p i + Olog n)..7 )..3 Kullback-Leible.2 D[p q] = i= p i log p i 2 Taylo log + x) = x x 2 /2 + x 3 /3 x 4 /4 +.

5 .4. Kullback-Leible 5 : ) log k! k! qk q k = nd[p q] + Olog n). k i /n p i. D[p q] Kullback-Leible ) Kullback-Leible divegence. Kullback-Leible S[p q] = D[p q] = i= p i log p i. n p i n. : n p i ) = exp nd[p q] + Olog n)). D[p q] > 0, n Olog n) nd[p q], exp nd[p q])..4 Kullback-Leible Kullback-Leible D[p q] p = p,..., p ) fx) = x logx/q) = xlog x log q) x > 0). f x) = log x log q +, f x) = /x > 0 fx). fx) x = q x. fx) fq) + f q)x q) = x q x = q ). D[p q] = i= p i log p i p i ) = 0, i= p i = i =,..., ). fx), D[p q] p. Kullback-Leible 0, 0 p i., p i, D[p q] > 0, p i n n 0., n k i /n.. Kullback-Leible p i. n Kullback- Leible n. Kullback-Leible, Kullback-Leible., p i

6 6. Kullback-Leible, Kullback-Leible ), ). Kullback-Leible. n, Kullback-Leible. Kullback-Leible, p i.. n.. B A., A B ), B A.., n,...5 = 2, q = q, q 2 = q ).., p = p, p 2 = p, Kullback-Leible : D[p q] = p log p q + p) log p q. p = q 0, p q. Kullback- Leible q p. p n exp nd[p q] + Olog n))., p, D[p q] p n 0.. n. n a.?, n q. 0 a < q, a n., 0 a < q, a, n q. q < a., n, a 0. a p ). Kullback-Leible. p a D[p q] p = a., n p = a. q < a, a, n a.

7 .6. max-plus Laplace 7 : lim n n log ) { n D[q q] = 0 0 a q), q k q) n k = inf D[p q] = k p a k/n a D[a q] q < a )., ) ) n q k q) n k = exp n inf D[p q] + on). k p a k/n a a. n D[p q]..6 max-plus Laplace a, b a, b) max{a, b}, a, b) a + b semiing), semifiled) ) max-plus. max-plus topical mathematics.,..), max 0, +, 0. log., : lim n n logena + e nb ) = max{a, b}, lim n n logena e nb ) = a + b... a b, b a 0, e nb a), n logean + e nb ) = n log e na + e nb a))) = a + n log + e nb a)) a n ).. : lim n n log expna i + Olog n)) = max{a,..., a }. i= expna i + Olog n)) /n n a i., expna i + Olog n)) = expn max{a,..., a } + on)) i= n ).

8 8. Kullback-Leible Laplace.. : β ) ) exp nfx) + Olog n) dx = exp n inf fx) + on) α x β α n ). fx) x = x 0, f x 0 ) > 0, β e nfx) gx) dx = e nfx0) 2π gx 0 ) + o)) nf x 0 ) α n ). Laplace..7 KL n,. 0, i= =, a, b i i= b i = a, p i = b i a = Nb i Na. lim N Na log Na)! Nb )! Nb )! qnb q Nb ) = i= p i log p i. ) Kullback-Leible ). ) /Na) Na)! lim N Nb )! Nb )! qnb q Nb = p /q ) p p /q ) p.. ). N ) Na log Na)! Nb )! Nb )! qnb q Nb = Na ) Nb i log k log k + Nb i log Na k= i= k= i= = Na ) log k Nb i Na Na log k Na + Nb i log k= = Na Na k= 0 log k Na log x dx = [x log x x] 0 i= i= i= pi 0 k= Na Nb i k= log x dx + i= log k Na + p i log i= p i log i= [x log x x] p i 0 + i= p i log = i= i= p i log p i.

9 .8. Massieu 9 2 Na logna) i= Nb i logna) = 0.. : N Na p i = b i /a ) /Na) p /q ) p p /q ) p..8 Massieu. ). X : i X i M X t) M X t) = e tx i i=. X = E, t = β Zβ) = e βe i i=. ). K X t) = log M X t) X cumulant geneating function). F β) = log Zβ) β. β Fβ) = log Zβ) Boltzmann ). Fβ) Massieu..2 Rényi ). 2 p = p,..., p ), q = q,..., q ), Rényi S β [p q] S β [p q] = β log i= pi ) β = β log. β β β β )S i= β[p q]) = pβ i q β i logp i / ) i= pβ i q β i, β =, β β )S β [p q]) = β= i= i= p i log p i = S[p q] p β i q β i

10 0. Kullback-Leible. S [p q] := lim β S β [p q] = S[p q]. Rényi. = Rényi Rényi. Rényi Zβ; p, q) = pi q i= i ) β = e βe i, i= E i = log p i F β : p, q) Massieu Fβ; p, q) F β; p, q) = β log Zβ; p, q), Fβ; p, q) = log Zβ; p, q) Boltzmann ) : β )S β [p q] = βf β; p, q) = Fβ; p, q) = log Zβ; p, q). Rényi divegence Rényi ) [7]. β )S β [p q] = log Zβ; p, q) β : ) 2 i,j= log Zβ; p, q)) = E i E j ) 2 e βe i+e j ) q j 0 β 2Zβ) 2 p i = i =,..., ) )., β )S β [p q] = log Zβ; p, q) β = log Z; p, q) = log = 0, β )S β [p q] = log Zβ; p, q) β = S[p q],. β )S β [p q] β )S[p q]..3 Tsallis ). p = p,..., p ), q = q,..., q ), Zβ; p, q) : Zβ; p, q) = e βe i = i= pi q i= i ) β = i= p β i q β i, E i = log p i. E i 2 p q i. Gibbs pβ) = p β),..., p β)) p i β) = e βe i Zβ; p, q) = pβ i q β i Zβ; p, q)

11 .8. Massieu, β = p i 0) p i = p i )., Rényi S β [p q] S β [p q] = log Zβ; p, q) β = β log i= p β i q β i, S[p q] S[p q] = β log Zβ; p, q) = β= β Zβ; p, q) = β=. 2 Z; p, q) =. x q : i= p i log p i D x,q fx) = fx) fqx) q)x. q q D x,q fx) fx)/ x. log Zβ; p, q) Zβ; p, q) β q 3, Tsallis 4 q q α ): Z; p, q) Zα; p, q) T α [p q] = D β,α β= Zβ; p, q) = α = i= pα i q α i α α α, Tsallis. T α [p q] = p i / ) p i / ) α, α i= x x α lim α α = α α α= x α = x log x.,. Tsallis x log x x x α )/ α). Tsallis Rényi :. T β [p q] = Zβ; p, q) β = exp β)s β[p q]). β Rényi Tsallis S β [p q] = log Zβ; p, q) β = log + β)t β[p q]) β. Tsallis Rényi x log x = log + x )).,, Rényi, Tsallis Zβ; p, q) )Tsallis. )Rényi, Massieu ), )Tsallis.

12 2. Kullback-Leible.4 ). ν =, 2 R ν = {, 2,..., ν } p ν = p ν,,..., p ν,ν ), p ν = p ν,,..., p ν,ν ), Rényi S[p ν q ν ] = ν i= p ν,i log p ν,i q ν,i, S β [p ν q ν ] = log Zβ)[p ν q ν ], Z β [p ν q ν ] = β ν i= p β ν,i q β ν,i. R R 2 = { i, j) i R, j R 2 } i, j) p,i p 2,j, i, j) q,i q 2,j. Rényi : S[p, p 2 q, q 2 ] = i,j p,i p 2,j log p,ip 2,j q,i q 2,j, S β [p, p 2 q, q 2 ] = log Z β[p, p 2 q, q 2 ], Z β [p, p 2 q, q 2 ] = β i,j : p,i p 2,j ) β q,i q 2,j ) β. S[p, p 2 q, q 2 ] = S[p q 2 ] + S[p 2 q 2 ], S β [p, p 2 q, q 2 ] = S β [p q 2 ] + S β [p 2 q 2 ]. Z β [p, p 2 q, q 2 ] = Z β [p q ] Z β [p 2 q 2 ]. : S[p, p 2 q, q 2 ] = i,j p,i p 2,j log p,i q,i i,j p,i p 2,j log p 2,j q 2,j = i p,i log p,i q,i j p 2,j log p 2,j q 2,j = S[p q ] + S[p 2 q 2 ], Z β [p, p 2 q, q 2 ] = i,j = i p,i p 2,j ) β q,i q 2,j ) β = i,j p β,i q β,i j p β,i q β,i p β 2,j q β 2,j p β 2,j q β 2,j = Z β [p q ] Z β [p 2 q 2 ]. Tsallis T β [p ν q ν ] = Z β[p ν q ν ], T β [p, p 2 q, q 2 ] = Z β[p, p 2 q, q 2 ] β β, T β [p, p 2 q, q 2 ] = T β [p q ] + T β [p 2 q 2 ] + β)t β [p q ] T β [p 2 q 2 ]

13 3. : T β [p, p 2 q, q 2 ] T β [p q ] T β [p 2 q 2 ] = Z β[p q ] Z β [p 2 q 2 ] Z β [p q ] ) Z β [p 2 q 2 ] ) β = Z β[p q ] Z β [p 2 q 2 ] Z β [p q ] Z β [p 2 q 2 ] + β = Z β[p q ] )Z β [p 2 q 2 ] ) β = β) T β [p q ] T β [p 2 q 2 ]. q x) q = q x )/ q) x + y) q = x) q + y) q + q ) x) q y) q. Tsallis 5 [5]. n Tsallis. 2 Boltzmann Kullback-Leible, ) Boltzmann. 2. q = q,..., q ). n i i k i /n p i, p = p,..., p ). n p ) = exp nd[p q] + Olog n)) n ). : p = p,..., p ) f ν,i p i = c ν ν =, 2,..., s) ) i=., R,,..., ), f ν,,..., f ν, ) ν =,..., s). p, n?, i E i E i p i U i= 5 Tsallis = Tsallis.

14 4 2. Boltzmann U ), n?, i, E i, E i p i U i= U ), n? 2 s =. s >. 2.2 Boltzmann ) n, i= p i = ) Kullback-Leible K[p q] = i= p i logp i / ) p = p,..., p ). Lagange. Kullback- Leible p.) ) L = p i log p s ) i + λ ) p i + β ν f ν,i p i c ν q i= i i= ν= i=. λ, β ν. p i L 0 0 = L λ = 0 = L β ν = p i, ) i= f ν,i p i c ν ν =,..., s), 2) i= 0 = L p i = log p i + λ + s β ν f ν,i i =,..., ) 3) ν=. 3), ), Z := e λ = p i = exp i= λ ) s β ν f ν,i ν= e s ν= β νf ν,i, p i = Z e s ν= β νf ν,i 4). Z. p i Z = e λ β ν. β ν 4) 2). exp s ν= β νf ν,i ) Boltzmann. Boltzmann p i. p i Gibbs.

15 ), n p = p,..., p ) ). n p i Gibbs. s =, f,i = E i, c = U, β = β, p i = Z e βe i, Z = e βe i, i= log Z β = Z E i e βe i = U. Boltzmann. Gibbs S[p q] = K[p q] = i= p i logp i / ) : logp i / ) = s ν= β νf ν,i log Z, i= p i =, i= f ν,ip i = c ν s S[p q] = β ν c ν + log Z. ν= s =, f,i = E i, c = U, β = β S[p q] = βu + log Z. F F = β log Z, S[p q] = βu F ), Boltzmann, 6. i= 2.3 qx). n px) /n n S[p q] = K[p q] = px) log px) qx) dx. px) : f ν x)px) dx = c ν ν =,..., s)., K[p q] px) : px) = s Z e ν= βνfνx) qx), Z = e s ν= βνfνx) qx) dx, log Z = f ν x)e s ν= βνfνx) qx) dx = c ν. β ν Z... 6 Boltzmann.

16 6 2. Boltzmann : 0 < θ <, β = log θ log θ), k = 0,,..., n ) ) n p k = θ k θ) n k = e βk q k n k Z, q k = k 2, Z = n 2 n θ). n 4.3. : θ i 0, θ > 0, i= θ i =, β i = log θ i log θ, k + + k = n : p k,...,k = q k,...,k = k! k! θk θ k = e i= β ik i q k,...,k, Z k! k!, Z = n n θ n /2σ 2 ) ))x 2 +µ/σ 2 )x px) = e x µ)2 = e /2σ2, Z = e µ2 /2σ 2 ) 2πσ 2π Z 2. µ = 0, σ = 2.4. px) µ σ 2, px) dx =, R x px) dx = µ, x 2 px) dx = σ 2 + µ 2, S[px)] = px). R R R px) log px) dx Gamma : x > 0 px) = e x/τ x α τ α Γα) = e x/τ+α ) log x Z, Z = τ α Γα). Gamma px) px) dx =, R x px) dx = c, 0 0 S[px)] = 0 log x) px) dx = c 2 px) log px) dx px).. Beta : x > 0 x α px) = Bα, β) + x) = eα ) log x α+β) log+x), Z = Bα, β). α+β Z

17 n t / n : ρt) dt = c n + t2 n ) n+)/2 dt, c n = nb/2, n/2) =. px) dx = ρ n x) d n x), β = n + )/2 px) = Z + x 2 ) Z n+)/2 = e β log+x2) n t nπ Γn/2) Γn + )/2), Z = B/2, n/2). Beta : 0 < x < px) = xα x) β Bα, β) = eα ) log x+β ) log x) Z, Z = Bα, β). Poisson : p k = e λ λ k k! = e log λ)k q k, q k = e Z k!, Z = eλ s =, f x) = x 2, c =, qx) = 7., n x 2 x x 2 n)/n x x 2 n = n, n x. px) = Z e βx2, Z = R e βx2 dx = πβ /2, log Z β = 2β =. β = /2, Z = 2π, px) = e x2 /2 / 2π. n. R n 2 n n n. : lim n n S n fx ) µ n dx) = R fx) e x2 /2 2π dx. n S n n n, µ n, fx ) x x,..., x n ). 8.,. 7 qx) = qx).,. 8 Maxwell-Boltzmann.

18 8 3. Sanov 3 Sanov Sanov. Stiling. [8].. 3. Sanov {, 2,..., } P : P = { p = p,..., p ) R p,..., p 0, p + + p = }. P. = 3 P. q = q,..., q ) P. X, X 2,... {, 2,..., }, q = q,..., q ). q = q,..., q ). A #A, A P A). A B P B A).) i =,..., X,..., X n i k i P ) #{ k =, 2,..., n X k = i } = k i fo each i =,..., = k! k! qk q k. k,..., k ) k i = 0,,..., n, k + + k = n. k,..., k ) k /n,..., k /n) P n P : { k P n = n,..., k ) } k i = 0,,..., n, k + + k = n. n P n n + ). #P n n + ).) X,..., X n P n P n = k /n,, k /n). P n P n. p, q) P 2 D[p q] : D[p q] = i= p i log p i. p i 0 0 log 0 = 0, log 0 =. D[p q] Kullback-Leible. 3. Sanov). : ) A P lim inf n n log P P n A) inf p A D[p q].

19 3.2. Sanov 9 2) A P 9 lim sup n n log P P n A) inf p A D[p q]. 3) P A A lim n n log P P n A) = inf D[p q]. p A n Kullback-Leible D[p q] inf. 3.2 ). = 2, q = q, q 2 = q, p = p, p 2 = p, D[p q] = p log p q + p) log p q. p = q 0, p q. 0 a < b, A = a, b). P P n A) = ) n q k q) n k k lim n n log a<k/n<b a<k/n<b ) n q k q) n k = inf k D[p q] = a<p<b. Sanov. D[b q] b < q), D[q q] = 0 a q b), D[a q] q < a) 3.2 Sanov Stiling k, l. l k l k. l! k! kl k. l! k! = k + )k + 2) l kl k. l! k! = l + )l + 2) k = k l k. k k l 9 A., A.

20 20 3. Sanov Sanov. Stiling p P n n + ) e nd[p q] P P n = p) e nd[p q].. p = p,..., p ) = k /n,..., k /n) P n, nd[p q] = k i log p i + i= k i log, i= e nd[p q] = qk q k, P P p k n = p) = p k, : n + ) k!... k! pk p k. k! k! qk q k. )..) ). l i = 0,,..., n, l + + l = n., p i = k i /n l!... l! pl p l k!... k! pk p k ). l i /n) p i = k i /n)., 3.3, ) ) = l! k! l! k! kk l k k l k l k k l k k k l k k l =. )., = l + +l =n n + ). l!... l! pl p l n + ) k!... k! pk p k fn) f0) = 0 n, fn)! = f)f2) fn), f0)! =. f. k, l, fl)! fk)! fk)l k.

21 3.3. Sanov 2, l k, l k fl)! fk)! = fk + )fk + 2) fl) fk)l k l! k! = fl + )fl + 2) fk) = fk) l k. fk) k l k i Z 0 p i = fk i )/fn), l i Z 0, fn)! fl )! fl )! pl p l fn)! fl )! k )! pk p k. ) ) = fl )! fk )! fl )! fk )! fk ) k l fk ) k l fk ) l k fk ) l k fk ) k l fk ) k l =. fn). 3.3 Sanov 3.. ). A {, 2,..., } P ). n= P n = P Q P. A P p n P n A. P P n A) = p P n A lim D[p n q] = inf D[p q] n p A P P n = p) P P n = p n ) 3.4. n log P P n A) D[p n q] logn + ) n., n, lim inf n n log P P n A) inf p A D[p q]. n + ) e nd[p n q]. ). 2). A {, 2,..., } P. P P n A) = P P n = p) e nd[p q] n + ) e n inf p A D[p q]. p P n A p P n A

22 22 3. Sanov 3.4. n log P P n A) inf D[p q] + logn + ) p A n., n, lim sup n n log P P n A) inf p A D[p q]. 2). 3). A B, B C, A C. B A C inf p B D[p q] inf p A D[p q] inf p C D[p q]. C B D[p q] p, inf p C D[p q] = inf p B D[p q]. inf p B D[p q] = inf p A D[p q] = inf p C D[p q]. ),2) 3) Stiling.. ) : p i 0, p + + p = k! k! pk p k k i Z 0, k + + k = n).., k i k + +k =n,. 2) : k i Z 0, k + + k = n, p i = k i /n, l! l! pl p l k! k! pk p k = p + + p ) = k! k! pk p k l i Z 0, l + + l = n). k, l ) : l! k! kl k k, l Z 0 ).,, p i = k i /n ) ) = l! k! l! k k kk k l k k! k l k l k l k k k l k k l =.

23 23 2. Sanov. 3.4 Kullback-Leible. k i Z 0, k + + k = n, p i = k i /n. 2) l i = l + +l =n l! l! pl p l n + ) k! p! pk p k. n + ) ) n + ) k! k! pk p k. Z 0, q + + q =, p k p k q k q k q k n + ) q k p k p k k! k! qk q k k i = np i, Kullback-Leible qk q k. p k p k, D[p q] = i= p i log p i : log qk q k p k p k = log n + ) e nd[p q] q p ) p q p ) p ) n = nd[p q]. k! k! qk q k e nd[p q] n Sanov 3.). 4 Sanov Gibbs 3. P {, 2,..., } p = p,..., p ), q = q,..., q ) P. n, i k i, i k i /n. P n = k /n,..., k /n) P.

24 24 4. Sanov Gibbs 4. E = E,..., E ) R, E = = E a < E a+ E b < E b+ = = E q, q > 0 ). E i i 0. β R pβ) = p β),..., p β)) P Zβ) p i β) = e βe i Zβ), Zβ) = e βe i,. Uβ) = E β i= Uβ) = E β = i= E i p i β) = log Zβ) β. β, e βe i Boltzmann, pβ) Gibbs, Zβ), Uβ). log Zβ) β. ) 2 log Zβ) = Z β)zβ) Z β) 2 β Zβ) 2, a i = e βe i 0, a, a > 0 E < E Z β)zβ) Z β) 2 = i,j E 2 i a i a j i,j E i a i E j a j, = Ei 2 + Ej 2 )a i a j 2E i E j a i a j = E i E j ) 2 a i a j > i,j i,j ) 2 log Zβ) > 0 β., Uβ) = log Zβ) β β. Uβ). p0) = q U0) = E i. i= i,j β Uβ) = i E ie βe i i e βe i qi E a e βe i= e βe a i= = E. 0 i.

25 4.2. Gibbs 25 β Uβ) = i E ie βe i i e βe i qi E e βe i= b+ e βe i= b+ = E., E U E β U = Uβ). 4.2 Gibbs p = p,..., p ) P, i= E ip i Uβ), n Gibbs pβ).,, i= E ip i Uβ), a > 0 : β 0, Uβ) a E i p i Uβ). β 0, Uβ) i= E i p i Uβ) + a. i= a > 0. {, 2,..., } P A { { p P Uβ) a i= E ip i Uβ)} β 0), A = { p P Uβ) i= E ip i Uβ) + a} β 0). P n A P P n B P n A) = P P n A B) P P n A) B P) n Gibbs pβ) Sanov 3.)., ε > 0, P B : B = { p P p pβ) < ε }. Euclid. B pβ) ε., n Gibbs pβ) P P n B P n A) n ) ). Kullback-Leible D[p q] P C D[C q] = inf p P D[p q]. Sanov, P C C P P n C) = exp nd[c q] + on)).

26 26 4. Sanov Gibbs P A, B, A B A, B, A B. B A B = A B. P P n B P n A) = exp nd[b q] D[A q]) + on)). n 0 ). p A p = pβ) D[p q], B = A B pβ), D[B q] > D[A q] = D[pβ) q], n P P n B P n A) 0. D[p q] p, A P, p A D[p q] p = pβ), p = pβ). p A D[p q] p = pβ) ).. Gibbs pβ) E i p i β) = Uβ) i=, pβ) A. D[pβ) q] = = i= p i β) log p iβ) = i= p i β) log e βe i Zβ) p i β) βe i log Zβ)) = βuβ) log Zβ). i= p A D[p q]. p A D[p q] D[pβ) q]. p A., A, β 0 i= E ip i Uβ), β 0 i= E ip i Uβ), β β E i p i βuβ). #) i=. 4., β > 0 Uβ) < i= E i, β < 0 Uβ) > i= E i. A a > 0. Kullback-Leible D[p q] : D[p q] = i= p i log p i = i= pi p i log p i β) ) p i β) = = D[p pβ)] + p i log e βe i Zβ) = D[p pβ)] + i= = D[p pβ)] β E i p i log Zβ). i= p i log p i p i β) + i= i= i= p i βe i log Zβ)) p i log p iβ) S[p q] = D[p q] S[p q] = βuβ) + log Zβ)..

27 4.2. Gibbs 27, Kullback-Leible 0 #), D[p q] D[p pβ)] βuβ) log Zβ) D[p pβ)] + D[pβ) q] D[pβ) q]. p A D[p q] p = pβ). ). 4. #) ). #). β Boltzmann. β > 0 #) ) = E i p i Uβ) i=. [6] 9-2- p.39). Gibbs, i= E ip i Uβ), #).. 4., U0) i= E i. β > 0 Uβ) min{e,..., E }, β < 0 Uβ) max{e,..., E }. β = ), β =. β, β =, β = 0. β.. β,.., i E i. E i < 0 E i.) i. U 0 = i= E i. U 0. U > U 0. n ). U, n. U 0 U., n i p i n )? U 0, U U ). i p i, U β Gibbs p i β).

28 28 4. Sanov Gibbs U > U 0 β < 0.,,., U < U 0,, U., U 0, U, i U Gibbs p i β). U < U 0 β > 0,.,,. Gibbs #) Gibbs. 4.2, ). q = q,..., q ) P. X, X 2,... q {, 2,..., }. X, X 2,..., X n i k i, P n = k /n,..., k /n). P n P. E i R 4.. E < U < E, β R, pβ) = p β),..., p β)) P, Zβ) : p i β) = e βe i Zβ), Zβ) = e βe i, i= log Zβ) = β i= E i p i β) = U. pβ) Gibbs. 0 < a, A U P A U = { { p P U a i= E ip i U } β 0), { p P U i= E ip i U + a} β 0). i= E ip i β) = U pβ) A U. ε > 0, pβ) A U ε B ε pβ))., n P P n B ε pβ)) P n A U ) = P P n B ε pβ))) P P n A U ). P n n Gibbs pβ) ) θ /2 Gibbs. Gibbs.

29 4.3. Gibbs 29 {0,,..., } X /2 : ) P X = i) = i = 0,,..., ). i 2 X, X 2,... X. X, X 2,..., X n i k i, P n = k 0 /n, k /n,..., k /n), P n {0,,..., }., n, P n. E i = i Gibbs., Zβ) = e βe i = i=0, Gibbs i=0 i ) e β 2 ) i ) i = e β + ) 2 2 p i β) = e βe i Zβ) = ) e βi i e β + ) = ) e β ) i ) i i e β + e β +.,, p i β) =, )θ i θ) i, θ = e β i e β +. Z β) = e β e β + ) 2 Uβ) = β Zβ) = Z β) Zβ) = e β e β + = θ θ i. /2. /2. i i/ n. n. i i/ n. 2 : i/ ) = i=0 i p i θ. ) p i = k i /n? p = p 0, p,..., p ) θ, ), θ /2 n 0..

30 30 4. Sanov Gibbs Gibbs pβ) θ ), 4.2, i ) = ip i = i=0 E i p i Uβ) = θ i=0 p = p 0, p,..., p ) P n n. ). θ θ.. /2,. θ 3, θ E i Gibbs : = e β 0E i q 0,i Z 0, Z 0 = e β 0E i,0. q 0,i 0, i= q 0,i =, E,..., E R E E, q, q > 0., E i Gibbs pβ) Gibbs : i= p i β) = e β 0+β)E i q 0,i Z 0 Zβ), Z 0 Zβ) = Z 0 e βe i = i= e β 0+β)E i q 0,i. i= θ /2, n 0,.

Kullback-Leibler

Kullback-Leibler 206 6 6 http://www.math.tohoku.ac.jp/~kuroki/latex/206066kullbackleibler.pdf 0 2 Kullback-Leibler 3. q i.......................... 3.2........... 3.3 Kullback-Leibler.............. 4.4