November, 2 Contents 6 2 8 3 3 3 32 32 33 5 34 34 6 35 35 7 4 R 2 7 4 4 9 42 42 2 43 44 2 5 : 2 5 5 23 52 52 23 53 53 23 54 24 6 24 6 6 26 62 62 26 63 t 27 7 27 7 7 28 72 72 28 73 36) 29 8 29 8 29 82 3 9 3 9 32 92 92 33 93 44) 34 94 52 34 95 6 35 96 9 36
: 2 97 96 36 98 97 37 99 98 38 9 99 38 9 39 92 94 39 93 95 4 4 4 2 4 3 4 4 42 5 42 6 2 42 7 3 43 8 94 43 43 43 2 45 List of Tables m,m 2 ) F : F α) m,m 2) 4 2 ν t : t α) ν 4 3 6 4 3 6 5 3 7 6 3 7 7 3 7 8 IC5 3) 2 9 3 IC5 32) 4 3 6 2 3 ) 2 3 22 4 5 22 References [] S Boyd and L Vandenberghe Conve Optimization Cambridge University Press, 24 [2] William Feller An Introduction to Probability Theory and Its Applications Wiley, 97 [3] Paul G Hoel Introduction to Mathematical Statistics Wiley, 984 [4] ), 994 [5], 979
: 3 n 2 p 2 y i i 2) β j j 2) i,j i j 2) ɛ i i 2) ˆβ j j 3) e i i 3) y n 4) i i p 5) X 6) β p 7) ɛ n 7) ˆβ 8) e 8) ȳ 3) i i 3) Σ 4) Σ 4) σ y 4) Σ yy 4) β ˆβ 5) ˆβ p 5) MX) X p 2) TSS y 22) ESS ŷ 22) RSS e 22) R 2 26) F α) ν,ν 2) ν,ν 2 ) F α% 29) V E 3 V R 3 σ 2 ɛ 5 A X X 32) A i,j A i, j) 33) t α) ν) ν t α% 62 N μ, σ 2 ) μ σ 2 82 χ 2 [ν] ν 83 T ν ν t 84 F[ν,ν 2 ] ν,ν 2 ) F 85 β R 4) H 4) ξ 4) RSS 4) D H X X ) H 43) U D H ˆβ ) ξ D H ˆβ ) ξ 94 P X I X X X ) ) X 97 E ) 48) M θ) 49)
: 4 Table : m,m 2 ) F : F α) m,m 2) α =5 m 2 \m 2 3 4 5 2 64476 995 25773 2245832 2369 24887 2483 2 8528 9 9643 92468 92964 93959 94458 3 28 9552 92766 972 935 87855 8662 4 7786 69443 6594 63882 6256 59644 5825 5 6679 5786 5495 5922 553 4735 4558 6 59874 5433 4757 45337 43874 46 38742 7 5594 47374 43468 423 3975 36365 34445 8 5377 4459 4662 38379 36875 33472 353 9 574 42565 38625 3633 3487 3373 29365 49646 428 3783 3478 33258 29782 2774 48443 39823 35874 33567 3239 28536 26464 2 47472 38853 3493 32592 359 27534 25436 3 46672 3856 345 379 3254 267 24589 4 46 37389 33439 322 29582 2622 23879 5 4543 36823 32874 3556 293 25437 23275 6 4494 36337 32389 369 28524 24935 22756 7 4453 3595 3968 29647 28 24499 2234 8 4439 35546 3599 29277 27729 247 296 9 4387 3529 3274 2895 274 23779 2555 2 4352 34928 3984 2866 279 23479 2242 Table 2: ν t : t α) ν ν\α 5 25 5 3777 6338 2762 3825 636567 2 8856 292 4327 69646 99248 3 6377 23534 3824 4547 5849 4 5332 238 27764 37469 464 5 4759 25 2576 33649 432 6 4398 9432 24469 3427 3774 7 449 8946 23646 2998 34995 8 3968 8595 236 28965 33554 9 383 833 22622 2824 32498 3722 825 2228 27638 3693 3634 7959 22 278 358 2 3562 7823 2788 268 3545 3 352 779 264 2653 323 4 345 763 2448 26245 29768 5 346 753 234 2625 29467 6 3368 7459 299 25835 2928 7 3334 7396 298 25669 28982 8 334 734 29 25524 28784 9 3277 729 293 25395 2869
: 5 Density 5 Density 5 Density 5 Density 5 2 3 4 5 2 3 4 5 2 3 4 5 2 3 4 5 F[2, 2] F[2, 5] F[2, ] F[2, 2] Density 5 Density 5 Density 5 Density 5 2 3 4 5 2 3 4 5 2 3 4 5 2 3 4 5 F[5, 2] F[5, 5] F[5, ] F[5, 2] Density 5 Density 5 Density 5 Density 5 2 3 4 5 2 3 4 5 2 3 4 5 2 3 4 5 F[, 2] F[, 5] F[, ] F[, 2] Density 5 Density 5 Density 5 Density 5 2 3 4 5 2 3 4 5 2 3 4 5 2 3 4 5 F[2, 2] F[2, 5] F[2, ] F[2, 2] Density Density 5 4 3 2-5 5 Density 5 4 3 2-5 5 T T 2 T 5 5 4 3 2-5 5 Density 5 4 3 2-5 5 T T 2 Density 5 4 3 2-5 5
: 6 [4, 5] 3 5 y = = 2 = 3 = 4 = Table 3: y 2 3 4 4 2 3 5 4 2 4 3 3 3 4 3 4 2 4 4 4 4 3 5 3 5 5 2 2 5 5 6 4 4 5 4 7 4 2 4 4 4 8 3 4 3 4 3 9 3 2 2 3 3 5 2 4 4 2 2 5 5 2 5 4 3 5 4 3 4 2 4 5 4 4 4 4 3 5 5 5 3 2 2 5 3 6 5 2 4 5 7 4 2 2 4 4 y = = 2 = 3 = 4 = Table 4: 3 R 7649 R 2 58398 4453 V R 4955 7 y,, 4 y β + β 2 2 + β 3 3 + β 4 4 + β 5 )
: 7 Table 5: 3 4 4535 34 423 2 28876 246 6 6942 Table 6: 3 t P- 95% 95% 877 8728 2463 2364 839 29894 984 8 95 385 334 37 2 375 376 2722 79 2624 3373 3 653 42 788 263 42 479 4 58 855 3274 87 759 984 Table 7: 3 ŷ e 4497 497 2 3727 2793 3 4454 454 4 36682 338 5 46923 377 6 38779 22 7 429 29 8 3275 275 9 29989 32836 2836 46923 6923 2 39528 472 3 4872 872 4 45328 5328 5 35323 5323 6 44895 55 7 3947 53 β,,β 5 y 3 Microsoft MS-Ecel 27 MS-Ecel 27 4, 5, 6, 7 4, 5 6 7 6 ˆβ = 984, ˆβ2 =375, ˆβ3 =653, ˆβ4 =58, ˆβ5 =877 β i ˆβ i 2 3
: 8 2 n p i y i i,,, i,p y,,p y n n, n,p y = β, + + β p,p + β p + ɛ, 2) y n = β n, + + β p n,p + β p + ɛ n ɛ,,ɛ n ɛ i y i β i i, + + β p i,p + β p i =,,n ɛ i = ˆβ,, ˆβ p 3 e = y ˆβ, + + ˆβ p,p + ˆβ ) p e n = y n ˆβ n, + + ˆβ p n,p + ˆβ ) p 3) n i p y [y,,y n ] 4) i [ i,,, i,p, ] 5) p n p X,,p = 6) n n, n,p β =[β,,β p ], 7) ɛ =[ɛ,,ɛ n ]
: 9 [ ˆβ = ˆβ,, ˆβ ] p, 8) e =[e,,e n ] 3 X y 2 3 5 4 4 3 3 3 4 4 2 4 4 4 3 5 3 4 2 2 5 5 5 4 5 4 4 2 4 4 4 4 4 3 4 3 3 X = 2 2 3, y = 3 5 2 4 3 2 2 5 5 4 4 3 5 4 5 2 4 5 4 4 4 3 5 5 4 2 2 5 3 3 2 4 5 5 2 2 4 4 4 6 984 375 ˆβ = 653 58 877 7 4497 497 3727 2793 4454 454 36682 338 46923 377 38779 22 429 29 ŷ X ˆβ 3275 275 = 29989, e = 32836 2836 46923 6923 39528 472 4872 872 45328 5328 35323 5323 44895 55 3947 53 2),3) i i =,,n: y i = i β + ɛ i 9) = i ˆβ + e i )
: y = Xβ + ɛ ) = X ˆβ + e 2) 2 2) 9) 9) ) 3 Jβ) = ɛ 2 i 9) Jβ) = yi i β) 2 ˆβ ) j =,,p : j n ȳ n i,j,» Σ σ y Σ σy Σ yy 3) y i 2 n P n 2 i, 2 n P n i, i,2 2 n P n 3 i, i,p p n P n Σ i,2 i, 2 n P n 2 i,2 2 2 n P n i,2 i,p 2 p 6 4 7 n P n i,p i, p n P n i,p i,2 p 2 n P 5, n 2 i,p 2 p 2 n P n 3 i,y i ȳ 6 σ y 7 4 n P 5, n i,p y i p ȳ Σ yy nx yi 2 n ȳ2 4) 3 p ) β ˆβ [ ] β ˆβ = β p 5) β Σ β = σy 6)
: β p p β p =ȳ j ˆβj 7) 3 6) 7) j= 3 3 3 32 Jβ) ˆβ X X ) ˆβ = X y 8) [ ] X = X, n 8) X X β + nβp = X y, n β + nβp = nȳ 9) 9) 7) 9) n 7) n X X β + ȳ β) = n X y, ) n X X β = n X y, ȳ Σ = n X X, σ y = n X y ȳ 6) 32 32 Jβ) β Jβ) β Jβ) β n i i n = 2 yi i β) i ) β = y i i X y 8)
: 2 3 5 2 IC5)y 8 Table 8: IC5 3) y 2 2 6 2 8 2 4 2 8 3 7 8 9 4 4 2 5 4 7 7 ) ȳ 2 ȳ =54, =, 2 = 4) [ n n Σ = 2 i, 2 n n ] [ ] i, i,2 2 n n i,2 i, 2 n 432 5 n 2 i,2 =, 2 2 5 524 [ n n σ y = ] [ ] i,y i ȳ n 326 n =, i,2y i 2 ȳ 86 Σ yy = yi 2 ȳ 2 =3344 n 2) 6) β [ ] 2573 7358 Σ =, 7358 29 3) ˆβ p β = Σ σ y [ 2573 7358 = 7358 29 [ ] 92 = 422 p ˆβ p =ȳ j= β j j ][ 326 86 ], =54 92 +422 ) =4499
: 3 y ˆβ + ˆβ 2 2 + ˆβ 3 =92 422 2 +4499 3 9 A y 2 3 2, 3, 4 Table 9: 2 3 y 2 3 4 +9 +896-3 -9-8 2 +92 +9 +5 +2-4 3 +97 +92 + +6 +3 4 +98 +97 +5 +6 + 5 +92 +98 + +6 +7 6 +96 +92 +3 +4 +9 7 +93 +96-5 -2 +9 8 +98 +93-3 -8-5 9 +96 +98-5 -8-3 +98 +96-2 -7 - +93 +98 +2 + -5 2 +924 +93 +5 +7 +5 3 +938 +924 + +6 +8 4 +957 +938 +4 +25 +3 5 +969 +957 +9 +33 +44 6 +98 +969 +2 +3 +45 ) +99 ȳ =924, = +4 +8 + +382 +2 +226 +35 Σ = 3 +2 +5 +88 +5 +226 +88 +77 +226, +35 +5 +226 +39 +446 σ y = 3 +38 +285, +385 Σ yy =+558 3 2) 6) β Σ +77 +638 +5 24 Σ =+5 +638 +2862 8476 +5382 +5 8476 +2378 57 24 +5382 57 +862
: 4 3) ˆβ p β=σ σ y +77 +638 +5 24 +446 = +5 3 +638 +2862 8476 +5382 +38 +5 8476 +2378 57 +285 24 +5382 57 +862 +385 +973 = +93 24, +54 p ˆβ p =ȳ j= = +26 32 3 5 2 IC5 ) y β j j Table : IC5 32) y 2 2 43 2 8 2 3 2 8 3 275 8 9 4 242 2 5 74 7 7 ) ȳ 2 ȳ =34, =5, 2 = [ ] 432 5 Σ =, σ 5 524 y = [ ] 26, Σ 888 yy = 33965 2) 6) β [ ] Σ 2573 7358 =, 7358 29
: 5 3) ˆβ p 33 β=σ σ y [ ][ ] 2573 7358 26 = 7358 29 888 [ ] 229 = 499 p ˆβ p =ȳ j= ˆβ j j = 87 y ŷ e n,, p R n X =[,, p ] p p ŷ y 7) Jβ) = y β + + β p p ) 2 Jβ) y β + + β p p MX) ={ŷ R n ŷ = β + + β p p } 2) n p p p MX) n y 33 ŷ y p MX) e = y ŷ 34 e ŷ 34 34 y 2 = ŷ + e 2 = ŷ 2 + e 2 +2ŷ e = ŷ 2 + e 2 2)
: 6 Table : 3 ŷ e 673 73 2 2924 76 3 799 99 4 3669 33 5 3762 238 32 3 ) 3 ŷ e 673 73 2924 ŷ = 799 3669, e = 76 99 33 3762 238 34 e ŷ e ŷ = e ŷ = 44 + 35 79 + 2 + 328 = 2) y y 2 = y 2 + + y2 5 =6) 2 +4) 2 +7) 2 + 4) 2 +4) 2 =36 + 6 + 49 + 6 + 96 = 33 ŷ e ŷ 2 =ŷ 2 + +ŷ2 5 =3688 + 855 + 6256 + 346 + 8939 = 384, e 2 = e 2 + + e2 5 = + 6 + 83 + + 6 = 26 ŷ 2 + e 2 =384 + 26 = 33 = y 2 2) 33 32 ) 32 34 2) 34 34 34 35 X e = p
: 7 ŷ e = X ˆβ) e = ˆβ X e = ˆβ p = ŷ e 35 35 32 β ˆβ =X X) Xy X ŷ = X X ˆβ = X XX X) Xy = Xy e = y ŷ 33 ) X e = X y ŷ) = X y X ŷ = X y X y = p 4 R 2 4 R 2 R 2 R 2 R 2 R 2 y TSS) ŷ ESS) e RSS) TSS ESS RSS y i ȳ) 2, ŷ i ŷ) 2, e i ē) 2, ŷ ê ŷ ŷ i, n ŷ ê ē n e i 22)
: 8 4 ŷ ŷ ē 4 4 e RSS) ē = RSS = e 2 i 23) RSS TSS, ESS, RSS 42 TSS = ESS + RSS 24) 42 TSS TSS = ESS TSS + RSS 25) TSS R 2 = ESS 26) TSS TSS R 2 R 2 25) 43 R 2 4 3 ) 3 ESS, RSS 3 ˆβ = +92 422 4499 ŷ =54 ESS, RSS ESS = ŷ i ŷ) 2 = ŷ i ȳ) 2 = 654, RSS = e i ē) 2 = R 2 = ESS TSS = e 2 i = 26 ESS ESS + RSS = 987
: 9 42 3 ) 3 ESS, RSS, 3 +973 +93 ˆβ = 24 +54 +26 ŷ =924 ) ESS, RSS y 2 3 4 9 896 3 9 8 8968 42 2 92 9 5 2 4 98 6 3 97 92 6 3 94 3 4 98 97 5 6 937 43 5 92 98 6 7 9289 79 6 96 92 3 4 9 9236 76 7 93 96 5 2 9 933 3 8 98 93 3 8 5 933 53 9 96 98 5 8 3 958 2 98 96 2 7 97 9 93 98 2 5 92 2 924 93 5 7 5 99 5 3 938 924 6 8 9348 32 4 957 938 4 25 3 952 68 5 969 957 9 33 44 973 4 6 98 969 2 3 45 9775 25 ESS= RSS= 4 4 ŷ i ŷ) 2 = e i ē) 2 = ŷ i ȳ) 2 =8599, e 2 i =336, R 2 = ESS TSS = ESS ESS + RSS = 9624 35 4 X X [ ] X = X, p 35 X e = p, p e = ē = e i = n n p e = n = 27)
: 2 42 42 42 44 43 TSS = ŷ =ȳ y i ȳ) 2, = y ȳ n 2 = y 2 +ȳ 2 n n 2ȳy = y 2 + nȳ 2 2nȳ 2 = y 2 nȳ 2, ESS = ŷ i ŷ) 2, = ŷ ŷ n 2 = ŷ 2 n ŷ 2 23) 24) RSS = e 2 i = e 2 ESS + RSS = ŷ 2 n ŷ 2 + e 2 2) 44 24) 43 44 ESS + RSS = y 2 nȳ 2 =TSS e = y ŷ 33 ) n p 27) n p e =ē = n p y ŷ) = n p y n p ŷ =ȳ ŷ ȳ = ŷ 4
: 2 5 : 4 R 2 5 R 2 3 2 Table 2: 3 ) y 2 2 3 6 2 8 2 4 2 8 2 3 7 8 9 3 4 4 2 4 5 4 7 7 5 8 R 2 987 2 R 2 9875 5 2 R 2 =9875 4245 ˆβ = 947 4257 83 5 5 3 F 2 F ) ) F α) p,n p) 3 F >F α) p,n p) H : 28)
: 22 54 ) : 3 F p,n p) F Table 3: F p ESS V E = ESS p F = V E /V R n p RSS V R = RSS n p n TSS 52) F 8 ) α F ) ) F α) p,n p) H F >F α) p,n p) 29) 5 3 4 ) α =5 3 4 Table 4: 5 F 2 654 8252 76562 2 26 8 4 672 F 5) 2,2 =9 F =76562 >F 5) 2,2 3 52 α =5 2 52 53 3 42 ) α =5 3 53
: 23 5 5 ȳ = 54 ) y 2 3 6 2 8 6258 258 2 4 2 8 2 2983 7 3 7 8 9 3 792 92 4 4 2 4 3784 26 5 4 7 7 5 364 359 ESS= ŷ i ŷ) 2 = ŷ i ȳ) 2 =74 + 584 + 626 + 8435 + 6792 = 65 RSS= e i ē) 2 = e 2 i =7 + 3 + 8 + 5 + 3 = 29 52 52 R 2 = ESS TSS = ESS ESS + RSS = 65 65 + 29 =9875 F 3 65 554 263288 29 29 4 672 F 5) 3, = 25773 F = 263288 <F 3, 5) 53 53 F 4 8599 25 74229 336 3525 5 5 8934 F 5) 4, = 33567 F = 74229 >F 3, 5)
: 24 54 28) ) 28) H H : β = = β p = 3) β p y β y i β i, + β p i,p + β p ɛ i σ 2 82 ) 5 ) y R n X R n p X p n y = Xβ + ɛ ɛ σ 2 ˆβ F H F α 52 5 3 F p,n p) F 94 F 52 8 6 5 2 3 i 34) F 2 F ) F α),n p) 3 F >F α),n p) i i H : β i = 3)
: 25 i F F α F X R n p p p A A X X 32) A A A, A,p A 33) A p, A p,p F = F ˆβ 2 i A i,i V R 34) 6 3) 34),n p) F 95 6 F>F α),n p F i 6 3 4 5 ) 8 X A = X X 54 472 54 A = 472 4238 47 54 47 25 β α =5 V R 4 V R =8 i ˆβ F F = ˆβ 2 A, V R = 92 2 54 8 = 46575 F α),n p = F 5),2 =853 46575 >F α),n p F 6 3 4 5 ) 8 2 β 2 α =5 A = X X 54 472 54 A) = 472 4238 47 35) 54 47 25
: 26 6 62 3 42 53 ) 3, 2, 3, 4 β,β 2,β 3,β 4 α =5 A = X X +73 +399 +3 253 975 +399 +3664 548 +3364 37 A = +3 +3 548 +488 69 24 253 +3364 69 +5377 +36 975 37 24 +36 +887 6 6 ˆβ 2 V R 4 F F = ˆβ 2 2 A 2,2 V R = V R = 8 422)2 4238 8 =39 39 >F α),n p F 2 62 62 3 973 93 ˆβ = 24 54 26 V R β,β 2,β 3,β 4 F V R = 3525 5 F β +2898 β 2 +2866 β 3 +28 β 4 +8 F α),n p = F 5), = 48443 F 2, 3, 4
: 27 63 t F 6 MS-Ecel27 ) t F 62,ν) F α% F α),ν) ν t α% t α) ν) ) 2 α) = F t α/2) ν) ) t F P- ) 62 F t,ν) 7 3 α) ˆβ i t α/2) n p) A i,i V R, ˆβ i + t n p) α/2) A i,i V R ) 36) MS-Ecel 27 6 95% 95% 95 7 8 95 39) ˆβ V R t α/2) n p A 3 ˆβ = 92 422 4499 5 t α/2) n p V R =8 = t25) 5 3 =433 6 A = X X 54 472 54 A) = 472 4238 47 54 47 25
: 28 β ˆβ i t α/2) n p) A i,i V R =92 433 54 8 = 589 β ˆβ i + t α/2) n p) A i,i V R =92 + 433 54 8 = 225 β β 2 589, 225) 729, 33) 7 32 ) ˆβ 32 V R =27 X 7 A = X X 54 472 54 A) = 472 4238 47 37) 54 47 25 95 72 3 42 53 62 ) 3 7 7 β β 2 735, 2783) 5892, 57)) 72 72 ) ˆβ i 95% 95% 973 575 372 2 93 328 255 3 24 72 24 4 54 838 946 26 336 388
: 29 73 36) 36) 7 β i βi β i = β i,n p) F ˆβ i β i )2 A i,i V R 38) 6 α α Prob ˆβ ) i βi )2 A i,i F α) V,n p) = α 39) R Prob ˆβ ) i βi )2 A i,i F α) V,n p) R =Prob ˆβ ) i βi )2 F α),n p) Ai,i V R =Prob ˆβ i A i,i V R F α),n p) β i ˆβ i + 62 Prob ˆβ ) i βi )2 A i,i F α) V,n p) R =Prob ˆβ i t α/2) n p) A i,i V R βi ˆβ i + t α/2) ) A i,i V R F α),n p) n p) A i,i V R ) βi 36) α 8 8 8 ) p) a, b R st a b : R : p), b a dp) =, dp) =Proba b)
: 3 ProbA) A 82 ) n N μ, σ 2 ) ) R : N μ, σ 2 )= ep μ)2 2πσ 2 2σ 2 μ σ 2 83 ) χ 2 [ν] R : χ 2 ν) = { 2 ν/2 Γ ) Γα) = Γν/2) ν/2 ep ) ν 2 if >, if <, d α ep ) ν ν 84 t ) ν t T ν R : T ν ) = Γν +)/2) πνγν/2) + 2 /ν ) ν+)/2 ν ν 85 F ) ν,ν 2 ) F F[ν,ν 2 ] R : F ν,ν 2)) = νν/2 ν ν2/2 2 Γν + ν 2 )/2) ν 2)/2 ν 2 + ν ) ν+ν2)/2 Γν /2)Γν 2 /2) ν,ν 2 ) F 8 U V ν ν 2 χ 2 ν,ν 2 ) F F = U/ν V/ν 2 [3] [3] 82
: 3 86 ) d p) dp), R d R d : p), R : dp) =Prob R) R 87 ) d N μ, Σ) R d : N μ, Σ) = 2π) d/2 detσ) ep ) 2 μ) Σ μ) μ R d Σ S d ++ 9 5 ) 6 ) 7 52 6 7 F 5) H R p r ξ R r β R p H : H β = ξ 3) β i i =,,p ) 3) 9 3) [ ] Ip H =, ξ = p p 92 β i i =,,p ) 3) H i p ξ 93 β i i =,,p ) β i = βi H i p ξ βi H β = ξ β RSS HH, ξ ) {β R d H β = ξ } RSS = min β R d y Xβ 2
: 32 β H β = ξ RSS = min y β HH,ξ Xβ 2 4) ) RSS RSS 9 W = RSS RSS) /r RSS/n p) r, n p) F F[r, n p] 96 5 ) 6 ) 52 6 9 7 9 9 min y Xβ R 2, wrt β R R p, 4) subj to H β R = ξ 92 4) ˆβ R ˆβ R = ˆβ X X ) HD H ˆβ + ξ ) 42) D D H X X ) H 43) 92 92 r r D RSS RSS ) RSS RSS = H ˆβ ) ξ D H ˆβ ξ 44) 93) ˆβ 32 ) 92 93 W = H ˆβ ) ξ D H ˆβ ) ξ /r V R r, n p) F F[r, n p]
: 33 92 92 ˆβ R min ma y Xβ R 2 2λ H ) β R ξ 45) β R R p λ R 2 [] 45) Lβ R, λ) y Xβ R 2 2λ H β R ξ ) ˆβ R ): Lβ R, λ) β R λ 2 2): λ 3 3): β R λ ) Lβ R, λ) β R λ Lβ R, λ) β R Lβ R, λ) = p β R Lβ R, λ) β R =2X Xβ R y)+2hλ = p β R = X X ) X y Hλ ) ˆβ 32 ˆβ = X X ) Xy β R = ˆβ X X ) Hλ 46) 2) 46) H X X ) X y Hλ ) = ξ λ λ = H X X ) ) H H X X ) ) X y + ξ ) = D H ˆβ + ξ
: 34 3) 2) 46 β R = ˆβ X X ) HD H ˆβ + ξ ) 93 44) 42) ˆβ C X X ) HD H ˆβ ξ ) 35 RSS = y X ˆβ R 2 ) = y X ˆβ ˆβC 2 = e + X ˆβ C 2 = e 2 +2ˆβ C X e + X ˆβ C 2 2 ˆβ C X e =2ˆβ C p = X ˆβ C 2 = ˆβ C X X ˆβ C ) = H ˆβ ξ D H X X ) X X X X ) ) HD H ˆβ ξ ) = H ˆβ ξ D H X X ) ) HD H ˆβ ξ ) = H ˆβ ) ξ D DD H ˆβ ξ ) = H ˆβ ) ξ D H ˆβ ξ ) RSS RSS = e 2 + H ˆβ ) ξ D H ˆβ ξ e 2 ) = H ˆβ ) ξ D H ˆβ ξ 94 52 9 9 3) [ ] Ip H =, ξ = p p r = p
: 35 9 W 52 F = V E V R = ESS/p ) RSS/n p) = ESS/r RSS/n p) 47) 23) 3) RSS = e 2 i RSS =min β p y i β p ) 2 y i β p ) 2 β p =ŷ RSS =min β p TSS y i ȳ) 2 RSS =TSS W = RSS RSS) /r RSS/n p) TSS RSS) /r = RSS/n p) ESS/r = RSS/n p) 47) W = F 95 6 6 93 3) 92 β = r = H p ξ ξ [ ] H =, ξ = p 32) A D = H A H A, A,p [ ] [ ], p = A, p A p, A p,p
: 36 H ˆβ = [, p ] ˆβ = ˆβ 93 W H ˆβ ) ξ D H ˆβ ) ξ /r W = V ) R A ˆβ ), ˆβ ) / = 6 = ˆβ 2 i A i,i V R 96 9 V R 9 96 9 93 9 93 94 U D r ) U D H ˆβ ) ξ D H ˆβ ξ 95 n p)σ 2 V R n p) U D σ 2 96 V R ˆβ V R U 8 93 [5] 96 97 97 96 96 97 n n P X I X X X ) ) X e 2 = ɛ PX ɛ 98 A S n b R n Ab = n N n, I n ) n A b
: 37 99 98 9 ) n n A A A 2 = A 96 ɛ N n,σ 2 I n ) 5 ) σ ɛ N n, I n ) 98 σ ɛ 97 n p)σ 2 V R = σ 2 RSS = σ 2 e 2 = σ ɛ ) PX σ ɛ ) B X X X X ) B X = [ ] b X),,b X) p ) σ ˆβ β = σ X X ) ) X y β = σ X X ) ) X Xβ + ɛ) β = σ X X ) X Xβ + X X ) ) X ɛ β = σ β + X X ) ) X ɛ β = X X ) X σ ɛ ) = BX σ ɛ ) P X B X = P X X X X ) = On p j =,,p: 98 j σ ɛ ) PX σ ɛ ) b X) j PX b X) j = ) σ ɛ ) ˆβ V R 98 97 P X X = I X X X ) X ) X = X X X X ) X X = X X = O n p
: 38 35 ˆβ) e 2 = y X e = y e ˆβ ) X e 99 98 96 = y e = y y X ˆβ ) = y y X X X ) ) X y = y I X X X ) X ) y = y PX y = y PX Xβ + ɛ) = y PX ɛ = β X + ɛ ) PX ɛ = ɛ PX ɛ 99 N n, I n ) A, A 2 S n A A 2 = O n 9 ) A A 2 9 98 b = n b n b )b ) b b b Ab )b ) = Abb / b 2 = O n 99 A b ) 2 = b )b ) A b 9 99 99 Cochran) 9 N n, I n ) k A,,A k S n 2 = A + + A k n =ranka )+ +ranka k ) k A,, A k ranka i ) 9 )
: 39 9 A S n ranka) =tra) 99 I A A 2 9 I A A 2 ) 2 = I 2A 2A 2 + A 2 + A2 2 +2A A 2 = I 2A 2A 2 + A + A 2 = I A A 2 ranka )+ranka 2 )+ranki A A 2 )=tra )+tra 2 )+tri A A 2 )=tri) =n A A 2 I A A 2 ) 9 94 95 [5] 92 N n, I n ) A S n A χ 2 [ranka)] 93 N n, Σ n ) 92 94 Σ χ 2 [n] 94 n N μ, Σ) C NCμ, CΣC ) C R p n rankc) =p z = ) H ˆβ ɛ σ z = σ H X X) X ) y ɛ = σ H X X) X ) Xβ + ɛ) ɛ = σ H X X) X ɛ + H ) β ɛ = σ H X X) X ) ɛ + ɛ ɛ = σ H X X) X ɛ ) 5 σ ɛ N n,σ 2 I n ) 94 z vh X X) X n = r,
: 4 σ H X X) X ) σ 2 I) σ XX X) H ) = H X X) H = D N r, D) D 92 D = H X X ) H U ) D σ 2 = σ 2 H ˆβ ) ξ D H ˆβ ξ = z D z 93 r 93 95 97 n p)σ 2 V R = σ 2 RSS = σ 2 e 2 = σ ɛ ) PX σ ɛ ) rankx) =p rankp X )=n p ) 5 ɛ N n,σ 2 I n ) σ ɛ N n, I n ) 92 n p)σ 2 V R χ 2 [n p] 94 94 94 94 E) dp) 48) f) Ef)) dp)f) f) var) =E 2 ) E)) 2 k N k E k )= dp) k
: 4 N μ, σ 2 ) μ σ 2 E) =μ, var) =σ 2 2 ν ν 2ν 2 E) =ν, var) =2ν M θ) =Eepθ)) = dp)epθ) 49) [2] 3 N μ, σ 2 ) M θ) =ep μθ + 2 ) σ2 θ 2 3 5 4 χ 2 [ν] 2 4 6 3 R d E) M θ) = 2θ) ν/2 dp) f) Ef)) dp)f) f) Ef)) dp)f)
: 42 4 R d M θ) =Eep θ)) = dp)ep θ ) 5 N μ, Σ 2 ) M θ) =ep μ θ + ) 2 θ Σθ 3 5 7 5 ) μ)2 M θ) = d ep θ 2πσ 2 2σ 2 = d ep 2 2μ + σ 2 θ)+μ 2 ) 2πσ 2 2σ 2 = d ep 2 2μ + σ 2 θ)+μ + σ 2 θ) 2 ) μ + σ 2 θ) 2 μ 2 ) 2πσ 2 2σ 2 ep 2σ 2 μ + σ 2 θ) 2 μ 2 ) μ + σ 2 θ) ) ) 2 =ep 2σ 2 d ep 2πσ 2 2σ 2 μ + σ 2 θ) 2 μ 2 ) =ep 2σ 2 =ep μθ + 2 ) σ2 θ 2 6 2 83 M θ) = M θ) = = = 2 ν/2 Γν/2) 2 ν/2 Γν/2) 2 ν/2 Γν/2) 2 ν/2 Γν/2) = 2θ) ν/2 ) dd ν/2 2θ) ep 2 z = 2θ 2 ) ) ν/2 2 2θ z ep z) 2 2θ dz ) ν/2 2 dzz ν/2 ep z) 2θ ) ν/2 2 Γν/2) 2θ
: 43 7 3 M θ) = 2π) d/2 detσ) = 2π) d/2 detσ) = 2π) d/2 detσ) = 2π) d/2 detσ) d ep θ ) ep ) 2 μ) Σ μ) d ep 2 tr Σ 2μ + μμ 2Σθ )) d ep 2 tr Σ 2μ 2Σθ ) 2 tr Σ μμ )) d ep 2 tr Σ 2μ + Σθ) +μ + Σθ)μ + Σθ) ) + 2 tr Σ μμ +μ + Σθ)μ + Σθ) )) ) = 2π) d/2 d ep ) detσ) 2 tr μ + Σθ)) Σ μ + Σθ)) ep 2 tr Σ 2Σθμ + Σθθ Σ )) ) =ep μ θ + ) 2 θ Σθ 8 94 z = C [2] z ) M z θ) =E C θ)=m C θ)=ep 2 θ CΣC θ z N, CΣC ) t one-sample t-test) t 2 5 H H 3 H : H :, 2 3 H : H :,
: 44 n n =5 : α 5 2: ˆμ ˆσ 2 3: t t = ˆμ n ˆσ 4: n t T n t 5) n H t>t 5) n t<t 5) n H t 84 ˆμ ˆσ 2,, n ˆμ i, ˆσ 2 i ˆμ) 2 n n α =5 5% t 5) 5 =238 t t n,, n ˆμ ˆσ 2 t = ˆμ n ˆσ n t T n [3] n =5 T n ) 4 3 Frequency 2-5 5 t-value σ ) 2 5,, 5 t, σ 2 5 ˆμ ˆσ t 3 +398 +976 238 +37 +2443 +849 2 2 +865 +2329 49 448 +234 383 3 5 +2434 +5244 +7443 +636 +236 +5652 9, 999 4 +2325 3 3933 67 +286 6, 5 +78 56 2 577 +586 68
: 45, t 4 t T 4 4 3 Frequency 2-5 5 t-value t 4 t T 4 t α) ν t α) ν <t<+ ν t T ν 5 ν =4 α =5 t 5) 4 =238 5 4 3 Frequency 2-5 232 5 t-value t t 5) 4 4 3 Frequency 2-5 232 5 t-value 532, 532 5% α =5 5% 2 54 n y,,y n β R p i =,,n i,,, i,p ɛ i N,σ 2 ) y i = β i, + + β p i,p + β p + ɛ i
: 46 H β,,β p y i = i, + + i,p + β p + ɛ i H 52 y R n ˆβ 3 F p,n p) F 52 3 42 n =6 p =5 : β p σ ) 2 ɛ,,ɛ 6 2: i y i = β p + ɛ i y,,y 6 3: y 3 X ˆβ 4: ESS, RSS, V E, V R F = V E /V R, σ βp ɛ y ˆβ ESS RSS F 2 3 2 3 2 3 +8746 28254 83645 5 29 +663 289337 +9483 6 7 6 4 7 6 5 4 7 5 4 5 +499 +388 +82 2 42 928 29928 22267 2 3 2 3 2 3 +2343 398657 +8277 +4358 45642 +4926 6 7 6 4 7 6 5 4 7 5 4 5 +973 +456 +59 3 49 +596 4944 52438 2 3 2 3 2 3 +377 488623 9926 83 4983 +8976 6 7 6 4 7 6 5 4 7 5 4 5 +34 +2 +823 +58 488482 47648 9, 999 3 5, 38 2 3 24 36 6 7 4 5 +522 2 3 +896 +4383 6 7 4 5 +789 2 3 524 536 6 7 4 5 44798 2 3 3739 37567 6 7 4 5 3782 2 3 8587 243 6 7 4 5 42746 2 3 +27943 +3396 6 7 4 5 5739 +477 +23 +8 +687 +822 +565, F p,n p) F Frequency 7 6 5 4 3 2 2 3 4 5 F-value F p,n p) F 94
: 47 F α) m,m 2 F α) m,m 2 <F <+ m,m 2 ) F 5 4, ) α =5 F 5) 4, =33567 5 7 6 5 Frequency 4 3 2 3357 5 F-value F F 5) 4, 7 6 5 Frequency 4 3 2 3357 5 F-value 522, 522 5% α =5 5%