最小二乗フィット、カイ二乗フィット、gnuplot

Similar documents
数値計算法

数値計算法

カイ二乗フィット検定、パラメータの誤差

統計的データ解析

統計的データ解析

スライド 1

スライド 1

スライド 1

講義「○○○○」

Microsoft PowerPoint - e-stat(OLS).pptx

情報工学概論

Microsoft PowerPoint - 測量学.ppt [互換モード]

EBNと疫学

第 3 回講義の項目と概要 統計的手法入門 : 品質のばらつきを解析する 平均と標準偏差 (P30) a) データは平均を見ただけではわからない 平均が同じだからといって 同一視してはいけない b) データのばらつきを示す 標準偏差 にも注目しよう c) 平均

基礎統計

If(A) Vx(V) 1 最小 2 乗法で実験式のパラメータが導出できる測定で得られたデータをよく近似する式を実験式という. その利点は (M1) 多量のデータの特徴を一つの式で簡潔に表現できること. また (M2) y = f ( x ) の関係から, 任意の x のときの y が求まるので,

14 化学実験法 II( 吉村 ( 洋 mmol/l の半分だったから さんの測定値は くんの測定値の 4 倍の重みがあり 推定値 としては 0.68 mmol/l その標準偏差は mmol/l 程度ということになる 測定値を 特徴づけるパラメータ t を推定するこの手

<4D F736F F D208EC08CB18C7689E68A E F AA957A82C682948C9F92E82E646F63>

Microsoft Word - Time Series Basic - Modeling.doc

Kumamoto University Center for Multimedia and Information Technologies Lab. 熊本大学アプリケーション実験 ~ 実環境における無線 LAN 受信電波強度を用いた位置推定手法の検討 ~ InKIAI 宮崎県美郷

データ解析

様々なミクロ計量モデル†

Medical3

自動車感性評価学 1. 二項検定 内容 2 3. 質的データの解析方法 1 ( 名義尺度 ) 2.χ 2 検定 タイプ 1. 二項検定 官能検査における分類データの解析法 識別できるかを調べる 嗜好に差があるかを調べる 2 点比較法 2 点識別法 2 点嗜好法 3 点比較法 3 点識別法 3 点嗜好

解析センターを知っていただく キャンペーン

統計学の基礎から学ぶ実験計画法ー1

偏微分方程式、連立1次方程式、乱数

Microsoft PowerPoint - 資料04 重回帰分析.ppt

Microsoft PowerPoint slide2forWeb.ppt [互換モード]

Microsoft PowerPoint - Inoue-statistics [互換モード]

不偏推定量

Microsoft PowerPoint - sc7.ppt [互換モード]

CAEシミュレーションツールを用いた統計の基礎教育 | (株)日科技研

Microsoft PowerPoint - Lecture 10.ppt [互換モード]

多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典

ベイズ統計入門

第7章

ビジネス統計 統計基礎とエクセル分析 正誤表

ii 3.,. 4. F. (), ,,. 8.,. 1. (75% ) (25% ) =9 7, =9 8 (. ). 1.,, (). 3.,. 1. ( ).,.,.,.,.,. ( ) (1 2 )., ( ), 0. 2., 1., 0,.

演習2

<4D F736F F D2090B695A8939D8C768A E F AA957A82C682948C9F92E8>

Microsoft PowerPoint - Statistics[B]

経済統計分析1 イントロダクション

統計学 - 社会統計の基礎 - 正規分布 標準正規分布累積分布関数の逆関数 t 分布正規分布に従うサンプルの平均の信頼区間 担当 : 岸 康人 資料ページ :

Microsoft PowerPoint - statistics pptx

<4D F736F F D208EC08CB18C7689E68A E F193F18D8095AA957A C C839395AA957A814590B38B4B95AA957A2E646F63>

<4D F736F F D208EC08CB18C7689E68A E F1939D8C E82E646F63>

Microsoft PowerPoint - stat-2014-[9] pptx

ii 2. F. ( ), ,,. 5. G., L., D. ( ) ( ), 2005.,. 6.,,. 7.,. 8. ( ), , (20 ). 1. (75% ) (25% ). 60.,. 2. =8 5, =8 4 (. 1.) 1.,,

Microsoft Word - å“Ÿåłžå¸°173.docx

統計学 Ⅱ( 章 ( 区間推定のシミュレーション 母平均 μ の区間推定 X ~ N, のとき X T ~ 自由度 1の t分布 1 自由度 -1のt 分布の97.5% 点 :t.975 P t T t この式に T を代入する t.975 母集団

はじめに Excel における計算式の入力方法の基礎 Excel では計算式を入力することで様々な計算を行うことができる 例えば はセルに =SQRT((4^2)/3+3*5-2) と入力することで算出される ( 答え ) どのような数式が使えるかは 数式

Microsoft PowerPoint - H17-5時限(パターン認識).ppt

モジュール1のまとめ

PowerPoint プレゼンテーション

Microsoft PowerPoint - Econometrics pptx

Probit , Mixed logit

Python-statistics5 Python で統計学を学ぶ (5) この内容は山田 杉澤 村井 (2008) R によるやさしい統計学 (

Microsoft Word - 03-数値計算の基礎.docx

ii 3.,. 4. F. (), ,,. 8.,. 1. (75%) (25%) =7 20, =7 21 (. ). 1.,, (). 3.,. 1. ().,.,.,.,.,. () (12 )., (), 0. 2., 1., 0,.

統計学的画像再構成法である

NLMIXED プロシジャを用いた生存時間解析 伊藤要二アストラゼネカ株式会社臨床統計 プログラミング グループグルプ Survival analysis using PROC NLMIXED Yohji Itoh Clinical Statistics & Programming Group, A

<4D F736F F D208EC08CB18C7689E68A E F1918A8AD695AA90CD2E646F63>

日心TWS

Microsoft Word - DF-Salford解説09.doc

Microsoft PowerPoint - ch04j

SAP11_03

Microsoft PowerPoint - 三次元座標測定 ppt

タイトルを修正 軸ラベルを挿入グラフツール デザイン グラフ要素を追加 軸ラベル 第 1 横 ( 縦 ) 軸 凡例は削除 横軸は, 軸の目盛範囲の最小値 最 大値を手動で設定して調整 図 2 散布図の仕上げ見本 相関係数の計算 散布図を見ると, 因果関係はともかく, 人口と輸送量の間には相関関係があ

Microsoft Word - reg.doc

Medical3

C言語による数値計算プログラミング演習

スライド 1

因子分析

表計算ソフトの基礎 31 5 最小二 ( 自 ) 乗法 (Least squares method) 理工系の実験などでは, たいてい測定が行われる. ただし, 測定コストを減らすため, 粗い測定を行い, 得られた ( 誤差を含む ) 測定点群を説明することができる, 真の特性として何らかの関数 (

Microsoft Word - Stattext07.doc

スライド 1

Microsoft Word - 資料 (テイラー級数と数値積分).docx

<4D F736F F D208EC08CB18C7689E68A E F193F18D8095AA957A C C839395AA957A814590B38B4B95AA957A2E646F63>

Microsoft PowerPoint - statistics pptx

Microsoft PowerPoint - 統計科学研究所_R_重回帰分析_変数選択_2.ppt

PowerPoint プレゼンテーション

memo

講義ノート p.2 データの視覚化ヒストグラムの作成直感的な把握のために重要入力間違いがないか確認するデータの分布を把握する fig. ヒストグラムの作成 fig. ヒストグラムの出力例 度数分布表の作成 データの度数を把握する 入力間違いが無いかの確認にも便利 fig. 度数分布表の作成

Microsoft PowerPoint - A1.ppt [互換モード]

航空機の運動方程式

18 ( ) I II III A B C(100 ) 1, 2, 3, 5 I II A B (100 ) 1, 2, 3 I II A B (80 ) 6 8 I II III A B C(80 ) 1 n (1 + x) n (1) n C 1 + n C

13章 回帰分析

1.民営化

Microsoft PowerPoint - データ解析基礎4.ppt [互換モード]

201711grade2.pdf

Microsoft Word doc

Excelにおける回帰分析(最小二乗法)の手順と出力

第1回

Excelによる統計分析検定_知識編_小塚明_5_9章.indd

(3) 検定統計量の有意確率にもとづく仮説の採否データから有意確率 (significant probability, p 値 ) を求め 有意水準と照合する 有意確率とは データの分析によって得られた統計値が偶然おこる確率のこと あらかじめ設定した有意確率より低い場合は 帰無仮説を棄却して対立仮説

Microsoft Word - apstattext04.docx

0415

FORTRAN( と C) によるプログラミング 5 ファイル入出力 ここではファイルからデータを読みこんだり ファイルにデータを書き出したりするプログラムを作成してみます はじめに テキスト形式で書かれたデータファイルに書かれているデータを読みこんで配列に代入し 標準出力に書き出すプログラムを作り

Microsoft Word - mstattext02.docx

Transcription:

数値計算法 009 5/7 林田清 ( 大阪大学大学院理学研究科 )

最尤法 (Maxmum Lkelhood Method) 回の ( 独立な ) 測定 xで, x,..., x 1 母集団が平均値 μgauss) 標準偏差 の正規 ( 分布の場合 1 回の測定で xから( xの間の値を観測する確率は + dx) dq = Pdx 1 1 x µ P exp π µ は不可知 推定値をとする µ ' 尤度が最大になるはどう決められるか µ '

最尤法 平均値 µ ' 標準偏差 ' = の正規分布を仮定すると xを観測する確率は 1 1 x µ ' P ( µ ') = exp π 回の測定でx, x,..., xを観測する確率 ( 尤度 ) は = 1 1 P( µ ') = P( µ ') 1 1 x µ ' = exp π = 1 P( µ ') を最大にするµ ' が最も確からしいµ の推定値 最尤法 ( 正規分布の場合の例 ) 考え方 : 最も確率の高い標本分布 ( 測定値の組 ) が実現されているはず

最尤法 3 最も確からしい母集団平均 (mea) の推定値は加算平均 (average) 1 1 1 ( ') ' 1 ' 0 ' 1 ' P X x X x dx d x x µ µ µ µ µ = = = = = = = = を最大にすることは次のを最小にするのと同じ

誤差が異なるデータの場合 ( 重みつき平均 ) 各測定値 xにつく誤差が異なる の場合 1 1 x µ ' P( µ ') = exp = 1 π µ ' の最尤推定値は = 1 x µ ' x µ ' x = 0 µ ' = より = = 1 = 1 d 1 ( / ) dµ ' (1/ ) 1 また推定値 µ ' に関する誤差は (1/ ) µ ' =

どうやって誤差を評価するか? 例えば使用説明書に書いてある測定器の精度を使用するのは一般には不十分 Coservatve な測定値の範囲を示すには有効 一般に系統誤差を評価するのは困難 全く独立な実験を行い結果を比較する 測定を同じ条件で複数回繰り替えすことができる場合は測定値の ( 標本 ) 標準偏差が ( 偶然 ) 誤差の推定値を与える 最尤法を使い誤差を推定することもできる 統計誤差の場合 理論的に推定できることがある 例 ) 放射線源を決まった時間だけ計測する際の計数 x はポアソン分布に従う この場合統計誤差は x

レポート課題 1( 締め切りは 6/3) 平均値と標準偏差を求めるプログラム 入力 : データの数 データ データは以下の10 個 ( 例えばある月の最高気温 ( )10 日分 ) 35.5,5.0,34.,34.6,.8,7.7,30.6,6.8,3.0,39.3 出力 :( 標本 ) 平均値 標準偏差 ソースプログラムと出力結果をメイルの本文にして khclass@ess.sc.osaka-u.ac.jp までメイルせよ 実行形式は添付しないこと メイルのタイトルは report1_ 学籍番号とすること 他の人のソースプログラムと結果をそのままコピーするのはダメ

データ入力 C の場合 t ; double a; scaf("%d %lf",&,&a); Fortra の場合 c3456 teger real*8 a read(*,*),a 1. 可能であれば データをファイルに書き込み ファイルから読み出すようにプログラムしてみよう. fope, fscaf, fclose を利用するのが一つの方法 授業ではリダイレクト (< あるいは >) を利用する方法を紹介した 3. ファイルに含まれるデータの数が任意の場合にも対応できるようにできるか?

繰り返しループ C の場合 t,; double a,sum; scaf("%d",&); sum=0; for(=0; <; ++) { scaf("%lf",&a); sum = sum+a; } Fortra の場合 c3456 teger, real*8 a,sum read(*,*) sum=0 do 10 =1, read(*,*) a sum = sum+a 10 cotue

配列の利用 C の場合 t,; double a,amat[100]; scaf("%d",&); for(=0; <; ++ ) { scaf("%lf",&a); amat[] = a; } Fortra の場合 c3456 teger, real*8 a,amat(100) read(*,*) sum=0 do 10 =1, read(*,*) a amat()=a 10 cotue

データを配列に読み込み 和をとるプログラムの一例 ; 宿題の参考 #clude <stdo.h> #clude <math.h> t ma(){ t, ; double a,amat[100], sum; scaf("%d",&); for(=0;<;++) { scaf("%lf",&a); amat[]=a; } sum = 0.0; for(=0;<;++) { sum=sum+amat[];

データのモデル化 あてはめ (Ft) 回帰 ばらつきのある測定値に適当なモデル ( 直線や曲線 ) であてはめること モデル 直線の場合 線形回帰 多項式の場合 一般の関数の場合 データの誤差 各点共通の場合 各点で重みが異なる場合 モデル点のまわりのばらつき 正規分布の場合 それ以外の場合 15 10 5 0 5 4 3 1 0 4 6 8 10 X 0-1 0 4 6 8 10 X

最小二乗フィット ( 例 : 直線モデル ) 1 測定値の組 ( x, y ) があり 独立変数 xと従属変数 yの間の関係を y( x) = ax + b で近似するとき ab, に関する最も確からしい推定値はどうやって決められるか? 母集団における係数をa, bとし 真 の関係式を y( x) = ax+ b 0 0 0 0 0 さらに測定値 yは平均値 y ( x ) 標準偏差 の 0 正規分布に従うと仮定する 15 10 正規分布に従う母集団から標本を 1 個採ってくるのが測定 5 0 0 4 6 8 10 X

最小二乗フィット ( 例 : 直線モデル ) yを観測する確率 ( 密度 ) Pは 1 1 y y0( x) P = exp π 個の観測値 yの組を得る確率 ( 密度 ) は 1 1 y y0( x) Pa ( 0, b0) = P = exp = 1 = 1 π = 1 同様に任意の係数推定値 ab, に従うときに観測値 yの組を得る確率 ( 密度 ) は 1 1 y yx ( ) Pab (, ) = exp = 1 π = 1 観測は母集団 Pa (, 採取する操作 b) から 0 0 Pab (, ) の最大値を与えるような( ab, ) が( a, b定値 ) の最尤推 0 0 最尤法の考え方

最小二乗フィット ( 例 : 直線モデル ) 3 χ y( x) y ax b y = = 1 = 1 Pab (, ) を最大にする=χ を最小にする χ = 0, χ = 0 a b からχ を最小にするab, として 1 1 xy x y a = 1 x y x x y b = 1 x x ただし = 二乗の和を最小にするので最小二乗フィットと呼ぶ χ フィットともいう 各点の誤差が同一のとき 1 χ = y ax b を最小にする ( a, b) を = 1 ( ) ( x, y ) 求めることは 各測定点 とモデル点 ( x, ax + b) の距離のニ乗和を最小にする( a, b) を求めることと等価 1 a= ( xy x y ) 1 b= x y x xy ただし ( ) = x ( x)

あてはめの良さ (Goodess of Ft) t y yx ( ) = は中心 0, 標準偏差 1の正規分布に従う ( ) y y x y ax b χ ( 直線モデルの場合 ) = 1 = 1 は自由度 mm ( はパラメータの数 直線の場合 ab, で) のカイ自乗分布に従う 期待値は - m これがあてはめの良さ ( 仮定したモデル関数の妥当性 パラメータab, が適当であること 測定誤差が正しく評価されていること ) の基準になる χ を自由度 νで割ったχ ( χ / ν) をreduced ch-squareという ν guplot の ft では自由度は degrees of freedom (df) : として reduced χ は varace of resduals (reduced chsquare) = WSSR/df : として表示されている

χ 分布 自由度の ( カ χ 平均値 0, 標準偏差 1の正規分布に従う変数 xの自乗和 χ = x =1 分布を自由度の分布と呼ぶ 一般に自由度の分布は f χ = χ e Γ ν ν / 1 χ / ν / ν ( ) {( ) }/ ( /) 期待値 E イ二乗 ) 分布 χ ν χ χ = ν 分散 V χ = ν ( ) ( ) ( x µ ) 平均値 µ, 標準偏差 の正規分布に従う も自由度 のχ 分布 =1 ( x x) =1 はしかし自由度 1の分布 χ の従う

カイ二乗分布の確率分布の積分あてはめの良さの検定 reduced-χ の値の表 ( 対応する χ の値を超える確率 P と自由度 ν の関数として表示されている ) 最小二乗フィットによりモデルパラメータを最適化した際の χ 値を求める 上記の χ 値 ( 以上の値 ) を得る確率を表から調べる Data Reducto ad Error Aalyss for the Physcal Sceces, Bevgto & Robso より 確率があまりにも小さければ何か間違っている ( 例えばモデル

パラメータの推定誤差 参考 最適化したパラメータはあくまでもパラメータの真の値の推定値 必ず推定誤差がある 直線モデルの場合 誤差伝播側より計算できる a 1 1 = = a = 1 y = = b 1 x b = 1 y

任意関数の最小二乗 ( カイ二乗 ) フィット 任意の関数形 yx ( ) をモデルに採用した場合でも y yx ( ) χ = 1 を最小にするようパラメータを決定する パラメータの数をとしては自由度 = の分布に従うことが期待される m χ ν m χ パラメータの誤差の推定 : χ を最小にするパラメータ値 a に対して χ を1だけ増加させる χ m ( ) の値 を探す χ = 1 a aχm + a+ aχm a aの誤差範囲 (1パラメータ68% 信頼水準 ) はa m a から a m + a χ χ +

カイ二乗フィットのパラメータ誤差推定 ( パラメータの数による信頼区間の違い ) 参考 パラメータ a 1,a それぞれのの 68% 信頼区間は Δχ =1 であるが (a 1,a ) の組の 68% 信頼区間は Δχ =.3 の楕円で囲まれ Numercal Recpes C, 技術評論社より転載 上の表で自由度とは ( 注目する ) パラメータの数

グラフの書き方練習 guplot 端末 で guplotとうつと起動する簡単関数やファイルに書き込んだデータをプロットできる使い方は help というコマンドで参照できる インターネットで参照できる日本語のマニュアルもあり http://lagedra.s.kaazawa-u.ac.jp/ogursu/mauals/guplottro/ http://lagedra.s.kaazawa-u.ac.jp/ogursu/mauals/guplot/ StarSute8 のスプレッドシート (Calc) Wdows, MacのExcelに近い使用方法 誤差を考慮した複雑な解析には使いにくい?

guplot の練習 データファイル ( 例えば ) xye.dat を用意する 1.0. 0..0.9 0.1 3.0 4.3 0.3 4.0 5.0 0.1 5.0 5.8 0.3 端末で guplot とうつと起動する 続いて以下の操作を試してみる plot "xye.dat" usg 1::3 wth yerrorbars set xrage[0.0:7.0] set yrage[0.0:7.0] f(x)=a*x+b ft f(x) "xye.dat" usg 1::3 va a,b ( ここで表示されるフィット結果を理解せよ ) replot f(x) 次に 各点の誤差を無視した ( 重みづけなしの ) フィットを比較のためやってみると g(x)=c*x+d ft g(x) "xye.dat" usg 1: va c,d replot f(x),g(x)