数値計算法

Similar documents
統計的データ解析

最小二乗フィット、カイ二乗フィット、gnuplot

カイ二乗フィット検定、パラメータの誤差

数値計算法

講義「○○○○」

EBNと疫学

基礎統計

スライド 1

ビジネス統計 統計基礎とエクセル分析 正誤表

情報工学概論

Microsoft PowerPoint - e-stat(OLS).pptx

<4D F736F F D208EC08CB18C7689E68A E F AA957A82C682948C9F92E82E646F63>

スライド 1

Microsoft PowerPoint - sc7.ppt [互換モード]

不偏推定量

Excelによる統計分析検定_知識編_小塚明_5_9章.indd

Kumamoto University Center for Multimedia and Information Technologies Lab. 熊本大学アプリケーション実験 ~ 実環境における無線 LAN 受信電波強度を用いた位置推定手法の検討 ~ InKIAI 宮崎県美郷

統計学 - 社会統計の基礎 - 正規分布 標準正規分布累積分布関数の逆関数 t 分布正規分布に従うサンプルの平均の信頼区間 担当 : 岸 康人 資料ページ :

Microsoft PowerPoint - statistics pptx

<4D F736F F D2090B695A8939D8C768A E F AA957A82C682948C9F92E8>

Microsoft PowerPoint - Statistics[B]

Microsoft PowerPoint - ch04j

スライド 1

Microsoft PowerPoint - Econometrics pptx

Microsoft PowerPoint - stat-2014-[9] pptx

RSS Higher Certificate in Statistics, Specimen A Module 3: Basic Statistical Methods Solutions Question 1 (i) 帰無仮説 : 200C と 250C において鉄鋼の破壊応力の母平均には違いはな

Microsoft PowerPoint - statistics pptx

第7章

Python-statistics5 Python で統計学を学ぶ (5) この内容は山田 杉澤 村井 (2008) R によるやさしい統計学 (

Microsoft Word - å“Ÿåłžå¸°173.docx

統計学の基礎から学ぶ実験計画法ー1

Microsoft PowerPoint - statistics pptx

Microsoft Word - Stattext12.doc

第 3 回講義の項目と概要 統計的手法入門 : 品質のばらつきを解析する 平均と標準偏差 (P30) a) データは平均を見ただけではわからない 平均が同じだからといって 同一視してはいけない b) データのばらつきを示す 標準偏差 にも注目しよう c) 平均

統計学 Ⅱ( 章 ( 区間推定のシミュレーション 母平均 μ の区間推定 X ~ N, のとき X T ~ 自由度 1の t分布 1 自由度 -1のt 分布の97.5% 点 :t.975 P t T t この式に T を代入する t.975 母集団

自動車感性評価学 1. 二項検定 内容 2 3. 質的データの解析方法 1 ( 名義尺度 ) 2.χ 2 検定 タイプ 1. 二項検定 官能検査における分類データの解析法 識別できるかを調べる 嗜好に差があるかを調べる 2 点比較法 2 点識別法 2 点嗜好法 3 点比較法 3 点識別法 3 点嗜好

14 化学実験法 II( 吉村 ( 洋 mmol/l の半分だったから さんの測定値は くんの測定値の 4 倍の重みがあり 推定値 としては 0.68 mmol/l その標準偏差は mmol/l 程度ということになる 測定値を 特徴づけるパラメータ t を推定するこの手

PowerPoint プレゼンテーション

多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典

Microsoft PowerPoint - 測量学.ppt [互換モード]

データ解析

統計的データ解析

経済統計分析1 イントロダクション

Microsoft PowerPoint - 資料04 重回帰分析.ppt

(3) 検定統計量の有意確率にもとづく仮説の採否データから有意確率 (significant probability, p 値 ) を求め 有意水準と照合する 有意確率とは データの分析によって得られた統計値が偶然おこる確率のこと あらかじめ設定した有意確率より低い場合は 帰無仮説を棄却して対立仮説

はじめに Excel における計算式の入力方法の基礎 Excel では計算式を入力することで様々な計算を行うことができる 例えば はセルに =SQRT((4^2)/3+3*5-2) と入力することで算出される ( 答え ) どのような数式が使えるかは 数式

Microsoft Word - apstattext04.docx

Medical3

Microsoft Word - Time Series Basic - Modeling.doc

Medical3

Microsoft Word - Stattext13.doc

<4D F736F F D208EC08CB18C7689E68A E F1918A8AD695AA90CD2E646F63>

仮説検定を伴う方法では 検定の仮定が満たされ 検定に適切な検出力があり データの分析に使用される近似で有効な結果が得られることを確認することを推奨します カイ二乗検定の場合 仮定はデータ収集に固有であるためデータチェックでは対応しません Minitab は近似法の検出力と妥当性に焦点を絞っています

<4D F736F F D208EC08CB18C7689E68A E F1939D8C E82E646F63>

Microsoft Word - Stattext11.doc

<4D F736F F D208EC08CB18C7689E68A E F193F18D8095AA957A C C839395AA957A814590B38B4B95AA957A2E646F63>

Microsoft PowerPoint slide2forWeb.ppt [互換モード]

PowerPoint プレゼンテーション

平成 7 年度数学 (3) あるゲームを 回行ったときに勝つ確率が. 8のプレイヤーがいる このゲームは 回ごとに独 立であるとする a. このゲームを 5 回行う場合 中心極限定理を用いると このプレイヤーが 5 回以上勝つ確率 は である. 回以上ゲームをした場合 そのうちの勝ち数が 3 割以上

モジュール1のまとめ

Microsoft PowerPoint - Lecture 10.ppt [互換モード]

Fgure : (a) precse but naccurate data. (b) accurate but mprecse data. [] Fg..(p.) Fgure : Accuracy vs Precson []p.0-0 () 05. m 0.35 m 05. ± 0.35m 05.

ii 2. F. ( ), ,,. 5. G., L., D. ( ) ( ), 2005.,. 6.,,. 7.,. 8. ( ), , (20 ). 1. (75% ) (25% ). 60.,. 2. =8 5, =8 4 (. 1.) 1.,,

Microsoft Word - appendix_b

Microsoft PowerPoint - 基礎・経済統計6.ppt

<4D F736F F D208EC08CB18C7689E68A E F193F18D8095AA957A C C839395AA957A814590B38B4B95AA957A2E646F63>

したがって ばらつきを表すには 偏差の符号をなくしてから平均化する必要がある そのひとつの方法は 1 偏差の絶対値を用いることである 偏差の絶対値の算術平均を 平均偏差 という ( )/5=10.8 偏差の符号を取るもうひとつの方法は 2それを2 乗することです 偏差の2 乗の算

If(A) Vx(V) 1 最小 2 乗法で実験式のパラメータが導出できる測定で得られたデータをよく近似する式を実験式という. その利点は (M1) 多量のデータの特徴を一つの式で簡潔に表現できること. また (M2) y = f ( x ) の関係から, 任意の x のときの y が求まるので,

MT2-Slides-13.pptx

CAEシミュレーションツールを用いた統計の基礎教育 | (株)日科技研

Microsoft Word - reg.doc

様々なミクロ計量モデル†

untitled

ベイズ統計入門

OpRisk VaR3.2 Presentation

解析センターを知っていただく キャンペーン

Microsoft PowerPoint - A1.ppt [互換モード]

1.民営化

JMP による 2 群間の比較 SAS Institute Japan 株式会社 JMP ジャパン事業部 2008 年 3 月 JMP で t 検定や Wilcoxon 検定はどのメニューで実行できるのか または検定を行う際の前提条件の評価 ( 正規性 等分散性 ) はどのメニューで実行できるのかと

Microsoft PowerPoint - H17-5時限(パターン認識).ppt

解答のポイント 第 1 章問 1 ポイント仮に1 年生全員の数が 100 人であったとする.100 人全員に数学の試験を課して, それらの 100 人の個人個人の点数が母集団となる. 問 2 ポイント仮に10 人を抽出するとする. 学生に1から 100 までの番号を割り当てたとする. 箱の中に番号札

Microsoft PowerPoint - 統計科学研究所_R_重回帰分析_変数選択_2.ppt

日経平均株価の推移 ( 円 ) 5,, 15, 1, 5, ( データ ) 日経 NEEDS 3 日本株価の推移 (1 年 1 月 =1) 5 日経平均 TOPIX JASDAQ ( データ ) 日

Microsoft PowerPoint - Inoue-statistics [互換モード]

τ-→K-π-π+ν τ崩壊における CP対称性の破れの探索

偏微分方程式、連立1次方程式、乱数

目次 1 章 SPSS の基礎 基本 はじめに 基本操作方法 章データの編集 はじめに 値ラベルの利用 計算結果に基づく新変数の作成 値のグループ化 値の昇順

異文化言語教育評価論 ⅠA 教育 心理系研究のためのデータ分析入門 第 3 章 t 検定 (2 変数間の平均の差を分析 ) 平成 26 年 5 月 7 日 報告者 :M.S. I.N. 3-1 統計的検定 統計的検定 : 設定した仮説にもとづいて集めた標本を確率論の観点から分析し 仮説検証を行うこと

SAP11_03

Probit , Mixed logit

Excelにおける回帰分析(最小二乗法)の手順と出力

ダンゴムシの 交替性転向反応に 関する研究 3A15 今野直輝

(.3) 式 z / の計算, alpha( ), sigma( ) から, 値 ( 区間幅 ) を計算 siki.3<-fuctio(, alpha, sigma) elta <- qorm(-alpha/) sigma /sqrt() elta [ 例 ]., 信頼率 として, サイ

mt1-slides-03.pptx

Microsoft Word - gnuplot

異文化言語教育評価論 ⅠA 第 4 章分散分析 (3 グループ以上の平均を比較する ) 平成 26 年 5 月 14 日 報告者 :D.M. K.S. 4-1 分散分析とは 検定の多重性 t 検定 2 群の平均値を比較する場合の手法分散分析 3 群以上の平均を比較する場合の手法 t 検定

Microsoft PowerPoint - データ解析基礎4.ppt [互換モード]

データ科学2.pptx

確率分布 - 確率と計算 1 6 回に 1 回の割合で 1 の目が出るさいころがある. このさいころを 6 回投げたとき,1 度も 1 の目が出ない確率を求めよ. 5 6 /6 6 =15625/46656= (5/6) 6 = ある市の気象観測所での記録では, 毎年雨の降る

禁無断転載 第 3 章統計的手法に用いられる分布 All rights reserved (C) 芳賀 第 1 節我々の身の回りにある代表的分布と性質 1. 分布の表わし方我々の身の回りにある全てのものは ばらつきを持っています 収集したデータを分析していくためには このばらつきがどのような分布にな

Transcription:

数値計算法 011/5/5 林田清 ( 大阪大学大学院理学研究科 )

レポート課題 1( 締め切りは 5/5) 平均値と標準偏差を求めるプログラム 入力 : データの数 データ データは以下の 10 個 ( 例えばある月の最高気温 ( )10 日分 ) 34.3,5.0,3.,34.6,.9,7.7,30.6,5.8,3.0,31.3 出力 :( 標本 ) 平均値 標準偏差 ソースプログラムと出力結果をメイルの本文にして khclass@ess.sc.osaka-u.ac.jp までメイルせよ 実行形式は添付しないこと メイルのタイトルは report1_ 学籍番号とすること 他の人のソースプログラムと結果をそのままコピーするのはダメ 計算結果が正しいことを別プログラム or 別データで計算しよう

あてはめの良さ (Goodness of Ft) t y n ( ) n y y x y ax b ( 直線モデルの場合 ) 1 1 は自由度 n m( mはパラメータの数 直線の場合 a, bで) のカイ自乗分布に従う 期待値は n- m これがあてはめの良さ ( 仮定したモデル関数の妥当性 パラメータab, が適当であること 測定誤差が正しく評価されていること ) の基準になる を自由度 で割った ( / ) をreduced ch-squareという y( x) は中心 0, 標準偏差 1の正規分布に従う gnuplot の ft では自由度は degrees of freedom (ndf) : として reduced は varance of resduals (reduced chsquare) = WSSR/ndf : として表示されている

分布 自由度 nの ( カ 平均値 0, 標準偏差 1の正規分布に従う変数 xの自乗和 n x =1 分布を自由度 nの 分布と呼ぶ 一般に自由度 の 分布は f / 1 / / ( ) {( ) e }/ ( / ) 期待値 E イ二乗 ) 分布 ( ) 分散 V( ) n ( x ) 平均値, 標準偏差 の正規分布に従う も自由度 nの 分布 n =1 ( x x) =1 はしかし自由度 n 1の 分布 の従う

カイ二乗分布の確率分布の積分あてはめの良さの検定 reduced-χ の値の表 ( 対応する χ の値を超える確率 P と自由度 の関数として表示されている ) 最小二乗フィットによりモデルパラメータを最適化した際の χ 値を求める 上記の χ 値 ( 以上の値 ) を得る確率を表から調べる Data Reducton and Error Analyss for the Physcal Scences, Bevngton & Robnson より 確率があまりにも小さければ何か間違っている ( 例えばモデル

http://cluster.f7.ems.okayama-u.ac.jp/~yan/jscscd/table/ch.html にも同様の表 ( 但し reduced ch-squared ではなく ch-squared の値 ) が掲載されている Excel なら CHIDIST,CHIINV

パラメータの推定誤差 参考 最適化したパラメータはあくまでもパラメータの真の値の推定値 必ず推定誤差がある 直線モデルの場合 誤差伝播側より計算できる a 1 1 n a 1 y n b 1 x b 1 y

任意関数の最小二乗 ( カイ二乗 ) フィット 任意の関数形 yx ( ) をモデルに採用した場合でも n y y( x) 1 を最小にするようパラメータを決定する パラメータの数をmとして は自由度 = n mの 分布に従うことが期待される パラメータの誤差の推定 : を最小にするパラメータ値 a に対して を1だけ増加させる mn ( ) aの値 a a a a を探す 1 mn mn aの誤差範囲 (1パラメータ68% 信頼水準 ) はamn aから amn a

カイ二乗フィットのパラメータ誤差推定 ( パラメータの数による信頼区間の違い ) 参考 パラメータ a 1,a それぞれのの 68% 信頼区間は Δχ =1 であるが (a 1,a ) の組の 68% 信頼区間は Δχ =.3 の楕円で囲まれ Numercal Recpes n C, 技術評論社より転載 上の表で自由度とは ( 注目する ) パラメータの数

グラフの書き方練習 gnuplot 端末 で gnuplotとうつと起動する簡単関数やファイルに書き込んだデータをプロットできる使い方は help というコマンドで参照できる インターネットで参照できる日本語のマニュアルもあり http://lagendra.s.kanazawa-u.ac.jp/ogursu/manuals/gnuplotntro/ http://lagendra.s.kanazawa-u.ac.jp/ogursu/manuals/gnuplot/

gnuplot の練習 データファイル ( 例えば ) xye.dat を用意する 1.0. 0..0.9 0.1 3.0 4.3 0.3 4.0 5.0 0.1 5.0 5.8 0.3 端末で gnuplot とうつと起動する 続いて以下の操作を試してみる plot "xye.dat" usng 1::3 wth yerrorbars set xrange[0.0:7.0] set yrange[0.0:7.0] f(x)=a*x+b ft f(x) "xye.dat" usng 1::3 va a,b ( ここで表示されるフィット結果を理解せよ ) replot f(x) 次に 各点の誤差を無視した ( 重みづけなしの ) フィットを比較のためやってみると g(x)=c*x+d ft g(x) "xye.dat" usng 1: va c,d replot f(x),g(x)

最小二乗 ( カイ二乗 ) フィットのまとめ 最尤法が根拠 ただし 測定値 y のモデル点からのばらつきが正規分布で近似できる場合に限定 を最小にするパラメータが最良推定値 あてはめの良さ モデルの妥当性は の値が自由度 n-m に近いかどうかで評価できる パラメータの誤差 ( 信頼区間 ) は から推定できる

参考 ) 最尤法の直接的な利用 1 K 0 中間子の寿命の測定 K 0 中間子の生成点は生成に伴う二次荷電粒子の飛跡から 崩壊点と運動量は崩壊後のパイ中間子の飛跡と運動量の測定から決められる点線の領域内で崩壊が起こった現象だけ取り扱う観測した崩壊イベントの平均が寿命の最良推定値になるか? No Data Reducton and Error Analyss for the Physcal Scences, Bevngton & Robnson より

参考 ) 最尤法の直接的な利用 0 時間 t だけ生き延びるK 中間子を観測する確率 P A p( t ; ) A e t / t / ( ; ) は寿命 の粒子が ~ ここでAは 定められた領域内で崩壊が起こり検出できる効率 0 K 中間子の生成点 崩壊点の位置や運動量 寿命 に依存する p t e t t dtの間に崩壊する確率 Aはtやと独立ではないことに注意 0 生成点と運動量が決まっているK 中間子に対して 点線領域に入るまでの 距離を d, 出る ( 崩壊が起こらなかったとして ) までの距離をdとし 対応する 時間をt, t とする Aは次のように規格化する t t a b a a b tb t / t Pdt A e dt N L( ) P A e 1 1 a N 1 N個のイベントについて尤度は t / これを最大にするようなが求めたい答え b

参考 ) 最尤法の直接的な利用 3 L( ) P A e 1 1 のかわりに t M ( ) ln L( ) ln A を最大にすることを考える 例 1) t 0, t のとき ( 粒子の寿命に対して測定領域が十分大きい場合 ) 1 A 1/ でM ( ) t N ln dm ( ) 1 N t 0 / より t N d 例 )( t 0), t ( ) が共通の値である場合 A 1/ N a a t 0 b e t / b N dt b t / 1 1 e t / b t t M ( ) ln L ln A N ln N ln 1 e dm ( ) 0をみたすが寿命の最尤推定値 d t / b

最尤法の直接利用と最小二乗法 最小二乗法を使えないとき= 分布が正規分布でないとき ビンまとめし ヒストグラムをつくると 1ビンあたりに含まれるデータ数が十分大きい場合 正規分布で近似できる この場合最小二乗法が使えるようになる ただし もともとのデータ数が小さい場合は適用付加 最尤法の直接利用複雑なモンテカルロ計算が必要になるような場合 ( 例 :K 中間子の寿命測定 ) も最尤法の直接利用が効果的 M=1/ より最尤法で決めたパラメータ誤差を推定できる しかし 最尤法の直接利用ではあてはめの良さを評価する適当な指標 ( 最小二乗法の χ のような ) がない

確率分布 検定 区間推定 いろいろな確率分布 二項分布 ポアッソン分布 正規 ( ガウス分布 ) t 分布 χ 乗分布 統計的検定 仮説の当否を統計的に検証する 区間推定 真の値の範囲を統計的に推定する 相関係数 個のパラメータ間の関連を調べる

二項分布 ポアッソン分布 二項分布 n! x PB ( x; n, p) p (1 p) ( n x)! x! x pn np(1 p) (1 p) ポアッソン分布二項分布でp 1の極限 Px ( ; ) x x e x! nx 0.4 0.3 0. 0.1 Posson Dstrbuton 1 3 4 5 10 0 0 5 10 15 x 参考 ) 視聴率の誤差について http://www.vdeor.co.jp/ratng/wh/07.htm

ポアッソン分布の導出その 1 二項分布 n! 1 n! PB ( x; n, p) p (1 p) p (1 p) (1 p) ( n x)! x! x! ( n x)! pn n 1/ p 1 (1 p) lm (1 p) e p0 p0 e lm lm p0 np(1 p) (1 p) x PB ( x; n, p) Pp ( x; ) e x! x n x x x n においてを一定に保ったまま p 1の極限を考える n! x n (for x n) ( n x)! x (1 p) 1 px

ポアッソン分布 0.4 0.3 Posson Dstrbuton 1 3 4 5 10 0. ポアッソン分布の例 0 放射線源の1 秒あたりの崩壊数放射線源の測定で1 時間当たりの検出カウント数 1000 人の集団の中で今日が誕生日の人の数 ポアッソン分布の統計誤差 平均値の平方根 ( 複数回の測定ができないとき )1 回の測定値の平方根で置き換えるときもある ポアッソン分布と正規分布 平均値 が大きいとき ( 例えば 0 以上 ) ではポアッソン分布は平均値 分散 の正規分布で近似できる 0.1 0 5 10 15 x

正規分布 1 Px ( ;, ) exp x Bevngton &Robnson より

参考 ) 分布 自由度 nの ( カ 平均値 0, 標準偏差 1の正規分布に従う変数 xの自乗和 n x =1 分布を自由度 nの 分布と呼ぶ 一般に自由度 の 分布は f / 1 / / ( ) {( ) e }/ ( / ) 期待値 E イ二乗 ) 分布 ( ) 分散 V( ) n ( x ) 平均値, 標準偏差 の正規分布に従う も自由度 nの 分布 n =1 ( x x) =1 はしかし自由度 n 1の 分布 の従う

統計的検定 (statstcal test) 例 )xの10 回の測定平均値が0.45 標準偏差が0.05 仮説 H:( 例 ) 母集団での平均値は0.5である 本当は対立仮説 H': 母集団での平均値は0.5でない を示したいので Hを帰無仮説という H': 母集団での平均値は0.5より小さい ( 大きい ) の場合も有り得る 両側検定 片側検定 平均値 0.5 標準偏差 0.05の母集団から10 個の標本をサンプルした場合に平均値が0.45 以下になる ( あるいは0.45 以下 0.55 以上になる ) 確率 Pは? Pが定められた危険率 ( 有意水準 )aより 小さい : 仮説は誤り 正しい可能性を棄てる危険性 aを伴って 大きい : 仮説は否定できない 危険率 ( 有意水準 )=sgnfcance level

いろいろな検定 母平均の検定 : 正規分布 母集団の分散 が既知でない場合 ->t 分布 母平均の差の検定 ->t 分布 母分散の検定 : 分布 母分散の比の検定 :F 分布 相関の有無の検定 : 相関係数の表

区間推定 f(t) 例 )n 回の測定の平均値がxと求まったとき母平均の存在する範囲はどのように推定できるか? -t ( /) N-1 1- / +t ( /) N-1 t 母集団の分布は正規分布 (, ) と仮定すると 標本平均は 正規分布 (, /n) に従う ( x ) / s / nは自由度 n 1の t分布に従う 確率 1-となる区間は -t ( /) ( t ( /) N-1 x ) / s / n N-1 変形して x-t N-1( /) s / n x t N-1( /) s / n が信頼係数 100 (1- ) % での母平均 の信頼区間 nが大きいときにはt 分布のかわりに正規分布を使い x-z( /) s / n x z( /) s / n で近似するときもある 信頼区間 =confdence nterval 信頼係数 =confdence level

信頼区間の推定 正規分布の場合 -<x-< にくる確率 68.3% -<x-< にくる確率 95.5% -3<x-<3 にくる確率 99.7% -1.96<x-<1.96 にくる確率 95% -.58<x-<.58 にくる確率 99%

相関係数 二つの測定量 x,y の間に ( 線形 ) 相関があるかどうか 1に近ければ正の相関 -1に近ければ負の相関 ゼロなら相関なし r N x y x y N x x N y y 1/ 1/ r=0.89 r=-0.05 r=-0.95

相関係数の検定 Data Reducton and Error Analyss for the Physcal Scences, Bevngton & Robnson より