C5 統計的時系列モデリング
|
|
|
- なおちか もちやま
- 7 years ago
- Views:
Transcription
1 < 第 5 回 > 統計的時系列モデリング 統計数理研究所 川崎能典 [email protected]
2 統計的時系列モデリング 概要 データサイエンティスト育成クラッシュコース データサイエンティストとして時系列解析を学ぶ際に知っておくべき体系について 定常 非定常 データの変換 平滑化事前分布 状態空間モデルをキーワードに学ぶ 1. 定常時系列 2. 定常から非定常へ : 変換の利用 3. 定常から非定常へ : 平滑化事前分布 4. 状態空間モデル
3 データサイエンティスト育成クラッシュコース 1. 定常時系列 時系列データ = 確率過程の実現値 ( 見本過程 ) X(t, ω): 時間 t を止めれば確率変数 根源事象 ω を固定すれば数列 時系列解析の目的 : X(t, ω) の 道の分布 を知りたい 大きな制約 : 時系列解析では殆どの場合 ω のドローは一回きり ( 同一条件下での繰り返し実験に基づく観測が困難 ) 一時点一個のデータしかないのに 各時点での値の出方を支配する確率法則はもちろん 道全体が従う確率法則も導き出したい ( かなり無理な注文 ) 時間軸方向でのある種の一様性の仮定が必要 = 定常性 (stationary)
4 確率過程の見本過程 (sample path) Sample Paths from AR(2) ω 2 ω 1 ω 3 Sample Paths Time
5 300 本の見本過程を重ね描き 300 Sample Paths from AR(2) Sample Paths Time
6 各時点での四分位点 Quantiles based on sample paths 平均と分散が時間によらず一定 25%, 50%, 75% quantiles of realized pahts ここでは N として実験しているが これと同じ効果が T で得られる ( エルゴード性 ) Time
7 データサイエンティスト育成クラッシュコース 2. 定常から非定常へ : 変換の利用 定常時系列モデルの代表 :ARMA モデル 現実にはこのクラスで対処できる範囲は限られている どうする? データを変換して定常時系列モデルに帰着 対数変換 : 指数的トレンドを線形化 Box-Cox 変換 : 対数変換を含む巾変換のクラス 階差 : トレンドの除去 季節階差 : 季節変動の除去 Box-Jenkins 法 : 標本自己相関 偏自己相関を手がかりにしたモデルの特定化 推定 事後評価 ( 診断検定 ) を含む一連の手続き 原著 Box and Jenkins (1970) あるいは最新版 Box et al. (2008) にあたらなくても 類書多数
8 log_airline エアラインモデル : 推定と予測 pred Box and Jenkins (1970), Time Series Analysis 英国の航空機搭乗者数の時系列データへのモデルあてはめと予測 1957 年以前のデータで推定 58 年 1 月以降 3 年分長期予測
9 エアラインモデル : 予測の信頼区間 おおよそ 95% の信頼区間を付けると左の通り 多くの問題では毎期毎期データ更新の度にモデル更新と予測更新を繰り返せるはずで これより誤差幅は小さいはず
10 データサイエンティスト育成クラッシュコース 3. 定常から非定常へ : 平滑化事前分布 例 : 季節調整モデル 観測値 = トレンド + 季節成分 + 不規則成分 1 個の観測値から 3 つ ( 本質的には 2 つ ) の未知量をひねり出す必要 無理難題の度合いが増しているように見える 時点の近い成分どうしは値が近い という制約を置けば推定可能 ( 平滑化事前分布 ) 観測不能な時系列要素 ( パラメータ ) に対する確率的な制約を置くことで実効パラメータ数を減らす パラメータに確率分布を仮定することから ベイズモデリングの一種と言える
11 成分分解の例 すぐ後に事例紹介で再掲
12 データサイエンティスト育成クラッシュコース なぜ分けてモデル化するか? 不確実性の度合いが違うものを別々にモデル化することで 全体として推定 予測の不確実性を低減できる Box-Jenkins 法 ( 季節 ARIMA モデル ) では 成分分解はしないが 実質的に同様の効果を内包している ( 階差 季節階差 ) 大まかな動きをモデル化した後で残る 一見残り滓のような残差系列から構造を見つけるのが統計学の真骨頂
13 データサイエンティスト育成クラッシュコース 統計的モデリングとは? 現象のモデル化にあたって 不確実性の表現に確率分布を仮定 物理モデルのような意味でのデータの 真の生成構造 にこだわらず データの動きを模倣するモデルや入出力関係をうまく近似してくれるモデルを探索する データのバラツキの元となる事象を特定化し 不断にモデル改善につなげる
14 データサイエンティスト育成クラッシュコース 例 : 英国交通事故死傷者数 ( 月次時系列 ) log UK drivers KSI 1969 年 1 月 ~1984 年 12 月 明らかな季節性 傾向としては全体に低減 ところどころ大きな下落 どうモデル化するか?
15 トレンド 季節性 不規則変動
16 モデリング事例 1: 外生時系列の利用 7.75 log UK drivers KSI deterministic level + beta*log(petrol PRICE) 大きく水準線を外している箇所がある モデルに線形項として入れ込むと 大まかな傾向線を示してくれる log UK drivers KSI against log PETROL PRICE deterministic level + beta*log(petrol PRICE) ガソリン価格 ( 横軸 ) と交通事故死傷者数 ( 縦軸 ) には負の相関
17 モデリング事例 2: 構造変化の取り込み 1983 年 2 月 英国でシートベルト着用を義務づける法令が施行 83 年 2 月にレベルシフト 施工前 ( 横軸 0.0) と施工後 (1.0) での死傷者数の 散布図 残りは ガソリン価格 季節性 トレンド項で説明できそう
18 データサイエンティスト育成クラッシュコース 4. 状態空間モデル 前節で示したモデリングは 線形ガウス状態空間モデルの一例 状態空間モデルは モデルのモデル あるいは メタモデル 実用的な時系列モデルの殆どは 時系列の分布を規定する本質的な変数群 ( 状態 ) のマルコフ遷移と それら変数群と観測値を結びつける関係式で表現される 状態空間モデルの枠組みでは 状態の推定 ( 予測 フィルタ 平滑化 ) と尤度計算の方法が統一的に与えられる つまり 一度この形で習得しておけば応用がきく 適用例としては おおまかに信号抽出型か時変係数型かに分けられる
19 データサイエンティスト育成クラッシュコース 時系列の尤度 時系列の最大の特徴は 時間的に近接する観測値に相関があること 独立同一分布の場合のように 個々の密度のかけ算で尤度を定義できない! 時系列モデルの場合は 一期先予測誤差の累積 として尤度を表現し それを数値的に最大化する これを尤度の予測誤差分解という データサイエンティストとして 後々応用力を高めるためには 単にパッケージを利用するだけでなく 予測誤差分解を自らプログラミングで体感しておく必要がある 北川 (2005) の第 9 章を熟読 第 10~13 章で応用のイメージを膨らませる
20 データサイエンティスト育成クラッシュコース 最前線に向かって 最前線 : 状態遷移を非線形化 応答変数の非ガウス化 Particle filter, MCMC 抱えている具体的問題でこれらが要請される場合は 北川 (2005) の第 14 章 15 章まで学習 季節 ARIMA, 線形ガウス状態空間モデルに基づく成分分解型時系列モデルは 成熟段階に達した技術で使いやすい ソフトウェア実装も選択肢多数 需要分析をはじめとして広く浸透 多変量の場合 : 多変量 AR( 北川 2005, 6.7, 7.6, 7.7 節 ) が基本だが 高次元の場合 闇雲に適用する前に 全ての変数を同時決定するようなモデルが求められているかどうか再検討したほうがよい
21 データサイエンティスト育成クラッシュコース 参考文献 1. 北川源四郎 時系列解析入門 ( 岩波書店 2005 年 ) 2. Box, G. E. P., Jenkins, G. M. and Reinsel, G. C., Time Series Analysis: Forecasting and Control 4 th ed., Wiley, A. C. ハーベイ 時系列モデル入門 ( 国友直人 山本拓訳 東大出版会 1985 年 ) 4. 田中勝人 現代時系列分析 ( 岩波書店 2006 年 ) 5. Commandeur, J. J. F. and Koopman, S. J., An Introduction to State Space Time Series Analysis, Oxford University Press, [ シーエーピー出版から和訳あり ]
Microsoft PowerPoint - 時系列解析(10)_講義用.pptx
時系列解析 () 季節調整モデルと成分分解 信号抽出 東京 学数理 情報教育研究センター 北川源四郎 東京 学北川源四郎数理 法 VII ( 時系列解析 ) 季節調整とは.5 WHARD 月次データ.3..9.7 5 49 73 97 45 何らかの原因で特定の周期で繰り返す成分を除去して本質的な現象を抽出する方法 東京 学北川源四郎数理 法 VII ( 時系列解析 ) 季節調整モデル 観測モデル
PowerPoint プレゼンテーション
復習 ) 時系列のモデリング ~a. 離散時間モデル ~ y k + a 1 z 1 y k + + a na z n ay k = b 0 u k + b 1 z 1 u k + + b nb z n bu k y k = G z 1 u k = B(z 1 ) A(z 1 u k ) ARMA モデル A z 1 B z 1 = 1 + a 1 z 1 + + a na z n a = b 0
講義「○○○○」
講義 信頼度の推定と立証 内容. 点推定と区間推定. 指数分布の点推定 区間推定 3. 指数分布 正規分布の信頼度推定 担当 : 倉敷哲生 ( ビジネスエンジニアリング専攻 ) 統計的推測 標本から得られる情報を基に 母集団に関する結論の導出が目的 測定値 x x x 3 : x 母集団 (populaio) 母集団の特性値 統計的推測 標本 (sample) 標本の特性値 分布のパラメータ ( 母数
Microsoft PowerPoint - 時系列解析(11)_講義用.pptx
時系列解析 () ボラティリティ 時変係数 AR モデル 東京 学数理 情報教育研究センター 北川源四郎 概要. 分散 定常モデル : 線形化 正規近似. 共分散 定常モデル : 時変係数モデル 3. 線形 ガウス型状態空間モデル 分散 共分散 定常 3 地震波 経 5 定常時系列のモデル 4. 平均 定常 トレンド, 季節調整. 分散 定常 線形 ガウスモデル ( カルマンフィルタ ) で推定するためには
SAP11_03
第 3 回 音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和 東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所 講義内容 ( キーワード ) 信号処理 符号化 標準化の実用システム例の紹介情報通信の基本 ( 誤り検出 訂正符号 変調 IP) 符号化技術の基本 ( 量子化 予測 変換 圧縮 ) 音声分析 合成 認識 強調 音楽信号処理統計的信号処理の基礎
横浜市環境科学研究所
周期時系列の統計解析 単回帰分析 io 8 年 3 日 周期時系列に季節調整を行わないで単回帰分析を適用すると, 回帰係数には周期成分の影響が加わる. ここでは, 周期時系列をコサイン関数モデルで近似し単回帰分析によりモデルの回帰係数を求め, 周期成分の影響を検討した. また, その結果を気温時系列に当てはめ, 課題等について考察した. 気温時系列とコサイン関数モデル第 報の結果を利用するので, その一部を再掲する.
Probit , Mixed logit
Probit, Mixed logit 2016/5/16 スタートアップゼミ #5 B4 後藤祥孝 1 0. 目次 Probit モデルについて 1. モデル概要 2. 定式化と理解 3. 推定 Mixed logit モデルについて 4. モデル概要 5. 定式化と理解 6. 推定 2 1.Probit 概要 プロビットモデルとは. 効用関数の誤差項に多変量正規分布を仮定したもの. 誤差項には様々な要因が存在するため,
博士学位請求論文審査報告書 申請者 : 植松良公 論文題目 :Statistical Analysis of Nonlinear Time Series 1. 論文の主題と構成経済時系列分析においては, 基礎となる理論は定常性や線形性を仮定して構築されるが, 実際の経済データにおいては, 非定常性や
Title 非線形時系列の統計解析 Author(s) 植松, 良公 Citation Issue 2013-09-30 Date Type Thesis or Dissertation Text Version ETD URL http://doi.org/10.15057/25906 Right Hitotsubashi University Repository 博士学位請求論文審査報告書 申請者
Microsoft PowerPoint - 統計科学研究所_R_重回帰分析_変数選択_2.ppt
重回帰分析 残差分析 変数選択 1 内容 重回帰分析 残差分析 歯の咬耗度データの分析 R で変数選択 ~ step 関数 ~ 2 重回帰分析と単回帰分析 体重を予測する問題 分析 1 身長 のみから体重を予測 分析 2 身長 と ウエスト の両方を用いて体重を予測 分析 1 と比べて大きな改善 体重 に関する推測では 身長 だけでは不十分 重回帰分析における問題 ~ モデルの構築 ~ 適切なモデルで分析しているか?
Kumamoto University Center for Multimedia and Information Technologies Lab. 熊本大学アプリケーション実験 ~ 実環境における無線 LAN 受信電波強度を用いた位置推定手法の検討 ~ InKIAI 宮崎県美郷
熊本大学アプリケーション実験 ~ 実環境における無線 LAN 受信電波強度を用いた位置推定手法の検討 ~ InKIAI プロジェクト @ 宮崎県美郷町 熊本大学副島慶人川村諒 1 実験の目的 従来 信号の受信電波強度 (RSSI:RecevedSgnal StrengthIndcator) により 対象の位置を推定する手法として 無線 LAN の AP(AccessPont) から受信する信号の減衰量をもとに位置を推定する手法が多く検討されている
ベイズ統計入門
ベイズ統計入門 条件付確率 事象 F が起こったことが既知であるという条件の下で E が起こる確率を条件付確率 (codtoal probablt) という P ( E F ) P ( E F ) P( F ) 定義式を変形すると 確率の乗法公式となる ( E F ) P( F ) P( E F ) P( E) P( F E) P 事象の独立 ある事象の生起する確率が 他のある事象が生起するかどうかによって変化しないとき
PowerPoint プレゼンテーション
1/X Chapter 9: Linear correlation Cohen, B. H. (2007). In B. H. Cohen (Ed.), Explaining Psychological Statistics (3rd ed.) (pp. 255-285). NJ: Wiley. 概要 2/X 相関係数とは何か 相関係数の数式 検定 注意点 フィッシャーのZ 変換 信頼区間 相関係数の差の検定
Microsoft Word - 補論3.2
補論 3. 多変量 GARC モデル 07//6 新谷元嗣 藪友良 対数尤度関数 3 章 7 節では 変量の対数尤度を求めた ここでは多変量の場合 とくに 変量について対数尤度を求める 誤差項 は平均 0 で 次元の正規分布に従うとする 単純化のため 分散と共分散は時間を通じて一定としよう ( この仮定は後で変更される ) したがって ij から添え字 を除くことができる このとき と の尤度関数は
統計的データ解析
統計的データ解析 011 011.11.9 林田清 ( 大阪大学大学院理学研究科 ) 連続確率分布の平均値 分散 比較のため P(c ) c 分布 自由度 の ( カイ c 平均値 0, 標準偏差 1の正規分布 に従う変数 xの自乗和 c x =1 が従う分布を自由度 の分布と呼ぶ 一般に自由度の分布は f /1 c / / ( c ) {( c ) e }/ ( / ) 期待値 二乗 ) 分布 c
JUSE-StatWorks/V5 ユーザーズマニュアル
1.1 時系列グラフとは 1 時系列グラフ 1.1 時系列グラフとは 目的一般に, データは, 大きく分けて, クロスセクションデータと時系列データに分類されるといわれます. クロスセクションデータとは, 時点を固定して同質と考えられる複数の対象集団から観測されたデータをいいます. 一方, 時系列データとは, 時間 ( 空間 ) 軸上で等間隔に観測される系列的なデータをいい, ここでの観測対象 (
多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典
多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典 重回帰分析とは? 重回帰分析とは複数の説明変数から目的変数との関係性を予測 評価説明変数 ( 数量データ ) は目的変数を説明するのに有効であるか得られた関係性より未知のデータの妥当性を判断する これを重回帰分析という つまり どんなことをするのか? 1 最小 2 乗法により重回帰モデルを想定 2 自由度調整済寄与率を求め
2. 時系列分析 プラットフォームの使用法 JMP の 時系列分析 プラットフォームでは 一変量の時系列に対する分析を行うことができます この章では JMP のサンプルデ ータを用いて このプラットフォームの使用法をご説明します JMP のメニューバーより [ ヘルプ ] > [ サンプルデータ ]
JMP を用いた ARIMA モデルのあてはめ SAS Institute Japan 株式会社 JMP ジャパン事業部 2013 年 2 月作成 1. はじめに JMP の時系列分析では 一変量の時系列データに対する分析や予測を行うことができ 時系列データに対するグラフ表示 時系列モデルのあてはめ モデルの評価 予測まで 対話的に分析を実行することができます 時系列データにあてはめるモデルとしては
NLMIXED プロシジャを用いた生存時間解析 伊藤要二アストラゼネカ株式会社臨床統計 プログラミング グループグルプ Survival analysis using PROC NLMIXED Yohji Itoh Clinical Statistics & Programming Group, A
NLMIXED プロシジャを用いた生存時間解析 伊藤要二アストラゼネカ株式会社臨床統計 プログラミング グループグルプ Survival analysis using PROC NLMIXED Yohji Itoh Clinical Statistics & Programming Group, AstraZeneca KK 要旨 : NLMIXEDプロシジャの最尤推定の機能を用いて 指数分布 Weibull
14 化学実験法 II( 吉村 ( 洋 mmol/l の半分だったから さんの測定値は くんの測定値の 4 倍の重みがあり 推定値 としては 0.68 mmol/l その標準偏差は mmol/l 程度ということになる 測定値を 特徴づけるパラメータ t を推定するこの手
14 化学実験法 II( 吉村 ( 洋 014.6.1. 最小 乗法のはなし 014.6.1. 内容 最小 乗法のはなし...1 最小 乗法の考え方...1 最小 乗法によるパラメータの決定... パラメータの信頼区間...3 重みの異なるデータの取扱い...4 相関係数 決定係数 ( 最小 乗法を語るもう一つの立場...5 実験条件の誤差の影響...5 問題...6 最小 乗法の考え方 飲料水中のカルシウム濃度を
スライド 1
データ解析特論第 10 回 ( 全 15 回 ) 2012 年 12 月 11 日 ( 火 ) 情報エレクトロニクス専攻横田孝義 1 終了 11/13 11/20 重回帰分析をしばらくやります 12/4 12/11 12/18 2 前回から回帰分析について学習しています 3 ( 単 ) 回帰分析 単回帰分析では一つの従属変数 ( 目的変数 ) を 一つの独立変数 ( 説明変数 ) で予測する事を考える
スライド 1
データ解析特論重回帰分析編 2017 年 7 月 10 日 ( 月 )~ 情報エレクトロニクスコース横田孝義 1 ( 単 ) 回帰分析 単回帰分析では一つの従属変数 ( 目的変数 ) を 一つの独立変数 ( 説明変数 ) で予測する事を考える 具体的には y = a + bx という回帰直線 ( モデル ) でデータを代表させる このためにデータからこの回帰直線の切片 (a) と傾き (b) を最小
CAEシミュレーションツールを用いた統計の基礎教育 | (株)日科技研
CAE シミュレーションツール を用いた統計の基礎教育 ( 株 ) 日本科学技術研修所数理事業部 1 現在の統計教育の課題 2009 年から統計教育が中等 高等教育の必須科目となり, 大学でも問題解決ができるような人材 ( 学生 ) を育てたい. 大学ではコンピューター ( 統計ソフトの利用 ) を重視した教育をより積極的におこなうのと同時に, 理論面もきちんと教育すべきである. ( 報告 数理科学分野における統計科学教育
Microsoft Word - å“Ÿåłžå¸°173.docx
回帰分析 ( その 3) 経済情報処理 価格弾力性の推定ある商品について その購入量を w 単価を p とし それぞれの変化量を w p で表 w w すことにする この時 この商品の価格弾力性 は により定義される これ p p は p が 1 パーセント変化した場合に w が何パーセント変化するかを示したものである ここで p を 0 に近づけていった極限を考えると d ln w 1 dw dw
統計学 - 社会統計の基礎 - 正規分布 標準正規分布累積分布関数の逆関数 t 分布正規分布に従うサンプルの平均の信頼区間 担当 : 岸 康人 資料ページ :
統計学 - 社会統計の基礎 - 正規分布 標準正規分布累積分布関数の逆関数 t 分布正規分布に従うサンプルの平均の信頼区間 担当 : 岸 康人 資料ページ : https://goo.gl/qw1djw 正規分布 ( 復習 ) 正規分布 (Normal Distribution)N (μ, σ 2 ) 別名 : ガウス分布 (Gaussian Distribution) 密度関数 Excel:= NORM.DIST
PowerPoint プレゼンテーション
データ解析 第 7 回 : 時系列分析 渡辺澄夫 過去から未来を予測する 観測データ 回帰 判別分析 解析方法 主成分 因子 クラスタ分析 時系列予測 時系列を予測する 無限個の確率変数 ( 確率変数が作る無限数列 ){X(t) ; t は整数 } を生成する情報源を考える {X(t)} を確率過程という 確率過程に ついて過去の値から未来を予測するにはどうしたらよいだろうか X(t-K),X(t-K+1),,X(t-1)
Dependent Variable: LOG(GDP00/(E*HOUR)) Date: 02/27/06 Time: 16:39 Sample (adjusted): 1994Q1 2005Q3 Included observations: 47 after adjustments C -1.5
第 4 章 この章では 最小二乗法をベースにして 推計上のさまざまなテクニックを検討する 変数のバリエーション 係数の制約係数にあらかじめ制約がある場合がある たとえばマクロの生産関数は 次のように表すことができる 生産要素は資本と労働である 稼動資本は資本ストックに稼働率をかけることで計算でき 労働投入量は 就業者数に総労働時間をかけることで計算できる 制約を掛けずに 推計すると次の結果が得られる
ファイナンスのための数学基礎 第1回 オリエンテーション、ベクトル
時系列分析 変量時系列モデルとその性質 担当 : 長倉大輔 ( ながくらだいすけ 時系列モデル 時系列モデルとは時系列データを生み出すメカニズムとなるものである これは実際には未知である 私たちにできるのは観測された時系列データからその背後にある時系列モデルを推測 推定するだけである 以下ではいくつかの代表的な時系列モデルを考察する 自己回帰モデル (Auoregressive Model もっとも頻繁に使われる時系列モデルは自己回帰モデル
Microsoft PowerPoint - H17-5時限(パターン認識).ppt
パターン認識早稲田大学講義 平成 7 年度 独 産業技術総合研究所栗田多喜夫 赤穂昭太郎 統計的特徴抽出 パターン認識過程 特徴抽出 認識対象から何らかの特徴量を計測 抽出 する必要がある 認識に有効な情報 特徴 を抽出し 次元を縮小した効率の良い空間を構成する過程 文字認識 : スキャナ等で取り込んだ画像から文字の識別に必要な本質的な特徴のみを抽出 例 文字線の傾き 曲率 面積など 識別 与えられた未知の対象を
Microsoft PowerPoint - Econometrics pptx
計量経済学講義 第 4 回回帰モデルの診断と選択 Part 07 年 ( ) 限 担当教員 : 唐渡 広志 研究室 : 経済学研究棟 4 階 43 号室 emal: [email protected] webste: http://www3.u-toyama.ac.p/kkarato/ 講義の目的 誤差項の分散が不均 である場合や, 系列相関を持つ場合についての検定 法と修正 法を学びます
C3 データ可視化とツール
< 第 3 回 > データ可視化とツール 統計数理研究所 中野純司 [email protected] データ可視化とツール 概要 データサイエンティスト育成クラッシュコース データサイエンティストとしてデータ分析を行う際に必要な可視化の考え方と それを実行するためのフリーソフトウェアを紹介する 1. はじめに 2. 静的なグラフィックス 3. 動的なグラフィックス 4. 対話的なグラフィックス 1.
Microsoft PowerPoint - statistics pptx
統計学 第 16 回 講義 母平均の区間推定 Part-1 016 年 6 10 ( ) 1 限 担当教員 : 唐渡 広志 ( からと こうじ ) 研究室 : 経済学研究棟 4 階 43 号室 email: [email protected] website: http://www3.u-toyama.ac.jp/kkarato/ 1 講義の目的 標本平均は正規分布に従うという性質を
1.民営化
参考資料 最小二乗法 数学的性質 経済統計分析 3 年度秋学期 回帰分析と最小二乗法 被説明変数 の動きを説明変数 の動きで説明 = 回帰分析 説明変数がつ 単回帰 説明変数がつ以上 重回帰 被説明変数 従属変数 係数 定数項傾き 説明変数 独立変数 残差... で説明できる部分 説明できない部分 説明できない部分が小さくなるように回帰式の係数 を推定する有力な方法 = 最小二乗法 最小二乗法による回帰の考え方
ビジネス統計 統計基礎とエクセル分析 正誤表
ビジネス統計統計基礎とエクセル分析 ビジネス統計スペシャリスト エクセル分析スペシャリスト 公式テキスト正誤表と学習用データ更新履歴 平成 30 年 5 月 14 日現在 公式テキスト正誤表 頁場所誤正修正 6 知識編第 章 -3-3 最頻値の解説内容 たとえば, 表.1 のデータであれば, 最頻値は 167.5cm というたとえば, 表.1 のデータであれば, 最頻値は 165.0cm ということになります
Missing Data NMF
月 4 2013 冬学期 [4830-1032] 第 4 回 音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和 東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所 講義内容 ( キーワード ) 信号処理 符号化 標準化の実用システム例の紹介 情報通信の基本 ( 誤り検出 訂正符号 変調 IP) 符号化技術の基本 ( 量子化 予測 変換 圧縮
Microsoft Word - mstattext02.docx
章重回帰分析 複数の変数で 1つの変数を予測するような手法を 重回帰分析 といいます 前の巻でところで述べた回帰分析は 1つの説明変数で目的変数を予測 ( 説明 ) する手法でしたが この説明変数が複数個になったと考えればよいでしょう 重回帰分析はこの予測式を与える分析手法です 以下の例を見て下さい 例 以下のデータ (Samples 重回帰分析 1.txt) をもとに体重を身長と胸囲の1 次関数で
PowerPoint プレゼンテーション
担当教員名 単位数西田健 2 単位 教室 時間 4-1A 教室火曜 4 限 目的不確定性を有する対象の制御に有効な確率システム制御理論について解説する また 確率的要因を考慮した状態推定のために 宇宙ロケットや自律ロボットなどの幅広い分野で利用されているカルマンフィルタやパーティクルフィルタについて解説し それらを用いる制御系の構成手法を教授する 授業計画 (1) ガイダンスと導入 (2) 線形動的システムの時系列モデリング
Microsoft PowerPoint - 資料04 重回帰分析.ppt
04. 重回帰分析 京都大学 加納学 Division of Process Control & Process Sstems Engineering Department of Chemical Engineering, Koto Universit [email protected] http://www-pse.cheme.koto-u.ac.jp/~kano/ Outline
Microsoft PowerPoint - R-stat-intro_12.ppt [互換モード]
R で統計解析入門 (12) 生存時間解析 中篇 準備 : データ DEP の読み込み 1. データ DEP を以下からダウンロードする http://www.cwk.zaq.ne.jp/fkhud708/files/dep.csv /fkh /d 2. ダウンロードした場所を把握する ここでは c:/temp とする 3. R を起動し,2. 2 の場所に移動し, データを読み込む 4. データ
Microsoft Word doc
. 正規線形モデルのベイズ推定翠川 大竹距離減衰式 (PGA(Midorikawa, S., and Ohtake, Y. (, Attenuation relationships of peak ground acceleration and velocity considering attenuation characteristics for shallow and deeper earthquakes,
3. みせかけの相関単位根系列が注目されるのは これを持つ変数同士の回帰には意味がないためだ 単位根系列で代表的なドリフト付きランダムウォークを発生させてそれを確かめてみよう yと xという変数名の系列をを作成する yt=0.5+yt-1+et xt=0.1+xt-1+et 初期値を y は 10
第 10 章 くさりのない犬 はじめにこの章では 単位根検定や 共和分検定を説明する データが単位根を持つ系列の場合 見せかけの相関をする場合があり 推計結果が信用できなくなる 経済分析の手順として 系列が定常系列か単位根を持つ非定常系列かを見極め 定常系列であればそのまま推計し 非定常系列であれば階差をとって推計するのが一般的である 1. ランダムウオーク 最も簡単な単位根を持つ系列としてランダムウオークがある
Microsoft PowerPoint - S11_1 2010Econometrics [互換モード]
S11_1 計量経済学 一般化古典的回帰モデル -3 1 図 7-3 不均一分散の検定と想定の誤り 想定の誤りと不均一分散均一分散を棄却 3つの可能性 1. 不均一分散がある. 不均一分散はないがモデルの想定に誤り 3. 両者が同時に起きている 想定に誤り不均一分散を 検出 したら散布図に戻り関数形の想定や説明変数の選択を再検討 残差 残差 Y 真の関係 e e 線形回帰 X X 1 実行可能な一般化最小二乗法
<4D F736F F F696E74202D E738A5889BB8BE688E68A4F82CC926E89BF908492E882C98AD682B782E98CA48B862E707074>
市街化区域外の地価推定に関する研究 不動産 空間計量研究室 筑波大学第三学群社会工学類都市計画主専攻宮下将尚筑波大学大学院システム情報工学研究科社会システム工学専攻高野哲司 背景 日本の国土の区域区分 都市計画区域 市街化区域 市街化を促進する区域 市街化調整区域 市街化を抑制する区域 非線引都市計画区域 上記に属さない区域 非線引き市街化調整区域市街化区域 都市計画区域 本研究での対象区域 都市計画区域外
OpRisk VaR3.2 Presentation
オペレーショナル リスク VaR 計量の実施例 2009 年 5 月 SAS Institute Japan 株式会社 RI ビジネス開発部羽柴利明 オペレーショナル リスク計量の枠組み SAS OpRisk VaR の例 損失情報スケーリング計量単位の設定分布推定各種調整 VaR 計量 内部損失データ スケーリング 頻度分布 規模分布 分布の補正相関調整外部データによる分布の補正 損失シナリオ 分布の統合モンテカルロシミュレーション
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌 スペクトルデータの特徴 1 波 ( 波数 ) が近いと 吸光度 ( 強度 ) の値も似ている ノイズが含まれる 吸光度 ( 強度 ) の極大値 ( ピーク ) 以外のデータも重要 時系列データの特徴 2 時刻が近いと プロセス変数の値も似ている ノイズが含まれる プロセス変数の極大値
Microsoft PowerPoint - stat-2014-[9] pptx
統計学 第 17 回 講義 母平均の区間推定 Part-1 014 年 6 17 ( )6-7 限 担当教員 : 唐渡 広志 ( からと こうじ ) 研究室 : 経済学研究棟 4 階 43 号室 email: [email protected] website: htt://www3.u-toyama.ac.j/kkarato/ 1 講義の目的 標本平均は正規分布に従うという性質を
314 図 10.1 分析ツールの起動 図 10.2 データ分析ウィンドウ [ データ ] タブに [ 分析 ] がないときは 以下の手順で表示させる 1. Office ボタン をクリックし Excel のオプション をクリックする ( 図 10.3) 図 10.3 Excel のオプション
313 第 10 章 Excel を用いた統計処理 10.1 Excel の統計処理レポートや卒業研究などでは 大量のデータを処理 分析し 報告しなければならない場面が数多く登場する このような場合 手計算では多くの時間を要するため現在では計算機を用いて一括処理することが一般的である これにより 時間短縮だけでなく手軽に詳細な分析を行うことができる Excel ではこのような大量のデータに対する分析を容易に行えるよう
Microsoft PowerPoint - e-stat(OLS).pptx
経済統計学 ( 補足 ) 最小二乗法について 担当 : 小塚匡文 2015 年 11 月 19 日 ( 改訂版 ) 神戸大学経済学部 2015 年度後期開講授業 補足 : 最小二乗法 ( 単回帰分析 ) 1.( 単純 ) 回帰分析とは? 標本サイズTの2 変数 ( ここではXとY) のデータが存在 YをXで説明する回帰方程式を推定するための方法 Y: 被説明変数 ( または従属変数 ) X: 説明変数
様々なミクロ計量モデル†
担当 : 長倉大輔 ( ながくらだいすけ ) この資料は私の講義において使用するために作成した資料です WEB ページ上で公開しており 自由に参照して頂いて構いません ただし 内容について 一応検証してありますが もし間違いがあった場合でもそれによって生じるいかなる損害 不利益について責任を負いかねますのでご了承ください 間違いは発見次第 継続的に直していますが まだ存在する可能性があります 1 カウントデータモデル
第1章 低下から停滞に転じた鉱工業生産
X-11とX-12-ARIMAの季節調整済指数の比較 概要鉱工業指数における 季節調整法は米国センサス局が開発したX-12-ARIM Aの中のX-11デフォルト ( 以下 単に X-11 という) を使用していたが 12 年 3 月注分確報からX-12-ARIMA ) に切り替えた 季節調整法とは 季節 ( 四季 ) からなる自然要因 社会的習慣や社会的制度からなる社会的要因など1 年の周期性を持つ規則的な変動を除去する方法である
周期時系列の統計解析 (3) 移動平均とフーリエ変換 nino 2017 年 12 月 18 日 移動平均は, 周期時系列における特定の周期成分の消去や不規則変動 ( ノイズ ) の低減に汎用されている統計手法である. ここでは, 周期時系列をコサイン関数で近似し, その移動平均により周期成分の振幅
周期時系列の統計解析 3 移動平均とフーリエ変換 io 07 年 月 8 日 移動平均は, 周期時系列における特定の周期成分の消去や不規則変動 ノイズ の低減に汎用されている統計手法である. ここでは, 周期時系列をコサイン関数で近似し, その移動平均により周期成分のがどのように変化するのか等について検討する. また, 気温の実測値に移動平均を適用した結果についてフーリエ変換も併用して考察する. 単純移動平均の計算式移動平均には,
<4D F736F F D208EC08CB18C7689E68A E F AA957A82C682948C9F92E82E646F63>
第 7 回 t 分布と t 検定 実験計画学 A.t 分布 ( 小標本に関する平均の推定と検定 ) 前々回と前回の授業では, 標本が十分に大きいあるいは母分散が既知であることを条件に正規分布を用いて推定 検定した. しかし, 母集団が正規分布し, 標本が小さい場合には, 標本分散から母分散を推定するときの不確実さを加味したt 分布を用いて推定 検定しなければならない. t 分布は標本分散の自由度 f(
異文化言語教育評価論 ⅠA 第 4 章分散分析 (3 グループ以上の平均を比較する ) 平成 26 年 5 月 14 日 報告者 :D.M. K.S. 4-1 分散分析とは 検定の多重性 t 検定 2 群の平均値を比較する場合の手法分散分析 3 群以上の平均を比較する場合の手法 t 検定
異文化言語教育評価論 ⅠA 第 4 章分散分析 (3 グループ以上の平均を比較する ) 平成 26 年 5 月 14 日 報告者 :D.M. K.S. 4-1 分散分析とは 4-1-1 検定の多重性 t 検定 2 群の平均値を比較する場合の手法分散分析 3 群以上の平均を比較する場合の手法 t 検定の反復 (e.g., A, B, C の 3 群の比較を A-B 間 B-C 間 A-C 間の t 検定で行う
Microsoft PowerPoint - ch04j
Ch.4 重回帰分析 : 推論 重回帰分析 y = 0 + 1 x 1 + 2 x 2 +... + k x k + u 2. 推論 1. OLS 推定量の標本分布 2. 1 係数の仮説検定 : t 検定 3. 信頼区間 4. 係数の線形結合への仮説検定 5. 複数線形制約の検定 : F 検定 6. 回帰結果の報告 入門計量経済学 1 入門計量経済学 2 OLS 推定量の標本分布について OLS 推定量は確率変数
PowerPoint プレゼンテーション
パーティクルフィルタ 理論と特性 11.1 パーティクルフィルタの理論的導出 状態遷移とマルコフ性 p x k x 1:k 1, y 1:k 1 = f x k x k 1 p y k x 1:k, y 1:k 1 k = 0,1, = h y k x k x 1:k x 1, x 2,, x k y 1:k y 1, y 2,, y k 確率分布で表現される現時刻の状態が, 前時刻までの状態と観測の条件付き確率によって定まる.
因子分析
因子分析 心理データ解析演習 M1 枡田恵 2013.6.5. 1 因子分析とは 因子分析とは ある観測された変数 ( 質問項目への回答など ) が どのような潜在的な変数 ( 観測されない 仮定された変数 ) から影響を受けているかを探る手法 多変量解析の手法の一つ 複数の変数の関係性をもとにした構造を探る際によく用いられる 2 因子分析とは 探索的因子分析 - 多くの観測変数間に見られる複雑な相関関係が
Introduction to System Identification
y(t) モデルベースデザイン 制御系設計のためのシステム同定入門 s 2 Teja Muppirala t s 2 3s 4 2012 The MathWorks, Inc. 1 モデルベースデザイン 正確なモデルがあることが大前提 実行可能な仕様書 シミュレーションによる設計 モデル 連続したテスト 検証 コード生成による実装 2 動的システムのモデリング モデリング手法 第一原理モデリング データドリブンモデリング
Excel で学ぶ 実験計画法データ処理入門 坂元保秀 まえがき 本テキストは, 大学の統計解析演習や研究室ゼミ生の教育の一環として, 実験計画法を理解するための序論として, 工業系の分野で収集される特性データを Microsoft Excel を用いて実践的に処理する方法を記述したものである. 当初は, 完全ランダム実験で二元配置法まで Excel 関数を利用して実施していたが, 企業の皆様から身近に解析ができる
Microsoft PowerPoint - LectureB1_17woAN.pptx
本講義の範囲 都市防災工学 後半第 回 : 導入 確率過程の基礎 千葉大学大学院工学研究院都市環境システムコース岡野創 http://oko-lb.tu.chib-u.c.jp/oshibousi/. ランダム振動論 地震動を不規則波形 ( 確率過程 ) と捉えて, 構造物の地震応答を評価する理論. 震源モデルによる地震動評価 断層の動きを仮定して, 断層から発せられる地震動を評価する方法 ( 運動学的モデル
PowerPoint プレゼンテーション
非線形カルマンフィルタ ~a. 問題設定 ~ 離散時間非線形状態空間表現 x k + 1 = f x k y k = h x k + bv k + w k f : ベクトル値をとるx k の非線形関数 h : スカラ値をとるx k の非線形関数 v k システム雑音 ( 平均値 0, 分散 σ v 2 k ) x k + 1 = f x k,v k w k 観測雑音 ( 平均値 0, 分散 σ w
(3) 検定統計量の有意確率にもとづく仮説の採否データから有意確率 (significant probability, p 値 ) を求め 有意水準と照合する 有意確率とは データの分析によって得られた統計値が偶然おこる確率のこと あらかじめ設定した有意確率より低い場合は 帰無仮説を棄却して対立仮説
第 3 章 t 検定 (pp. 33-42) 3-1 統計的検定 統計的検定とは 設定した仮説を検証する場合に 仮説に基づいて集めた標本を 確率論の観点から分析 検証すること 使用する標本は 母集団から無作為抽出されたものでなければならない パラメトリック検定とノンパラメトリック検定 パラメトリック検定は母集団が正規分布に従う間隔尺度あるいは比率尺度の連続データを対象とする ノンパラメトリック検定は母集団に特定の分布を仮定しない
Excelを用いた行列演算
を用いた行列演算 ( 統計専門課程国民 県民経済計算の受講に向けて ) 総務省統計研究研修所 この教材の内容について計量経済学における多くの経済モデルは連立方程式を用いて記述されています この教材は こうした科目の演習においてそうした連立方程式の計算をExcelで行う際の技能を補足するものです 冒頭 そもそもどういう場面で連立方程式が登場するのかについて概括的に触れ なぜ この教材で連立方程式の解法について事前に学んでおく必要があるのか理解していただこうと思います
Microsoft PowerPoint - 基礎・経済統計6.ppt
. 確率変数 基礎 経済統計 6 確率分布 事象を数値化したもの ( 事象ー > 数値 の関数 自然に数値されている場合 さいころの目 量的尺度 数値化が必要な場合 質的尺度, 順序的尺度 それらの尺度に数値を割り当てる 例えば, コインの表が出たら, 裏なら 0. 離散確率変数と連続確率変数 確率変数の値 連続値をとるもの 身長, 体重, 実質 GDP など とびとびの値 離散値をとるもの 新生児の性別
今日の要点 あぶない 時系列データ解析は やめましょう! 統計モデル のあてはめ (危 1) 時系列データの GLM あてはめ (危 2) 時系列Yt 時系列 Xt 各時刻の個体数 気温 とか
時系列データ解析でよく見る あぶない モデリング 久保拓弥 (北海道大 環境科学) 1/56 今日の要点 あぶない 時系列データ解析は やめましょう! 統計モデル のあてはめ (危 1) 時系列データの GLM あてはめ (危 2) 時系列Yt 時系列 Xt 各時刻の個体数 気温 とか (危 1) 時系列データを GLM で (危 2) 時系列Yt 時系列 Xt 相関は因果関係ではない 問題の一部
Learning Bayesian Network from data 本論文はデータから大規模なベイジアン ネットワークを構築する TPDA(Three Phase Dependency Analysis) のアルゴリズムを記述 2002 年の発表だが 現在も大規模用 BN モデルのベンチマークと
@mabo0725 2015 年 05 月 29 日 Learning Bayesian Network from data 本論文はデータから大規模なベイジアン ネットワークを構築する TPDA(Three Phase Dependency Analysis) のアルゴリズムを記述 2002 年の発表だが 現在も大規模用 BN モデルのベンチマークとして使用されている TPDA は BN Power
基礎統計
基礎統計 第 11 回講義資料 6.4.2 標本平均の差の標本分布 母平均の差 標本平均の差をみれば良い ただし, 母分散に依存するため場合分けをする 1 2 3 分散が既知分散が未知であるが等しい分散が未知であり等しいとは限らない 1 母分散が既知のとき が既知 標準化変量 2 母分散が未知であり, 等しいとき 分散が未知であるが, 等しいということは分かっているとき 標準化変量 自由度 の t
EBNと疫学
推定と検定 57 ( 復習 ) 記述統計と推測統計 統計解析は大きく 2 つに分けられる 記述統計 推測統計 記述統計 観察集団の特性を示すもの 代表値 ( 平均値や中央値 ) や ばらつきの指標 ( 標準偏差など ) 図表を効果的に使う 推測統計 観察集団のデータから母集団の特性を 推定 する 平均 / 分散 / 係数値などの推定 ( 点推定 ) 点推定値のばらつきを調べる ( 区間推定 ) 検定統計量を用いた検定
ディジタル信号処理
ディジタルフィルタの設計法. 逆フィルター. 直線位相 FIR フィルタの設計. 窓関数法による FIR フィルタの設計.5 時間領域での FIR フィルタの設計 3. アナログフィルタを基にしたディジタル IIR フィルタの設計法 I 4. アナログフィルタを基にしたディジタル IIR フィルタの設計法 II 5. 双 次フィルタ LI 離散時間システムの基礎式の証明 [ ] 4. ] [ ]*
パソコンシミュレータの現状
第 2 章微分 偏微分, 写像 豊橋技術科学大学森謙一郎 2. 連続関数と微分 工学において物理現象を支配する方程式は微分方程式で表されていることが多く, 有限要素法も微分方程式を解く数値解析法であり, 定式化においては微分 積分が一般的に用いられており. 数学の基礎知識が必要になる. 図 2. に示すように, 微分は連続な関数 f() の傾きを求めることであり, 微小な に対して傾きを表し, を無限に
リスク分析・シミュレーション
はじめての Crystal Ball 操作マニュアル編 株式会社構造計画研究所 164-0012 東京都中野区中央 4-5-3 TEL:03-5342-1090 Copyright 2012 KOZO KEIKAKU ENGINEERING Inc. All Rights Reserved. はじめに 本マニュアルは 初めて Crystal Ball を操作する方向けに作成された入門マニュアルです
Microsoft Word - lec_student-chp3_1-representative
1. はじめに この節でのテーマ データ分布の中心位置を数値で表す 可視化でとらえた分布の中心位置を数量化する 平均値とメジアン, 幾何平均 この節での到達目標 1 平均値 メジアン 幾何平均の定義を書ける 2 平均値とメジアン, 幾何平均の特徴と使える状況を説明できる. 3 平均値 メジアン 幾何平均を計算できる 2. 特性値 集めたデータを度数分布表やヒストグラムに整理する ( 可視化する )
MFIV となる Volatility Index Japan(VXJ) を日次で算出 公表している VIX 等と同様にTは約 1 ヶ月に設定 近似ターゲットは V t である 現行バージョンの計算方法は CBOE 方式に準じているが CSFI ではより高い精度で V t を近似する方法を研究開発中
日本版ボラティリティ インデックス VXJ の時系列特性 大阪大学金融 保険教育研究センター石田功 1 ボラティリティ インデックス 資産価格のボラティリティが デリバティイブの価格付けやヘッジ アセット アロケーション等 投資意思決定のあらゆる分野においてキーとなる重要な要素であることはいうまでもない しかしながら ボラティリティは直接観測できないため 資産価格の過去の時系列データから統計的に推定したものや
