Microsoft PowerPoint - OsakaU_2methods.pptx
|
|
|
- きのこ のあき
- 5 years ago
- Views:
Transcription
1 カーネル法入門 2. さまざまなカーネル法 福水健次 統計数理研究所 / 総合研究大学院大学 大阪大学大学院基礎工学研究科 集中講義 2014 September 1
2 カーネル法のいくつかの例を通して, カーネル法の考え方を理解する, カーネル PCA カーネル CCA カーネルリッジ回帰 サポートベクターマシンの初歩 2
3 カーネル PCA 3
4 再掲 : カーネル PCA のアルゴリズム 中心化 Gram 行列 の計算 の固有分解 第 p 主成分方向 Φ Φ X (i) の第 p 主成分 4 N i T i i i X u u K 1 ~ N 固有値単位固有ベクトル u N u u,, 2, 1 N b b i j i ij X X X k N X X k K 1 ) ( ) ( ) ( ) ( ), ( 1 ), ( ~ N b a b a N a j a X X k N X X k N 1, ) ( ) ( 2 1 ) ( ) ( ), ( 1 ), ( 1
5 カーネル PCA の例 Wine データ (UCI repository) 3 種類のイタリアワインに関する,13 次元の化学測定値 178 データ. クラスの情報はカーネルPCAには用いていない 4 3 Linear PCA Kernel PCA (Gaussian kernel) ( = 3)
6 Kernel PCA (Gaussian) = = = k G 2 ( x, y) exp x y
7 応用 : ノイズ削減 カーネルPCA をノイズ削減に応用 : 主成分 = 有益な情報, その他の方向 = ノイズ Surface of clean images 7
8 カーネル PCA の適用 : d 個の主成分方向が張る d 次元部分空間 G x : x の V d への正射影 = ノイズ除去された特徴ベクトル. 原像問題 : を近似する特徴ベクトル Φ を与える原像 を求める. xˆ arg min ( x) G x x (x) G x 0 G x は の像に入っているとは限らない
9 USPS データ Original data (NOT used for PCA) Noisy images Noise reduced images(linear PCA) Noise reduced images (kernel PCA, Gaussian kernel) (Generated by Matlab stprtool by V. Franc) 9
10 カーネル PCA の特徴 非線形な次元削減 : 非線形特徴を捉えることが可能. 識別などさらなる解析の前処理として用いることも多い ( 次元削減 / 特徴抽出 ) 結果はカーネル ( あるいはパラメータ ) に大きく依存する. 線形 PCA のように, 軸に対する解釈を与えることは容易ではない. カーネル / パラメータをどのように決めるか? Cross-validationの適用はそのままではうまくいかない. 前処理として用いる場合は, 最終的な結果のよさをcross- vaildationなどで測れる場合がある. 10
11 カーネル正準相関分析 11
12 正準相関分析 正準相関分析 Canonical correlation analysis (CCA, Hotelling 1936) 2つの多次元の変数の線形相関を見る方法. Data,,,, : m- 次元, : l- 次元 と の相関が最大になるように, ベクトル, を求める. max Corr[ a T X, b T Y ] max Cov[ a Var[ a X, b Y ] X ] Var[ b a, b a, b T T Y T T ], X a a T X b T Y b Y 12
13 CCA の解法 max, subject to 1. 一般化固有問題に還元される : [ 演習問題 : これを導出せよ. ( ヒント. Lagrange 乗数法を用いよ.)] 解 : / /, ( ) は / / の最大特異値に対する左 ( 右 ) 単位固有ベクトル. 13
14 カーネル正準相関分析 カーネル CCA (Akaho 2000, Melzer et al. 2002, Bach et al 2002) 線形相関だけでなく, 依存性 / 関連性が調べられる. データ :,,,, 任意の確率変数 ( とは限らない ) カーネル, を決め, 特徴ベクトルに CCA を施す.,, Φ,,,Φ,,, Φ,,Φ. max, Cov, Var Var, Φ Φ, max,, Φ, Φ X x f x (X) f (X ) g(y ) g y (Y) y Y II-14
15 Φ, Φ としてよい. max, (kernel PCA と同じ ), : 中心化 Gram 行列 正則化が必要 : 自明な解,, Φ Φ, max,, Φ, Φ ( 推定量は一致性を持つ. Fukumizu et al JMLR 2007) 解 : 一般化固有値問題 15
16 KCCA の応用 テキストからの画像検索の問題 (Hardoon, et al. 2004). X i : 画像, Y i : 対応するテキスト ( 同じウエブページから採取 ). KCCAによって,d 個のベクトル f 1,,f d と g 1,,g d を取る. これらは,X と Y が最も依存するような特徴空間の部分空間を張る. 新しい単語 に対し, 最も内積の値が大きくなる画像を結果として返す. X i x x (X i ) f f f 1, d x, ( X x i ( X i ) ) g1, g d, y y ( Y ) ( Y) g y (Y) y Y at phoenix sky harbor on july 6, s7, n907wa,... 16
17 例 : 画像 : ガウスカーネル テキスト : Bag-of-words カーネル ( 単語の頻度 ). Text -- height: 6-11, weight: 235 lbs, position: forward, born: september 18, 1968, split, croatia college: none 検索された画像の結果 ( トップ5) 17
18 脳信号への応用 18
19 カーネルリッジ回帰 19
20 リッジ回帰,,,, : (, ) リッジ回帰 : 線形回帰 2ノルムによる正則化 min ( 定数項は簡単のため省略して書く ) 解 (2 次関数の最適化 ): ここで,, リッジ回帰は, が特異な ( または特異に近い ) 場合によく用いられる. -- 共線性への対処 20
21 カーネルリッジ回帰,,,, : 任意の変数,. リッジ回帰のカーネル化 : に対するカーネル を用いる equivalently, min, Φ min Ridge regression on Nonlinear ridge regr. 21
22 解は特徴ベクトルの線形和の形 Φ とおく. ( Φ, : 直交補空間の成分 ) このとき, 目的関数 =,Φ c j ( X j ),,Φ ) 第 1 項は に依存しない. 第 2 項は 0 のとき最小. f n j1 目的関数 : 解 :,, 22
23 正則化 最小化問題 min は, 誤差 0が可能. しかし, 無数に解を持ち得る. 正則化 min 関数が滑らかになりやすい罰則項がよく用いられる. 滑らかさとRKHSノルムとの関係は Chapter 3 を参照. 23
24 比較実験 カーネルリッジ回帰 vs 局所線形回帰 1/1.5, ~ 0,, ~ 0, 0.1 = 100, 500 runs カーネルリッジ回帰 Gaussカーネル局所線形回帰 Epanechnikovカーネル * (R locfit ) Mean square errors Kernel method Local linear バンド幅はともに Cross-vaildation で選択 Dimension of X *Epanechnikov カーネル = 1 24
25 局所線形回帰 (e.g., Fan and Gijbels 1996) : 平滑化カーネル / Parzen ウィンドー ( 0, 1, 正定値性は仮定しない ) 局所線形回帰 is estimated by min, 各 に対して最適化問題を解く. 最適化は重み付最小 2 乗誤差問題として陽に解ける. 推定量の統計的性質は詳しく調べられている. が1 次元の時, 局所線形回帰はよい結果を与える. 一般に局所多項式回帰は理論的な最適性を有している. しかし, 高次元データ (5,6 次元以上 ) に弱いことが知られている. 25
26 Epanechnikov カーネル 3 4 1, 26
27 Nonparametric regression: theoretical comparison Kernel ridge regression Convergence rate (Eberts & Steinwart 2011) If is Gaussian, and, (under some technical assumptions) for any > 0, Note: (Stone 1982). is the optimal rate for a linear estimator. * : Sobolev space of order. Local polynomial fitting attains this rate if the degree of polynomial is sufficient. 27
28 Support Vector Machine 28
29 2 値識別問題 訓練データ 線形識別線形関数目的関数 29 ) ( ) ( 1 (2) (2) 1 (1) (1) 1 N m N m m X X X X X X X Input data N N Y Y Y Y } 1 { ) ( (2) (1) Class label ) sgn( ) (, b x w x h T b w ) ( ) (, ) ( i i b w Y X h for all (or most) i.
30 マージン最大化 仮定 : 線形識別可能. ある, があって sgn. 一般に解は一意ではなく無数にある ( 連続濃度 ). どのように決めるか? マージン最大化規準 : マージンを最大にする線形識別関数を選択する. マージン = 方向で測った時の2つのクラスの距離. 識別境界は,2つのクラスまでの距離の中間. 30
31 Hyperplane with small margin support vectors w Hyperplane with largest margin
32 マージンの測り方スケールを固定するため以下のように正規化する min 1 for the closest point with 1, min 1 for the closest point with 1. このとき, マージン w 2 [ 演習問題 : これを示せ ]
33 マージン最大化識別器 : max subject to 以下と同値 min, subject to 1. 線形サポートベクターマシン ( ハードマージン ) 2 次計画 (QP): 線形不等式制約のもとでの2 次関数の最小化. 凸最適化. 局所解がない! QP ソルバーは多くのソフトウエアパッケージで提供されている. 33
34 global minimum local minimum Non-convex function Quadratic Program (convex program) 34
35 ソフトマージン SVM 線形識別可能という仮定は非現実的 緩和ハードな制約 : 1 ソフトな制約 : 1, 0. マージン最大化線形識別器 ( ソフトマージン ) min,, subj. to 1, 0. 最適化はやはりQP. はハイパーパラメータ. ユーザが決定する必要がある. 35
36
37 SVM のカーネル化 線形 SVM のカーネル化,,,, : 訓練データ : 集合 の元.( 任意の型, ベクトルでなくてもよい ) 1, 1 :2 値 : 上の正定値カーネル. : の定めるRKHS. Φ, : 特徴ベクトル. 特徴空間上の線形識別器 : sgn, Φ c.f. f T ( x) sgn( w x b) 37
38 SVM の目的関数 min,, subj. to 1 0. Representer 定理 ( 後述 ) 最適な は以下の形で探せば十分, Note:,,,. 38
39 SVM ( カーネル版 ) min,,, subj. to 0., 1 最適化はやはりQP. 双対問題のほうが容易に解ける (Chap. 5). ハイパーパラメータ とカーネルのパラメータは,cross-validationで選択する場合が多い. 39
40 SVM と正則化 ソフトマージン SVM は次の正則化問題と同値 ( 1/): where min, 1 max, 0. max(z,0) 0 z 40
41 証明 SVMの最適化問題 min, min, subj. to 1, 0. subj. to max1,0. min, 1 min 1 ( 1/) 41
42 正則化 不良設定問題 : min が広い関数クラスから選ばれると多くの が誤差 0を与える, 正則化 min 解が一意になる. 滑らかな関数のノルムが小さくなるように正則化することが多い. 42
43 SVM のデモ 多くのソフトウエアが公開されている. LibSVM etc JavaScriptの例 43
44 応用 : 手書き数字認識 MNIST: 手書き数字データベース 28 x 28 ピクセルの2 値画像 訓練データ テストデータ Methods Error rates K-NN PCA + Quad 3.3 RBF network 3.6 LeNet LeNet SVM Poly RS-SVM Poly Y. LeCun et al. (2001) in Intelligent Signal Processing. 44
45 交差検証法 Cross-validation クロスバリデーション (CV): 未知データに対する識別 / 予測の誤差を推定する手法. K-fold CV データを ( ランダムに ) 個に分割する. For 1,, 第 グループをテストデータに残し, 他のデータで学習. 第 グループに対するテスト誤差を測る. 個の誤差を平均. Leave-one-out CV (LOOCV). 1,, に対し, 第 データ以外で学習し, 第 データに対する誤差を測る. 個の誤差を平均. 45
46 46
47 SVM のまとめ マージン最大化 ベイズ最適ではないが, 他のよい点を持っている. カーネル法 非線形識別器への発展が容易. 2 次計画 : 最適化問題は標準的な QP. ソフトウエアパッケージが利用可. スパース表現 : 識別器は, 少数のサポートベクターにより表現される (Chap.4 で説明 ) 正則化 ソフトマージン SVM の目的関数は正則化として表現できる. 47
48 Representer 定理 48
49 Representer 定理 カーネル法での最適化問題 カーネルリッジ回帰 SVM min min 1 カーネルPCA min Ω 解は の形をとることをすでに見た Ω 0, if 0,1, if 1, 49
50 一般的定式化,, Ω ;,, Ω : データ :Ω 上の正定値カーネル, : の定めるRKHS,, : 固定の関数 ( 定数部分など ) Ψ :0, : 正則化のための単調増加関数一般的最適化問題 min, ;, Ψ 定理 2.1 (Representer 定理 ) 上の仮定のもと, 最小化問題の解は, の形で十分である. さらに Ψ が狭義の増加関数の場合, この形に限られる. Representer 定理により, 関数空間での最適化が有限次元 ( データ数 ) の最適化に還元される. 50
51 証明 : Span,,,,, をその直交補空間として, と直交分解する. この分解にしたがって, を と分解すると,,, 0により, 目的関数 の値は を に置き換えても変化しない. 一方, より, Ψ Ψ が成り立つ. したがって, の元によって解が与えられる. 51
52 カーネルの選択 カーネル法の結果の良否は, 用いるカーネルに強く依存する. カーネルの選択 : ガウス, ラプラス, 多項式? パラメータの選択 : e.g. exp のバンド幅 問題の性質に適したカーネルを用いる周波数特性, 構造化データ,etc 教師あり学習 (SVM, カーネルリッジ回帰, etc) Cross-validationが有効 ( 計算量が許せば ) 教師なし学習 ( カーネルPCAなど ) 標準的方法はない. 関連する教師あり学習を作成すれば,cross-validationが使える. 52
53 カーネルの学習 Multiple Kernel Learning 複数のカーネルの凸結合 ( 線形結合 ) を考え, その係数も最適化する,,, 53
54 まとめ 54
55 カーネル法の一般的性質 効率的計算による非線形特徴の抽出元の空間が高次元でも, 計算量が増大しない特別な特徴写像を用いる カーネルトリック正定値カーネルを特徴写像に用いることより, 特徴ベクトルの内積が容易に計算できる. Representer 定理殆どのカーネル法は, 解が特徴ベクトルの線形和の形で表現可能. 従って, データ数の個数のパラメータ最適化問題に変換される. グラム行列による計算カーネルトリックとRepresenter 定理により, 必要な計算はグラム行列の処理に還元される. 従って, データ数に依存する計算量となる. 非ベクトルデータカーネル法は, 正定値カーネルが定義されれば, 任意の集合に対して適用できる. 構造化データ解析 (Chap. 5) 55
56 その他のカーネル法 カーネルK-means クラスタリング特徴空間でK-meansクラスタリングを行う. カーネル Partial Least Square 非線形回帰であるPLSのカーネル化 カーネルロジスティック回帰ロジスティック回帰のカーネル化 サポートベクター回帰回帰問題へのSVMの拡張 1-クラスサポートベクターマシン密度関数のレベル集合の推定へのSVMの拡張 etc. 56
57 References 福水 カーネル法入門 3 章朝倉書店 2010 Schölkopf, B., A. Smola, and K-R. Müller. (1998) Nonlinear component analysis as a kernel eigenvalue problem. Neural Computation, 10: Akaho. (2000) Kernel Canonical Correlation Analysis. Proc. 3rd Workshop on Inductionbased Information Sciences (IBIS2000). (in Japanese) Bach, F.R. and M.I. Jordan. (2002) Kernel independent component analysis. Journal of Machine Learning Research, 3:1 48. Melzer, T., M. Reiter, and H. Bischof. (2001) Nonlinear feature extraction using generalized canonical correlation analysis. Proc. Intern. Conf..Artificial Neural Networks (ICANN 2001), Fukumizu, K., F. R. Bach and A. Gretton (2007). Statistical Consistency of Kernel Canonical Correlation Analysis. Journal of Machine Learning Research 8, Hardoon, D.R., S. Szedmak, and J. Shawe-Taylor. (2004) Canonical correlation analysis: An overview with application to learning methods. Neural Computation, 16: Fan, J. and I. Gijbels. Local Polynomial Modelling and Its Applications. Chapman Hall/CRC,
58 Boser, B.E., I.M. Guyon, and V.N. Vapnik. A training algorithm for optimal margin classifiers. In D. Haussler, editor, Fifth Annual ACM Workshop on Computational Learning Theory, pages , Pittsburgh, PA, ACM Press. Boser, B.E., I.M. Guyon, and V.N. Vapnik. A training algorithm for optimal margin classifiers. In D. Haussler, editor, Fifth Annual ACM Workshop on Computational Learning Theory, pages , Pittsburgh, PA, ACM Press. Vapnik, V.N. The Nature of Statistical Learning Theory. Springer Cristianini, N., J. Shawe-Taylor. An Introduction to Support Vector Machines. Cambridge Univ. Press Dhillon, I. S., Y. Guan, and B. Kulis. (2004) Kernel k-means, spectral clustering and normalized cuts. Proc. 10th ACM SIGKDD Intern. Conf. Knowledge Discovery and Data Mining (KDD), Mika, S., G. Rätsch, J. Weston, B. Schölkopf, and K.-R. Müller. (1999) Fisher discriminant analysis with kernels. In Y.-H. Hu, J. Larsen, E. Wilson, and S. Douglas, edits, Neural Networks for Signal Processing, volume IX, IEEE. Rosipal, R. and L.J. Trejo. (2001) Kernel partial least squares regression in reproducing kernel Hilbert space. Journal of Machine Learning Research, 2:
59 Roth, V. (2001) Probabilistic discriminative kernel classifiers for multi-class problems. In Pattern Recognition: Proc. 23rd DAGM Symposium, Springer. Crammer, K. and Y. Singer. On the algorithmic implementation of multiclass kernelbased vector machines. Journal of Machine Learning Research, 2: , Schölkopf, B., J.C. Platt, J. Shawe-Taylor, R.C. Williamson, and A.J.Smola. (2001) Estimating the support of a high-dimensional distribution. Neural Computation, 13(7):
Microsoft PowerPoint - OsakaU_1intro.pptx
カーネル法入門. カーネル法へのイントロダクション 福水健次 統計数理研究所 / 総合研究大学院大学 大阪大学大阪大学大学院基礎工学研究科 集中講義 204 September カーネル法 : 近年 990 年代半ばごろから 発展したデータ解析の方法論. 非線形な情報や高次モーメントの扱いが容易. サポートベクターマシンの提案が発端となった. 2 線形なデータ解析 非線形な データ解析 3 データ解析とは?
PowerPoint Presentation
. カーネル法への招待 正定値カーネルによるデータ解析 - カーネル法の基礎と展開 - 福水健次統計数理研究所 / 総合研究大学院大学 統計数理研究所公開講座 0 年 月 34 日 概要 カーネル法の基本 線形データ解析と非線形データ解析 カーネル法の原理 カーネル法の つの例 カーネル主成分分析 : PCA の非線形拡張 リッジ回帰とそのカーネル化 概要 カーネル法の基本 線形データ解析と非線形データ解析
Microsoft PowerPoint - IBIS2012_open.pptx
カーネル法の新展開 ーその理論と応用ー 福水 健次 統計数理研究所 / 総合研究大学院大学 第 15 回情報論的学習理論ワークショップ (IBIS2012) 2012.11.7 9. @ 筑波大学東京キャンパス 1 Outline 1. イントロダクション : カーネル法の概要 2. 確率分布の表現としてのカーネル法 3. 条件付確率の表現と推定精度 4. カーネル推論則 5. おわりに 2 データの高次元性,
カーネル法による 非線形データ解析法
カーネル法による 非線形データ解析入門 福水健次 情報 システム研究機構統計数理研究所 March 3, 2006. @ ROIS Cross-talk あらまし. イントロ : 線形から非線形へ 2. カーネル法 : 高次元の内積計算 3. カーネル法の具体例 : カーネル PCA とカーネル CCA 4. グラフに対するデータ解析 5. まとめ 2 Introduction 線形から非線形へ.
Microsoft PowerPoint - H17-5時限（パターン認識）.ppt
パターン認識早稲田大学講義 平成 7 年度 独 産業技術総合研究所栗田多喜夫 赤穂昭太郎 統計的特徴抽出 パターン認識過程 特徴抽出 認識対象から何らかの特徴量を計測 抽出 する必要がある 認識に有効な情報 特徴 を抽出し 次元を縮小した効率の良い空間を構成する過程 文字認識 : スキャナ等で取り込んだ画像から文字の識別に必要な本質的な特徴のみを抽出 例 文字線の傾き 曲率 面積など 識別 与えられた未知の対象を
0 部分的最小二乗回帰 Partial Least Squares Regression PLS 明治大学理 学部応用化学科 データ化学 学研究室 弘昌
0 部分的最小二乗回帰 Parial Leas Squares Regressio PLS 明治大学理 学部応用化学科 データ化学 学研究室 弘昌 部分的最小二乗回帰 (PLS) とは? 部分的最小二乗回帰 (Parial Leas Squares Regressio, PLS) 線形の回帰分析手法の つ 説明変数 ( 記述 ) の数がサンプルの数より多くても計算可能 回帰式を作るときにノイズの影響を受けにくい
x T = (x 1,, x M ) x T x M K C 1,, C K 22 x w y 1: 2 2
Takio Kurita Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aistgojp (Support Vector Machine, SVM) 1 (Support Vector Machine, SVM) ( ) 2
目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定
公開講座 : ガウス過程の基礎と応用 05/3/3 ガウス過程の基礎 統計数理研究所 松井知子 目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定 GP 序論 ノンパラメトリック予測 カーネル法の利用 参照文献 : C. E. Rasmussen and C. K. I. Williams
カーネル法
講義 1: カーネル法 産業技術総合研究所津田宏治 1 産業技術総合研究所 ( 産総研 ) 産業技術分野におけるさまざまな研究開発を総合的に行う経済産業省所管の研究組織である ライフサイエンス 情報 通信 環境 エネルギー ナノテク 材料 製造 地質 海洋 標準 計測 の 6 分野を主軸に 日本の産業のほぼ全分野を網羅している 陣容は 研究職を中心とする常勤職員約 2500 名 事務系職員約 700
…p…^†[…fiflF”¯ Pattern Recognition
Pattern Recognition Shin ichi Satoh National Institute of Informatics June 11, 2019 (Support Vector Machines) (Support Vector Machines: SVM) SVM Vladimir N. Vapnik and Alexey Ya. Chervonenkis 1963 SVM
Microsoft PowerPoint - 資料04 重回帰分析.ppt
04. 重回帰分析 京都大学 加納学 Division of Process Control & Process Sstems Engineering Department of Chemical Engineering, Koto Universit manabu@cheme.koto-u.ac.jp http://www-pse.cheme.koto-u.ac.jp/~kano/ Outline
Microsoft PowerPoint - Kernel_3_methods_tmp.pptx
3. さまざまなカーネル法 正定値カーネルによるデータ解析 - カーネル法の基礎と展開 - 福水健次統計数理研究所 / 総合研究大学院大学 統計数理研究所公開講座 0 年 月 3,4 日 概要 Kernel PCA の応用 Kernel CCA カーネル正準相関分析 サポートベクターマシンの基礎 カーネル法の方法論 共通する方法 Representer 定理 その他の話題 カーネルの選択 低ランク近似
Microsoft PowerPoint - ElasticConvergence
IBIS2010 スパース正則化学習の学習性能, 特にスパース性と汎化誤差の関係についてス性と汎化誤差の関係について 鈴木大慈東京大学情報理工学系研究科数理情報学専攻 2010 年 11 月 4 日 冨岡亮太 ( 東京大学 ), 杉山将 ( 東京工業大学 ) との共同研究 1 スパース性と汎化誤差の関係 どのような正則化が好ましい? Multiple Kernel Learning (MKL) Elasticnet
(MIRU2008) HOG Histograms of Oriented Gradients (HOG)
(MIRU2008) 2008 7 HOG - - E-mail: katsu0920@me.cs.scitec.kobe-u.ac.jp, {takigu,ariki}@kobe-u.ac.jp Histograms of Oriented Gradients (HOG) HOG Shape Contexts HOG 5.5 Histograms of Oriented Gradients D Human
24 SPAM Performance Comparison of Machine Learning Algorithms for SPAM Discrimination
24 SPAM Performance Comparison of Machine Learning Algorithms for SPAM Discrimination 1130378 2013 3 9 SPAM SPAM SPAM SPAM SVM AdaBoost RandomForest SPAM SPAM UCI Machine Learning Repository Spambase 4601
HOG HOG LBP LBP 4) LBP LBP Wang LBP HOG LBP 5) LBP LBP 1 r n 1 n, 1
1 1 1 Shwartz Histgrams of Oriented Gradients HOG PLS PLS KPLS INRIA PLS KPLS KPLS PLS Pedestrian Detection Using Kernel Partial Least Squares Analysis Takashi Abe, 1 Takayuki Okatani 1 and Kouichiro Deguchi
高次元データ スパース正則化学習法 最適化手法 proximal point algorithm 確率最適化手法 2
正則化学習法における最適化手法 鈴木大慈東京大学情報理工学系研究科数理情報学専攻 2013/2/18@ 九州大学伊都キャンパス文部科学省委託事業数学協働プログラム 最適化ワークショップ : 拡がっていく最適化 1 高次元データ スパース正則化学習法 最適化手法 proximal point algorithm 確率最適化手法 2 問題設定スパース正則化学習 3 高次元線形判別 物体認識 音声認識 自然言語処理
データサイエンス講座第 3 回機械学習その 2 ロジスティクス回帰 カーネル法とサポートベクターマシン アンサンブル学習
データサイエンス講座第 3 回機械学習その 2 ロジスティクス回帰 カーネル法とサポートベクターマシン アンサンブル学習 ロジスティクス回帰 基本的には重回帰分析のモデルと考え方は似ている = 1 1+ ( ) 目的変数 = 係数 説明変数 + 定数 この式をグラフ化すると y は 0 1 に収まる ( シグモイド関数 ) トレーニングデータから確率を最大となる地点をもとめ それぞれの係数を求める
untitled
K-Means 1 5 2 K-Means 7 2.1 K-Means.............................. 7 2.2 K-Means.......................... 8 2.3................... 9 3 K-Means 11 3.1.................................. 11 3.2..................................
AI技術の紹介とセンサーデータ解析への応用
AI を活用したセンサーデータ解析 MathWorks Japan アプリケーションエンジニアリンググループアプリケーションエンジニア吉田剛士 2018 The MathWorks, Inc. 1 AI を活用したセンサーデータ解析 11:20-11:50 MATLAB による AI 作成 アプリを使った簡易的な解析 学習モデルのパラメータ自動調整 学習モデルのスタンドアロン化 2 課題 : ターボファンエンジンの予知保全
Microsoft PowerPoint - H21生物計算化学２.ppt
演算子の行列表現 > L いま 次元ベクトル空間の基底をケットと書くことにする この基底は完全系を成すとすると 空間内の任意のケットベクトルは > > > これより 一度基底を与えてしまえば 任意のベクトルはその基底についての成分で完全に記述することができる これらの成分を列行列の形に書くと M これをベクトル の基底 { >} による行列表現という ところで 行列 A の共役 dont 行列は A
[1] SBS [2] SBS Random Forests[3] Random Forests ii
![[1] SBS [2] SBS Random Forests[3] Random Forests ii](/thumbs/74/70333192.jpg "[1] SBS [2] SBS Random Forests[3] Random Forests ii")
Random Forests 2013 3 A Graduation Thesis of College of Engineering, Chubu University Proposal of an efficient feature selection using the contribution rate of Random Forests Katsuya Shimazaki [1] SBS
Microsoft PowerPoint - 10.pptx
m u. 固有値とその応用 8/7/( 水 ). 固有値とその応用 固有値と固有ベクトル 行列による写像から固有ベクトルへ m m 行列 によって線形写像 f : R R が表せることを見てきた ここでは 次元平面の行列による写像を調べる とし 写像 f : を考える R R まず 単位ベクトルの像 u y y f : R R u u, u この事から 線形写像の性質を用いると 次の格子上の点全ての写像先が求まる
kut-paper-template.dvi
26 Discrimination of abnormal breath sound by using the features of breath sound 1150313 ,,,,,,,,,,,,, i Abstract Discrimination of abnormal breath sound by using the features of breath sound SATO Ryo
3 2 2 (1) (2) (3) (4) 4 4 AdaBoost 2. [11] Onishi&Yoda [8] Iwashita&Stoica [5] 4 [3] 3. 3 (1) (2) (3)
![3 2 2 (1) (2) (3) (4) 4 4 AdaBoost 2. [11] Onishi&Yoda [8] Iwashita&Stoica [5] 4 [3] 3. 3 (1) (2) (3)](/thumbs/68/59204737.jpg "3 2 2 (1) (2) (3) (4) 4 4 AdaBoost 2. [11] Onishi&Yoda [8] Iwashita&Stoica [5] 4 [3] 3. 3 (1) (2) (3)")
(MIRU2012) 2012 8 820-8502 680-4 E-mail: {d kouno,shimada,endo}@pluto.ai.kyutech.ac.jp (1) (2) (3) (4) 4 AdaBoost 1. Kanade [6] CLAFIC [12] EigenFace [10] 1 1 2 1 [7] 3 2 2 (1) (2) (3) (4) 4 4 AdaBoost
カイ二乗フィット検定、パラメータの誤差
統計的データ解析 008 008.. 林田清 ( 大阪大学大学院理学研究科 ) 問題 C (, ) ( x xˆ) ( y yˆ) σ x πσ σ y y Pabx (, ;,,, ) ˆ y σx σ y = dx exp exp πσx ただし xy ˆ ˆ はyˆ = axˆ+ bであらわされる直線モデル上の点 ( ˆ) ( ˆ ) ( ) x x y ax b y ax b Pabx (,
1 IDC Wo rldwide Business Analytics Technology and Services 2013-2017 Forecast 2 24 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/pdf/n2010000.pdf 3 Manyika, J., Chui, M., Brown, B., Bughin,
memo
数理情報工学特論第一 機械学習とデータマイニング 4 章 : 教師なし学習 3 かしまひさし 鹿島久嗣 ( 数理 6 研 ) kashima@mist.i.~ DEPARTMENT OF MATHEMATICAL INFORMATICS 1 グラフィカルモデルについて学びます グラフィカルモデル グラフィカルラッソ グラフィカルラッソの推定アルゴリズム 2 グラフィカルモデル 3 教師なし学習の主要タスクは
Presentation Title
センサーデータ解析と機械学習 ~ 振動データからの異常検出 ~ MathWorks Japan アプリケーションエンジニアリング部 ( テクニカルコンピューティング ) 太田英司 2015 2014 The MathWorks, Inc. 1 構造ヘルスモニタリング センサーとコンピュータにより構造物の健全性を自動監視する 老朽化する構造物 インフラの数 人手のみの監視による限界 人間では検知できない故障や異常の予兆
Probit , Mixed logit
Probit, Mixed logit 2016/5/16 スタートアップゼミ #5 B4 後藤祥孝 1 0. 目次 Probit モデルについて 1. モデル概要 2. 定式化と理解 3. 推定 Mixed logit モデルについて 4. モデル概要 5. 定式化と理解 6. 推定 2 1.Probit 概要 プロビットモデルとは. 効用関数の誤差項に多変量正規分布を仮定したもの. 誤差項には様々な要因が存在するため,
Microsoft PowerPoint - SSII_harada pptx
The state of the world The gathered data The processed data w d r I( W; D) I( W; R) The data processing theorem states that data processing can only destroy information. David J.C. MacKay. Information
untitled
KLT はエネルギを集約する カルーネンレーベ変換 (KLT) で 情報を集約する 要点 分散 7. 9. 8.3 3.7 4.5 4.0 KLT 前 集約 分散 0.3 0.4 4.5 7.4 3.4 00.7 KLT 後 分散 = エネルギ密度 エネルギ と表現 最大を 55, 最小を 0 に正規化して表示した 情報圧縮に応用できないか? エネルギ集約 データ圧縮 分散 ( 平均 ) KLT 前
Convolutional Neural Network A Graduation Thesis of College of Engineering, Chubu University Investigation of feature extraction by Convolution
Convolutional Neural Network 2014 3 A Graduation Thesis of College of Engineering, Chubu University Investigation of feature extraction by Convolutional Neural Network Fukui Hiroshi 1940 1980 [1] 90 3
Microsoft PowerPoint - 13approx.pptx
I482F 実践的アルゴリズム特論 13,14 回目 : 近似アルゴリズム 上原隆平 (uehara@jaist.ac.jp) ソートの下界の話 比較に基づく任意のソートアルゴリズムはΩ(n log n) 時間の計算時間が必要である 証明 ( 概略 ) k 回の比較で区別できる場合の数は高々 2 k 種類しかない n 個の要素の異なる並べ方は n! 通りある したがって少なくとも k n 2 n!
SAP11_03
第 3 回 音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和 東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所 講義内容 ( キーワード ) 信号処理 符号化 標準化の実用システム例の紹介情報通信の基本 ( 誤り検出 訂正符号 変調 IP) 符号化技術の基本 ( 量子化 予測 変換 圧縮 ) 音声分析 合成 認識 強調 音楽信号処理統計的信号処理の基礎
FEM原理講座 （サンプルテキスト）
サンプルテキスト FEM 原理講座 サイバネットシステム株式会社 8 年 月 9 日作成 サンプルテキストについて 各講師が 講義の内容が伝わりやすいページ を選びました テキストのページは必ずしも連続していません 一部を抜粋しています 幾何光学講座については 実物のテキストではなくガイダンスを掲載いたします 対象とする構造系 物理モデル 連続体 固体 弾性体 / 弾塑性体 / 粘弾性体 / 固体
18 2 20 W/C W/C W/C 4-4-1 0.05 1.0 1000 1. 1 1.1 1 1.2 3 2. 4 2.1 4 (1) 4 (2) 4 2.2 5 (1) 5 (2) 5 2.3 7 3. 8 3.1 8 3.2 ( ) 11 3.3 11 (1) 12 (2) 12 4. 14 4.1 14 4.2 14 (1) 15 (2) 16 (3) 17 4.3 17 5. 19
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌 スペクトルデータの特徴 1 波 ( 波数 ) が近いと 吸光度 ( 強度 ) の値も似ている ノイズが含まれる 吸光度 ( 強度 ) の極大値 ( ピーク ) 以外のデータも重要 時系列データの特徴 2 時刻が近いと プロセス変数の値も似ている ノイズが含まれる プロセス変数の極大値
( 前半 ) 目次 1. 辞書学習の導入と先行研究の紹介. 辞書学習の応用事例 3. 辞書学習のサンプル複雑度とは ( 後半 ) 4. 既存の辞書学習のアルゴリズム 5.Bayes 推定を用いた辞書学習のアルゴリズム /53
スパース表現を探す - 辞書学習におけるサンプル複雑度と アルゴリズム - 坂田綾香 A, 樺島祥介 B A 統計数理研究所, B 東京工業大学 1/53 ( 前半 ) 目次 1. 辞書学習の導入と先行研究の紹介. 辞書学習の応用事例 3. 辞書学習のサンプル複雑度とは ( 後半 ) 4. 既存の辞書学習のアルゴリズム 5.Bayes 推定を用いた辞書学習のアルゴリズム /53 ( 前半 ) 目次
! Aissi, H., Bazga, C., & Vaderpoote, D. (2009). Mi max ad mi max regret versios of combiatorial optimizatio problems: A survey. Europea joural of ope
mi max regret l m ( ) ! Aissi, H., Bazga, C., & Vaderpoote, D. (2009). Mi max ad mi max regret versios of combiatorial optimizatio problems: A survey. Europea joural of operatioal research, 197(2), 427-438.!
Microsoft PowerPoint - no1_19.pptx
数理計画法 ( 田地宏一 ) Inroducion o ahemaical Programming 教科書 : 新版数理計画入門, 福島雅夫, 朝倉書店 011 参考書 : 最適化法, 田村, 村松著, 共立出版 00 工学基礎最適化とその応用, 矢部著, 数理工学社 006,Linear and Nonlinear Opimizaion: second ediion, I.Griba, S.G.
航空機の運動方程式
可制御性 可観測性. 可制御性システムの状態を, 適切な操作によって, 有限時間内に, 任意の状態から別の任意の状態に移動させることができるか否かという特性を可制御性という. 可制御性を有するシステムに対し, システムは可制御である, 可制御なシステム という言い方をする. 状態方程式, 出力方程式が以下で表されるn 次元 m 入力 r 出力線形時不変システム x Ax u y x Du () に対し,
bag-of-words bag-of-keypoints Web bagof-keypoints Nearest Neighbor SVM Nearest Neighbor SIFT Nearest Neighbor bag-of-keypoints Nearest Neighbor SVM 84
Bag-of-Keypoints Web G.Csurka bag-of-keypoints Web Bag-of-keypoints SVM 5.% Web Image Classification with Bag-of-Keypoints Taichi joutou and Keiji yanai Recently, need for generic image recognition is
PowerPoint Presentation
付録 2 2 次元アフィン変換 直交変換 たたみ込み 1.2 次元のアフィン変換 座標 (x,y ) を (x,y) に移すことを 2 次元での変換. 特に, 変換が と書けるとき, アフィン変換, アフィン変換は, その 1 次の項による変換 と 0 次の項による変換 アフィン変換 0 次の項は平行移動 1 次の項は座標 (x, y ) をベクトルと考えて とすれば このようなもの 2 次元ベクトルの線形写像
09.pptx
講義内容 数値解析 第 9 回 5 年 6 月 7 日 水 理学部物理学科情報理学コース. 非線形方程式の数値解法. はじめに. 分法. 補間法.4 ニュートン法.4. 多変数問題への応用.4. ニュートン法の収束性. 連立 次方程式の解法. 序論と行列計算の基礎. ガウスの消去法. 重対角行列の場合の解法項目を変更しました.4 LU 分解法.5 特異値分解法.6 共役勾配法.7 反復法.7. ヤコビ法.7.
Microsoft PowerPoint rev.pptx
研究室紹介 卒業研究テーマ紹介 木村拓馬 佐賀大学理工学部知能情報システム学科第 2 研究グループ 第 2 研究グループ -- 木村拓馬 : 卒業研究テーマ紹介 (2016/2/16) 1/15 木村の専門分野 応用数学 ( 数値解析 最適化 ) 内容 : 数学 + 計算機 数学の理論に裏付けされた 良い 計算方法 良さ を計算機で検証する方法について研究 目標は でかい 速い 正確 第 2 研究グループ
要旨 1. 始めに PCA 2. 不偏分散, 分散, 共分散 N N 49
要旨 1. 始めに PCA 2. 不偏分散, 分散, 共分散 N N 49 N N Web x x y x x x y x y x y N 三井信宏 : 統計の落とし穴と蜘蛛の糸,https://www.yodosha.co.jp/jikkenigaku/statistics_pitfall/pitfall_.html 50 標本分散 不偏分散 図 1: 不偏分散のほうが母集団の分散に近付くことを示すシミュレーション
スライド 1
数値解析 2019 年度前期第 13 週 [7 月 11 日 ] 静岡大学創造科学技術大学院情報科学専攻工学部機械工学科計測情報講座 三浦憲二郎 講義アウトライン [7 月 11 日 ] 関数近似と補間 最小 2 乗近似による関数近似 ラグランジュ補間 T.Kanai, U.Tokyo 関数近似 p.116 複雑な関数を簡単な関数で近似する 関数近似 閉区間 [a,b] で定義された関数 f(x)
Microsoft Word ã‡»ã…«ã‡ªã…¼ã…‹ã…žã…‹ã…³ã†¨åłºæœ›å•¤(佒芤喋çfl�)
Cellulr uo nd heir eigenlues 東洋大学総合情報学部 佐藤忠一 Tdzu So Depren o Inorion Siene nd rs Toyo Uniersiy. まえがき 一次元セルオ-トマトンは数学的には記号列上の行列の固有値問題である 固有値問題の行列はふつう複素数体上の行列である 量子力学における固有値問題も無限次元ではあるが関数環上の行列でその成分は可換環である
johnny-paper2nd.dvi
13 The Rational Trading by Using Economic Fundamentals AOSHIMA Kentaro 14 2 26 ( ) : : : The Rational Trading by Using Economic Fundamentals AOSHIMA Kentaro abstract: Recently Artificial Markets on which
Microsoft PowerPoint - no1_17
数理計画法 田地宏一 Inrodcion o Mahemaical rogramming 教科書 : 新版数理計画入門 福島雅夫 朝倉書店 参考書 : 最適化法 田村 村松著 共立出版 工学基礎最適化とその応用 矢部著 数理工学社 6Linear and Nonlinear Opimizaion: second ediion I.Griba.G. Nash and A. ofer IAM 9 など多数
..,,,, , ( ) 3.,., 3.,., 500, 233.,, 3,,.,, i
25 Feature Selection for Prediction of Stock Price Time Series 1140357 2014 2 28 ..,,,,. 2013 1 1 12 31, ( ) 3.,., 3.,., 500, 233.,, 3,,.,, i Abstract Feature Selection for Prediction of Stock Price Time
航空機の運動方程式
オブザーバ 状態フィードバックにはすべての状態変数の値が必要であった. しかしながら, システムの外部から観測できるのは出力だけであり, すべての状態変数が観測できるとは限らない. そこで, 制御対象システムの状態変数を, システムのモデルに基づいてその入出力信号から推定する方法を考える.. オブザーバとは 次元 m 入力 r 出力線形時不変システム x Ax Bu y Cx () の状態変数ベクトル
Vol.-CVIM-7 No.7 /3/8 NLPCA kernel PCA KPCA 4),) NLPCA KPCA NLPCA KPCA principle curve principle surface KPCA ) ),),6),8),),3) ) Jacobian KPCA PCA ) P
Vol.-CVIM-7 No.7 /3/8 RANSAC M Subspace fitting via robust Jacobian kernel PCA Jun Fujiki and Shotaro Akaho The subspace fitting method based on the original kernel principle component analysis (PCA),
横浜市環境科学研究所
周期時系列の統計解析 単回帰分析 io 8 年 3 日 周期時系列に季節調整を行わないで単回帰分析を適用すると, 回帰係数には周期成分の影響が加わる. ここでは, 周期時系列をコサイン関数モデルで近似し単回帰分析によりモデルの回帰係数を求め, 周期成分の影響を検討した. また, その結果を気温時系列に当てはめ, 課題等について考察した. 気温時系列とコサイン関数モデル第 報の結果を利用するので, その一部を再掲する.
14 化学実験法 II( 吉村 ( 洋 mmol/l の半分だったから さんの測定値は くんの測定値の 4 倍の重みがあり 推定値 としては 0.68 mmol/l その標準偏差は mmol/l 程度ということになる 測定値を 特徴づけるパラメータ t を推定するこの手
14 化学実験法 II( 吉村 ( 洋 014.6.1. 最小 乗法のはなし 014.6.1. 内容 最小 乗法のはなし...1 最小 乗法の考え方...1 最小 乗法によるパラメータの決定... パラメータの信頼区間...3 重みの異なるデータの取扱い...4 相関係数 決定係数 ( 最小 乗法を語るもう一つの立場...5 実験条件の誤差の影響...5 問題...6 最小 乗法の考え方 飲料水中のカルシウム濃度を
IS1-09 第 回画像センシングシンポジウム, 横浜,14 年 6 月 2 Hough Forest Hough Forest[6] Random Forest( [5]) Random Forest Hough Forest Hough Forest 2.1 Hough Forest 1 2.2
![IS1-09 第 回画像センシングシンポジウム, 横浜,14 年 6 月 2 Hough Forest Hough Forest[6] Random Forest( [5]) Random Forest Hough Forest Hough Forest 2.1 Hough Forest 1 2.2](/thumbs/91/106196100.jpg "IS1-09 第 回画像センシングシンポジウム, 横浜,14 年 6 月 2 Hough Forest Hough Forest[6] Random Forest( [5]) Random Forest Hough Forest Hough Forest 2.1 Hough Forest 1 2.2")
IS1-09 第 回画像センシングシンポジウム, 横浜,14 年 6 月 MI-Hough Forest () E-mail: ym@vision.cs.chubu.ac.jphf@cs.chubu.ac.jp Abstract Hough Forest Random Forest MI-Hough Forest Multiple Instance Learning Bag Hough Forest
1 1 2 3 2.1.................. 3 2.2.......... 6 3 7 3.1......................... 7 3.1.1 ALAGIN................ 7 3.1.2 (SVM).........................
[5] Yahoo! Yahoo! (SVM) 3 F 7 7 (SVM) 3 F 6 0 1 1 2 3 2.1.................. 3 2.2.......... 6 3 7 3.1......................... 7 3.1.1 ALAGIN................ 7 3.1.2 (SVM)........................... 8
(fnirs: Functional Near-Infrared Spectroscopy) [3] fnirs (oxyhb) Bulling [4] Kunze [5] [6] 2. 2 [7] [8] fnirs 3. 1 fnirs fnirs fnirs 1
![(fnirs: Functional Near-Infrared Spectroscopy) [3] fnirs (oxyhb) Bulling [4] Kunze [5] [6] 2. 2 [7] [8] fnirs 3. 1 fnirs fnirs fnirs 1](/thumbs/49/25651654.jpg "(fnirs: Functional Near-Infrared Spectroscopy) [3] fnirs (oxyhb) Bulling [4] Kunze [5] [6] 2. 2 [7] [8] fnirs 3. 1 fnirs fnirs fnirs 1")
THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE. fnirs Kai Kunze 599 8531 1 1 223 8526 4 1 1 E-mail: yoshimura@m.cs.osakafu-u.ac.jp, kai@kmd.keio.ac.jp,
様々なミクロ計量モデル†
担当 : 長倉大輔 ( ながくらだいすけ ) この資料は私の講義において使用するために作成した資料です WEB ページ上で公開しており 自由に参照して頂いて構いません ただし 内容について 一応検証してありますが もし間違いがあった場合でもそれによって生じるいかなる損害 不利益について責任を負いかねますのでご了承ください 間違いは発見次第 継続的に直していますが まだ存在する可能性があります 1 カウントデータモデル
DVIOUT
最適レギュレータ 松尾研究室資料 第 最適レギュレータ 節時不変型無限時間最適レギュレータ 状態フィードバックの可能な場合の無限時間問題における最適レギュレータについて確定系について説明する. ここで, レギュレータとは状態量をゼロにするようなコントローラのことである. なぜ, 無限時間問題のみを述べるかという理由は以下のとおりである. 有限時間の最適レギュレータ問題の場合の最適フィードバックゲインは微分方程式の解から構成される時間関数として表現される.
<4D F736F F D E4F8E9F82C982A882AF82E98D7397F1>
3 三次における行列 要旨高校では ほとんど 2 2 の正方行列しか扱ってなく 三次の正方行列について考えてみたかったため 数 C で学んだ定理を三次の正方行列に応用して 自分たちで仮説を立てて求めていったら 空間における回転移動を表す行列 三次のケーリー ハミルトンの定理 三次における逆行列を求めたり 仮説をたてることができた. 目的 数 C で学んだ定理を三次の正方行列に応用する 2. 概要目的の到達点として
,.,. NP,., ,.,,.,.,,, (PCA)...,,. Tipping and Bishop (1999) PCA. (PPCA)., (Ilin and Raiko, 2010). PPCA EM., , tatsukaw
,.,. NP,.,. 1 1.1.,.,,.,.,,,. 2. 1.1.1 (PCA)...,,. Tipping and Bishop (1999) PCA. (PPCA)., (Ilin and Raiko, 2010). PPCA EM., 152-8552 2-12-1, tatsukawa.m.aa@m.titech.ac.jp, 190-8562 10-3, mirai@ism.ac.jp
Kobe University Repository : Kernel タイトル Title 著者 Author(s) 掲載誌 巻号 ページ Citation 刊行日 Issue date 資源タイプ Resource Type 版区分 Resource Version 権利 Rights DOI
Kobe University Repository : Kernel タイトル Title 著者 Author(s) 掲載誌 巻号 ページ Citation 刊行日 Issue date 資源タイプ Resource Type 版区分 Resource Version 権利 Rights DOI 平均に対する平滑化ブートストラップ法におけるバンド幅の選択に関する一考察 (A Study about
*2.5mm ”ŒŠá‡ÆfiÁ™¥‡Ì…Z†[…t…X…N…−†[…j…fi…O
I. Takeuchi, Nagoya Institute of Technology 1/38 f(x) = w 1 x 1 + w 2 x 2 +... + w d x d f(x) = α 1 K(x, x 1 ) + α 2 K(x, x 2 ) +... + α n K(x, x n ) {wj } d j=1 f {αi } n i=1 f I. Takeuchi, Nagoya Institute
統計的データ解析
統計的データ解析 011 011.11.9 林田清 ( 大阪大学大学院理学研究科 ) 連続確率分布の平均値 分散 比較のため P(c ) c 分布 自由度 の ( カイ c 平均値 0, 標準偏差 1の正規分布 に従う変数 xの自乗和 c x =1 が従う分布を自由度 の分布と呼ぶ 一般に自由度の分布は f /1 c / / ( c ) {( c ) e }/ ( / ) 期待値 二乗 ) 分布 c
Presentation Title
データの本質を読み解くための機械学習 MATLAB でデータ解析の課題に立ち向かう MathWorks Japan アプリケーションエンジニア部アプリケーションエンジニア井原瑞希 2016 The MathWorks, Inc. 1 Buzzwords IoT 人工知能 / AI データ解析 ビッグデータ 2 データ解析ワークフロー データへのアクセスと探索 データの前処理 予測モデルの構築 システムへの統合
1/30 平成 29 年 3 月 24 日 ( 金 ) 午前 11 時 25 分第三章フェルミ量子場 : スピノール場 ( 次元あり ) 第三章フェルミ量子場 : スピノール場 フェルミ型 ボーズ量子場のエネルギーは 第二章ボーズ量子場 : スカラー場 の (2.18) より ˆ dp 1 1 =
/ 平成 9 年 月 日 ( 金 午前 時 5 分第三章フェルミ量子場 : スピノール場 ( 次元あり 第三章フェルミ量子場 : スピノール場 フェルミ型 ボーズ量子場のエネルギーは 第二章ボーズ量子場 : スカラー場 の (.8 より ˆ ( ( ( q -, ( ( c ( H c c ë é ù û - Ü + c ( ( - に限る (. である 一方 フェルミ型は 成分をもち その成分を,,,,
Microsoft PowerPoint - H22制御工学I-2回.ppt
制御工学 I 第二回ラプラス変換 平成 年 4 月 9 日 /4/9 授業の予定 制御工学概論 ( 回 ) 制御技術は現在様々な工学分野において重要な基本技術となっている 工学における制御工学の位置づけと歴史について説明する さらに 制御システムの基本構成と種類を紹介する ラプラス変換 ( 回 ) 制御工学 特に古典制御ではラプラス変換が重要な役割を果たしている ラプラス変換と逆ラプラス変換の定義を紹介し
PowerPoint プレゼンテーション
非線形カルマンフィルタ ~a. 問題設定 ~ 離散時間非線形状態空間表現 x k + 1 = f x k y k = h x k + bv k + w k f : ベクトル値をとるx k の非線形関数 h : スカラ値をとるx k の非線形関数 v k システム雑音 ( 平均値 0, 分散 σ v 2 k ) x k + 1 = f x k,v k w k 観測雑音 ( 平均値 0, 分散 σ w
Microsoft PowerPoint - mp11-06.pptx
数理計画法第 6 回 塩浦昭義情報科学研究科准教授 shioura@dais.is.tohoku.ac.jp http://www.dais.is.tohoku.ac.jp/~shioura/teaching 第 5 章組合せ計画 5.2 分枝限定法 組合せ計画問題 組合せ計画問題とは : 有限個の もの の組合せの中から, 目的関数を最小または最大にする組合せを見つける問題 例 1: 整数計画問題全般
& 3 3 ' ' (., (Pixel), (Light Intensity) (Random Variable). (Joint Probability). V., V = {,,, V }. i x i x = (x, x,, x V ) T. x i i (State Variable),
.... Deeping and Expansion of Large-Scale Random Fields and Probabilistic Image Processing Kazuyuki Tanaka The mathematical frameworks of probabilistic image processing are formulated by means of Markov
集中理論談話会 #9 Bhat, C.R., Sidharthan, R.: A simulation evaluation of the maximum approximate composite marginal likelihood (MACML) estimator for mixed mu
集中理論談話会 #9 Bhat, C.R., Sidharthan, R.: A simulation evaluation of the maximum approximate composite marginal likelihood (MACML) estimator for mixed multinomial probit models, Transportation Research Part
したがって このモデルではの長さをもつ潜在履歴 latent history が存在し 同様に と指標化して扱うことができる 以下では 潜在的に起こりうる履歴を潜在履歴 latent history 実際にデ ータとして記録された履歴を記録履歴 recorded history ということにする M
Bayesian Inference with ecological applications Chapter 10 Bayesian Inference with ecological applications 輪読会 潜在的な事象を扱うための多項分布モデル Latent Multinomial Models 本章では 記録した頻度データが多項分布に従う潜在的な変数を集約したものと考えられるときの
講義「○○○○」
講義 信頼度の推定と立証 内容. 点推定と区間推定. 指数分布の点推定 区間推定 3. 指数分布 正規分布の信頼度推定 担当 : 倉敷哲生 ( ビジネスエンジニアリング専攻 ) 統計的推測 標本から得られる情報を基に 母集団に関する結論の導出が目的 測定値 x x x 3 : x 母集団 (populaio) 母集団の特性値 統計的推測 標本 (sample) 標本の特性値 分布のパラメータ ( 母数
(a) (b) (c) Canny (d) 1 ( x α, y α ) 3 (x α, y α ) (a) A 2 + B 2 + C 2 + D 2 + E 2 + F 2 = 1 (3) u ξ α u (A, B, C, D, E, F ) (4) ξ α (x 2 α, 2x α y α,
[II] Optimization Computation for 3-D Understanding of Images [II]: Ellipse Fitting 1. (1) 2. (2) (edge detection) (edge) (zero-crossing) Canny (Canny operator) (3) 1(a) [I] [II] [III] [IV ] E-mail sugaya@iim.ics.tut.ac.jp
スライド 1
データ解析特論第 5 回 ( 全 15 回 ) 2012 年 10 月 30 日 ( 火 ) 情報エレクトロニクス専攻横田孝義 1 をもっとやります 2 第 2 回 3 データマイニングの分野ではマクロ ( 巨視的 ) な視点で全体を捉える能力が求められる 1. コンピュータは数値の集合として全体を把握していますので 意味ある情報として全体を見ることが不得意 2. 逆に人間には もともと空間的に全体像を捉える能力が得意
Isogai, T., Building a dynamic correlation network for fat-tailed financial asset returns, Applied Network Science (7):-24, 206,
H28. (TMU) 206 8 29 / 34 2 3 4 5 6 Isogai, T., Building a dynamic correlation network for fat-tailed financial asset returns, Applied Network Science (7):-24, 206, http://link.springer.com/article/0.007/s409-06-0008-x
it-ken_open.key
深層学習技術の進展 ImageNet Classification 画像認識 音声認識 自然言語処理 機械翻訳 深層学習技術は これらの分野において 特に圧倒的な強みを見せている Figure (Left) Eight ILSVRC-2010 test Deep images and the cited4: from: ``ImageNet Classification with Networks et
第６章 実験モード解析
第 6 章実験モード解析 6. 実験モード解析とは 6. 有限自由度系の実験モード解析 6.3 連続体の実験モード解析 6. 実験モード解析とは 実験モード解析とは加振実験によって測定された外力と応答を用いてモードパラメータ ( 固有振動数, モード減衰比, 正規固有モードなど ) を求める ( 同定する ) 方法である. 力計 試験体 変位計 / 加速度計 実験モード解析の概念 時間領域データを利用する方法
Microsoft PowerPoint - 10.pptx
0. 固有値とその応用 固有値と固有ベクトル 2 行列による写像から固有ベクトルへ m n A : m n n m 行列によって線形写像 f R R A が表せることを見てきた ここでは 2 次元平面の行列による写像を調べる 2 = 2 A 2 2 とし 写像 まず 単位ベクトルの像を求める u 2 x = v 2 y f : R A R を考える u 2 2 u, 2 2 0 = = v 2 0
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2015-DBS-162 No /11/26 1,a) 1,b) EM Designing and developing an interactive data minig tool for rapid r
1,a) 1,b) EM Designing and developing an interactive data minig tool for rapid repeating trials Daishi Kato 1,a) Miki Kiyokazu 1,b) Abstract: Data mining has got attention for finding rules and knowledge
Microsoft Word - 補論3.2
補論 3. 多変量 GARC モデル 07//6 新谷元嗣 藪友良 対数尤度関数 3 章 7 節では 変量の対数尤度を求めた ここでは多変量の場合 とくに 変量について対数尤度を求める 誤差項 は平均 0 で 次元の正規分布に従うとする 単純化のため 分散と共分散は時間を通じて一定としよう ( この仮定は後で変更される ) したがって ij から添え字 を除くことができる このとき と の尤度関数は
多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典
多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典 重回帰分析とは? 重回帰分析とは複数の説明変数から目的変数との関係性を予測 評価説明変数 ( 数量データ ) は目的変数を説明するのに有効であるか得られた関係性より未知のデータの妥当性を判断する これを重回帰分析という つまり どんなことをするのか? 1 最小 2 乗法により重回帰モデルを想定 2 自由度調整済寄与率を求め
untitled
2007 55 2 255 268 c 2007 2007 1 24 2007 10 30 k 10 200 11 110 6 60 3 1. 1 19 Mendenhall 1887 Dickens, 1812 1870 Thackeray, 1811 1863 Mill, 1806 1873 1960 610 0394 1 3 256 55 2 2007 Sebastiani 2002 k k
平成○○年度知能システム科学専攻修士論文
A Realization of Robust Agents in an Agent-based Virtual Market Makio Yamashige 3 7 A Realization of Robust Agents in an Agent-based Virtual Market Makio Yamashige Abstract There are many people who try
ベイズ統計入門
ベイズ統計入門 条件付確率 事象 F が起こったことが既知であるという条件の下で E が起こる確率を条件付確率 (codtoal probablt) という P ( E F ) P ( E F ) P( F ) 定義式を変形すると 確率の乗法公式となる ( E F ) P( F ) P( E F ) P( E) P( F E) P 事象の独立 ある事象の生起する確率が 他のある事象が生起するかどうかによって変化しないとき
_314I01BM浅谷2.indd
587 ネットワークの表現学習 1 1 1 1 Deep Learning [1] Google [2] Deep Learning [3] [4] 2014 Deepwalk [5] 1 2 [6] [7] [8] 1 2 1 word2vec[9] word2vec 1 http://www.ai-gakkai.or.jp/my-bookmark_vol31-no4 588 31 4 2016
PowerPoint プレゼンテーション
データ解析 第 7 回 : 時系列分析 渡辺澄夫 過去から未来を予測する 観測データ 回帰 判別分析 解析方法 主成分 因子 クラスタ分析 時系列予測 時系列を予測する 無限個の確率変数 ( 確率変数が作る無限数列 ){X(t) ; t は整数 } を生成する情報源を考える {X(t)} を確率過程という 確率過程に ついて過去の値から未来を予測するにはどうしたらよいだろうか X(t-K),X(t-K+1),,X(t-1)
2-1 / 語問題 項書換え系 4.0. 準備 (3.1. 項 代入 等価性 ) 定義 3.1.1: - シグネチャ (signature): 関数記号の集合 (Σ と書く ) - それぞれの関数記号は アリティ (arity) と呼ばれる自然数が定められている - Σ (n) : アリ
2-1 / 32 4. 語問題 項書換え系 4.0. 準備 (3.1. 項 代入 等価性 ) 定義 3.1.1: - シグネチャ (signature): 関数記号の集合 (Σ と書く ) - それぞれの関数記号は アリティ (arity) と呼ばれる自然数が定められている - Σ (n) : アリティ n を持つ関数記号からなる Σ の部分集合 例 : 群 Σ G = {e, i, } (e Σ
24 Region-Based Image Retrieval using Fuzzy Clustering
24 Region-Based Image Retrieval using Fuzzy Clustering 1130323 2013 3 9 Visual-key Image Retrieval(VKIR) k-means Fuzzy C-means 2 200 2 2 20 VKIR 5 18% 54% 7 30 Fuzzy C-means i Abstract Region-Based Image
Microsoft Word doc
. 正規線形モデルのベイズ推定翠川 大竹距離減衰式 (PGA(Midorikawa, S., and Ohtake, Y. (, Attenuation relationships of peak ground acceleration and velocity considering attenuation characteristics for shallow and deeper earthquakes,
日心TWS
2017.09.22 (15:40~17:10) 日本心理学会第 81 回大会 TWS ベイジアンデータ解析入門 回帰分析を例に ベイジアンデータ解析 を体験してみる 広島大学大学院教育学研究科平川真 ベイジアン分析のステップ (p.24) 1) データの特定 2) モデルの定義 ( 解釈可能な ) モデルの作成 3) パラメタの事前分布の設定 4) ベイズ推論を用いて パラメタの値に確信度を再配分ベイズ推定
Microsoft PowerPoint - mp11-02.pptx
数理計画法第 2 回 塩浦昭義情報科学研究科准教授 shioura@dais.is.tohoku.ac.jp http://www.dais.is.tohoku.ac.jp/~shioura/teaching 前回の復習 数理計画とは? 数理計画 ( 復習 ) 数理計画問題とは? 狭義には : 数理 ( 数学 ) を使って計画を立てるための問題 広義には : 与えられた評価尺度に関して最も良い解を求める問題
untitled
IT E- IT http://www.ipa.go.jp/security/ CERT/CC http://www.cert.org/stats/#alerts IPA IPA 2004 52,151 IT 2003 12 Yahoo 451 40 2002 4 18 IT 1/14 2.1 DoS(Denial of Access) IDS(Intrusion Detection System)
Kumamoto University Center for Multimedia and Information Technologies Lab. 熊本大学アプリケーション実験 ~ 実環境における無線 LAN 受信電波強度を用いた位置推定手法の検討 ~ InKIAI 宮崎県美郷
熊本大学アプリケーション実験 ~ 実環境における無線 LAN 受信電波強度を用いた位置推定手法の検討 ~ InKIAI プロジェクト @ 宮崎県美郷町 熊本大学副島慶人川村諒 1 実験の目的 従来 信号の受信電波強度 (RSSI:RecevedSgnal StrengthIndcator) により 対象の位置を推定する手法として 無線 LAN の AP(AccessPont) から受信する信号の減衰量をもとに位置を推定する手法が多く検討されている
Microsoft PowerPoint - CSA_B3_EX2.pptx
Computer Science A Hardware Design Excise 2 Handout V2.01 May 27 th.,2019 CSAHW Computer Science A, Meiji University CSA_B3_EX2.pptx 32 Slides Renji Mikami 1 CSAHW2 ハード演習内容 2.1 二次元空間でのベクトルの直交 2.2 Reserved
生命情報学
生命情報学 5 隠れマルコフモデル 阿久津達也 京都大学化学研究所 バイオインフォマティクスセンター 内容 配列モチーフ 最尤推定 ベイズ推定 M 推定 隠れマルコフモデル HMM Verアルゴリズム EMアルゴリズム Baum-Welchアルゴリズム 前向きアルゴリズム 後向きアルゴリズム プロファイル HMM 配列モチーフ モチーフ発見 配列モチーフ : 同じ機能を持つ遺伝子配列などに見られる共通の文字列パターン
Computational Semantics 1 category specificity Warrington (1975); Warrington & Shallice (1979, 1984) 2 basic level superiority 3 super-ordinate catego
Computational Semantics 1 category specificity Warrington (1975); Warrington & Shallice (1979, 1984) 2 basic level superiority 3 super-ordinate category preservation 1 / 13 analogy by vector space Figure
IPSJ SIG Technical Report Vol.2015-SE-187 No /3/12 1,a) 1,b) Mozilla Firefox Eclipse Platform GNU Gcc % 43% 1. [1] Eclipse Mozilla 4 [3
![IPSJ SIG Technical Report Vol.2015-SE-187 No /3/12 1,a) 1,b) Mozilla Firefox Eclipse Platform GNU Gcc % 43% 1. [1] Eclipse Mozilla 4 [3](/thumbs/104/162696479.jpg "IPSJ SIG Technical Report Vol.2015-SE-187 No /3/12 1,a) 1,b) Mozilla Firefox Eclipse Platform GNU Gcc % 43% 1. [1] Eclipse Mozilla 4 [3")
1,a) 1,b) Mozilla Firefox Eclipse Platform GNU Gcc 2. 12 36% 43% 1. [1] Eclipse Mozilla 4 [3] [1, 3, 7] 1 Wakayama Uniersity a) s141015@sys.wakayama-u.ac.jp b) masao@sys.wakayama-u.ac.jp [6] 2. OSS [1,3,7]