グラフィカルモデリング・機械学習などでよく使う正規分布の性質
グラフィカルモデリング・機械学習などでよく使う正規分布の性質のメモ
随時追加予定.
参考:
続きを読むt分布のパラメータをEMアルゴリズムで推定するメモ.
計算する値が多いのでまとめておく. 平均$\vec{\mu}$, 分散 は解析的に求まる. ただし,自由度$\nu$は求まらないのでグリッドサーチ,ランダムサーチ,他の反復法などが必要になる.
Estep:
Mstep:
平均パラメータ$\vec{\mu}$と共分散行列パラメータ の推定
自由度$\nu$の推定
参考:
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 55. t-distribution t-分布」
テキスト:"Computer vision: models, learning and inference" by Simon Prince
厳密には,t分布は,平均が同じ,分散がガンマ分布に従うスケールパラメータ$h$でスケールされた での正規分布で hをすべての範囲(無限)について足し合わせた(積分した)混合分布になっている.
ということで,大量の正規分布を作りpdfの和を求めてt分布に近づくかをシミュレーションしてみる.
参考:
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 55. t-distribution t-分布」
テキスト:"Computer vision: models, learning and inference" by Simon Prince
EMアルゴリズムで混合正規分布(MoG)のパラメータを求めるメモ.
参考:
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 54. Gaussian Mixture Model 混合正規分布」
テキスト:"Computer vision: models, learning and inference" by Simon Prince
多次元正規分布の周辺分布と条件付分布もまた正規分布になる. そのときのパラメータ(平均,分散)を導出する.
D次元正規分布に従う確率変数ベクトルを$\vec{x}$, 平均ベクトルを$\vec{\mu}$, 共分散行列を とおいて 確率密度関数を以下のようにおく.
参考:
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 39. Marginal and conditional of Normal 正規分布の周辺分布と条件付分布」
テキスト:"Computer vision: models, learning and inference" by Simon Prince, 5.6 Product of two normals, p.76
正規分布の積もまた正規分布になるので,その正規分布のパラメータ(平均,分散)を導出する.
(なお,確率変数の積ではない)
参考:
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 40. Self-conjugacy 自己共役性」
テキスト:"Computer vision: models, learning and inference" by Simon Prince, 5.6 Product of two normals, p.76
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」(テキスト:"Computer vision: models, learning and inference" by Simon Prince)で, 事後分布のパラメータ式のみ載っていたので,実際に導出できるかのメモ.
Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」の授業で, ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので,導出と可視化のメモ.
資料として以下を使用しているので記号はそれに合わせる.
"Computer vision: models, learning and inference" by Simon Prince
https://www.udemy.com/computervision/learn/lecture/617408#questions/7270346