はしくれエンジニアもどきのメモ

情報・Web系技術・Englishの勉強メモ・備忘録です。

x回目に初めて当たる確率:幾何(first sucess, geometric)分布メモ

x回目に初めて当たる確率:幾何(first sucess, geometric)分布メモ

x回目に初めて当たる確率分布である幾何(first sucess, geometric)分布のメモ

続きを読む

グラフィカルモデリング・機械学習などでよく使う正規分布の性質

グラフィカルモデリング機械学習などでよく使う正規分布の性質

グラフィカルモデリング機械学習などでよく使う正規分布の性質のメモ

随時追加予定.

参考:

続きを読む

python環境をcondaからpipへ乗り換えた

python環境をcondaからpipへ乗り換えた

特に難しいことはしていないのでほぼ雑記. conda経由でupdateした際にscipy内部でloadErrorが起きたので 今までcondaで頑張ってたがpipへ乗り換えた. おそらくパッケージ間でバッティングが起きたと考えられる.

これからpython環境を作る方はpipで統一したほうが依存関係がラクになる. pipはPython 3.4からデフォで付属するようになった。

続きを読む

t分布のパラメータをEMアルゴリズムで推定する

t分布のパラメータをEMアルゴリズムで推定する

t分布のパラメータをEMアルゴリズムで推定するメモ.

計算する値が多いのでまとめておく. 平均$\vec{\mu}$, 分散 \mathbf{\Sigma} は解析的に求まる. ただし,自由度$\nu$は求まらないのでグリッドサーチ,ランダムサーチ,他の反復法などが必要になる.

  • Estep:

    • 各データに対して,事後分布になるガンマ分布$q_{i}(h_{i})$を求める.
  • Mstep:

    • 平均パラメータ$\vec{\mu}$と共分散行列パラメータ  \mathbf{\Sigma} の推定

      • 事後分布の期待値$E[ q_{i}(h_{i}) ]$を使う.
    • 自由度$\nu$の推定

      • 条件付期待値$\sum_{i=1}^{I} \int \hat{q}_{i}(h_{i}) \log{\left[ Pr(\vec{x}_{i}, h_{i}|\mathbf{\theta}) \right] } d h_{i}$を計算(グリッドサーチなどで自由度を変えながらこの期待値が大きくなっているか確認)

参考:

続きを読む

t分布が平均が同じ正規分布の無限混合分布であることをシミュレーションする

t分布が平均が同じ正規分布の無限混合分布であることをシミュレーションする

厳密には,t分布は,平均が同じ,分散がガンマ分布に従うスケールパラメータ$h$でスケールされた  \sigma^{2} / h での正規分布で hをすべての範囲(無限)について足し合わせた(積分した)混合分布になっている.

ということで,大量の正規分布を作りpdfの和を求めてt分布に近づくかをシミュレーションしてみる.

参考:

続きを読む

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

EMアルゴリズムで混合正規分布(MoG)のパラメータを求めるメモ.

参考:

続きを読む

ベクトル・行列の微分メモ

ベクトル・行列の微分メモ

確率・統計・グラフィカルモデリング機械学習あたりに出てきそうなベクトル・行列の微分のメモ

随時追加予定

参考:

続きを読む

多次元正規分布の周辺分布と条件付分布を計算する

多次元正規分布の周辺分布と条件付分布を計算する

多次元正規分布の周辺分布と条件付分布もまた正規分布になる. そのときのパラメータ(平均,分散)を導出する.

D次元正規分布に従う確率変数ベクトルを$\vec{x}$, 平均ベクトルを$\vec{\mu}$, 共分散行列を  \mathbf{\Sigma} とおいて 確率密度関数を以下のようにおく.


\begin{eqnarray}
f(\vec{x} | \vec{\mu},\Sigma)
=\frac{1}{(2\pi)^{\frac{D}{2}} |\Sigma|^{\frac{1}{2}}}
\exp{\left(-\frac{1}{2}(\vec{x}-\vec{\mu})^{T}\Sigma^{-1}(\vec{x}-\vec{\mu})\right)}
\end{eqnarray}

参考:

続きを読む

2つの正規分布の密度(pdf)の積から導出できる正規分布

2つの正規分布の密度(pdf)の積から導出できる正規分布

正規分布の積もまた正規分布になるので,その正規分布のパラメータ(平均,分散)を導出する.

(なお,確率変数の積ではない)

参考:

続きを読む

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」(テキスト:"Computer vision: models, learning and inference" by Simon Prince)で, 事後分布のパラメータ式のみ載っていたので,実際に導出できるかのメモ.

続きを読む