はしくれエンジニアもどきのメモ

情報・Web系技術・Englishの勉強メモ・備忘録です。

python環境をcondaからpipへ乗り換えた

Python 雑記

python環境をcondaからpipへ乗り換えた

特に難しいことはしていないのでほぼ雑記． conda経由でupdateした際にscipy内部でloadErrorが起きたので 今までcondaで頑張ってたがpipへ乗り換えた． おそらくパッケージ間でバッティングが起きたと考えられる．

これからpython環境を作る方はpipで統一したほうが依存関係がラクになる． pipはPython 3.4からデフォで付属するようになった。

続きを読む

t分布のパラメータをEMアルゴリズムで推定する

ベイズ統計 MachineLearning

t分布のパラメータをEMアルゴリズムで推定する

t分布のパラメータをEMアルゴリズムで推定するメモ．

計算する値が多いのでまとめておく． 平均$\vec{\mu}$, 分散 \mathbf{\Sigma} は解析的に求まる． ただし，自由度$\nu$は求まらないのでグリッドサーチ，ランダムサーチ，他の反復法などが必要になる．

  • Estep:

    • 各データに対して，事後分布になるガンマ分布$q_{i}(h_{i})$を求める．

  • Mstep:

    • 平均パラメータ$\vec{\mu}$と共分散行列パラメータ \mathbf{\Sigma} の推定

      • 事後分布の期待値$E[ q_{i}(h_{i}) ]$を使う．

    • 自由度$\nu$の推定

      • 条件付期待値$\sum_{i=1}^{I} \int \hat{q}_{i}(h_{i}) \log{\left[ Pr(\vec{x}_{i}, h_{i}|\mathbf{\theta}) \right] } d h_{i}$を計算（グリッドサーチなどで自由度を変えながらこの期待値が大きくなっているか確認）

参考：

続きを読む

t分布が平均が同じ正規分布の無限混合分布であることをシミュレーションする

ベイズ統計 MachineLearning math

t分布が平均が同じ正規分布の無限混合分布であることをシミュレーションする

厳密には，t分布は，平均が同じ，分散がガンマ分布に従うスケールパラメータ$h$でスケールされた \sigma^{2} / h での正規分布で hをすべての範囲（無限）について足し合わせた（積分した）混合分布になっている．

ということで，大量の正規分布を作りpdfの和を求めてt分布に近づくかをシミュレーションしてみる．

参考：

続きを読む

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

MachineLearning 確率・統計

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

EMアルゴリズムで混合正規分布(MoG)のパラメータを求めるメモ．

参考：

続きを読む

ベクトル・行列の微分メモ

math 確率・統計 数式

ベクトル・行列の微分メモ

確率・統計・グラフィカルモデリング・機械学習あたりに出てきそうなベクトル・行列の微分のメモ

随時追加予定

参考：

続きを読む

多次元正規分布の周辺分布と条件付分布を計算する

ベイズ統計 確率・統計 math

多次元正規分布の周辺分布と条件付分布を計算する

多次元正規分布の周辺分布と条件付分布もまた正規分布になる． そのときのパラメータ（平均，分散）を導出する．

D次元正規分布に従う確率変数ベクトルを$\vec{x}$, 平均ベクトルを$\vec{\mu}$, 共分散行列を \mathbf{\Sigma} とおいて 確率密度関数を以下のようにおく．

\begin{eqnarray} f(\vec{x} | \vec{\mu},\Sigma) =\frac{1}{(2\pi)^{\frac{D}{2}} |\Sigma|^{\frac{1}{2}}} \exp{\left(-\frac{1}{2}(\vec{x}-\vec{\mu})^{T}\Sigma^{-1}(\vec{x}-\vec{\mu})\right)} \end{eqnarray}

参考：

続きを読む

2つの正規分布の密度(pdf)の積から導出できる正規分布

ベイズ統計 確率・統計 math

2つの正規分布の密度(pdf)の積から導出できる正規分布

正規分布の積もまた正規分布になるので，その正規分布のパラメータ（平均，分散）を導出する．

（なお，確率変数の積ではない）

参考：

続きを読む

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

ベイズ統計 確率・統計 math

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1」（テキスト："Computer vision: models, learning and inference" by Simon Prince）で， 事後分布のパラメータ式のみ載っていたので，実際に導出できるかのメモ．

続きを読む

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

ベイズ統計 確率・統計 math

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1」の授業で， ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので，導出と可視化のメモ．

資料として以下を使用しているので記号はそれに合わせる．

続きを読む

正規逆ガンマ分布の分散についての積分からt分布を導出

ベイズ統計 確率・統計 math

正規逆ガンマ分布の分散についての積分からt分布を導出

補題的な内容，何とか導出できたのでメモ．

この補題は，ベイズ統計で正規逆ガンマ分布を共役事前分布としたとき，正規分布に従うデータの予測分布（以下の事後分布の積分の式）がt分布になることを証明するのに使える．

P( x^{*} | \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) = \int \int P( x^{*} | \mu, \sigma^{2} ) P( \mu, \sigma^{2} | \tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}, \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) d\mu d\sigma^{2}

  • $x^{*}$: 正規分布に従う（1次元）新しいデータ

  • $\vec{d}_{1\cdots n}$: 1次元の観測データを並べたベクトル

  • $\tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}$:正規逆ガンマ分布（事後分布）のパラメータ

続きを読む