はしくれエンジニアもどきのメモ

情報系技術・哲学・デザインなどの勉強メモ・備忘録です。

t分布が平均が同じ正規分布の無限混合分布であることをシミュレーションする

t分布が平均が同じ正規分布の無限混合分布であることをシミュレーションする

厳密には,t分布は,平均が同じ,分散がガンマ分布に従うスケールパラメータ$h$でスケールされた  \sigma^{2} / h での正規分布で hをすべての範囲(無限)について足し合わせた(積分した)混合分布になっている.

ということで,大量の正規分布を作りpdfの和を求めてt分布に近づくかをシミュレーションしてみる.

参考:

続きを読む

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

EMアルゴリズムで混合正規分布(MoG)のパラメータを求めるメモ.

参考:

続きを読む

ベクトル・行列の微分メモ

ベクトル・行列の微分メモ

確率・統計・グラフィカルモデリング機械学習あたりに出てきそうなベクトル・行列の微分のメモ

随時追加予定

参考:

続きを読む

多次元正規分布の周辺分布と条件付分布を計算する

多次元正規分布の周辺分布と条件付分布を計算する

多次元正規分布の周辺分布と条件付分布もまた正規分布になる. そのときのパラメータ(平均,分散)を導出する.

D次元正規分布に従う確率変数ベクトルを$\vec{x}$, 平均ベクトルを$\vec{\mu}$, 共分散行列を  \mathbf{\Sigma} とおいて 確率密度関数を以下のようにおく.


\begin{eqnarray}
f(\vec{x} | \vec{\mu},\Sigma)
=\frac{1}{(2\pi)^{\frac{D}{2}} |\Sigma|^{\frac{1}{2}}}
\exp{\left(-\frac{1}{2}(\vec{x}-\vec{\mu})^{T}\Sigma^{-1}(\vec{x}-\vec{\mu})\right)}
\end{eqnarray}

参考:

続きを読む

2つの正規分布の密度(pdf)の積から導出できる正規分布

2つの正規分布の密度(pdf)の積から導出できる正規分布

正規分布の積もまた正規分布になるので,その正規分布のパラメータ(平均,分散)を導出する.

(なお,確率変数の積ではない)

参考:

続きを読む

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」(テキスト:"Computer vision: models, learning and inference" by Simon Prince)で, 事後分布のパラメータ式のみ載っていたので,実際に導出できるかのメモ.

続きを読む

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」の授業で, ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので,導出と可視化のメモ.

資料として以下を使用しているので記号はそれに合わせる.

続きを読む

正規逆ガンマ分布の分散についての積分からt分布を導出

正規逆ガンマ分布の分散についての積分からt分布を導出

補題的な内容,何とか導出できたのでメモ.

この補題は,ベイズ統計で正規逆ガンマ分布を共役事前分布としたとき,正規分布に従うデータの予測分布(以下の事後分布の積分の式)がt分布になることを証明するのに使える.


P( x^{*} | \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) = \int \int P( x^{*} | \mu, \sigma^{2} ) P( \mu, \sigma^{2} | \tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}, \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) d\mu d\sigma^{2}
  • $x^{*}$: 正規分布に従う(1次元)新しいデータ

  • $\vec{d}_{1\cdots n}$: 1次元の観測データを並べたベクトル

  • $\tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}$:正規逆ガンマ分布(事後分布)のパラメータ

続きを読む

k-meansクラスタリング実装メモ

k-meansクラスタリング実装メモ

k-meansクラスタリングを実装してみたのでメモ.

gist:

k-means clustering · GitHub

続きを読む

不等式制約条件におけるLagrangeの未定乗数法の考え方

不等式制約条件におけるLagrangeの未定乗数法の考え方

特に,不等式制約条件におけるLagrangeの未定乗数法の考え方のメモ.

参考資料:

続きを読む