はしくれエンジニアもどきのメモ

情報系技術・哲学・デザインなどの勉強メモ・備忘録です。

トップ > ベイズ統計 > 正規逆ガンマ分布の分散についての積分からt分布を導出

正規逆ガンマ分布の分散についての積分からt分布を導出

ベイズ統計 確率・統計 math

正規逆ガンマ分布の分散についての積分からt分布を導出

補題的な内容，何とか導出できたのでメモ．

この補題は，ベイズ統計で正規逆ガンマ分布を共役事前分布としたとき，正規分布に従うデータの予測分布（以下の事後分布の積分の式）がt分布になることを証明するのに使える．

P( x^{*} | \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) = \int \int P( x^{*} | \mu, \sigma^{2} ) P( \mu, \sigma^{2} | \tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}, \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) d\mu d\sigma^{2}

  • $x^{*}$: 正規分布に従う（1次元）新しいデータ

  • $\vec{d}_{1\cdots n}$: 1次元の観測データを並べたベクトル

  • $\tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}$:正規逆ガンマ分布（事後分布）のパラメータ

導出のポイント

  • 正規逆ガンマ分布は，逆ガンマ分布とその逆ガンマ分布に従う分散パラメータを持つ正規分布との積から計算される同時分布になる．

  • 逆ガンマ分布は分母にガンマ関数を持ってる．

  • 分散について積分することでガンマ関数を作れる．

  • 分子・分母にガンマ関数を持った確率密度関数になり，これがt分布になる．

導出

まず，以下の正規分布と逆ガンマ分布とその積で作られる正規逆ガンマ分布の確率密度関数を以下のように定義する．

\text{Norm}( x | \mu, \frac{\sigma^{2}}{ \gamma} ) = \frac{\sqrt{\gamma}}{\sqrt{2\pi \sigma^{2}}} \exp{( - \frac{\gamma ( x - \mu )^{2}}{2 \sigma^{2}} )}
\text{InvGamma}( \sigma^{2} | \alpha, \beta ) = \frac{\beta^{\alpha}}{\Gamma[ \alpha ] } \left( \frac{1}{\sigma^{2}} \right)^{\alpha + 1} \exp{ ( -\frac{\beta}{ \sigma^{2}} ) }
\text{Norm} \cdot \text{InvGamma} = \frac{\sqrt{ \gamma }}{\sqrt{2\pi}} \frac{\beta^{\alpha}}{\Gamma[ \alpha ] } ( \sigma^{2} )^{ - \alpha - 1 - \frac{1}{2}} \exp{ \left[ -\frac{1}{ \sigma^{2} } \left( \frac{ \gamma ( x - \mu )^{2}}{2} + \beta \right) \right] }

定数項を一時的に取り除き，分散 \sigma^{2} 項の積分を考える．

\begin{eqnarray} \frac{ 1 }{ \sigma^{ 2 } } &=& t \\\\ \frac{ d t }{ d \sigma^{ 2 } } &=& - ( \sigma^{ 2 } )^{ - 2 } \\\\ d t &=& - ( \sigma^{ 2 } )^{ - 2 } d \sigma^{ 2 } \end{eqnarray}
\left( \frac{\gamma ( x - \mu )^{ 2 }}{2} + \beta \right) = C_{1}

変数変換用に変形しておく．

( \sigma^{2} )^{ - \alpha - 1 - \frac{1}{2}} =( \sigma^{2} )^{ - \alpha + 1 - \frac{1}{2}}( \sigma^{2} )^{-2} = ( \sigma^{2} )^{ - \alpha + \frac{1}{2}}( \sigma^{2} )^{-2}

さらに$C_{1} t = s$と変数変換する．

$$ C_{1} dt = ds $$

変数変換すると，この積分はガンマ関数の定義式になる．

\begin{eqnarray} - \int_{\infty}^{0} t^{\alpha -\frac{1}{2}} \exp{( - t C_{1} )} dt &=& \int_{0}^{\infty} t^{\alpha - \frac{1}{2}} ( e^{C_{1}} )^{-t} dt \\\\ &=& \int_{0}^{\infty} ( \frac{s}{C_{1}} )^{\alpha - \frac{1}{2}} e^{-s} \frac{1}{ C_{1} } ds \\\\ &=& ( \frac{1}{C_{1}} )^{ \alpha + \frac{1}{2}}\int_{0}^{\infty} s^{\alpha - \frac{1}{2}} e^{-s} ds \\\\ &=& ( \frac{1}{C_{1}} )^{\alpha + \frac{1}{2}} \Gamma( \alpha + \frac{1}{2} ) \\\\ \end{eqnarray}

定数項含め，元の式に代入すると

\begin{eqnarray} \int_{0}^{\infty} \text{Norm} \cdot \text{InvGamma} d\sigma^{2} &=& \frac{\sqrt{ \gamma }}{\sqrt{2 \pi}} \frac{\beta^{\alpha}}{\Gamma[ \alpha ] } ( \sigma^{2} )^{- \alpha - 1 - \frac{1}{2}}\exp{ \left[ -\frac{1}{\sigma^{2}}\left(\frac{\gamma ( x - \mu )^{2}}{2} + \beta \right) \right] } \\\\ &=& \frac{\sqrt{\gamma}}{\sqrt{2\pi}}\frac{\beta^{\alpha}}{\Gamma[ \alpha ]} \frac{\Gamma( \alpha + \frac{1}{2} ) }{\left(\frac{\gamma ( x - \mu )^{2}}{2} + \beta\right)^{ \alpha + \frac{1}{2}}} \\\\ &=& \frac{\Gamma( \alpha + \frac{1}{2} ) }{\Gamma[ \alpha ] }\frac{\sqrt{\gamma}}{\sqrt{2\pi}} \frac{1}{\left(\frac{\gamma ( x-\mu )^{2}}{2} + \beta\right)^{\alpha + \frac{1}{2}}\beta^{-\alpha}} \\\\ &=& \frac{\Gamma( \alpha + \frac{1}{2} ) }{\Gamma[ \alpha ] }\frac{\sqrt{\gamma}}{\sqrt{2\pi}} \frac{1}{\left(\frac{\gamma ( x - \mu )^{2}}{2} + \beta\right)^{\alpha + \frac{1}{2}}\beta^{-\alpha-\frac{1}{2}}\beta^{\frac{1}{2}}} \\\\ &=& \frac{\Gamma( \alpha + \frac{1}{2} ) }{\Gamma[ \alpha ] }\frac{\sqrt{\gamma}}{\sqrt{2\pi}} \frac{1}{\left(\frac{\gamma(x-\mu)^{2}}{2} + \beta \right)^{ \alpha + \frac{1}{2}}\frac{1}{\beta^{\alpha+\frac{1}{2}}}\beta^{\frac{1}{2}}} \\\\ &=& \frac{\Gamma( \alpha + \frac{1}{2} ) }{\Gamma[ \alpha ] }\frac{\sqrt{\gamma}}{\sqrt{2\pi}} \frac{1}{(\frac{\gamma( x-\mu )^{2}}{2\beta} + 1)^{\alpha + \frac{1}{2}}\beta^{\frac{1}{2}}} \\ &=& \frac{\Gamma( \alpha + \frac{1}{2} ) }{\Gamma[ \alpha ] }\frac{\sqrt{\gamma}}{\sqrt{2\pi \beta}} \frac{1}{( \frac{\gamma ( x - \mu )^{2}}{2\beta} + 1 )^{\alpha + \frac{1}{2}}} \\\\ &=& \frac{\Gamma( \alpha + \frac{1}{2} ) }{\Gamma[ \alpha ] }\frac{\sqrt{\gamma}}{\sqrt{2\pi \beta}} \left(\frac{\gamma ( x-\mu )^{2}}{2\beta} + 1 \right)^{ - ( \alpha + \frac{1}{2} ) } \\\\ &=& \frac{\Gamma( \alpha + \frac{1}{2}) }{\Gamma[ \alpha ]}\frac{\sqrt{\frac{\alpha}{\beta}\gamma}}{\sqrt{2\alpha\pi }} \left(1+\frac{\frac{\alpha}{\beta}\gamma( x - \mu )^{2}}{2\alpha }\right)^{ - ( \alpha + \frac{1}{2} ) } \\\\ &=& \frac{\Gamma( \frac{2\alpha + 1}{2} ) }{\Gamma[ \frac{2\alpha}{2}] }\frac{\sqrt{\frac{\alpha}{\beta}\gamma}}{\sqrt{2\alpha\pi }} \left(1+\frac{\frac{\alpha}{\beta}\gamma( x - \mu )^{2}}{2\alpha }\right)^{ - ( \frac{2\alpha + 1}{2} ) } \\\\ &=& \frac{ \Gamma( \frac{2\alpha + 1}{2} ) }{\Gamma[ \frac{2\alpha}{2}] }\frac{1}{\sqrt{2\alpha\pi }} \frac{1}{\frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}}} \left(1+ \frac{1}{2 \alpha}\left(\frac{( x - \mu ) }{ \frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}} }\right)^{2} \right)^{- ( \frac{2\alpha + 1}{2} ) } \end{eqnarray}

これは一般化(Generalized)t分布の形になっている．

一般化(Generalized)t分布について

海外版のwikipediaの方に説明がある． https://en.wikipedia.org/wiki/Student%27s_t-distribution#Generalized_Student's_t-distribution

t分布に従う確率変数 $T$ がlocationパラメータ$ l_{c} $ , scaleパラメータ $s_{c}$ として， 変数（線形）変換された確率変数 $X = l_{c} + s_{c} T$ を考える．

$$ T = \frac{X - l_{c}}{s_{c}} $$

と書き直せる．

自由度パラメータ$\nu$をもつt分布に，これらのパラメータをもつt分布に拡張すれば

p( x | \nu, l_{c}, s_{c} ) = \frac{\Gamma( \frac{\nu + 1}{2} ) }{\Gamma( \frac{\nu}{2} )\sqrt{\pi \nu}} \frac{1}{s_{c}}\left( 1 + \frac{1}{\nu}\left(\frac{ x - l_{c}}{s_{c}}\right)^{2} \right)^{-\frac{\nu+1}{2}}

括弧の外にあるスケールパラメータ$s_{c}$が邪魔に見えるが， $t = \frac{x - l_{c}}{s_{c}}$で変数変換して積分を考えると，$dx = s_{c}dt$となり消える．

一般化t分布の式を適用すると

\begin{eqnarray} \int_{0}^{\infty} \text{Norm}(\mu, \frac{\sigma^{2}}{\gamma}) \cdot \text{InvGamma}(\alpha, \beta) d\sigma^{2} &=& \frac{\Gamma( \frac{2\alpha + 1}{2} ) }{\Gamma[ \frac{2\alpha}{2}] }\frac{1}{\sqrt{2\alpha\pi }} \frac{1}{\frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}}} \left(1+ \frac{1}{2 \alpha}\left(\frac{( x - \mu ) }{ \frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}} }\right)^{2}\right)^{- ( \frac{2\alpha + 1}{2} ) } \end{eqnarray}

この式に一般化t分布を適用すると，

  • 自由度 $d_{f} = 2\alpha $,
  • $\text{location parameter} = \mu$,
  • $\text{scale parameter} = \frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}}$

として

\begin{eqnarray} \int_{0}^{\infty} \text{Norm}(\mu, \frac{\sigma^{2}}{\gamma}) \cdot \text{InvGamma}(\alpha, \beta) d\sigma^{2} &=& \frac{\Gamma( \frac{d_{f} + 1}{2} ) }{\Gamma[ \frac{ d_{f} }{2} ] }\frac{1}{\sqrt{d_{f} \pi }}\frac{1}{\frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}}} \left(1+ \frac{1}{d_f} \left( \frac{x - \mu}{\frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}}} \right)^{2} \right)^{ - ( \frac{d_{f} + 1}{2} ) } \\\\ &=& \text{Generized Student-t}( d_{f} = 2\alpha, \text{location} = \mu, \text{scale}= \frac{1}{\sqrt{\frac{\alpha}{\beta}\gamma}} ) \\\\ \end{eqnarray}

正規逆ガンマを分散パラメータ \sigma^{2} で周辺化するとt分布になる．