はしくれエンジニアもどきのメモ

情報・Web系技術・Englishの勉強メモ・備忘録です。

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」の授業で, ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので,導出と可視化のメモ.

資料として以下を使用しているので記号はそれに合わせる.

続きを読む

正規逆ガンマ分布の分散についての積分からt分布を導出

正規逆ガンマ分布の分散についての積分からt分布を導出

補題的な内容,何とか導出できたのでメモ.

この補題は,ベイズ統計で正規逆ガンマ分布を共役事前分布としたとき,正規分布に従うデータの予測分布(以下の事後分布の積分の式)がt分布になることを証明するのに使える.


P( x^{*} | \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) = \int \int P( x^{*} | \mu, \sigma^{2} ) P( \mu, \sigma^{2} | \tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}, \vec{ x }_{1\cdots n} = \vec{d}_{1\cdots n} ) d\mu d\sigma^{2}
  • $x^{*}$: 正規分布に従う(1次元)新しいデータ

  • $\vec{d}_{1\cdots n}$: 1次元の観測データを並べたベクトル

  • $\tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}$:正規逆ガンマ分布(事後分布)のパラメータ

続きを読む

k-meansクラスタリング実装メモ

k-meansクラスタリング実装メモ

k-meansクラスタリングを実装してみたのでメモ.

gist:

k-means clustering · GitHub

続きを読む

不等式制約条件におけるLagrangeの未定乗数法の考え方

不等式制約条件におけるLagrangeの未定乗数法の考え方

特に,不等式制約条件におけるLagrangeの未定乗数法の考え方のメモ.

参考資料:

続きを読む

偏相関係数の導出メモ

相関係数の導出メモ

github: https://github.com/Cartman0/MultivariateAnalysis/blob/master/PartialCorrelationCoefficient_%E5%81%8F%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0%E3%81%AE%E5%B0%8E%E5%87%BA.ipynb

相関係数の導出方法のメモ.

参考資料:

続きを読む

ABO遺伝子型の次世代分布をマルコフ推移でみる

ABO遺伝子型の次世代分布をマルコフ推移でみる

ABO遺伝子型(AA, AO, BB, BO, AB, OO)の次世代分布をマルコフ推移させて, マルコフ定常するのか発散するのかをシミュレーションしてみる.

きっかけとしては,日本だとBB型の人は3%しかいなく,単純に世代を繰り返していくと消失するのではと思ったので確認してみる.

オチとしては,ハーディ・ワインベルクの法則というものがあるので定常はする.

他に似たような計算をしている方(特に2番目の論文は同じ計算をしている.):

続きを読む

cos類似度の次元の呪い

cos類似度の次元の呪い

元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - Mi manca qualche giovedi`?

cos類似度は計算しやすいので,言語処理界隈では単語ベクトルや画像理処理界隈ではヒストグラムをベクトルに見立てその2つが似ているかどうかに使われやすい.

上記の記事をよくよく考えると,cos類似度は次元数によって珍しい類似度の値が変わるので 極端に1に近い数字,0に近い数字が出ても鵜呑みにしてはいけないんじゃないかと思ったので,それについてのメモ. (この解釈が正しいのか,スパース界隈の論文探せば触れてそうだけど似たような図が出てこなかったのでちょっとわからん.)

続きを読む

2つのヒストグラムからKL情報量を計算する

2つのヒストグラムからKL情報量を計算する

2つの確率密度関数からKL情報量を計算できるなら, (経験的)ヒストグラム密度からでもKL情報量を計算できるじゃんというメモ.

続きを読む

逆誤差伝播法で関数の微分値を求める

逆誤差伝播法で関数の微分値を求める

TheanoやPytorchのforward関数やbackward関数がどういう計算しているのか知りたくなったので, そのメモ.

今回はニューラルネットワークの線形和部分は無視して, 関数の微分値を求めることを考える.

例としてシグモイド関数微分値を求める.

続きを読む

正規分布間のKL情報量を計算する

正規分布間のKL情報量を計算する

gist: 正規分布間のKL情報量 · GitHub

KL情報量が1や2といったときに,どのくらいの大きさかよくわからなかったので, 標準正規分布を基準にしたときどれくらいズレた正規分布だとこの大きさになるのか調べてみた.

つまり,下の図を作りたかった.

平均をズラしていった時のKL情報量

実行環境

  • Windows10

続きを読む