Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1」の授業で， ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので，導出と可視化のメモ．
資料として以下を使用しているので記号はそれに合わせる．
"Computer vision: models, learning and inference" by Simon Prince
https://www.udemy.com/computervision/learn/lecture/617408#questions/7270346
補題的な内容，何とか導出できたのでメモ．
この補題は，ベイズ統計で正規逆ガンマ分布を共役事前分布としたとき，正規分布に従うデータの予測分布（以下の事後分布の積分の式）がt分布になることを証明するのに使える．
$x^{*}$: 正規分布に従う（1次元）新しいデータ
$\vec{d}_{1\cdots n}$: 1次元の観測データを並べたベクトル
$\tilde{\alpha}, \tilde{\beta}, \tilde{\delta}, \tilde{\gamma}$:正規逆ガンマ分布（事後分布）のパラメータ
特に，不等式制約条件におけるLagrangeの未定乗数法の考え方のメモ．
参考資料：
元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - 木曜不足．
cos類似度は計算しやすいので，言語処理界隈では単語ベクトルや画像理処理界隈ではヒストグラムをベクトルに見立てその2つが似ているかどうかに使われやすい．
上記の記事をよくよく考えると，cos類似度は次元数によって珍しい類似度の値が変わるので 極端に1に近い数字，0に近い数字が出ても鵜呑みにしてはいけないんじゃないかと思ったので，それについてのメモ． （この解釈が正しいのか，スパース界隈の論文探せば触れてそうだけど似たような図が出てこなかったのでちょっとわからん．）
TheanoやPytorchのforward関数やbackward関数がどういう計算しているのか知りたくなったので， そのメモ．
今回はニューラルネットワークの線形和部分は無視して， 関数の微分値を求めることを考える．
