はしくれエンジニアもどきのメモ

情報・Web系技術・Englishの勉強メモ・備忘録です。

確率・統計

T種類中のものをx種類引くのに試行回数n回かかる確率

T種類中のものをx種類引くのに試行回数n回かかる確率 前回は,T種類中のものをn回引いてx種類当てる確率(n:固定値,x:確率変数)を求めたが, cartman0.hatenablog.com これを利用してT種類中のものをx種類引くのに試行回数n回かかる確率$P(n|x)$(つまり…

T種類中のものをn回引いてx種類当てる確率

T種類中のものをn回引いてx種類当てる確率 今回は,T種類中のものを n回引いてx種類当てる確率 を求める. (試行回数nは固定値,x種類が確率変数になる) 例えば,3種類の玩具付きお菓子あったときに, 4回引いて1,2,3種類当てる確率 に該当する. イメージ M…

x回目に初めて当たる確率:幾何(first sucess, geometric)分布メモ

x回目に初めて当たる確率:幾何(first sucess, geometric)分布メモ x回目に初めて当たる確率分布である幾何(first sucess, geometric)分布のメモ MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\…

グラフィカルモデリング・機械学習などでよく使う正規分布の性質

グラフィカルモデリング・機械学習などでよく使う正規分布の性質 グラフィカルモデリング・機械学習などでよく使う正規分布の性質のメモ 随時追加予定. 参考: SimonJ.D.Prince,Computer Vision Models, Learning, and Inference MathJax.Hub.Config({ tex2…

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出 EMアルゴリズムで混合正規分布(MoG)のパラメータを求めるメモ. 参考: Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 54. Gaussian Mixture Model 混合正規分布」 テキスト:"…

ベクトル・行列の微分メモ

ベクトル・行列の微分メモ 確率・統計・グラフィカルモデリング・機械学習あたりに出てきそうなベクトル・行列の微分のメモ 随時追加予定 参考: https://www.ics.uci.edu/~welling/teaching/KernelsICS273B/MatrixCookBook.pdf MathJax.Hub.Config({ tex2ja…

多次元正規分布の周辺分布と条件付分布を計算する

多次元正規分布の周辺分布と条件付分布を計算する 多次元正規分布の周辺分布と条件付分布もまた正規分布になる. そのときのパラメータ(平均,分散)を導出する. D次元正規分布に従う確率変数ベクトルを$\vec{x}$, 平均ベクトルを$\vec{\mu}$, 共分散行列…

2つの正規分布の密度(pdf)の積から導出できる正規分布

2つの正規分布の密度(pdf)の積から導出できる正規分布 正規分布の積もまた正規分布になるので,その正規分布のパラメータ(平均,分散)を導出する. (なお,確率変数の積ではない) 参考: Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン…

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出 Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」(テキスト:"Computer vision: models, learning and inference" by Simon Prince)で, 事後分布のパラメータ式のみ…

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」の授業で, ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので,導出と可視化のメ…

正規逆ガンマ分布の分散についての積分からt分布を導出

正規逆ガンマ分布の分散についての積分からt分布を導出 MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); 補題的な内容,何とか導出できたのでメモ. この補題は,ベイズ統計で…

k-meansクラスタリング実装メモ

k-meansクラスタリング実装メモ k-meansクラスタリングを実装してみたのでメモ. gist: k-means clustering · GitHub k-meansクラスタリング実装メモ k-meansクラスタリングのアルゴリズム 実装・コード test 2次元標準正規分布をクラスタリング 参考文献・…

偏相関係数の導出メモ

偏相関係数の導出メモ github: https://github.com/Cartman0/MultivariateAnalysis/blob/master/PartialCorrelationCoefficient_%E5%81%8F%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0%E3%81%AE%E5%B0%8E%E5%87%BA.ipynb 偏相関係数の導出方法のメモ. 参考資料: …

ABO遺伝子型の次世代分布をマルコフ推移でみる

ABO遺伝子型の次世代分布をマルコフ推移でみる ABO遺伝子型(AA, AO, BB, BO, AB, OO)の次世代分布をマルコフ推移させて, マルコフ定常するのか発散するのかをシミュレーションしてみる. きっかけとしては,日本だとBB型の人は3%しかいなく,単純に世代を繰…

cos類似度の次元の呪い

cos類似度の次元の呪い 元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - Mi manca qualche giovedi`?. cos類似度は計算しやすいので,言語処理界隈では単語ベクトルや画像理処理界隈で…

2つのヒストグラムからKL情報量を計算する

2つのヒストグラムからKL情報量を計算する MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); 2つの確率密度関数からKL情報量を計算できるなら, (経験的)ヒストグラム密度か…

逆誤差伝播法(バックプロパゲーション)で関数の微分値を求める

逆誤差伝播法(バックプロパゲーション)で関数の微分値を求める MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); TheanoやPytorchのforward関数やbackward関数がどういう計算…

正規分布間のKL情報量を計算する

正規分布間のKL情報量を計算する MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); gist: 正規分布間のKL情報量 · GitHub KL情報量が1や2といったときに,どのくらいの大きさか…

ごっちゃになりやすい排反と統計的独立のメモ

ごっちゃになりやすい排反と統計的独立のメモ 事象の排反と統計的独立,この2つは確率の教科書の最初の方に登場し, 読み進めていくと(教科書の問題は基本的に整備されている・もしくは暗黙的に仮定されている場合が多く)ここを意識していなくてもトラブル…

ガンマ分布メモ

.gist iframe.render-viewer {min-height: 1250rem} ガンマ分布メモ ベイズ統計において,正規分布の分散パラメータの逆数(精度)が従うガンマ分布についてのメモ. (Jupyter Notebookにまとめた) nbviewer ガンマ分布メモ note 参考文献

Law of total Expectations(全期待値則)メモ

Law of total Expectations(全期待値則)メモ 確率に出てくるtotal Expectations則(日本語だと全期待値則?)のメモ. 次のように期待値(expected) operatorが2つ出てくる. \begin{eqnarray} E[X] = E[E[X|Y]] = \sum_{y}{ E[X|Y=y]P(Y=y) } \end{eqnarra…

「5%の確率で性器を露出するドラえもん」は本当に5%だったのか

// 「5%の確率で性器を露出するドラえもん」は本当に5%だったのか はてブを見ていたところ,面白い記事を見つけました. bok.hatenablog.com どうやら,以下のようなBOTだったようです. 「5%の確率で性器を露出するドラえもん」とは、二時間に一回ランダム…

キバハリアリ(myrmesia)でみる重回帰モデル

// キバハリアリ(myrmesia)でみる重回帰モデル 明けましておめでとうございます. 早速ですが,今回キバハリアリデータセットを使って重回帰を適用してみます. 今回はキバハリアリの頭幅を重回帰モデルで予測を試みます. 今回使用したデータとコードはgith…

チェビシェフの不等式の導出とシミュレーション

// チェビシェフの不等式の導出とシミュレーション チェビシェフの不等式の導出メモ. チェビシェフの不等式の導出とシミュレーション チェビシェフの不等式とは 利点 チェビシェフの不等式の導出 チェビシェフの不等式のシミュレーション 環境 標準正規分布…

Poisson分布の条件付分布(Conditional)は二項分布に従うことの証明

// Poisson分布の条件付分布(Conditional)は二項分布に従うことの証明 Poisson分布の条件付分布(Conditional)は,二項分布に従うことの証明のメモ. ついでにSimulation もやってみる. Poisson分布の条件付分布(Conditional)は二項分布に従うことの証明 Poi…

Poisson分布の再生性(Reproductive property)の証明とシミュレーション

// Poisson分布の再生性(Reproductive property)の証明とシミュレーション Poisson分布の再生性(Reproductive property)の証明のメモ. Poisson分布の再生性(Reproductive property)の証明とシミュレーション ポアソン分布の再生性の証明 再生性のシミュレー…

無料で学べる 統計・R・機械学習・データマイニング まとめ

無料で学べる 統計・R・機械学習・データマイニング まとめ 無料で学べる統計関係の資料をまとめておきます。 無料で学べる 統計・R・機械学習・データマイニング まとめ 統計に関する数学 数学:物理を学び楽しむために [2015-02-08] 『統計を始める前に』 …

統計学関連の本、デジタルコンテンツまとめ

数学セミナー増刊の統計学ガイダンス|日本評論社を読んでいたら、おすすめの統計学関連の本やデジタルコンテンツが紹介されていたので、メモ。 本 統計学 第2版/田中 勝人 - 本:hontoネットストア 概説確率統計 第2版 概説確率統計 第2版/前園 宜彦 - …