k-meansクラスタリング実装メモ

k-meansクラスタリング実装メモ

k-meansクラスタリングを実装してみたのでメモ．

gist:

k-means clustering · GitHub

不等式制約条件におけるLagrangeの未定乗数法の考え方

不等式制約条件におけるLagrangeの未定乗数法の考え方

特に，不等式制約条件におけるLagrangeの未定乗数法の考え方のメモ．

参考資料：

• 第4回 不等式制約条件の場合の未定乗数法 · levelfour/machine-learning-2014 Wiki · GitHub

偏相関係数の導出メモ

偏相関係数の導出メモ

github: https://github.com/Cartman0/MultivariateAnalysis/blob/master/PartialCorrelationCoefficient_%E5%81%8F%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0%E3%81%AE%E5%B0%8E%E5%87%BA.ipynb

偏相関係数の導出方法のメモ．

参考資料：

• 永田靖・棟近雅彦 共著,"多変量解析法入門", p.188-p.189

• 偏相関係数の意味と式の導出 | 高校数学の美しい物語

ABO遺伝子型の次世代分布をマルコフ推移でみる

ABO遺伝子型の次世代分布をマルコフ推移でみる

ABO遺伝子型(AA, AO, BB, BO, AB, OO)の次世代分布をマルコフ推移させて， マルコフ定常するのか発散するのかをシミュレーションしてみる．

きっかけとしては，日本だとBB型の人は3%しかいなく，単純に世代を繰り返していくと消失するのではと思ったので確認してみる．

オチとしては，ハーディ・ワインベルクの法則というものがあるので定常はする．

他に似たような計算をしている方（特に2番目の論文は同じ計算をしている．）：

• My Math Note

• http://www.cit.nihon-u.ac.jp/kouendata/No.39/7_sujo/7-005.pdf

cos類似度の次元の呪い

cos類似度の次元の呪い

元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - 木曜不足．

cos類似度は計算しやすいので，言語処理界隈では単語ベクトルや画像理処理界隈ではヒストグラムをベクトルに見立てその2つが似ているかどうかに使われやすい．

上記の記事をよくよく考えると，cos類似度は次元数によって珍しい類似度の値が変わるので 極端に1に近い数字，0に近い数字が出ても鵜呑みにしてはいけないんじゃないかと思ったので，それについてのメモ． （この解釈が正しいのか，スパース界隈の論文探せば触れてそうだけど似たような図が出てこなかったのでちょっとわからん．）

2つのヒストグラムからKL情報量を計算する

2つのヒストグラムからKL情報量を計算する

2つの確率密度関数からKL情報量を計算できるなら， （経験的）ヒストグラム密度からでもKL情報量を計算できるじゃんというメモ．

逆誤差伝播法（バックプロパゲーション）で関数の微分値を求める

逆誤差伝播法（バックプロパゲーション）で関数の微分値を求める

TheanoやPytorchのforward関数やbackward関数がどういう計算しているのか知りたくなったので， そのメモ．

今回はニューラルネットワークの線形和部分は無視して， 関数の微分値を求めることを考える．

例としてシグモイド関数の微分値を求める．

正規分布間のKL情報量を計算する

正規分布間のKL情報量を計算する

gist: 正規分布間のKL情報量 · GitHub

KL情報量が1や2といったときに，どのくらいの大きさかよくわからなかったので， 標準正規分布を基準にしたときどれくらいズレた正規分布だとこの大きさになるのか調べてみた．

つまり，下の図を作りたかった．

平均をズラしていった時のKL情報量

実行環境

• Windows10
  • conda 4.6.12
    • python 3.7.0

はてなブログ(markdown記法)で数式を書くメモ

はてなブログ(markdown記法)で数式を書くメモ

mathjaxを使って，通常のmd，htmlで数式が問題なく表示されてもはてなブログのほうにコピペしてみると以下の問題が絡み合って表示されないことがある．

• markdownの記号がバッティングする問題
• はてなブログ記法モードで使っている記号がバッティングする問題
• はてなブログキーワードリンクに自動変換されてしまう問題
• はてなブログtex記法でのエスケープ問題

結論としては以下の形式で書いておくと表示可能性が高い．

<pre>
[tex:
数式
]
</pre>

ごっちゃになりやすい排反と統計的独立のメモ

ごっちゃになりやすい排反と統計的独立のメモ

事象の排反と統計的独立，この2つは確率の教科書の最初の方に登場し， 読み進めていくと（教科書の問題は基本的に整備されている・もしくは暗黙的に仮定されている場合が多く）ここを意識していなくてもトラブルなく， いざ実データを見たときにこのデータは排反なのか特に統計的独立といっていいのかどうか悩むあるあるのような気がするのでメモ．