はしくれエンジニアもどきのメモ

情報系技術・哲学・デザインなどの勉強メモ・備忘録です。

ガンマ分布のパラメータ推定

確率・統計

ガンマ分布のパラメータ推定

ガンマ分布のパラメータ推定メモ． 以下の手法のメモ

  • 標本平均，標本分散からの近似値推定
  • 最尤推定
    • shapeパラメータの近似値推定
    • それを初期値として数値解析的にニュートン・ラフソン法で求める

続きを読む

リッジ回帰(Ridge Regression)の正規方程式を導出

確率・統計 MachineLearning

リッジ回帰(Ridge Regression)の正規方程式を導出

リッジ回帰(Ridge Regression)の正規方程式を導出するメモ． L2ノルムの2乗により微分が容易にできるので解析解として導出できる．

続きを読む

Windowsに64bit版Mecabとpython用bindingをインストールする

Python 自然言語処理 形態素解析

Windowsに64bit版Mecabとpython用bindingをインストールする

有志の方がwindows用64bit版のMecabインストーラー（非公式）とpython用bindingモジュールを作成していたのでインストールメモ．

参考：

qiita.com

環境

  • Windows10 64bit

続きを読む

scikit-learnでMNISTの手書き数字データセットをロードする

Python scikit-learn

scikit-learnでMNISTの手書き数字データセットをロードする

  • http://mldata.org/ サーバーが死んでる
  • sklearn.datasets.fetch_mldataがdeprecateされる

ということについてのメモ．

環境

  • Windows10 64bit
    • pip 20.0.2
    • Python 3.7
    • scikit-learn '0.21.2'

続きを読む

SIFT, SURFが利用できるPython用OpenCVをインストールする

Python OpenCV

SIFT, SURFが利用できるPython用OpenCVをインストールする

Python用OpenCVのインストールメモ． Python用OpenCVでは，商用利用不可アルゴリズム(SIFTやSURF)が含まれないモジュールと 含まれるモジュールの2種類がある．

環境

  • Windows10 64bit

続きを読む

カイジのEカードの勝率を計算する

確率・統計

カイジのEカードの勝率を計算する

図書館でNewton別冊”確率に強くなる―「偶然」にひそむ数学法則”（2010年発行なのでちょっと古い）を読んでたら面白いコラムがあった． 選択制じゃんけん．つまりEカードの勝率である．

確率に強くなる―「偶然」にひそむ数学法則 (ニュートンムック Newton別冊)

確率に強くなる―「偶然」にひそむ数学法則 (ニュートンムック Newton別冊)

  • メディア: ムック

詳細な解説は本に任せて，一部誤植を見つけたので自分でも計算してみる．

続きを読む

2019年度のセパ両リーグのピッチャーの成績データを偏相関係数でみる

確率・統計

2019年度のセパ両リーグのピッチャーの成績データを偏相関係数でみる

2019年度のセパ両リーグのピッチャーの成績データの変数間の偏相関係数がどうなっているか見てみる． 特に勝利数と防御率に着目する．

repository:

github.com

続きを読む

行列の固有値分解（スペクトル分解）の写像を可視化

LinearAlgebra

行列の固有値分解（スペクトル分解）の写像を可視化

行列によるベクトルの写像は，行列の固有値分解で3段階で写像されている． それを可視化してみる．

続きを読む

pythonで偏相関係数行列(pcor)を計算

確率・統計 math 数式

pythonで偏相関係数行列(pcor)を計算

以前，3変数(X,Y,Z)の場合の偏相関係数の式を導出した．

cartman0.hatenablog.com

今回は３変数以上の多変数の場合の偏相関係数行列を求めてみる． ただscipy.stats, pandas, statsmodels,scikit-learnなどで関数がないようなので， 実装して計算してみる．

Rではcor2pcorという相関係数行列を偏相関係数行列に変換してくれる関数があるぽいので， これに近いものを実装してみる．

偏相関係数と似たL1ノルムを利用したスパースな精度行列なるものであればscikit-learnのほうにGraphicalLassoが実装されている．

自分用ノート： https://github.com/Cartman0/MultivariateAnalysis/blob/master/PartialCorrelationCoefficient_%E5%81%8F%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0%E3%81%AE%E5%B0%8E%E5%87%BA.ipynb

続きを読む

線形写像と基底の取替えの表現行列のメモ

math LinearAlgebra 数式

線形写像と基底の取替えの表現行列のメモ

線形写像(mapping)と基底の取替えの表現行列での変換を図示化してメモ．

続きを読む