はしくれエンジニアもどきのメモ

情報・Web系技術・Englishの勉強メモ・備忘録です。

cos類似度の次元の呪い

cos類似度の次元の呪い

元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - Mi manca qualche giovedi`?

cos類似度は計算しやすいので,言語処理界隈では単語ベクトルや画像理処理界隈ではヒストグラムをベクトルに見立てその2つが似ているかどうかに使われやすい.

上記の記事をよくよく考えると,cos類似度は次元数によって珍しい類似度の値が変わるので 極端に1に近い数字,0に近い数字が出ても鵜呑みにしてはいけないんじゃないかと思ったので,それについてのメモ. (この解釈が正しいのか,スパース界隈の論文探せば触れてそうだけど似たような図が出てこなかったのでちょっとわからん.)

続きを読む

2つのヒストグラムからKL情報量を計算する

2つのヒストグラムからKL情報量を計算する

2つの確率密度関数からKL情報量を計算できるなら, (経験的)ヒストグラム密度からでもKL情報量を計算できるじゃんというメモ.

続きを読む

逆誤差伝播法で関数の微分値を求める

逆誤差伝播法で関数の微分値を求める

TheanoやPytorchのforward関数やbackward関数がどういう計算しているのか知りたくなったので, そのメモ.

今回はニューラルネットワークの線形和部分は無視して, 関数の微分値を求めることを考える.

例としてシグモイド関数微分値を求める.

続きを読む

正規分布間のKL情報量を計算する

正規分布間のKL情報量を計算する

gist: 正規分布間のKL情報量 · GitHub

KL情報量が1や2といったときに,どのくらいの大きさかよくわからなかったので, 標準正規分布を基準にしたときどれくらいズレた正規分布だとこの大きさになるのか調べてみた.

つまり,下の図を作りたかった.

平均をズラしていった時のKL情報量

実行環境

  • Windows10

続きを読む

はてなブログ(markdown記法)で数式を書くメモ

はてなブログ(markdown記法)で数式を書くメモ

mathjaxを使って,通常のmd,htmlで数式が問題なく表示されてもはてなブログのほうにコピペしてみると以下の問題が絡み合って表示されないことがある.

結論としては以下の形式で書いておくと表示可能性が高い.

<pre>
[tex:
数式
]
</pre>
続きを読む

ごっちゃになりやすい排反と統計的独立のメモ

ごっちゃになりやすい排反と統計的独立のメモ

事象の排反と統計的独立,この2つは確率の教科書の最初の方に登場し, 読み進めていくと(教科書の問題は基本的に整備されている・もしくは暗黙的に仮定されている場合が多く)ここを意識していなくてもトラブルなく, いざ実データを見たときにこのデータは排反なのか特に統計的独立といっていいのかどうか悩むあるあるのような気がするのでメモ.

  • ごっちゃになりやすい排反と統計的独立のメモ
    • 「排反」とは
      • 排反であるときのメリット
      • 数学的確率がわかっている場合の排反でない証明
        • 相加平均相乗平均の関係からのアプローチ
    • 統計的独立
      • 独立性であることのメリット
      • 統計的独立ならば相関係数=0(無相関)
      • 無相関でそれらの確率変数が多次元正規分布に従うならば独立である
      • 独立性の検定の注意点
    • 参考リンク
続きを読む

文章もlintできるtextlint導入メモ

文章もlintできるtextlint導入メモ

文章にもlintできるtextlint導入のメモである. ruleを追加して校正できるようになる.

textlint.github.io

環境

  • Windows10
    • Atom 1.36.0
    • npm 6.7.0

続きを読む

TypeScriptの環境作成メモ

TypeScriptの環境作成メモ

Typescript用の環境を作っていくメモ. エディタは,IDE代わりにもなるVSCodeを使っていく.

環境

続きを読む

引用(blockquote)のCSSスタイルメモ

引用(blockquote)のCSSスタイルメモ

技術記事くらいにしか登場しないblockquoteタグのスタイルメモ.

See the Pen blockquotesStyle by Cartman (@Cartman0) on CodePen.

続きを読む

JSのユニットテストフレームワークJasmine 3系メモ

JSのユニットテストフレームワークJasmine 3系メモ

CodeprepさんJavaScriptのコードレベルBDD向けのユニットテストフレームワークJasmineの紹介があったので,v3系の使い方メモ. (基本的にはv2系と変わらない)

環境

  • Windows10

続きを読む