黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang 自由エネルギーを数値積分で直接計算する函数を追加した。WBICは逆温度1/log(n)での被∫函数の値で積分を近似したものである。これで正しいかについてまだ確信はない。

gist.github.com/genkuroki/1c9f...

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/LLtBtXe7wF

タグ： JuliaLang

posted at 20:17:52

ぷらぎあ @plastic_gear

17年11月12日

中華3Dプリンタ、思ってたよりはしっかりしてる
必要工具やら日本用電源全部ついてくるし動画付きの説明書だし、この梱包の綺麗さ
こんなのが二万円代とか勝ち目ないな…と思って組み立て中悲しくなった pic.twitter.com/Od2NrSZB8D

タグ：

posted at 17:59:30

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang まだ

nbviewer.jupyter.org/gist/genkuroki...

の方には反映されていないが、

gist.github.com/genkuroki/1c9f...

の方はもう置き換わっている。

Julia言語でNUTSでMCMC。WAIC、LOOCV、WBICの計算。MCMCの結果を初期条件として使って最尤法。AICとBICの計算。

タグ： JuliaLang

posted at 15:51:58

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang #統計 最尤法の計算のコードが一ヶ所バグっていたので直した。ついでにGadflyじゃなくて、自前でPyPlotを使ってプロットするように書き換えた。

nbviewer.jupyter.org/gist/genkuroki...
t-distribution linear regression by Mamba

Julia言語でNUTSでMCMC。WAIC、LOOCV、WBICの計算。

タグ： JuliaLang 統計

posted at 15:48:31

Hiroyasu Kamo @kamo_hiroyasu

17年11月12日

このあと、「はじき」や「モルグリコ」の擁護が出てきて、邪道を邪道と理解できない人が可視化されるでしょう。

タグ：

posted at 14:19:20

Hiroyasu Kamo @kamo_hiroyasu

17年11月12日

「邪道とは？」との疑問がありましたので、具体例をあげます。「はじき」とか「モルグリコ」とかです。

タグ：

posted at 14:15:49

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang #統計 MCMCをやってくれるパッケージには、確率モデルp(x|w)、入力のサンプルX_k、事後分布のサンプルw_lに関する

log p(X_k|w_l)

を自動的に計算してくれる機能が欲しいよな。これはあまりにも基本的な量なので、ユーザーに自前で計算させるようなものではないと思う。

タグ： JuliaLang 統計

posted at 12:04:58

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang #統計

nbviewer.jupyter.org/gist/genkuroki...
t-distribution linear regression by Mamba

にLOOCVの計算も追加した。WAIC, LOOCV, WBIC の簡単な計算例。計算法の解説付き。確率モデルp(x|w)、入力のサンプルX_k、事後分布のサンプルw_lに関する log p(X_k|w_l) から全部計算できる。

タグ： JuliaLang 統計

posted at 11:59:24

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang whichマクロが便利過ぎ。{at}which hoge(x) で実際に実行される函数 hoge(x) のソースコードのありかを教えてくれる。Julia言語ではhoge(x)の中身はxの型に依存して変わることが多いので、これ結構必須かも。

タグ： JuliaLang

posted at 11:49:22

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 実際に統計がらみの数値計算を色々やってみると、「コンピューターで計算すればいいから、ガウス積分やガンマ函数について知らなくても大丈夫だよね」とはならないと思いました。計算量を減らすために大学1年レベルの微積分の計算を使う機会は結構あるように思えた。

タグ： 統計

posted at 11:40:59

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 学部生向けの「数学を避ける方針」で書かれている教科書では、ガウス積分やらガンマ函数やらベータ函数に関する説明も当然避けているので、大学1年生のときに勉強しておかないと、後で勉強する機会が無くなってしまう危険性さえあると思う。

タグ： 統計

posted at 11:38:43

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 ガンマ分布はその特別な場合であるカイ二乗分布として、正規分布と同じくらいよく出て来る。大学新入生は、Gauss積分とガンマ函数をしっかり勉強しておくべきだと思います。しっかり勉強しておかないと、後で、統計学について勉強するときに困る。

タグ： 統計

posted at 11:37:06

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 続き～、nが大きなとき、実数直線上でのX_1,…,X_nの分布はガンマ分布でよく近似されるようになります。ただし、ψ(a)=c でパラメーターaを決める。ここで、

ψ(a) = (1/Γ(a))∫ e^{-x} x^{a-1} log x dx = (ガンマ分布での log x の平均)

です。ψ(1)=(指数分布でのlog xの平均)=-γ.

タグ： 統計

posted at 11:32:54

アップグレードカラーズ @UP_TKG

17年11月12日

みなさんタイラップって買った時に袋の上を開封して、工具箱の中で全部出ちゃってたりいちいち開封口をテープで留めたり面倒な事してません？？
タイラップの袋の便利な開封方法はこうです。 これなら勝手に袋から飛び出る事なく、必要なだけ取り出せて、工具箱のなかでも散らかりません！ pic.twitter.com/yWNiyhJD9j

タグ：

posted at 11:32:13

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 以下、a>1と仮定します。このとき、逆温度β=-(a-1)は負になります。負の逆温度は普通によく出て来ます。

各々が指数分布 q(x)=exp(-x) に従う独立な確率変数列(X_1,…,X_n)の確率分布を相乗平均に関する不等式

log(X_1…X_n)^{1/n} ≥ c > -γ=-0.5772…

で制限すると～続く

タグ： 統計

posted at 11:29:37

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 例(ガンマ分布)　スケール1のガンマ分布の確率密度函数は

p(x|a) ∝ exp((a-1)log x) q(x), q(x) = exp(-x)

の形をしています。逆温度はβ=-(a-1)で、分配函数はガンマ函数です：

Z = ∫_0^∞ x^{a-1} e^{-x} dx = Γ(a).

ベースになる確率分布は指数分布 q(x) = exp(-x). 続く

タグ： 統計

posted at 11:21:25

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 そして、所謂「指数型分布族」は「等確率の原理を仮定しているとは限らない場合のカノニカル分布」に一致しているので、応用対象を物理に限定したくなければ、「ベースになる確率分布q(x)は何でもよい。カノニカル分布p(x)はp(x)∝exp(-βH(x))q(x)の形になる」としておいた方が便利です。

タグ： 統計

posted at 10:51:33

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 KL情報量に関するSanovの定理で処理できる場合は論理的に色々クリアになっている点もうれしいです。「等確率の原理」とか言われると「どうしてそれでいいのか？」という難しい問題を考える必要が生じますが、「ベースになる確率分布は何でもよい。相対エントロピーを考えればよい」ならば簡単。

タグ： 統計

posted at 10:47:52

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 尤度比やKullback-Leibler情報量で処理できる場合には「次元を持つ量」の対数を考える必要はなくなる。

尤度比は測度論的には Radon-Nikodym derivative なので、尤度比を実用的に使ったことがある人は全員 Radon-Nikodym derivative ユーザーであったと言えると思います。

タグ： 統計

posted at 10:44:46

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 真の分布q(x)に関する予測分布p(x)の汎化損失

G(q||p) = - ∫ q(x) log p(x) dx

は座標系xの取り方を変えると変わる。しかし、Kullback-Leibler情報量(＝相対情報量＝相対エントロピーの-1倍)

D(q||p) = ∫ q(x) log(q(x)/p(x)) dx

は座標系xの取り方を変えても不変である。

タグ： 統計

posted at 10:41:04

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 単位系を変えることは、座標をスケール変換することに対応しているので、単位系の取り方への依存性を見ることは、座標系の取り方への依存性を見ることの特別な場合になっている。尤度の大小関係は座標系の取り方によらないので、特に単位系の取り方によらない。

タグ： 統計

posted at 10:37:20

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 もう一度まとめておくと、

* サンプルX_1,…,X_nに関する確率密度函数p(x)の尤度p(X_1)…p(X_n)は座標系xの取り方を変えると変わる。

* 2つの確率密度函数の尤度比は座標系xの取り方によらない。

* 特に尤度の大小関係は座標系xの取り方によらない。

タグ： 統計

posted at 10:35:10

鰹節猫吉 @sunchanuiguru

17年11月12日

分かるところから手をつけて、徐々に全体像が明らかになるという経験を積むことが大事と思われる。 twitter.com/tomatoha831/st...

タグ：

posted at 10:18:37

Mara Averick @dataandme

17年11月12日

ICYMI, 🌈 Incredible animations! "Sorting Algorithms Revisualized" buff.ly/2zWsW2X #visualization pic.twitter.com/UOp9gEB0qH

タグ： visualization

posted at 04:46:05

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#JuliaLang でもScikitLearnで簡単に遊べるんですね。実際に試してみたら本当に簡単でした。一部のコードは使用パッケージの側がまだ0.6に対応してなくて、0.5.2でしか動きませんでしたが。ほとんどの例はそのまま動いた。

github.com/cstjean/Scikit...

タグ： JuliaLang

posted at 01:34:12

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 すでに書いたことですが、座標系 x を座標系 y に x=y(x), y=x(y) によって座標変換すると、確率密度函数 p(x) のサンプルX_1,…,X_nに関する尤度は座標系 y にうつると |x'(y(X_1))|…|x'(y(X_n))| 倍されることになります。尤度比ではこれは分子分母でキャンセルする。

タグ： 統計

posted at 01:31:04

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 続き。尤度や対数尤度は座標系 x に依存するのですが、尤度比や対数尤度比は座標系 x に依存しない量になります。特に、尤度や対数尤度の大小関係は座標系に依存しない関係になります。ゆえに、最尤法は座標系に依存していないこともそのことからわかる。

タグ： 統計

posted at 01:27:59

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 すでにこの発言が繋がるスレッドの中で述べたように、確率密度函数は「測度」の「次元」を持つので、確率密度函数 p(x) のサンプル X_1,…,X_n の尤度　p(X_1)…p(X_n) は座標系 x に依存します。しかし、尤度比は座標系によらない量になる。続く

twitter.com/h_okumura/stat...

タグ： 統計

posted at 01:25:14

黒木玄 Gen Kuroki @genkuroki

17年11月12日

#統計 最尤法で最も気軽に使える情報量規準はAICとBICの2つなのですが、それらのベイズ推定法版のWAICとWBICを実装したつもりの #JuliaLang Jupyter notebook が次のリンク先にあります。

nbviewer.jupyter.org/gist/genkuroki...

タグ： JuliaLang 統計

posted at 00:39:42