黒木玄 Gen Kuroki(@genkuroki)/2017年10月09日

Bayesian HMM、Infinite HMM、無限木構造HMMによる教師なし品詞タグ推定の実装をすべて書き直し誤りを修正しました。iTHMMは実験中ですが、深さを固定した時にIHMMと同様の結果になるのでバグはなさそう。
github.com/musyoku/unsupe...

タグ：

posted at 23:28:58

置き場所が変わったみたいなので、ＵＲＬを更新する。

　大学の数学を苦痛と捉える学生の実態把握と、その原因の探求
～小・中学校数学専攻 4 回生を対象としたアンケート調査を通して～
satsuki.ex.osaka-kyoiku.ac.jp/~j169302/miyaz...

タグ：

posted at 23:20:48

UFO教授 (藤木文彦 Fumihiko @UFOprofessor

@UFOprofessor 私も苦労させられました。
まじめに考えだすと盛りだくさんに成りすぎて死ぬ。

タグ：

posted at 22:36:08

@genkuroki R入門の本が余りにひどかったので、某社に、
書きましょうかと提案しているところです。

タグ：

posted at 22:31:27

@UFOprofessor たぶん、自分で書くしかないと思います。

タグ：

posted at 22:22:20

Akinori Ito @akinori_ito

魔法少女アニメ用音響エフェクトの自動生成に関するNicographの論文。Akinori Ito は私ではない。微妙に近い分野で同姓同名がいるとまぎらわしいなあ ieeexplore.ieee.org/abstract/docum...

タグ：

posted at 21:54:30

#数楽現在ではベイズ推定に使えるMCMCのパッケージが色々配布されていて、誰でも簡単にMCMCできちゃう感じ。そういうパッケージを使えば階層モデルの扱いも易しいです。

しかし、階層ベイズモデルでWAICのような推定結果の予測精度の指標を計算しようとすると面倒なことになります。

タグ：数楽

posted at 21:48:06

@konamih まさにその通り。さらに、2次元と3次元をやることで、その次元特有のことなのか、一般化できることなのかも類推することが出来る。

タグ：

posted at 21:47:20

#数楽 #JuliaLang なぜか事前分布として最初手抜きの一様分布を使っていたのだが、それを正規分布に変えたら、計算がかなり速くなった。Mamba.jlについては全然理解していません。

mambajl.readthedocs.io/en/latest/

タグ： JuliaLang 数楽

posted at 21:46:03

#数教協　 #水道方式　3次元と4次元以上にとてつもなく大きな断絶があるかのように言いながら、「積分も実は内積の発展したもの」などとさらっと書いている。
3次元と4次元の断絶よりも、有限次元と無限次元との断絶の方が大きいだろうに、そこはあっさり越えてしまっている。

posted at 21:44:27

こなみひでお @konamih

@sekibunnteisuu ２，３次元でノルムや線形変換のイメージを納得いくまで掴んでいれば、多次元でも自然な延長としてイメージ化できますもんね。

タグ：

posted at 21:44:08

#数楽 #JuliaLang のMCMCパッケージのMamba.jlは複数のチェインを並列処理してくれます。添付画像は同時に作った8つのチェインの最後の一つです。事前分布は対数座標での正規分布。

詳しくはソースコードを参照。
nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/2yZpMMKr1z

タグ： JuliaLang 数楽

posted at 21:40:38

#数教協　 #水道方式　そもそも、3次元を考えるときだって、三次元そのものを図に書いたりしないだろう。紙に描いて考える。2次元だよね。2次元の図で3次元を考えることが出来る。その類推でn次元も出来ると思うけどね。

posted at 21:39:32

#数楽 #JuliaLang

下のリンク先のツイートのモデル(と同値な階層モデル)とサンプルでベイズ推定してみました。Julia言語でのMCMC適用の非常に小さな実例です。
nbviewer.jupyter.org/gist/genkuroki...

twitter.com/genkuroki/stat...

タグ： JuliaLang 数楽

posted at 21:37:41

#数教協　 #水道方式　「～と考えるのは難しい。」ならまだ分かるが、「考えられない」と断言している。ということは遠山啓自身が考えられないと言うことである。だとしたら、遠山啓って本当に数学者？と思わざるを得ない。

私はｎ次元も矢印で考えているが何か？

posted at 21:35:42

#数教協　 #水道方式　でも、検証するとおかしなことを言っている

p104　矢線のベクトルにとって致命的なのは4次元以上は考えられないということである。4次元になっても何か矢線のようなものを考えようとして、懸命の努力をくりかえすが、そんなことはどうしてもできない、できるはずがない

posted at 21:31:46

#数教協　 #水道方式
遠山啓は文章がうまい。これは褒め言葉ではなくむしろ逆。うまい文章は、内容が妥当でなくてもそれなりに立派に思わせてしまう。この文章も、ベクトルや数学に関して全く知らない人が読んだら「なんだか知らないけど、いいこと言っているようだ」と思ってしまうかも知れない。

UFO教授 (藤木文彦 Fumihiko @UFOprofessor

posted at 21:27:40

@genkuroki ちゃんとした説明のしてある本があったら私も教材に使いたいです。去年苦労したので。

タグ：

posted at 21:06:03

Yukihiro Matz @yukihiro_matz

link: nyuichi/gc.h: Header file-only Non-moving & Precise GC for C (< 100LOC w/o comments):
github.com/nyuichi/gc.h

タグ：

posted at 20:48:55

Yukihiro Matz @yukihiro_matz

link: C言語でインクルードするだけで使えるNon-movingで正確なコピーGCを作った - Qiita:
qiita.com/wasabiz/items/...

タグ：

posted at 20:46:52

柚子くず湯 @yuzu_96wiz_only

4×6と6×4は答えは一致するが、式の意味が違う。4が6個か6が4個か。その違いを説明出来ない人が多い。2年生の掛け算の導入で習ったはず。
式の順序の大切さは「行列」(旧数学Ｃ，現在は高校で扱わない)を習うまでイマイチ理解しにくい。そんな算数・数学の現状をどうにか出来ないものか。 twitter.com/bozu_108/statu...

タグ：

posted at 19:52:34

非公開

タグ：

posted at xx:xx:xx

#数楽続き。よく出て来る正規分布とガンマ分布が自然に出て来る中心極限定理とは別の仕組みについては以下の2つのリンク先を参照。

正規分布↓
twitter.com/genkuroki/stat...

ガンマ分布↓
twitter.com/genkuroki/stat...

タグ：数楽

posted at 15:57:31

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

#数楽続き。

例：t分布に従う乱数の実装は、ガンマ分布に従う乱数と正規分布に従う乱数の生成法が実装されていれば簡単に実現できます。その実装はそのまま階層モデルの記述にもなっている。

例：正規分布乱数の生成には中心極限定理を使った幾らでも効率の**悪い**方法が存在する。

タグ：数楽

posted at 15:40:27

#数楽続き。確率分布dに従う擬似乱数発生法の実装の仕方は、そのままその確率分布で記述されるモデルがどのようなケースで利用できるかに関する説明にもなっているし、乱数発生法の重要性を強調しておくと、MCMCのようなアイデアとも繋げやすくなります。

タグ：数楽

posted at 15:37:29

#数楽～確率分布のパッケージの内容は、

・確率分布の記述法
・確率分布に従った乱数発生法(sampler)
・確率分布函数などを計算してくれる函数群

数学教育的にも、教科書でsamplerの例も説明した方が確率分布について理解し易いのではないかと思いました。続く

タグ：数楽

posted at 15:35:02

#数楽 #JuliaLang のDistribution.jlパッケージのソースコードを見て(ドキュメント
juliastats.github.io/Distributions....
からソースコードにリンクがはってあるので必然的に見ることになる)、ちょっと勉強になったこともあります。それは～続く

タグ： JuliaLang 数楽

posted at 15:32:13

坊主 @bozu_108

小学校の先生しか分からない苦労選手権

最優秀賞
問題は生徒対応より保護者対応。

金賞
高学年女子の陰口の恐ろしさ

入選
1＋1という名の哲学講義

男の子は大体瞬足をはいているので一緒に走るとコーナーで差をつけられる

キラキラネームが解読不可能 pic.twitter.com/6XafhP7PkV

タグ：

posted at 15:28:51

#数楽「平均μの正規分布が生成したサンプルの標本平均M_nと不偏分散U_n^2に対してT_n=(M_n-μ)/(U_n/√n)は自由度n-1のt分布に従う」というスタイルの解説では、正直な話、私も理解できなかった。もっと正直な話をすると、統計学の大抵の教科書は私には理解不能。

タグ：数楽

posted at 15:25:09

#数楽続き。測定者の技術が人によって違っていて、真の値からのずれの大きさ(分散)が逆ガンマ分布に従っていて、各個人の測定誤差は正規分布に従うというモデルを考えると、実質的にt分布を使うモデルを考えたことになります。測定が下手なやつがときどき出て来て外れ値を出すこともあるモデル。

タグ：数楽

posted at 15:12:02

非公開

タグ：

posted at xx:xx:xx

#数楽続き。まず、ガンマ分布に従って正の実数が得られる「ルーレット」を回して、分散の逆数の値を決めます。次に、その分散を持つ正規分布の「ルーレット」を回します。このようにして得られたランダムな数値は、t分布に従う乱数(の定数倍)になります。続く

タグ：数楽

posted at 15:09:11

#数楽学部2年生向けの統計学の教科書では、t検定のためにt分布を導入していて、t分布についてよくわからない説明がされている場合が多いと思う。その手の教科書は私が読んでも理解できない😭

t分布は正規分布の分散の逆数がガンマ分布していると仮定すれば出て来ます。単にそれだけのこと。

タグ：数楽

posted at 15:06:44

おおたまん @ohtaman

先ほどの資料です。

deeplearn.js入門
docs.google.com/presentation/d... #devfest17

タグ： devfest17

posted at 15:03:17

#数楽自由度νのt分布はν→∞で標準正規分布に収束します。
添付画像は確率密度函数の対数のグラフです。ν=100のt分布は±5σ程度まで標準正規分布に一致し、ν=1000なら±10σ程度まで、ν=10000なら±20σ程度まで一致します。上のローカルミニマムでは ν＝1億！ pic.twitter.com/FaDKIXCoDh

タグ：数楽

posted at 15:03:06

タグ：数楽

posted at 14:49:16

#数楽 #JuliaLang 一つ前のツイートのサイズ2のサンプルで最尤法の真の解とは異なるローカルミニマムがあるケースのプロットのソースコードは

nbviewer.jupyter.org/gist/genkuroki...

の下の方にあります。

タグ： JuliaLang 数楽

posted at 14:41:50

#数楽真の解と別にローカルミニマムがある小さな例

model: y = rho*TDist(nu)
sample: [0.01, 1.0]

初期条件 (rho,nu)=(1.0,1.0)だとローカルミニマムに落ちて行ってしまう。(0.9,1.0)にずらすと真の解へ。 pic.twitter.com/eUsc0w5tUm

タグ：数楽

posted at 14:34:36

Atsushi Sakai @Atsushi_twi

dragoner@2日目東イ14b @dragoner_JP

JuMPを使ったナップサック最適化問題をこれでコンパイルしたら、コンパイル込みで11秒かかっていたコードが、0.8秒で実行できた。。。すごいJulia最強ではないか。。 #julialang

タグ： julialang

posted at 14:25:37

つらい pic.twitter.com/2e2xlKU2qA

タグ：

posted at 13:50:58

#数楽リンク先の動画がローカルミニマムで止まる例。外れ値を無視できずに最小二乗法解に落ち込んでいる。
twitter.com/genkuroki/stat...

タグ：数楽

posted at 12:30:48

#数楽ベイズ統計での事後分布は定数倍を除いて尤度函数×事前分布に等しいので、一様事前分布なら尤度函数と事後分布は定数倍を除いて同じもの。その値がexp(20)程度違うので、確率的にローカルミニマムはないも同然。でも初期値から降りて行くとローカルミニマムでよく止まる。

タグ：数楽

posted at 12:25:53

#数楽私が計算した例では、真の解の対数尤度の-1倍は-17程度で、ローカルミニマムでは2.83程度です。値が20近く違うので、-1倍してexpして尤度に戻せば「ローカルミニマムは存在しない」のと同じ。でも、optimize函数を使うとローカルミニマムによく落ち込んで止まる。

タグ：数楽

posted at 11:52:16

#数楽続き～、実際にはそうなっていなくて、真のミニマムに到達するためには、一度坂を登らないといけない。

ローカルミニマムの問題はどう処理するのが普通なんだろうか？

最尤法ではなく、ベイズ推定法にして、MCMCがうまく谷越えしてくれることを期待する方がいい？

タグ：数楽

posted at 11:47:53

#数楽 y = bx + ρT(ν)　(T(ν)は自由度νのt分布に従う)というモデルはν→∞で y = bx+ρZ (Zは標準正規分布に従う)になります。これは定数項がない最小二乗法と同じ。ν=∞の最小二乗法の解から真の解に「降りて行くこと」ができればいいのですが～続く

タグ：数楽

posted at 11:45:02

#数楽 y = bx + ρT(ν)　(T(ν)は自由度νのt分布に従う)というモデルに外れ値のあるサンプルを食わせると真のミニマム以外のローカルミニマムを持つ対数尤度函数の-1倍が出て来ます。真のミニマム以外のローカルミニマムは「正規分布解」です。続く

タグ：数楽

posted at 11:42:04

#数楽続きの注意。実際に扱っているのは、尤度函数の対数の-1倍なので、マキシマムではなくて、ミニマムを扱っていることになっています。

タグ：数楽

posted at 11:40:08

#数楽 #JuliaLang

gist.github.com/genkuroki/469e...

y = bx + ρT(ν)、T(ν)は自由度νのt分布に従う

というモデル(パラメーターはb,ρ,ν)の尤度函数で真のミニマム以外にローカルミニマムを持つ例のJupyter notebook

タグ： JuliaLang 数楽

posted at 11:35:21

解答略 @kaitou_ryaku

渡辺先生のベイズ本4章を読み始めた頃は、「統計力学やったことあるし、まぁ簡単にいけるやろ」などとタカをくくっていたが、見積もり甘すぎた。WAICの導出は2010年らしいし、そんなに簡単なわけないよな。でも何事につけ「いけるやろ」という心境でトライするのは重要だと思う。

タグ：

posted at 05:34:16

解答略 @kaitou_ryaku

渡辺先生のベイズ統計本で、ようやくWAIC導出までの式が追えた。ミソは、特異点解消してδ超関数を漸近展開するところ。メリン変換後の極の最大位数mがlog 0型の漸近挙動を招くことで、自由エネルギーFの漸近展開にlog(log(n))なるクソキモい項が現れる。極の値-λは、Fにlog(n)の寄与を与える。

タグ：

posted at 05:11:09

Topology Fact @TopologyFact

Distributing points on a sphere
www.maths.unsw.edu.au/about/distribu... pic.twitter.com/FTiOgMKUDi

タグ：

posted at 03:52:49

Yamanami @yamanamitakeshi

@genkuroki 『テコンドー韓流ダイエット　岡本依子のネリチャギビューティー』
とかいう物が実在するので、どちらの観測も当たっているのでは。
（予告編 www.youtube.com/watch?v=gpxFKi...）

タグ：

posted at 02:02:23

nana @JapaneseSchool

先生もくっつけちゃったから、わざわざ修正テープで修正。教員は忙しいと言いながら、こんなどうでもいい事に時間使ってるんだなぁ、と思ってしまう。くっつくかくっつかないかは「フォントの差」です。正誤には無関係。ほら、「夜」、くっついてる。 pic.twitter.com/lR0Cp2uGWf

タグ：

posted at 01:53:19

#数楽 #JuliaLang 上のt分布モデルを線形回帰に利用する場合は対数尤度函数の-1倍の値を大きなν(>10^8)と小さなρ(<0.1^4)で∞に設定しておくと、挙動が安定し易くなります。大きなνは正規分布を意味するので、そうしておいてもたぶん問題ない。

タグ： JuliaLang 数楽

posted at 01:02:22

牙龍一:脱財政再建！ @kiba_r

現時点で、枝野と前原なら、枝野支持するし

立憲民主党と希望党なら、立憲民主党支持するけど

民主党が政権取る時に、少しだけ期待してた時の事を思い出す。
子ども手当の公約や、小沢鋭仁、馬淵澄夫、金子洋一に期待したんだ。
結局、裏切られた。民主党では財務官僚と戦えない。

タグ：

posted at 00:38:45

#数楽ついでに述べておくと、x > 0 の函数

f_α(x) = (x^α-1)/α

は α→0 で

f_0(x) = log x

に収束します。これは「対数函数は孤独ではなく、仲間がいること」を意味しています。数学的対象の仲間を知っておくことは応用上とても大事。

タグ：数楽

posted at 00:33:50

#数楽対数を知らないと、値を色付けでうまく表現することさえできない。対数が役に立たないという感覚は幻想に過ぎません。リアルに役に立ちまくり。

タグ：数楽

posted at 00:30:11

#数楽そのままプロットしてもわからないときに、座標のスケールを変えてプロットし直すのは基本中の基本です。そして、その基本中の基本中の基本は対数スケールにすること。

対数を習った高校生の大部分は対数の価値が分からないと思いますが、対数無しにはまともにグラフも描けません。

タグ：数楽

posted at 00:27:42

#数楽対数尤度函数の-1倍の値の色による表現ですが、そのまま色付けするとすでに対数を取ってあるにも関わらず、値の変化が巨大であり、うまく行きません。最小値を引いて小さな値を足してから再度対数を取った結果で色付けしています。要するに3次元グラフにした場合の縦軸も対数軸にした。

タグ：数楽

posted at 00:25:57

#数楽

err = ρ×T、 Tは自由度νのt分布に従う確率変数

というモデルの尤度函数の様子を見るときには、ρとνは対数座標系にした方が良さそうでした。実際のプロット結果もそうなっています。

タグ：数楽

posted at 00:23:01

#JuliaLang の使い方を覚えるコツは、

?hoge

でドキュメントを検索しまくったり、

dump(hoge)

で hoge の中身を覗いてみたりすることだと思います。あと

{at-mark}time hoge

でhogeの実行時間とメモリ使用量を常にチェック。

タグ： JuliaLang

posted at 00:19:33

#JuliaLang 続き。計算途中のパラメーターの値は、デフォルトのNelder-Mead法では

r.trace[i].metadata["centroid]

に入っており、他のsolverでは

t.trace[i].metadata["x"]

に入っています。

タグ： JuliaLang

posted at 00:16:00

#JuliaLang 続き。トレースのオプションをオンにしておくと、
r.trace
に途中の計算の様子の記録が格納されています。その中身も dump(r.trace) すればわかります。
r.trace[10].metadata
に10番目の計算結果が入っている。

タグ： JuliaLang

posted at 00:12:28

#JuliaLang の Optim.jl パッケージのoptimize函数の値
r=optimize(f,init,Optim.Options(store_trace=true,extended_trace=true))
の中身は dump(r) すればわかります。続く

タグ： JuliaLang

posted at 00:10:18

#数楽数学的風景の様子(例えば尤度函数の様子)が見えていなかったり、「気持ち」がわかるまで「お付き合い」していなかったりする状態で、統計の計算用の既存のパッケージを使うのはものすごく危ないと思う。

タグ：数楽

posted at 00:03:42