黒木玄 Gen Kuroki(@genkuroki)/2016年10月19日

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2016年10月19日

« 次の日| 前の日 »

並び順 : 新→古 | 古→新

2016年10月19日(水)

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。O(1)よりも大きなオーダーであまり大きくないものの典型例はO(log n)です。そして、BICの定義は上の記号法のもとで、BIC=-2L+d log n=2nS+d log n-Eです。まさにペナルティー項がd log n=O(log n)になっている。続く

タグ：数楽

posted at 00:02:38

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。BICはサンプルサイズn→∞でBIC/2=(対数周辺尤度)+O(1)を満たすように作られました。すなわち、(対数周辺尤度)=nS+(d/(2n))log n+O(1)が成立しています。サンプルの揺らぎに対応する項はO(1)の中に埋もれている。

タグ：数楽

posted at 00:09:13

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。サンプルの揺らぎの影響がn→∞で消えるBICとサンプルの揺らぎに埋もれないぎりぎりのところを見ているAICの両方を計算して確認しておくとよいのではないかと思いました。(可能ならばWAICとWBICの両方を計算したい。) 使える数学的道具は全部使えばよい。

タグ：数楽

posted at 00:12:54

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽訂正。しまった。また符号を誤った。２つ前のツイートの式をBIC/2=-(対数周辺尤度)+O(1)に訂正します。BICを小さくすること(BICによるモデル選択ではBICが小さい方のモデルを選ぶ)は周辺尤度を大きくすることに対応しています。

タグ：数楽

posted at 00:20:10

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽警告。AIC、BICの話題の人気の高さに驚いています。私は統計科学諸分野については完全など素人なので間違ったことを書いている可能性があります。その場合には私が書いたものを引用してピンポイントで誤りを指摘して下さると助かります。しかし、権威的な態度での指摘には反撃します！

タグ：数楽

posted at 00:32:35

黒木玄 Gen Kuroki @genkuroki

16年10月19日

他人が言っていないことまで言ったことにして何かよいことを指摘したつもりになるのは、典型的なover-fittingであり、なんらかのペナルティ項を課す必要があるかも。:p

タグ：

posted at 00:37:45

片瀬久美子 @kumikokatase

16年10月19日

【岡山大の件】
森山教授らに対する解雇無効の仮処分決定に対し、岡山大が異議申し立てをしていましたが、岡山地裁が異議を棄却しました。これで「解雇無効」の仮処分が確定しました。（※先のツイートで「却下」としましたが正しくは「棄却」です）
warbler.hatenablog.com/entry/2016/06/...

タグ：

posted at 00:39:29

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽 BIC、AICが適切に使える場合に

(確率モデルと事前分布に関するサンプルの対数周辺尤度比)=(d/2)log n+O(1)

(サンプルをもとに調節したモデルの予測精度)=d/(2n)+o(1/n).

これらが大幅に一般化されることが、渡辺澄夫さんの定理。

タグ：数楽

posted at 00:48:42

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽一般の場合には

(確率モデルと事前分布に関するサンプルの対数周辺尤度比)=nA+λ log n+(m-1)log log n+O(1)

(サンプルをもとに調節したモデルの予測精度)=A+λ/n+o(1/n).

続く

タグ：数楽

posted at 01:04:37

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽対数周辺尤度に関する λ log n+(m-1)log log n を(特異点解消を除いて)初等的に出す方法のスケッチについては→ twitter.com/genkuroki/stat...

本質的にラプラスの方法のガウス積分からガンマ函数への一般化。大学1年レベルで理解可能。

タグ：数楽

posted at 01:12:02

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。ガウス積分近似のラプラスの方法は大雑把に漸近挙動を出すには向いているけど、精密な漸近挙動を出すには向かないと思う。そのガンマ函数近似も同様。しかし、初等的に理解可能であることの指摘は理論の「普及」のためには大事なことだと思う。

タグ：数楽

posted at 01:16:23

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。私がツイッターで指摘してことは、λ log n+(m-1)log log nを出すためには、ゼータ函数を使わずに直接ラプラスの方法のようなことをやった方が初等的ではないかということ→ twitter.com/genkuroki/stat...

タグ：数楽

posted at 01:18:49

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽【紹介】
リンク先の連続ツイートで、巷ではあたかも「常識」のようになっているベイズ統計に関する解説のどこがどうおかしいと私が考えているかを説明しておきました。どうしてそんなことになったかに関する歴史の解説が欲しいです。
twitter.com/genkuroki/stat...

タグ：数楽

posted at 01:32:48

OokuboTact　大久保中二病中年 @OokuboTact

16年10月19日

＃掛算　＃算数　 @tsatie 　　執筆者一覧です。　その１ pic.twitter.com/dMymvlgChS

タグ：掛算算数

posted at 01:32:51

OokuboTact　大久保中二病中年 @OokuboTact

16年10月19日

＃掛算　＃算数　 @tsatie 　執筆者一覧　続き pic.twitter.com/J7AqZ6mbNu

タグ：掛算算数

posted at 01:33:46

OokuboTact　大久保中二病中年 @OokuboTact

16年10月19日

＃掛算　＃算数　 @tsatie 　『新編算数科教育研究』（算数科教育学研究会：著　2010年発行)の執筆者とかぶる人が多いです pic.twitter.com/60K6LSpVC3

タグ：掛算算数

posted at 01:34:43

片瀬久美子 @kumikokatase

16年10月19日

う～む、誤字ったツイートのその部分だけ書き換えられたらな～ (^^;
RTをいっぱいされた後で気が付くと、ああ～～～～～となる。

タグ：

posted at 01:36:43

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽ベイズ推定法の復習。以下、確率密度函数のことも確率分布とか単に分布と呼びます。

サンプルx_1,x_2,…は確率分布q(x)によって独立に生成されているとします。すなわち、サンプル(x_1,…,x_n)は確率分布はq(x_1)…q(x_n)に従っているとする。続く

タグ：数楽

posted at 07:43:36

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。ベイズ推定法では、パラメーターw付きのxの確率分布p(x|w)とwの確率分布φ(w)を人間が任意に選んで、サンプル(x_1,…,x_n)の確率分布はZ(x_1,…,x_n)=∫p(x_1|w)…p(x_n|w)φ(w)dwだと推定します。続く

タグ：数楽

posted at 07:47:20

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。それらには独特の名前が付けられています。p(x|w)は確率モデル、φ(w)は事前分布、Z(x_1,…,x_n)は周辺尤度とか分配函数などと呼ばれています。しかし、呼び方はコミュニケーションのときに重要なだけで、内容の理解にはそれらの性質の方が重要です。続く

タグ：数楽

posted at 07:52:00

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。ベイズ推定法では、周辺尤度Z(x_1,…,x_n)をサンプル(x_1,…,x_n)の確率分布の推定結果だとみなすので、サイズnのサンプルx_1,…,x_nが得られた場合に制限したとき、その次のx_{n+1}を生成する確率分布は〜続く

タグ：数楽

posted at 07:59:42

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き〜、p_n(x_{n+1})=p(x_{n+1}|x_1,…,x_n)=Z(x_1,…,x_n,x_{n+1})/Z(x_1,…,x_n)であると推定することになります。このp_nをサンプルx_1,…,x_nから得たx_{n+1}の予測分布と呼びましょう。続く

タグ：数楽

posted at 08:03:36

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。ベイズ推定法では確率モデルと事前分布は任意に選べるので、それらを用いて計算される周辺尤度Z(x_1,…,x_n)や予測分布p(x|x_1,…,x_{n+1})が真の分布q(x_1)…q(x_n)、q(x)のそれぞれを近似している保証はない。続く

タグ：数楽

posted at 08:08:53

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。Sanovの定理から、推定で得た人工的な分布と真の分布の違いはそれらのあいだのKL情報量の大きさで測るのが自然。(1)Z(x_1,…,x_n)とq(x_1)…q(x_n)の違いは-log Z(x_1,…,x_n)のサンプルを動かす平均値の大きさで測ることができ、続く

タグ：数楽

posted at 08:13:48

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き〜、(2)予測分布p_n(x)とq(x)の違いは -∫q(x) log p_n(x) dxの大きさで測れます。
真の分布q(x)は未知だという設定では、q(x)を含む式を直接計算する方法は存在しないので、q(x)を使わない式でそれらを近似する式を見つけることが問題。

タグ：数楽

posted at 08:19:59

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。(1)の立場でモデルと真の分布の違いを測るために開発された規準がBICやWBICなどです。(2)の立場を最尤法の場合に適用すればAICが得られ、ベイズ推定法に適用すればWAICが得られます。「モデルと真の分布の違い」の意味がそれらのあいだで異なっている。続く

タグ：数楽

posted at 08:22:59

もひかん @mohikan1974

16年10月19日

カタコトで接客する姿が微笑ましい留学生のコが働くコンビニで。隣のレジから『綺麗な日本語が使える様になってから働け！』と聞こえたので店の空気が悪くなった。さて年配の珍客をどうしてやろうかと迷う間も無く真後ろの高校生が『めちゃくちゃ汚い日本語ですね』と、ものの5秒で換気してくれた。

タグ：

posted at 08:23:53

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。以上のように、何を用いて何を推定しようとしているのかを明瞭にすれば「AIC系の情報量規準とBIC系の情報量規準は異なるもののあいだの違いを測る指標なので両方使った方が便利だよね」という話にしかならないわけです。数学的性質をよく理解して便利に使えばよい。

タグ：数楽

posted at 08:26:09

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽「ベイズ推定法とは周辺尤度函数Z(x_1,…,x_n)=∫p(x_1|w)…p(x_n|w)φ(w)dwをサンプルx_1,…,x_nが従う確率分布の密度函数の推定結果とみなす方法である」という話がしっかり書いてある文献は少ないかも。渡辺澄夫さんの本には書いてあります。

タグ：数楽

posted at 08:58:12

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。ベイズ推定は確率モデルp(x|w)と事前分布φ(w)をどのように選んでも定義されます。サンプルを生成している未知の確率分布に決してたどり着かないようなp(x|w)とφ(w)を選んでもよい。サンプルサイズn→∞で選んだ範囲内でベストの推定結果に近付く。

タグ：数楽

posted at 09:17:23

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽 twitter.com/abiko_ushi/sta...
少なくとも階層ベイズでは問題なし。サンプルサイズn→∞での漸近挙動を見るときにの確率モデルの意味でのパラメーター数は(階層ベイズでも)常に一定の有限個。その辺について誤解し易い理由の推測の説明に続く。

タグ：数楽

posted at 14:36:48

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。「階層ベイズではサンプルサイズと同じオーダーでパラメーター数も増えるので渡辺澄夫さんの漸近理論が使えない」と誤解してしまう理由はおそらく「勉強不足のままコンピューターを使ってしまっていること」です。確率モデルのパラメーターの概念を理解していれば誤解しようがない。続く

タグ：数楽

posted at 14:39:46

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。添付画像は www.slideshare.net/simizu706/waic のp.44より。サンプルサイズn=140でパラメーター数はn+2=142で、パラメーター数がサンプルサイズと同じオーダーで増えている。しかし～続く pic.twitter.com/yxXKPcfMgR

タグ：数楽

posted at 14:44:30

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。しかし、その意味でのサンプルサイズは漸近挙動を考える確率モデルのパラメーター数ではないとみなせます。コンピューターに打ち込むコードの意味でのパラメーター数と確率モデルのパラメーター数をきちんと区別できるかどうかが天国と地獄の分かれ目です。続く

タグ：数楽

posted at 14:47:11

黒木玄 Gen Kuroki @genkuroki

16年10月19日

タグ：数楽

posted at 14:53:38

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。以上に出て来たパラメーターはr,m,sの3つだけ。rは積分すれば無くなります。rで積分した後のp(y|m,s)のパラメーター数はたったの2個。これが渡辺澄夫さんの定理を適用するときの確率モデルのパラメーター数になります。

タグ：数楽

posted at 14:56:57

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。階層ベイズモデルは(有限個の)パラメーター付き確率分布をネストさせることによって構築されます。どんなに複雑にしてもパラメーター数は有限個。階層ベイズでWAICを計算する方法については渡辺澄夫さん自身による解説がある→ watanabe-www.math.dis.titech.ac.jp/users/swatanab...

タグ：数楽

posted at 15:00:30

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。実装例の解説には statmodeling.hatenablog.com/entry/waic-wit... があります。こういう話に乗り遅れないためには「階層ベイズではパラメーター数がサンプルサイズとともに増えるので渡辺澄夫さんの定理は使えない」というようなデマを広めている人を信用しないことが大事。

タグ：数楽

posted at 15:03:25

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽私のtwilogに関連情報が結構あります。
twilog.org/genkuroki/sear...

watanabe-www.math.dis.titech.ac.jp/users/swatanab... にもWAICについてこう書いてある→【階層ベイズ法・ベイズネットワーク・深層学習の構造決定に用いることができます】

タグ：数楽

posted at 15:06:41

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽赤池さんが書いたもの ci.nii.ac.jp/naid/110001185... を読んだら【BICはAICを否定するものとの誤解が広まることとなった】という話が書いてあって、「いやな話だなあ」と思って読んだのですが、誤解を広めた人達にはきちんとそれを訂正する義務があるよね。

タグ：数楽

posted at 15:12:07

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽渡辺澄夫さんのWAICについても、watanabe-www.math.dis.titech.ac.jp/users/swatanab... の（注３）【誤った紹介論文について】を見ると似たような嫌な話が書いてあってへこんだ。せめて文献くらいチェックしてからdisってほしいものだと思いました。

タグ：数楽

posted at 15:16:50

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽せっかく文化的な御近所内で渡辺澄夫さんが面白い話をしてくれているんだから(ウェブサイト watanabe-www.math.dis.titech.ac.jp/users/swatanab... も充実しているし、教科書も書いている)、御近所内で正しい情報を積極的に拡散するようにした方がいいんじゃあないかなと思いました。

タグ：数楽

posted at 15:36:18

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。ラプラスの方法(ガウス積分近似)についてすでに知っている人なら、特異点解消を使えばガウス積分の部分をガンマ函数に一般化すればラプラスの方法の一般化が得られることをすぐに理解できると思う。特異点解消は解析学的に漸近挙動を調べるときにも超強力。

タグ：数楽

posted at 15:39:38

黒木玄 Gen Kuroki @genkuroki

16年10月19日

#数楽続き。特異点解消後の積分の式をガンマ函数による近似で評価する方法については twitter.com/genkuroki/stat... で解説しておきました。この方法は初等的なので大学1年レベルで理解可能だと思う。λ log n-(m-1)log log n型の式が出て来る。

タグ：数楽

posted at 15:50:24