黒木玄 Gen Kuroki(@genkuroki)/2016年10月18日

#数楽続き。一方、サンプルの揺らぎに埋もれずにすむぎりぎりのオーダーO(1)を持つペナルティー項を採用すると、E>(定数)となる確率は0にならないので、真のモデル選択に失敗する確率もn→∞としても0にならなくなる。AICはこういう所を攻めた情報量規準だったわけです。

タグ：数楽

posted at 23:57:07

#数楽続き。サンプルの揺らぎに対応する項Eはn→∞でO(1)と振る舞うので、過剰適合問題対処のためのペナルティー項はO(1)以上のオーダーを持つ必要があります。それより小さいとサンプルの揺らぎに埋もれてしまう。AICはその意味でぎりぎりの精密さを持つ「規準」になっています。続く

タグ：数楽

posted at 23:53:34

#数楽続き、パラメーター数を増やしてもモデルの予測精度があまり悪化しないという数学的事実を意味しているとも考えられます。モデルの予測精度(予測誤差)に対応するのは(2d-E)/(2n)〜d/(2n)であり(Eの平均はd)、O(1/n)の速さで減少します。続く

タグ：数楽

posted at 23:45:57

#掛算　 #算数　 @OokuboTact 　　こんな感じです。　その３ pic.twitter.com/XRlk6pYa3h

タグ：掛算算数

posted at 23:43:47

#掛算　 #算数　 @OokuboTact 　　こんな感じです。　その２ pic.twitter.com/Gxfk5CuCWX

タグ：掛算算数

posted at 23:43:19

＃掛算　＃算数　 @OokuboTact 　　こんな感じです。　その１ pic.twitter.com/IUVkHRvR5V

タグ：掛算算数

posted at 23:42:39

＃掛算　＃算数　悪評高い小学校の掛け算の順序について書いてある本の紹介をします。　『算数・数学科教育 (教科教育学シリーズ第3巻) 』　　www.amazon.co.jp/%E7%AE%97%E6%9...

タグ：掛算算数

posted at 23:41:47

#数楽続き。しかし、これはAICが真の分布の選択を目的としているのではなく、モデルの予測精度を表す量を近似することを目標にしているので仕方がないことだと考えられます。AICが真のモデル選択に無視できない確率で失敗することは、続く

タグ：数楽

posted at 23:35:36

#数楽続き。たとえばd=1のとき、その確率(自由度1のカイ二乗に従うEについてE>2となる確率)は15.7%です。このことから、AICを使う限り、サンプルサイズnをどんなに増やしてもAICによる選択が真の分布を選ばない確率を0とみなせるだけ小さくはできません。

タグ：数楽

posted at 23:31:47

#数楽続き。説明を手抜きをしてn→∞で0になる項を無視していることに注意。問題はパラメーター数d>0の場合との関係。パラメーター数dのAICをAIC_dと書きましょう。理想のAIC_0よりもAIC_dの方が小さくなるのは自由度dのカイ二乗分布に従うEについてE>2dとなること。

タグ：数楽

posted at 23:26:35

#数楽続き。パラメーター数0の確率モデルが真の分布を含むこととはパラメーター数0の確率モデルが真の分布に一致することを意味し、d=0の場合のAIC=2nSはAICが真の分布のエントロピーSの2n倍になることを意味しています。これが現実には不可能なベストの推定です。続く

タグ：数楽

posted at 23:22:08

#数楽続き。
さらに、-2L_n=2nS-E、Sは定数、Eはサンプルを変えたときの揺らぎを表す確率変数であり、n→∞で自由度がパラメーター数dに等しいカイ二乗分布に分布収束します。

まとめ：AIC=2nS+2d-E．
Eは自由度dのカイ二乗分布に従う。

続く

タグ：数楽

posted at 23:13:55

#数楽続き。AICが使用可能な条件は最尤法で用いた確率モデルが真の分布を含みかつ真の分布について適切な条件を満たしていることです。AICの定義はAIC=-2L_n+2d、L_nは対数最大尤度、dはモデルのパラメーターの自由度です。続く

タグ：数楽

posted at 23:04:42

#数楽続き。サンプルサイズをnと書くとき、AUCが有効な条件のもとで、AICと汎化誤差(=モデルによる真の分布の予測精度を表すKL情報量+定数)の2n倍の差はn→∞で0になります。AICは汎化誤差の2n倍を近似している。続く

タグ：数楽

posted at 22:59:53

#数楽続き。以上の例を見た感じでも真のモデルを選択したければAICよりもBICを使った方が良さそうです。AICとBICが使えない場合にも利用できるWAICとWBICの使い分けについてはそれらの発見者の渡辺澄夫さんのサイトが詳しい→ watanabe-www.math.dis.titech.ac.jp/users/swatanab...

タグ：数楽

posted at 22:43:21

#数楽続き。添付画像は

www.eecs.qmul.ac.uk/~sgg/papers/Xi...

より。AIC、BIC、CVの比較の例。 pic.twitter.com/cwZmJARIFO

タグ：数楽

posted at 21:15:36

#数楽続き。添付画像は

www.slideshare.net/guestfee8698/c...
Cross-Validation

より。下線は引用者による。 pic.twitter.com/z1Y4g8ya2J

タグ：数楽

posted at 20:35:51

アホ卜ロル @ahotrol

水に流せ pic.twitter.com/R83EfUJp6z

タグ：

posted at 19:48:54

#数楽続き。さらに別の数値計算例紹介

d.hatena.ne.jp/bob3/20091209/p2
poLCAでCAICとｐ値を算出する方法が分かったのでメモ
AIC、BIC、CAIC、Chi.p、G.pの比較

タグ：数楽

posted at 18:36:26

#数楽続き。以上の情報は既出。以下は別の数値実験例紹介

scikit-learn.org/stable/auto_ex...
Lasso model selection: Cross-Validation / AIC / BIC

タグ：数楽

posted at 18:00:46

#数楽数値実験例紹介
twitter.com/genkuroki/stat...
扱われているケースで真のモデルを選択する確率の理論値が綺麗に再現されている。AICではn大で84.3%でそれより下がらない。BICではnが大きいほど大きくなる。

タグ：数楽

posted at 17:51:43

#数楽このツイートの返答連鎖に"AIC vs. BIC"の件についての情報をまとめておく。

ci.nii.ac.jp/naid/110001185...
赤池弘次、AICとMDLとBIC、1996
【G. Schwarz～論文～BICはAICを否定するものとの誤解が広まることとなった】

タグ：数楽

posted at 17:39:32

非公開

タグ：

posted at xx:xx:xx

何を言いたいかというと、1990年代の中頃というのは、論文や研究の評価というのも、そんなに気軽にできることではなかったということです。このサイトで分析されている論文の被引用数というのも、こういう時代であったと理解する必要があります。
scirex.grips.ac.jp/topics/archive... twitter.com/yamagatm3/stat...

タグ：

posted at 11:13:38

このころは、誰がどういう論文を書いているのか、なんていうのも、よくわからなかった時代だったのです。論文を読むというのも、オンラインではないので、興味本位で論文検索して、それを読んでみるなんていうことは普通はできなかったのです。 twitter.com/yamagatm3/stat...

タグ：

posted at 11:08:18

Cellが、初めてオンラインで公開され始めた時代。懐かしい。当時、私は基生研だよりで、生物学系HPの紹介記事を書いていたのです。まだGoogleもなかった時代です。日本国内にはほとんど存在していなかった分子生物学系のHPを基生研で立ち上げたのも私でした。 twitter.com/yamagatm3/stat...

タグ：

posted at 11:03:33

1996年くらいというのは、まだPubMedが存在していなくて、論文検索には図書館に行って、Medlineを使わないとならなかった時代。課金されるので、興味本意で論文検索などもできなかった時代です。 twitter.com/yamagatm3/stat...

タグ：

posted at 10:59:17