黒木玄 Gen Kuroki(@genkuroki)/2016年10月15日

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2016年10月15日

« 次の日| 前の日 »

並び順 : 新→古 | 古→新

2016年10月15日(土)

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽表しか出ないイカサマコインを使っていても、偶然表が出続けているだけだと言い張ることが結構な回数可能なのでボロはすぐには出ない。しかし、裏も出るコインで実際に裏が出てしまうと表しか出ないコインではないことがすぐにばれてしまう。だから、私の説明の仕方の一部は明瞭に誤りだった。

タグ：数楽

posted at 23:45:07

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。以上の極端な2つの例の違いを知っていれば、分布pによるサンプル生成でもう分布qに近い経験分布を生成できる(分布pで分布qをうまくシミュレートできる)確率の話になっているので、KL情報量の非対称性は自然な結果だと解釈可能なことがわかると思います。

タグ：数楽

posted at 23:40:32

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。θが0に近ければ近いほど裏が出てしまうのは早くなり、D(q||p)は大きくなる。
(2)D(p||q)=∞となる。表しか出ないイカサマコインqでは裏が出ることはないので、裏が出るかもしれない分布pに十分に近い経験分布は決して実現されない。

タグ：数楽

posted at 23:36:02

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽たとえば、コイン投げで表の出る確率が常に1のイカサマコインが分布qで、表の出る確率が0<θ<1の分布をpとする。このとき、
(1) D(q||p)=-log θは0でも∞でもない。確率θで表が出るコインで偶然に表が出続けて、経験分布としてqが得られるかもしれない。
続く

タグ：数楽

posted at 23:31:37

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽例を説明しなかったのが敗因。結構ある。

タグ：数楽

posted at 23:25:43

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。p≠qなら大数の法則よりサンプルサイズ→∞の極限でpが生成したサンプルの経験分布がqに近くなる確率は0に近付きます。0に近く速さを測っているのがKL情報量D(q||p)だとみなせるというのがSanovの定理。p=qのときD(q||p)=0とも整合的な解釈。続く

タグ：数楽

posted at 23:24:12

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽 Sanovの定理のより正確な説明は「KL情報量D(q||p)=∫q(x)log(q(x)/p(x))は、分布pによるサンプル生成で分布qに近い経験分布が生成される確率が下がる速さであるとみなせる」です。続く

タグ：数楽

posted at 23:20:32

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽自分自身の誤りの指摘
twitter.com/genkuroki/stat...
リンク先のツイートで、分布pによるサンプル生成で分布qをシミュレートしたときボロが出る速さがKL情報量D(q||p)だと説明したが、それは誤り。Sanovの定理の内容の説明として誤り。続く

タグ：数楽

posted at 23:13:40

羽生理恵 @yuzutapioka

16年10月15日

この棋譜、『藤井君と僕のだ💧。』
『お父さんどっち？』『桐山君』
の場面。 pic.twitter.com/Bqtm4R0dOL

タグ：

posted at 23:11:34

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽リンクメモ
状態空間モデルによる広告効果分析 blog.albert2005.co.jp/2014/07/09/%e7... @ALBERT2005さんから

タグ：数楽

posted at 22:33:31

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽リンクメモ
ベイズ情報量規準及びその発展～概説編～ blog.albert2005.co.jp/2016/04/19/%e3... @ALBERT2005さんから

タグ：数楽

posted at 22:14:13

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽相関係数の大きさに対する目安の歴史的変遷 - Tarotanのブログ tarotan.hatenablog.com/entry/2015/08/...

タグ：数楽

posted at 22:03:41

Minaka Nobuhiro 〈みなか @leeswijzer

16年10月15日

周転円の楽園というか何というか． twitter.com/motcho_tw/stat...

タグ：

posted at 21:55:18

非公開

タグ：

posted at xx:xx:xx

ぼくさー @boxeur0211

16年10月15日

@sho_yokoi
genkurokiの推し本ですね
twitter.com/genkuroki/stat...

タグ：

posted at 21:05:20

sho_yokoi @sho_yokoi

16年10月15日

@_waniki ありがとうございます！ぱっと見でですが（概念が所与のものとして天から降ってくる感じが少なくて）大変良い本だなと思いつつ、完全に積まれていました…。いま読んでる本を終えたらぜひチャレンジしてみます。

タグ：

posted at 20:23:13

非公開

タグ：

posted at xx:xx:xx

sho_yokoi @sho_yokoi

16年10月15日

@_waniki なんという本か教えて頂けませんか。（直接ははじめまして！）

タグ：

posted at 19:26:15

非公開

タグ：

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#掛算リンクメモ

１０月１４日のブログアクセスについて　～「さくらんぼ計算」への強い関心 blog.goo.ne.jp/mh0920-yh/e/be...

twitter.com/genkuroki/stat... も結構RTされており、結構関心を持つ人が多いように感じています。

タグ：掛算

posted at 18:09:16

積分定数 @sekibunnteisuu

16年10月15日

#掛算
 blog.goo.ne.jp/mh0920-yh

タグ：掛算

posted at 18:03:15

非公開

タグ：

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽未知の分布qが生成したサンプルを使って未知の分布qをシミュレートさせることが目的にモデルをコンピューター上に作成したいというようなケースではBIC系の情報量基準ではなく、AIC系の情報量基準(AIC、WAIC、CVなど)を使うべきなのです。

タグ：数楽

posted at 17:10:20

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽 KL情報量∫q(x)log(q(x)/p(x))dxは分布pで分布qをシミュレートしたときにqではないとばれる速さを表わしています(Sanovの定理)。KL情報量の定義におけるpとqに関する非対称性は「どちらがどちらをシミュレートしているとみなすか」を表しています。

タグ：数楽

posted at 17:07:21

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。KL情報量の近似値なので小さい方が精度が高い。KL情報量∫q(x)log(q(x)/p(x))dxは大雑把には、モデルpでサンプルを生成していったときに「これは真の分布qで生成したサンプルではない」とばれる速さを表しています(Sanovの定理)。予測精度の指標。

タグ：数楽

posted at 16:56:45

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽モデルpは真の分布qが生成したサンプルX_1,…,X_nをもとに決めるのですが、モデルpによる真の分布qの予測精度はqで生成した別の大サンプルY_1,…,Y_Nに関して(1/N)Σq(Y_k)log(q(Y_k)/p(Y_k))を計算すれば比較できます。続く

タグ：数楽

posted at 16:46:48

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。もう一回強調。AICは真のモデル選択が目的に道具ではなく、予測精度の尺度なので、AICとBICを真のモデル選択で比較するのではなく、予測精度でも比較しておいた方がいいかも。

タグ：数楽

posted at 16:34:21

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。nが60以上では綺麗に理論値通りになっているように見える。

タグ：数楽

posted at 16:30:59

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽添付画像は www.singularpoint.org/blog/math/stat... より。真のモデル選択で成功する確率の理論値：AICはn大で84.3%、BICは
40→94.5%
60→95.7%
80→96.4%
100→96.8% pic.twitter.com/YjGFeW49J4

タグ：数楽

posted at 16:29:58

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽
 www.singularpoint.org/blog/math/stat...
ブログsingular pointでのAICとBICによる真のモデル選択の実験は理論通りの数値が出ていてわかりやすい。(注意：AICは真のモデル選択に使える道具ではないのでAICが劣っているわけではない！)続く

タグ：数楽

posted at 16:21:05

積分定数 @sekibunnteisuu

16年10月15日

授業小話㉘～ごめんよ～ miketeacher.blog63.fc2.com/blog-entry-204...　#掛算

タグ：掛算

posted at 16:08:58

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽 AIC=-2L_n(w_n)+2dとBIC=-2L_n(w_n)+d log nは形が似ているので「ペナルティ項2dとd log nの違いに過ぎない」のように認識してしまうと誤解してしまうと思う。それらが何の「距離」の大小を近似的に意味しているかを考えないとまずそう。

タグ：数楽

posted at 15:38:59

baibai @ibaibabaibai

16年10月15日

これ超立方体で考えるとこっちの面からもあっちの面からも全部遠いっていう全てのAndが芯の部分だから条件多くて小さくなるという説明で自分はちょっと納得している twitter.com/genkuroki/stat...

タグ：

posted at 14:16:02

baibai @ibaibabaibai

16年10月15日

私は自分の本に高次元球はザボンみたいだと書いたが産地の人が読者にいるだろうと心配になって校正でザボンは旨いとか関係ないことを書き足したネタひとつでも気を使う twitter.com/genkuroki/stat...

タグ：

posted at 14:13:08

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽 P(χ^2(d)>d log n), d=1, n=100の計算→3.2%
www.wolframalpha.com/input/?i=P(X%3...

タグ：数楽

posted at 14:12:04

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。パラメーター数dで、AICが真のモデル選択に失敗する確率はP(χ^2(d)>2d)でした。BICが真のモデル選択に失敗する確率はP(χ^2(d)>d log n)で、d=1、n=100なら3.2%になる。参考→ www.singularpoint.org/blog/math/stat...

タグ：数楽

posted at 14:09:22

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。AICがパラメーター1差で失敗する確率のマジックナンバーの15.7%は「自由度1のカイ2乗分布に従う確率変数が2より大きくなる確率」＝「標準正規分布に従う確率変数の絶対値が√2より大きくなる確率」。

タグ：数楽

posted at 13:34:27

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。予測の精度が最も高いと推定されるモデルを選ぶと選択肢の中に真のモデルが含まれていても選択に失敗することを防げなくなるという話はやっぱり面白いよね。未来予測の精度優先と真のモデル選択優先では使う道具を変えないといけない。

タグ：数楽

posted at 13:21:50

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。粕谷英一さんによるパラメーター数(の差)が1のときAICは15.7%の確率で真のモデル選択に失敗するという話の解説3つ：
hosho.ees.hokudai.ac.jp/~kubo/ce/2005/...
kasuya.ecology1.org/stats/2014-03E...
ci.nii.ac.jp/naid/110009978...

タグ：数楽

posted at 13:17:46

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。AICの大小はサンプルからモデルの未来予測精度の誤差の大小を推定したものになっています。AICは未来予測の精度が最も高そうなモデルを選択する目的に使うのが正しい。

タグ：数楽

posted at 11:59:16

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。歴史的にはこれを根拠にAICをdisる行為が生じてしまったのですが、AICはもともと「真のモデル選択」のための道具ではないので、そのようなdisりは不毛です。非難されるべきなのは、AICを「真のモデル選択」の道具として使ってしまった人達。

タグ：数楽

posted at 11:55:28

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。d=2にしてもその確率は1/e^2=13.5%で、d=3にしてもその確率は11.2%です。その確率が5%を切るのはd≧8です。こんな感じでAICによるモデル選択は理想的な最尤法の解を選ばない確率は無視できないほど大きい。

タグ：数楽

posted at 11:50:33

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。パラメーターを上の設定での最尤法の理想的な解w_0に固定した場合のAICよりもパラメーターを動かしてしまった場合のAICが運悪く小さくなってしまうことと、自由度dのカイ2乗分布が2dより大きくなることは同値とみなせます。d=1とするとその確率は約15.7％です。

タグ：数楽

posted at 11:44:12

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。で、wをw_0に固定した場合のAICは-2L_n(w_0)で、パラメーターwの自由度がdでパラメーターを動かせる場合のAICは-2L_n(w_n)+2dになります。近似的にL_n(w_n)=L_n(w_0)+(自由度dのカイ2乗分布)/2とみなせるならば、～続く

タグ：数楽

posted at 11:35:52

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。最初の-(1/2)at^2+btの部分はTaylor展開で出て来るので2次の項の係数に1/2がついている。統計学における慣習ではTaylorの定理の使用が原因の1/2を1にするために2倍してしまう歴史的習慣があるようですね。

タグ：数楽

posted at 11:28:00

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。Taylorの定理や中心極限定理などを使った後の本質的計算はパラメーターの自由度が1の場合には「a>0のとき-(1/2)at^2+btの最小値は(1/2)(b/√a)^2になる」です。(b/√a)^2の部分がカイ2乗分布にしたがい、その1/2倍になる。続く

タグ：数楽

posted at 11:25:18

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き(符号訂正版)。結論は、パラメーターwの自由度をdと書くとき、「L_n(w_n)-L_n(w_0)≧0はnが大きいとき自由度nのカイ2乗分布の-1/2倍で近似される」です。どこから、カイ2乗分布が出て来て、しかもその1/2倍になるのはどうしてなのか？続く

タグ：数楽

posted at 11:17:55

AXION @AXION_CAVOK

16年10月15日

「サクサクメロンパン問題」というのか？
「重箱の隅問題」というのかと思っていた(^_^;)。 twitter.com/genkuroki/stat...

タグ：

posted at 11:00:05

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。人の名前の付いた定理の名前を連呼していても、議論の内容がきちんと伝わるようにしてあれば無害なのですが、現実にはそうなっていないことが実に多い。続く

タグ：数楽

posted at 10:42:53

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。導出の本質的部分が中学校レベルであれば、定理に付けられた名前は覚える必要がないと思うのですが、なぜか人の名前を付けた定理の名で呼んでしまうパターンが実に多い。私はそういう権威的な響きが好きになれない。人の名前ではなく、議論の内容だけが重要だと思いたい。続く

タグ：数楽

posted at 10:40:14

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽続き。サンプルサイズnでの対数尤度函数の最大値をL_n(w_n)と書き、サンプルサイズnでの最大対数尤度と呼ぶ。サンプルを動かすとき最大対数尤度がどのように分布するかの結果はナントカの定理と呼ばれていたと思いますが、導出の本質的部分は中学校レベルの数学にすぎません。続く

タグ：数楽

posted at 10:37:40

黒木玄 Gen Kuroki @genkuroki

16年10月15日

#数楽サンプルサイズnでの対数尤度函数L_n(w)=Σ_{k=1}^n log p(X_k|w) の話。X_kは分布q(x)で生成されるとし、最尤法が適用可能な正則性条件を仮定。L_n(w)のサンプルを動かす平均はnL(w)=n∫q(x)log p(x|w)dxになる。続く

タグ：数楽

posted at 10:33:48

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月15日

ち、ちょっと待て、「高級なパン屋にいくと、メロンパンの皮部分が厚いクッキー生地で作られており、別々に焼かれて張り付けられていることがある。」だと？クッキー生地を別々に焼いてから張り付けるだと？そんなものがメロンパンと呼ばれるのか？それはクッキーパンではないのか？ #緩募 twitter.com/genkuroki/stat...

タグ：緩募

posted at 08:48:06

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月15日

これは何か愉しそうな薫りが♬ twitter.com/genkuroki/stat...

タグ：

posted at 08:43:26

積分定数 @sekibunnteisuu

16年10月15日

@ohmasu_risa #掛算勘違いしていました。大きい方にいくつ足したら１０になるか、ということで、小さい方を分解ですね。
twitter.com/chiiszk/status...

タグ：掛算

posted at 08:42:24