黒木玄 Gen Kuroki(@genkuroki)/2020年11月21日

#統計添付画像は

www.ism.ac.jp/editsec/toukei...
情報量規準AICの統計科学に果たしてきた役割
小西貞則
2019

のp.204より。

この論説は、正直に言って、かなり落胆しながら読んだ。

BICもKL情報量の推定量とみなせるので、添付画像の引用部分は非常に変です。続く twitter.com/umaruyama/stat... pic.twitter.com/QhSQHSwTmw

タグ：統計

posted at 00:06:16

#統計渡辺澄夫『ベイズ統計の理論と方法』に近い記号法で説明します(私のTLではよく読まれている教科書)。

データX_1,X_2,…は未知の分布q(x)のi.i.d.であるとし、分布族p(x|w)と事前分布φ(w)によるベイズ統計について考えます。第2章の正則モデルの設定を仮定。

続く

タグ：統計

posted at 00:06:17

#統計モデル内での仮想的なデータの分布は

p(x_1,…,x_n) = ∫p(x_1|w)…p(x_n|w)φ(w)dw

と書け、分析対象のデータの分布は

q(x_1)…q(x_n)

と書ける。これらのKL情報量は

-∫q(x_1)…q(x_n) log p(x_1,…,x_n) dx_1…dx_n
+ (モデルによらない定数)

の形になります。

タグ：統計

posted at 00:06:17

#統計自由エネルギー F_n の定義は

F_n = - log p(X_1,…,X_n)

であり、分布q(x)のi.i.d. X_1,…,X_n の確率的揺らぎに関するその期待値 E[F_n] は

E[F_n] = -∫q(x_1)…q(x_n) log p(x_1,…,x_n) dx_1…dx_n

と書けます。

タグ：統計

posted at 00:06:18

#統計以上の2つのツイートの自明な結果より、自由エネルギーの期待値 E[F_n] はモデルによらない定数の違いを除けば、モデル内における仮想的なデータの分布と推測先の真のデータの分布のKL情報量に一致します。

タグ：統計

posted at 00:06:19

#統計だから、もしも、自由エネルギーの期待値 E[F_n] の推定量で使い物になるものがあれば、モデル内における仮想的なデータの分布と推測先の真のデータの分布のKL情報量の意味での違いの大小をデータから推測できることになります！

タグ：統計

posted at 00:06:19

#統計ちょっと大胆に聞こえるかもしれませんが、自由エネルギーの期待値 E[F_n] の推定量として、期待値を取る前の自由エネルギー F_n を採用しても、それらの漸近挙動から実用的なモデル選択が可能になりそうなことがわかっています！

タグ：統計

posted at 00:06:20

あ〜る菊池誠(反緊縮)公式 @kikumaco

#統計自由エネルギーの期待値 E[F_n] の推定量としての F_n をさらに大胆に近似したものが BIC です。

自由エネルギーの期待値 E[F_n] は本質的にKL情報量なので、その推定量とみなされた自由エネルギー F_n や BIC を「情報量規準」と呼ぶことは、普通の名付け方に過ぎません。

タグ：統計

posted at 00:06:20

ムーンショットに関わった連中は滅びればいいと思う。ムーンショットなんかより、運営費交付金や普通の科研費のほうが圧倒的に重要なんだよ

タグ：

posted at 00:06:30

#統計正則モデルの場合の自由エネルギー F_n のn→∞での漸近挙動の詳細は、渡辺澄夫『ベイズ統計の理論と方法』のp.64、定理2に書いてあります。

この手の本を読んだ人はこのスレッドの最初に紹介した去年に出た論説を読むと落胆する可能性が高い。私は落胆した。

タグ：統計

posted at 00:10:21

#統計 AICとBICでは推測先のKL情報量が違いますが、どちらもKL情報量が基礎になっています。こういう基本的なことさえ理解していない人にAICやBICの解説をさせてはいけないと思います。

タグ：統計

posted at 00:12:57

Kiichi @Ki_chi

@physics303 maximum(Iterators.flatten(x)) でどうでしょうか？

タグ：

posted at 00:24:40

#統計自由エネルギーF_n = - log p(X_1,…,X_n)はモデルの(周辺)尤度p(X_1,…,X_n)の対数の-1倍なので、モデルの「もっともらしくなさ」の指標ではなく、モデルのデータX_1,…,X_nへの適合の悪さの指標に過ぎない。

尤度は「もっともらしさ」の指標ではなく、データへの適合度の指標に過ぎない。

タグ：統計

posted at 00:27:10

走る！空心菜 @faidaeng

気になってた #julialang 入れました。インストールのヘルプに従ってシステム環境変数でPathを設定、あらかじめネットで調べて使いやすそうだったVisual Studio CodeにJulia用エクステンションを入れたらすぐに使えました！なんか思ってたよりスムーズ。まずは門戸に立ったところで、今日はおしまい！

タグ： julialang

posted at 01:15:38

非公開

タグ：

posted at xx:xx:xx

The Julia Language @JuliaLanguage

Happy Friday all! If you use Plots.jl for plotting in Julia, what is your preferred plotting backend and why? Reply👇 pic.twitter.com/3vu4g2Lrh5

タグ：

posted at 02:01:08

Accurate twitter.com/jetakow/status...

タグ：

posted at 02:34:15

(Just to be clear, before people jump on me, I'm not saying that Julia is any more buggy than any other language - the issue list just happens to essentially represent my to-do list, so being kept up by it is not unusual)

タグ：

posted at 02:43:05

非公開

タグ：

posted at xx:xx:xx

Jiahao Chen 陈家豪 @acidflask

This was my life twitter.com/jetakow/status...

タグ：

posted at 04:26:54

"Looking at where we are today, I would be happier if Julia was the main language [for AI]" - Peter Norvig (www.youtube.com/watch?v=hVW1mw... around 40:40). We're working on it! His book was my one of my first exposures to AI. Surreal! #JuliaLang

タグ： JuliaLang

posted at 04:59:33

Julia Bloggers @juliabloggers

New post: The need for rand speed - www.juliabloggers.com/the-need-for-r... #julialang

タグ： julialang

posted at 06:47:36

ごまふあざらし(GomahuAzaras @MathSorcerer

My #julialang AD talk is now up on YouTube! www.youtube.com/watch?v=mQnSRf...

タグ： julialang

posted at 08:24:40

私の場合、JavaScriptをJuliaから入門しました(JSExpr.jlなどのために) twitter.com/genkuroki/stat...

タグ：

posted at 10:08:21

Giovanni Mazzocco @johnny_83

@KenoFischer 40:35 "So looking at where we're today, I guess I would be happier if #Julia was the main language. Python is starting to have type declarations now, but they don't quite take 'em seriously, Julia does a much better job with that ... "

タグ： Julia

posted at 10:29:15

Giovanni Mazzocco @johnny_83

@KenoFischer " ... and #Julia was written to be more efficient, sort of from the start. So I think that's probably a better choice ..."

タグ： Julia

posted at 10:32:47

Julia News @julialang_news

The need for rand speed www.juliabloggers.com/the-need-for-r... #juliabloggers

タグ： juliabloggers

posted at 10:56:04

カシシ @the_m_r_p

2歳児が生まれてきた時の記憶を話してくれたんだけど「ママのお腹で隠れんぼしてて、明るいところに出たら救急車に乗せられて、ママとパパと離されてずーっと会えなくて、カプセルみたいな所に入れられて沢山注射されて怖かった」って。何一つ当たってなくて凄い。お前めっちゃ健康優良児だったよ。

タグ：

posted at 12:16:14

saurabh @saurabh_____

#optimization #julialang #Tutorials twitter.com/abel_siqueira/...

タグ： julialang optimization Tutorials

posted at 12:42:11

#Julia言語

maximum(Iterators.flatten(x))
maximum(maximum, x)

などの方法があるのですが、もしも配列の配列を自然に避けることができるなら、そうした方がよいかも。

maximum(f, X) は結構便利で、例えば maximum(abs, X) で絶対値の最大値を計算できる。 twitter.com/physics303/sta...

タグ： Julia言語

posted at 12:57:40

@kuri_kurita

『今の分科会は、経済の専門家も入っており、感染制御だけでなく、経済活動との両立をミッションとしているので…』

そうは言っても、その「経済の専門家」というのがどういう人物かというと… 「オオカミ少年」確信犯。😑 pic.twitter.com/ZcNjNTuBn0

タグ：

posted at 13:14:55

HYLERY @Hylex0511

Pythonの言語仕様があんま好かないって人は一定数いると思うんだけど、そういう時はJuliaが良い感じ

タグ：

posted at 13:20:29

清　史弘 @f_sei

注目❗
数学を教える関係者はご覧下さい。
今は、あえてそれ以上は申しません。 twitter.com/nothewar2016/s...

タグ：

posted at 13:30:07

しろまんた @shiromanta1020

2年前のワンパン絵がでてきた pic.twitter.com/gLiuvNz4NN

タグ：

posted at 13:35:11

清　史弘 @f_sei

皆さんは、数学Bの「筆頭選択科目」などという言い方を聞いたことありますか？

タグ：

posted at 13:37:11

清　史弘 @f_sei

私は、統計の人が「東大がなかなか出してくれないので、早稲田、慶応から圧力をかけましょう」と相談しているのを見ていました。たぶん、そちらにも何か行っているのではないだろうか。

タグ：

posted at 13:40:37

#Julia言語せっかくなのでランダム行列の固有値の分布をプロットすると幸せな気分になれる。

ランダムな対称行列を作るには Symmetric(randn(n, n)) のようにする。Juliaには沢山の種類の行列の型がある。

gist.github.com/genkuroki/a146... twitter.com/physics303/sta... pic.twitter.com/pvMLvOfNzF

タグ： Julia言語

posted at 13:48:53

#統計統計学用語の likelihood は

* 数学を使用する場合には、単語の日常的な意味で理解しようとしてはいけない。

とか

* 歴史的にどのような経緯でその定義が出てきたかを知っても理解のために役に立たない。場合によっては誤解の原因になる。

ということの実例になっています。

タグ：統計

posted at 14:09:37

#統計数学は難しいので、新しい分野の開拓者が最初から正しい考え方をできていることは稀で、長期間に渡る汚い試行錯誤の結果として現在知られているような理解に至っていることが多い。

用語は最初の開拓者が使った不適切に感じられるものがそのまま使われ続けることが多い。

例：likelihood

タグ：統計

posted at 14:13:43

非公開

タグ：

posted at xx:xx:xx

@kuri_kurita

確かにこれは…‼️

www.mhlw.go.jp/content/202010... pic.twitter.com/2lVjK0g8h9

タグ：

posted at 17:33:39

藤森哲也 @tetsu_59

プロ棋士が山頂で将棋大会をやったら凄まじいことになった
youtu.be/_ty0kRdS5mQ pic.twitter.com/aH9xu8Gjh0

タグ：

posted at 17:48:55

#統計「尤度は英語ならlikelihoodであり、日常的にも使われる単語なので分かり易い。尤度と翻訳したのは失敗だった」と言う人達がいるのですが、尤度は日常的な意味での likelihood (もっともらしさ)ではないので、「ゆうど」と読む意味不明の言葉に翻訳されたことはラッキーだったかもしれない。

タグ：統計

posted at 18:25:50

#統計尤度は、英語ならlikelihoodであり、「尤もらしさ」を意味し、「ゆうど」と読む、のように思ってしまった人達は結果的にひどく誤解している。

数学用語を単語の日常的な意味で解釈しようとしている段階でひどく間違っている。

「尤度」は「モデルのデータへの適合度」の指標に過ぎない。

タグ：統計

posted at 18:25:51

#統計「尤度」(ゆうど)が特に理解し難く、「もっともらしさ」だと思ってしまう人達が大量発生してしまう原因は、教科書などの解説に「もっともらしさ」だと書いてあることである。

このことから、教科書に書いてあることを信用するのはよくないことも分かる。個人的な意見では統計学は特に酷い。

タグ：統計

posted at 18:32:24

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#統計このスレッドの上の方で実演してみせた、

　中心極限定理とWilks' theoremの数値的確認

を自分が普段使いするであろうプログラミング言語で一通りやっておくと、統計学への理解が相当に進み易くなると思います。

タグ：統計

posted at 19:25:07

ヤバそう… twitter.com/nekomath271828...

タグ：

posted at 19:48:51

#統計補足。以下のリンク先の添付画像(このツイートの添付画像2)のコードは、このツイートの添付画像1の計算(最尤法の計算)を使っている。

簡単な函数の最大化は非常に基本的。
その手の計算をサボるとどんどん理解が怪しくなって行く。
理解することはそういう地道な作業の積み重ね。 twitter.com/genkuroki/stat... pic.twitter.com/UlDB2aXrkd

タグ：統計

posted at 20:24:13

#統計 Wilks' theoremの数値的確認では、尤度函数だけで書ける量の分布をプロットさせているのですが、n→∞での理想的な場合のχ²分布からのずれも確認できます。

青の線は尤度函数だけで書ける量の分布で、橙の滑らかな線がχ²分布。 pic.twitter.com/HMJAufsdid

タグ：統計

posted at 20:35:29

#統計 Wilks' theoremから(それが適用できる場合には)、サンプルサイズn→∞の理想化された場合であれば、尤度函数だけで書ける量を用いて正確に仮説検定が可能であることが分かります。

しかし、有限のnで数値的に確認すると、有限のnでは正確ではないことも十分に確認できます。続く

タグ：統計

posted at 20:44:07

#統計このスレッドでは扱わなかったのですが、有限のnでは、所謂exact testとWilks' theoremから得られる尤度函数のみを使った検定の結果もずれます。

このようにして、データとモデルを尤度函数で要約すると、有限のnにおいては、正確さに関わる情報を失うことになることも理解できます。

タグ：統計

posted at 20:44:08