黒木玄 Gen Kuroki(@genkuroki)/2017年11月05日

自民・公明の選挙協力は得票数の推移にどうあらわれているのか。

小選挙区と比例代表でこんなに得票数が違うのはこの2党しかない。中選挙区制から小選挙区比例代表並立制へ移行したことによって票の量がどう変わったかにも注目してほしい。 pic.twitter.com/2gUM4YCrXC

タグ：

posted at 00:39:52

yuchi @yuchi_m_

まだAIC導出したことない日本人は今日導出しような

タグ：

posted at 00:49:03

神塚ときお @kazuka_tokio

あぁ、絵が描けるってなんてしあわせなことだったんだろう！
うれしい！
ただただうれしい！こんな感覚で絵を書いたことたぶん今までに一度もなかっただろうなぁ。なんて贅沢者だったんだろう。 pic.twitter.com/vJBd7AbGNU

タグ：

posted at 02:03:26

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

積分定数 @sekibunnteisuu

#超算数　＃絶対値　このような情報がありました。昔の中学数学1学年の教科書が見れる環境の人は、確認して情報提供して頂けるとありがたいです。
twitter.com/piyopiyo2357/s...

タグ：絶対値超算数

posted at 06:54:47

HAYASHI Tomohiro @SokoranoKumasan

左派とされる政党がきちんとしたコンセンサスを出さないからこういう事態が起こっているように思います。
たとえば放射能デマにしても、左派政党はこれを公式に否定しないどころか加担した例もあった。
結果、左派政党支持者やそういう方が多いマスコミが彼らに忖度した言動を繰り返したのかな、と。 twitter.com/MORI_Natsuko/s...

タグ：

posted at 09:54:48

「特殊関数一般論」というのは、特殊なのか一般なのかはっきりせい！ということになる。数学では、個別の例の研究と一般論はどちらも大切であり、不可分でもあるという意味では「特殊関数一般論」は成立しうる。
twitter.com/subarusatosi/s...

タグ：

posted at 09:57:28

ʇɥƃıluooɯ ǝıʇɐs @tsatie

#組体操は子供が直ぐに死ぬ可能性が十分にある。そして #掛算その他は直ぐに死んだりしないが実質現代の思考する人としては長く緩慢な死に至らしめる。何も全ての子供（人が）というわけではない。でもなって話だが其処が分からない馬鹿が少なくとも広島大学の附属やらにはたんといるという事だ

タグ：掛算組体操

posted at 10:35:49

#数楽コンピューターで計算するとき、実装する数式やアルゴリズムを正確に把握することが必要です。そのとき、私は「紙とペン」などを使っての手描きモードに移るのですが、ときどきその移行が律速段階になる感じがして、いらつくことがあります。みんな、どうしているんだろうか？

タグ：数楽

posted at 11:45:44

行列力学ができた頃のハイゼンベルクがヒルベルトを訪れた話は、リード「ヒルベルト」に書かれている。
books.google.co.jp/books?id=mR4Sd...

twitter.com/fredholm_eq/st...

タグ：

posted at 12:23:16

ハイゼンベルクの行列力学
www.chemie.unibas.ch/~steinhauser/d...
は1925年。クーラン・ヒルベルト「数理物理学の方法」は前年の1924年。「固有値」という言葉を最初に1904年の積分方程式の論文で使ったのがヒルベルト
gdz.sub.uni-goettingen.de/dms/load/img/?...

タグ：

posted at 12:27:19

今では古典のように思われる「数理物理学の方法」だが出版された1924年はまだ量子力学前夜であり、当時としてはたいへん先進的な本であった。Whittaker-Watsonも1920年の第三版時点ですでに今と変わらぬ内容で「Modern Analysis」の題に恥じぬものだった。

タグ：

posted at 12:30:27

yoshitake-h @yoshitakeh

ゲルファント他 "Generalized Functions" ってある意味で特殊関数の本だよな。

タグ：

posted at 13:51:19

みうみう@ @miumiuuuuu83

坑道掘削装置の稼働展示‼︎

近くを歩いてた隊員さん2人が
『あれ動いてるの初めて見た』
『大サービスだね』って会話してるのが聞こえてきたからかなりレアなのねwww pic.twitter.com/Y8lBpKmDWT

タグ：

posted at 13:58:41

Richard McElreath @rlmcelreath

Today is (the late) Hirotsugu Akaike's bday, so worth repeating Akaike's recollection of the origin of AIC. Train's can be inspiring. pic.twitter.com/WguJECWaOs

タグ：

posted at 16:37:26

Richard McElreath @rlmcelreath

Full text here: garfield.library.upenn.edu/classics1981/A...

タグ：

posted at 16:37:34

twitter.com/yuchimatsuoka/...

AICの導出には

www.amazon.co.jp/dp/4339024627
渡辺澄夫『ベイズ統計の理論と方法』
第3章正則理論

の解説がおすすめ。最尤法だけではなく、ベイズ法にも通用する議論が書いてある。 #統計

タグ：統計

posted at 17:30:13

#統計『ベイズ統計の理論と方法』を読めば「頻度主義 vs. ベイズ主義」というようなトンデモに騙されずにすむ。生息モデルでのベイズ法と最尤法はガウス積分近似(ラプラスの方法)によって繋がっている。そういう計算がしっかり書いてある。

タグ：統計

posted at 17:34:42

Haruhiko Okumura @h_okumura

事前分布についてのGelman御大の最近の論文 arxiv.org/abs/1708.07487 例の「両親の美醜と子供の性比が相関する」という問題の多い論文を槍玉に挙げて「だから平坦な事前分布はダメだ」と。こういうふうに考える人多いんだろうか

タグ：

posted at 17:37:13

#統計赤池情報量基準は最尤法でつくった予測分布の予測精度の指標になっているのだが、どうして予測精度の指標になっているかを理解するためには、Kullback-Leibler情報量に関するSanovの定理(難易度は中心極限定理以下)を理解しておく必要がある。必須。続く

タグ：統計

posted at 17:37:53

#統計統計学を学ぶための確率論の基本定理は

1. 大数の法則 (弱法則で十分)
2. 中心極限定理
3. Kullback-Leibler情報量に関するSanovの定理

の3つ。3つめの項目についての解説は

genkuroki.github.io/documents/2016...

にある。

タグ：統計

posted at 17:42:29

Haruhiko Okumura @h_okumura

で，出生性比がどれくらい安定しているか調べていたら，こんなグラフが。男:女=2:1だ！ www.jstage.jst.go.jp/article/jshhe1... pic.twitter.com/nPuuMm9mJn

タグ：

posted at 17:47:13

#統計赤池情報量基準AICによるモデル選択と最尤法における対数尤度比検定には共通部分がある。「パラメーター数rの確率モデル」と「そのパラメーターの1つを固定したパラメーター数r-1の確率モデル」による最尤法による推定結果のどちらがもっともらしいかをAICで判定することは～続く

タグ：統計

posted at 17:49:09

#統計続き～、パラメーターを1つ固定した方の確率モデルを帰無仮説とし、固定していない方を対立仮説とする有意水準15.7%の対数尤度比検定と同等であるとみなせる。最大尤度の比の対数の2倍はWilksの定理より、自由度1のカイ二乗分布に従い、P(χ^2(1)>2)=15.7%.

タグ：統計

posted at 17:54:21

#統計パラメーターを1つ固定した方のAICをAIC_0と書き、固定していない方をAIC_1と書くと、定義より

AIC_0 - AIC_1 = 2log(最大尤度比)-2

なのでAIC_0>AIC_1と

χ^2(1)～2log(最大尤度比)＞2

は同値になる。続く

タグ：統計

posted at 17:58:46

#統計続き。有意水準を5%と

AIC_0 - AIC_1＞1.84

という条件でパラメーターを固定していない方の確率モデルを選択することは同等である。

このようにAICのスケールは対数尤度比のカイ二乗検定の場合と同じで、KL情報量のスケールの2×サンプルサイズ倍である。

タグ：統計

posted at 18:04:27

#統計 Wilksの定理を使った対数尤度比のカイ二乗検定は帰無仮説の確率モデルが対立仮説の確率モデルのパラメーターの一部を固定したものになっている場合にのみ適用できるが、AICによる予測精度の比較はそのような場合でなくても使用可能である。

タグ：統計

posted at 18:07:18

#統計 AICを使用可能なためには、確率モデルのあるパラメーターがサンプルを生成した真の確率分布を与えていてかつFisher情報量行列が非退化でなければいけない。有限のサンプルサイズで得られる精度でそうなっていない場合は結構多い。例：混合正規分布モデルではアウトになることがある。

タグ：統計

posted at 18:14:01

#統計最尤法では、最大尤度を与えるパラメーターを見つけなければいけないのだが、指数型分布族一発で書ける単純な確率モデル以外では、真の解ではない極大点が普通に現れ、真の解との区別をすること自体が難しい場合がある。そのような場合にはベイズ推定法の方が安全だろう。

タグ：統計

posted at 18:17:32

#統計最尤法が不適切でAICが使えないケースでは、ベイズ推定法を使えばよい。ベイズ推定法におけるAICの拡張にWAICがある。先に紹介した渡辺澄夫さんの教科書のメインディッシュがWAICの導出である。AICの現代版だと思って、この機会に勉強するひとが増えれば良いと思う。

タグ：統計

posted at 18:20:39

Haruhiko Okumura @h_okumura

で，Gelmanは出生性比なんか安定しているんだからσ=0.001みたいに狭い事前分布で考えれば変な結論出ないと言うんだが，そういう先入観でデータを扱っていいのかと言いたかった。私は無情報事前分布のファンだ

タグ：

posted at 18:23:36

#統計添付画像は現在のGoogleの様子 pic.twitter.com/QD0YNKXiNg

タグ：統計

posted at 18:23:51

#統計次のJupyter notebook (#JuliaLang)では1次元の簡単な混合正規分布モデルのベイズ推定法と最尤法とWAIC，AICの数値計算例があります。

nbviewer.jupyter.org/gist/genkuroki...
混合正規分布モデルの最尤法とベイズ法による推定例

タグ：統計

posted at 18:28:47

#統計ベイズ統計の易しい解説では、事後分布=尤度函数×事前分布が山が一つの単純な形をしている場合を扱っていることが多いのですが、そのような都合の良い状況は、指数型分布族一発の単純なモデル以外では期待できません。そういう都合が良過ぎる状況ではベイズ推定法を使う必然性はないと思う。

タグ：統計

posted at 18:35:06

#統計「頻度主義 vs. ベイズ主義」のようなトンデモが表通りを闊歩してしまう原因の一つは、尤度函数が山一つの単純な形の極めて特殊な場合しか扱わないせいで、ベイズ推定法を使う必然性がないのに、まるであるかのように説明せざるを得なくなっていることが関係していると思う。

タグ：統計

posted at 18:39:24

#統計訂正

「生息モデル」を「正則モデル」に訂正します。

twitter.com/genkuroki/stat...

タグ：統計

posted at 18:41:49

#統計

MCMCで近似計算するときに、階層モデルだと表に出ない内部パラメーターの個数がサンプルサイズに比例するようになります。そのような場合にも自明にWAICの漸近論は有効です。。内部パラメーターで積分した確率モデルを考えれば良い。専門家なら誤解しないと思いますが

タグ：統計

posted at 18:47:17

#統計階層ベイズモデルをMCMCで近似的に解いたとき、予測分布の精度を比較するためにはWAICを計算しなければいけないのですが、単純にやると、内部パラメーターでの数値積分をMCMCのチェインの長さ×サンプルサイズに比例した回数実行しなければいけなくなり、かなり大変です。

タグ：統計

posted at 18:51:26

#統計階層モデルと階層でないモデルの違いは理想化された状況ではないのですが、実際に数値計算する場合には計算量が大きく変わります。階層モデルと同値な非階層モデルがあるなら後者を使った方が色々楽をできます。とくにWAICの計算が超楽になる。

タグ：統計

posted at 18:54:42

#統計赤池情報量基準AICによるモデル選択が、ある種の仮説検定の一般化になっていることはすでに説明しました。AICの発想の良いところは「パラメーターの推定」という中途半端な立場から「確率分布の推定」というより普遍的で自然でより徹底した立場になっていることだと思います。

タグ：統計

posted at 18:58:43

#統計ベイズ統計についても、「推定結果は事後分布である」とする立場は「パラメーターの推定」という中途半端な立場です。「推定結果は予測分布である」という立場なら「確率分布の推定」という普遍的でより徹底した立場になり、AICの拡張であるWAICによるモデル選択の立場に移れます。

タグ：統計

posted at 19:03:24

#統計ベイズ統計について学ぶ場合には、「推定結果は事後分布である」という中途半端な立場で終わるのではなく、「推定結果は(事後)予測分布である」という話までしっかり書いてある解説が必要だと思います。AICからWAICまで学べば当然そうなると思います。

タグ：統計

posted at 19:07:16

#統計パラメーターw付きの確率密度函数p(x|w)とデータDから求めた事後分布φ(w|D)に対して(事後)予測分布p^*(x)は

p^*(x) = ∫p(x|w)φ(w|D)dw

と定義されます。続く

タグ：統計

posted at 19:11:09

#統計 MCMCで求めた事後分布の長さLのサンプルw_lを使えば

p^*(x)=(1/L)Σp(x|w_l)

で予測分布を近似計算できます。こういう計算が速くないと、ベイズ統計での予測分布は扱い難いです。統計に利用するソフトの計算速度はかなり大事。

タグ：統計

posted at 19:15:35

#統計事後分布φ(w|D)の最大点w=w^*に対する

p^*(x)=p(x|w^*)

や、事後分布の平均w_{mean}に対する

p^*(x)=p(x|w_{mean})

を予測分布として採用すると、貴重な事後分布の情報の大量にを捨て去るので精度は保証されなくなります。

タグ：統計

posted at 19:21:25

J.S.エコハ @JS_Ecoha

J.S.エコハのブログ: 赤池弘次博士とAIC kameleon-kameleon.blogspot.com/2015/06/aic_27...

タグ：

posted at 19:27:50

J.S.エコハ @JS_Ecoha

「本当のモデルがわからないのに、なぜ良さを評価できるのかという基本的な問題がある。哲学的な大問題です」

タグ：

posted at 19:30:14

J.S.エコハ @JS_Ecoha

Nagata Harunori／永田晴紀 @nagataharunori

「モデルの評価には、真の分布の対数尤度とモデルの対数尤度の差を使います何種類かのモデルがある場合、真の分布がわからなくても、データから決まるモデルの尤度はありますから、その対数を比較すれば、モデルの比較はできるのです」

タグ：

posted at 19:30:48

英国に蓄積された千年分の行政文書を統計解析した社会学の素晴らしい研究（十万年の世界経済史とか）を読む度に、より長期の文書が残る我が国の社会学者は何してるのかと腹が立つんだよね。数学苦手だから文系に進む、という我が国の悪しき伝統の所為だと思うけど。数学苦手なら研究者になるなと思う。 twitter.com/shima_usa96/st...

タグ：

posted at 20:19:56

#数楽 2×2の分割表の独立性検定で、有意水準αなら、何らかの偏りの指標になる統計量Tの分布をモンテカルロシミュレーションで計算して、P(T>c)=αとなるcを見付け、T>cという条件で検定を行う、というようなことは誰でも考え付くと思います。しかし、注意するべきことがある。続く

タグ：数楽

posted at 20:43:00

#数楽その注意はBarnard's exact testのBarnardさんが私的していることで、例えば

2 6
5 1

で有意差があるとするなら、

1 7
5 1

2 6
6 0

でも有意差があることになるように検定法を作りたいということです。続く

タグ：数楽

posted at 20:49:37

#数楽 Barnardさんはその条件をconvexityとかC conditionと次の論文で呼んでいます。
academic.oup.com/biomet/article...

タグ：数楽

posted at 20:53:23

#数楽個人的な意見では、帰無仮説を表現する確率分布が一意的に決まらないケースでは確率を計算してもその確率は決して「正確」なものではないのだから、5%とかの有意水準に厳密に従うことには科学的厳密性という観点から見て意味はないと思う。そして、意味がないことに厳密にこだわるのは愚か。

タグ：数楽

posted at 20:55:38

#数楽「帰無仮説を満たす確率分布によってサンプルを大量に生成して、その各々について「偏り」の大きさの指標になる統計量T (一番有名なのは多分ピアソンのカイ二乗統計量)を計算して、T>cとなる割合を計算する」というような方法は万能に近いんですが～続く

タグ：数楽

posted at 21:02:32

#数楽続き～帰無仮説を満たす確率分布にパラメーターが入る場合(帰無仮説に対応する確率分布が一意的に決まらない場合)には、そのことに注意を払って、有意水準に厳密に従って判断することには、科学的な厳密性の観点から意味がない、とはっきり言った方が良いように思えます。

タグ：数楽

posted at 21:04:15

#数楽サンプル

a b
c d

について「これ以上の偏りを持つ確率」としてp値を計算するためには、帰無仮説を表現する確率分布と偏りの指標を決めないといけないんですね。帰無仮説を表現する確率分布の取り方を自然に決める方法がないなら、p値の値に厳密にこだわっても意味ないです。

タグ：数楽

posted at 21:09:28

#数楽〇〇検定に基いて計算したp値の1つをxとする。帰無仮説を満たす確率分布Aのもとで計算した「〇〇検定に基いて計算したp値がx以下になる確率」がxと大幅に違っていたとする。これだけで〇〇検定が全般的に悪いということにはならないことにも注意。続く

タグ：数楽

posted at 21:21:26

#数楽続き～。なぜならば、帰無仮説を表現する確率分布が一意的に決まらないのだから、帰無仮説を表現しているとみなせる別の確率分布Bでは「〇〇検定に基いて計算したp値がx以下になる確率」がxに(ほぼ)等しいかもしれない。続く

タグ：数楽

posted at 21:22:50

#数楽続き。しかし、〇〇検定＝Fisher's exact testの場合には、サンプルサイズが小さい場合ほど、独立性の帰無仮説を満たすが周辺度数が固定されていない確率分布全般において、「〇〇検定に基いて計算したp値がx以下になる確率」はxよりずっと大きくなります。

タグ：数楽

posted at 21:25:18

#数楽続き。まあ、色々理解して使う分には問題ないと思いますが、「サンプルサイズが小さいほどFisher's exact testのp値の大きさは信用できない」とか「Fisher's exact testの確率計算は現実の応用場面では正確ではない」とはっきり言わない不思議。

タグ：数楽

posted at 21:27:51

#数楽統計学の教科書で大事なことの一つは、私のような統計学のど素人だが、統計学の授業をする可能性のある人をきちんと論理的に説得できるだけ十分な説明がされているように書くことだと思う。

学生だけではなく、教師の側もきちんと教育できるだけしっかりした内容の教科書じゃないと危ない。

タグ：数楽

posted at 21:29:26

#数楽直接、数値計算の試行錯誤をしたり、そこで気付いたことを頼りに、関連の論文を検索して読むことによって、2×2の分割表の独立性検定の事情がどんな感じになっているのか、やっと納得できた。

自分が何も理解していなかったことが本当によくわかった。

タグ：数楽

posted at 21:30:45

#数楽学生向けの統計学の教科書に【カイ二乗検定は近似でかつ精度も低いので、可能ならばFisherの正確確率検定を使った方がよい】のように書いてあっても決して信用してはいけないこともわかりました。

結構、怖い。教科書通りに講義をすると後で謝罪しまくらないといけない可能性がある。

タグ：数楽

posted at 21:33:40

#数楽「確率」という言葉を使う場合には「どの確率分布での確率なのか？」を明瞭にし、「採用した確率分布が適切であること」についても議論をしなければいけません。これこそが確率論の応用の出発点だと思います。採用した確率分布が適切であることの議論も結構重要。基本に戻ることは常に大事。

タグ：数楽

posted at 21:38:15

#統計赤池情報量基準AICの話に戻る。

未知の確率分布q(y)が生成したとみなされるサンプルY_1,…,Y_nを、パラメーターwを含む確率分布p(y|w)を用いて分析して、未知の確率分布q(y)を推定することを考えましょう。最尤法では、サンプルから決まる尤度函数～続く

タグ：統計

posted at 22:01:48

#統計続き～L(w)=p(Y_1|w)…p(Y_n|w)を最大にするw=w^*を求め、予測分布をp^*(y)=p(y|w^*)によって求めます。q(y)のp^*(y)によるシミュレーションの精度はKL情報量～続く

タグ：統計

posted at 22:04:35

#統計続き～Kullback-Leibler情報量

D(q||p^*)=∫q(y)log(q(y)/p^*(y))dy

で定義できます(これは非負で小さいほど精度が高い)。しかし、KL情報量自身は未知の確率分布q(y)を含んでいるので、計算できません。続く

タグ：統計

posted at 22:06:13

#統計しかし、KL情報量から予測分布p^*(y)の作り方によらない定数を引いた汎化損失

G(q||p^*)=-∫q(y)log(p^*(y))dy

の推定量であれば、サンプルY_1,…,Y_nだけから計算できることがわかっています。G(q||p^*)が小さい方が精度が高い。

タグ：統計

posted at 22:08:14

#統計続き。より小さいことが相対的に精度が高いことを意味するG(q||p^*)の推定量の代表がAICです。定義は

AIC_n = -2nL(w^*) + 2d

です。ここでdはパラメーターwの空間の次元(自由度)です。続く

タグ：統計

posted at 22:10:54

#統計あるw_0についてq(y)=p(y|w_0)でかつFisher情報量行列が退化していなければ、サンプルサイズn→∞でAIC_nは

E[G(q||p^*)] = E[AIC_n]/(2n) + o(1)

を満たしています。続く

タグ：統計

posted at 22:14:06

#統計だから異なる確率モデルごとに得られた予測分布 p^*(y) の推定精度を各々のAICの大きさで比較できます。AICが小さい方が予測精度が高い可能性が高い。続く

タグ：統計

posted at 22:15:55

#統計驚くべき結果！最尤法の計算が終わった時点でノータイムで計算できるAICを使えば、未知の確率分布q(y)が未知なまま、q(y)が生成したサンプルの情報だけをもとにして、複数の予測分布の推定精度を比較できるのです！未知の確率分布q(y)が未知のままでそういうことができる！

タグ：統計

posted at 22:18:22

#統計未知の確率分布q(y)が未知なままで、それをシミュレートすると期待される予測分布の優劣を推定できるのです。

これと同じことが、ベイズ推定法では確率モデルへの仮定をほぼすべて落とした場合に可能になっています(渡辺澄夫さんの仕事)。

タグ：統計

posted at 22:20:51

#統計最尤法における赤池弘次さんのAICに関する仕事やベイズ推定法における渡辺澄夫さんのWAICに関する仕事を知っていれば、「未知の確率分布の推定」という視点から最尤法とベイズ推定法は同じような話になっていることを容易に納得できます。

タグ：統計

posted at 22:25:27

#統計赤池さんとかもっと昔のFisherさんとかの偉人達の名前が「赤池情報量基準」とか「Fisher情報量」のようなところに登場して「権威」を感じる人がいるかもしれませんが、実際の中身は権威と無縁の「みもふたもない」(だからこそ素晴らしい)数学の話になっています。

タグ：統計

posted at 22:34:16

#統計数学がらみの話では「権威」を感じているような精神状態では決して真の理解には至らないと思う。

基本的な数学的道具を積み重ねただけのみもふたもない話(それだからこそ素晴らしい)であることを知って初めて理解の出発点に立てるのだと思う。

タグ：統計

posted at 22:34:39

#統計訂正します。L(w)の定義にlogを付けたつもりになっていた。「尤度函数」を「対数尤度函数」に訂正し、L(w)の定義を

L(w) = log(p(Y_1|w)…p(Y_n|w)) =Σlog p(Y_k|w)

に訂正。こうしておかないと、AICの定義が正しくない。

タグ：統計

posted at 22:46:06

#統計 #JuliaLang

nbviewer.jupyter.org/gist/genkuroki...
混合正規分布モデルの最尤法とベイズ法による推定例

の頁内検索で見付かる

AIC = 2*minnegloglik + 2*nparam

の部分がAICを計算している部分です。

タグ： JuliaLang 統計

posted at 22:52:09

#統計 minnegloglik = min_w(-L(w)) = -L(w^*) です。リンク先のJupyter notebookでは、optimize函数で求めた最小点の候補とMCMCのチェイン上の最小点を比較して小さい方を解として採用しています。

タグ：統計

posted at 22:54:48

#統計 MCMCのチェイン上の最小点を初期条件としたoptimize函数で求めた最小点の候補を解にした方が精度が高くなるのですが、面倒だったのでそこまでのことはやっていません。

WAICの計算をしている部分は

WAIC = 2*n*T_n + 2*V_n

です。

タグ：統計

posted at 22:59:30

#統計最尤法におけるAICもベイズ推定法におけるWAICもそれらをコンピューターで数値計算するだけだったら大して難しい話じゃないので、みんなどんどん遊んでみればよいと思います。自分が好きな任意のプログラミング言語で計算してみるとよいと思う。

タグ：統計

posted at 23:06:19

#統計最小二乗法の確率モデル:
p(y|x,a,b,σ)=exp(-(y-a-bx)^2/(2σ^2))/√(2πσ^2).
サンプル(X_1,Y_1),…,(X_n,Y_n)に対する対数尤度函数
L(a,b,σ)=Σlog p(Y_k|X_k,a,b,σ)
を最大化せよ。

タグ：統計

posted at 23:12:24

#統計 L(a,b,σ)をa,b,σで偏微分した結果を0と置いて、a,b,σについて解けば最尤法の解が得られ、最小二乗法の解も得られます。手計算で計算した結果とコンピューターで最小点を近似計算した結果を比較して一致していれば、手計算と数値計算の信頼度が増します。

タグ：統計

posted at 23:15:40

#統計この計算は大学1年で偏微分について習った直後にやっておくと非常に具合がよいと思います。単に直線を引くだけではなく、予測分布も嬉しい。最尤法の解をa^*,b^*,σ^*とすると予測分布は

p^*(y|x) = p(y|x,a^*,b^*,σ^*)

です。続く

タグ：統計

posted at 23:18:14

#統計 xを与えるごとに、予測分布 p^*(y|x) は y の分布(平均 a^* + b^* x で標準偏差 σ^* の正規分布)を与えます。

X_k達の分布の予測分布をp^*(x)とすればxy平面上の確率分布

p(x,y) = p(y|x)p(x)

が得られます。

タグ：統計

posted at 23:20:59

#統計訂正：「予測分布も嬉しい」→「予測分布も得られることが嬉しい」

タグ：統計

posted at 23:21:58

#統計実際に数値計算をやってみたら、数値計算そのものをやる手間よりも、結果のプロットの仕方を調べる手間の方が多いことに気付いた。

タグ：統計

posted at 23:23:02

#統計 x の予測分布 p^*(x) を一様分布だとして、p^*(x)の因子を無視すると、以上の記号法のもとでAICは

AIC = -2 Σ_{k=1}^n log p^*(Y_k|X_k) + 2×3

になります。AICは最尤法の予測分布でも書ける。

タグ：統計

posted at 23:31:13

#統計 xy平面上の分布の予測分布の式の訂正：X_k達を生成した分布の予測分布を p^*(x) と書くと、xy平面上の予測分布は

p^*(x,y) = p^*(y|x)p^*(x).

上の方で ^* を書き忘れていた。

タグ：統計

posted at 23:33:29

あ〜る菊池誠(反緊縮)公式 @kikumaco

#統計赤池情報量基準AICは予測分布の精度の相対比較指標。「パラメーターの推定」を超えた「確率分布の推定」という発想がないと永久に理解できない話。

タグ：統計

posted at 23:36:05

自民党の政治家だって、安倍以外はリフレじゃないから、ポスト安倍は日本経済を壊滅させる可能性があるじゃないですか。野党にはチャンスだというのに

タグ：

posted at 23:38:10

#統計誰かが、秘密の確率分布とその確率分布に従った秘密の(擬似)乱数発生プログラムを作り、適当な長さの乱数列(サンプル)を公開し、そのサンプルからみんなで予測分布(秘密の確率分布をシミュレートすると期待される確率分布)を作って、精度を競うという遊びをすると面白いかもしれません。

タグ：統計

posted at 23:38:52

非公開

タグ：

posted at xx:xx:xx

#統計問題を出す側は「フェアだが、できるだけ性格の悪い問題」を出すことが肝腎だと思います。答えが出揃ったら、秘密の乱数発生プログラムを公開して、解答者達が汎化損失 G(q||p^*)=-∫q(x)log(p^*(x))dx を数値計算し、一番小さい人が優勝。

タグ：統計

posted at 23:42:43

#統計確率分布q(x)に従う乱数発生プログラムが公開されていれば、十分な量の乱数 x_l (l=1,…,L)を生成して、

-(1/L)Σ_{l=1}^L log(p^*(x_l))

で汎化損失を近似計算できます。p^*(x)は回答者が用意した予測分布の函数(プログラム)。

タグ：統計

posted at 23:45:08

#統計問題を出す側は数十～数百程度のサイズのサンプルを公開して、数万～数百万程度のサイズのサンプルを秘密にしておく。解答者が出そろったら、巨大サイズのサンプルを公開して、予測分布の精度を各自比較できるようにする。

タグ：統計

posted at 23:47:46

#統計巨大サイズではないサンプルx_1,…,x_nについて経験損失

-(1/n)Σ_{k=1}^n log p^*(x_k)

を最小にする方向で予測分布を求めると、オーバーフィッティングが起こって予測精度が悪くなることがあります。

タグ：統計

posted at 23:50:32

#統計こういう遊びをやる人が増えれば、汎化損失やら、Kullback-Leibler情報量が、予測精度の指標になっていることを知る人が増え、「パラメーターの推定」よりも普遍性の高い「確率分布の推定」という考え方をできる人が増えると思う。社会貢献になるような遊び。

タグ：統計

posted at 23:53:03