黒木玄 Gen Kuroki(@genkuroki)/2016年10月16日

#数楽大数の法則や中心極限定理を知らずにサンプル平均を扱う統計学を理解できないのと同じように、予測分布の漸近挙動を知らずに最尤法やベイズ推定法を理解することも不可能。学ぶ人達にとって大変なのは後者の数学の理解が相当に大変なことだと思います。易しい解説がもっと出るといいと思う。

タグ：数楽

posted at 23:15:25

#数楽続き。そして結果的に、最尤法とベイズ推定法を統一的な視点(サンプルサイズを大きくするときの予測分布の漸近挙動という視点)で理解できるようになります。この時点で「頻度主義vs.ベイズ主義」の歴史的争いは無意味であったことを確信できるようになる。

タグ：数楽

posted at 23:10:18

統計たん @stattan

物騒なワードが。笑 twitter.com/f_nisihara/sta...

タグ：

posted at 23:07:00

#数楽続き。しかし、最尤法における赤池情報量規準AICなどに関して十分に理解しているならば、最尤法の漸近挙動については当然知っているはずなので、ベイズ推定法についても最尤法の場合と同様の勉強を渡辺澄夫『ベイズ統計の理論と方法』で繰り返すことができるはずです。続く

タグ：数楽

posted at 23:04:45

#数楽続き。最尤法もベイズ推定法も未知の確率分布が生成したサンプルを与えると未知の確率分布の推測とみなせる確率分布(以下予測分布と呼ぶ)をアウトプットします。予測分布の漸近挙動の話は、たとえ証明をとばして結果だけを理解しようとするだけでも全然平易ではない。続く

タグ：数楽

posted at 22:58:55

#数楽最尤法やベイズ推定法などを理解するためには、大数の法則や中心極限定理定理よりも高級な数学的結果が成立していることを知る必要がある。すなわち、サンプルサイズを大きくするときの最尤推定やベイズ推定の漸近挙動について知っておく必要があります。これが全然平易なことではない。続き

タグ：数楽

posted at 22:52:04

#数楽続き。独立同分布確率変数列のサンプル平均を取る操作の(サンプルサイズを大きくするときの)漸近挙動が一般的にわかっていることから、我々は未知の確率分布の平均と分散をうまく推定する手段を得るわけです。これらの事実は統計学の授業で最初に習うことになっています。

タグ：数楽

posted at 22:47:11

#数楽続き。さらに中心極限定理より、サンプル平均(X_1+…+X_n)/nはnが大きいとき平均μ、分散nσ^2の正規分布で近似されます。これによって、未知の確率分布の平均だけではなく、分散もうまく推定することができるわけです。しかも正規分布に多くの計算を帰着できてかなり便利。

タグ：数楽

posted at 22:43:13

twitter.com/yaonacs/status...　というご指摘があったのでAICの最適性についてのツイートは消しました．そのうちちゃんと調べて報告します（上のYangのは高級な内容っぽくてもっとその前段階のがあると思うので）

タグ：

posted at 22:38:03

ぱりー @Woofer30

ここしばらく、黒木氏のベイズ統計学についての連続ツイートを見てて確信した。行動経済学の入門書はベイズ確率が云々とかいう電波ばら撒くの止めろ！主観確率が非線形て云々とかいうのもクソだから止めろ！

タグ：

posted at 22:37:44

#数楽続き。サンプルを生成した確率分布が未知であったとしても、大数の法則よりサンプル平均(X_1+…+X_n)/nがn→∞で真の平均μに収束することから、我々は未知の確率分布の平均値をうまく推定することができるわけです。

タグ：数楽

posted at 22:37:43

#数楽続き。X_1,X_2,…は独立同分布な確率変数列であるとし、平均μや有限で正の分散σ^2の存在を仮定しておきます。X_1,…,X_nはサイズnのサンプルと呼ばれています。たとえば同じルーレットをn回まわして出た番号の列が典型的な例になっています。続く

タグ：数楽

posted at 22:34:11

#数楽続き。ベイズ統計の仕組みの一般的有用性を理解するための道具はベイズの定理のような平易な数学的結果ではなく、より高級な数学的諸定理の中にあります。事情は学部レベルの統計学に大数の法則や中心極限定理が使われることと同様です。使う設定も「独立同分布確率変数列」で全く同じ。続く

タグ：数楽

posted at 22:27:14

#数楽続き。ベイズの定理の適用によってベイズ統計の有用性を説明することは無理。ベイズの定理しか数学的道具を知らないと、どうしてベイズ統計が実際に有用であるかを理解することは不可能。それでもベイズ統計の解説をしようとすると擬似哲学的議論に逃げざるを得なくなる。続く

タグ：数楽

posted at 22:19:37

#数楽続き。ベイズの定理の適用が正しい推論になる「事象」に関する状況とベイズの定理の適用が正しい推論になる保証がまったくない恣意的な「仮説」に関する状況は明確に区別される必要がある。後者の状況ではベイズの定理の数学的正しさに頼らずベイズ更新の有用性を説明しなければいけない。続く

タグ：数楽

posted at 22:13:00

#数楽続き。三中信宏さんの別のスライドも見てみました。

cse.naro.affrc.go.jp/minaka/R/tearl...
ベイズ統計学(1)

添付画像はこのスライドの14-15頁です。ベイズの定理が適用できる「事象」の話がそこで「仮説」に置き換えられています。ここが天国と地獄の境目。続く pic.twitter.com/uOUQKRKoXB

タグ：数楽

posted at 22:08:45

#数楽続き。だから、人間が恣意的に用意した確率モデルと事前分布にベイズの定理の式を形式的に適用することの有用性を主張したければ、ベイズの定理に頼らない別の議論が必要になります。そしてそれこそがベイズ統計の解説の核心部分になるべき事柄だと私は思うのです。続く

タグ：数楽

posted at 22:01:41

#数楽続き。なぜならば、ベイズ統計で利用される(パラメトリック)確率モデルと事前分布はどちらも人間が恣意的に設定したものに過ぎないからです。それらにベイズの定理を形式的に適用しても「正しい推論」が得られる保証はまったくありません。続く

タグ：数楽

posted at 21:55:12

#数楽続き
cse.naro.affrc.go.jp/minaka/cladist...
三中信宏、ベイズ統計学2014

9頁目までのベイズの定理の説明は正しいし、わかりやすい。しかし、11頁以降に説明があるベイズ統計の仕組みはベイズの定理を適用でき*ない*場合に分類されることを述べていない点はまずい。

タグ：数楽

posted at 21:48:01

#数楽続き。ツイッターに書いても読み難いと思うので、影響力が強そうな三中信宏さんのスライドを引用して説明しましょう。

cse.naro.affrc.go.jp/minaka/cladist...
三中信宏、ベイズ統計学2014

このスライドの9ページ目までのベイズの定理の説明はわかりやすいです。続く

タグ：数楽

posted at 21:43:19

#数楽 twitter.com/genkuroki/stat...
ベイズの定理を適用できる場合におけるベイズ推論によるアブダクションは正しい推論です。しかし、ベイズの定理のそのタイプの応用によってベイズ統計の仕組みは正当化されない(重要！)。私が最近しつこく何度も繰り返していること。続く

タグ：数楽

posted at 21:40:02

@yaonacs アブスト見ましたこれはかなり高級な話なのでまずaicの最適性について勉強しなおしますありがとうございました

タグ：

posted at 20:18:59

@yaonacs それは真のモデルを含む場合にも成り立つのでしたっけずっと以前に柴田先生が閉包上に真のモデルがある場合を扱われていたと思いますがそれとの関係は？

タグ：

posted at 20:13:51

だま @dama_math

@dama_math
SmoothLifeがわりと好評だったので、
ルールの簡単な説明があるリンクを張ります
www.youtube.com/watch?v=iyTIXR...

タグ：

posted at 19:41:18

Naoya Sueishi @yaonacs

これは少し不正確です。AICはasymptotic loss efficiency（あるいはminimax optimality）、BICはconsistencyです。両者のいいとこどりができないことは、Yang (2005, Biometrika)が示しています。 twitter.com/ibaibabaibai/s...

タグ：

posted at 19:17:46

#数楽続き。仮にベイズ側に属する予測モデルが負けたなら、そのモデルの作者は推定に利用した確率モデルと事前分布の両方の改良を目指すでしょう。「事前分布は自分の主観的確信の強さの表現なので変更する必要はない」とはなりそうもない。ベイズ推しの人がこの点を指摘しないのはおかしい。

タグ：数楽

posted at 19:05:48

#数楽さらに、最尤法では尤度函数を最大化するパラメーターに対応する分布が予測モデルとして採用され、ベイズ推定法では先に説明した予測分布を予測モデルとして採用します。どんな方法で予測モデルを作ってもそれらは競わされる。続く

タグ：数楽

posted at 18:56:20

#数楽「ベイズ統計にはデータが増えるたびに予測を更新できる利点がある」のような説明も雑過ぎ。ベイズ更新される事後分布は尤度函数と事前分布の積の定数倍なので、最尤法でのベイズ更新の対応物は尤度函数の更新であり、最尤法でもデータが増えるたびに予測を更新できますよね。

タグ：数楽

posted at 18:51:20

だま @dama_math

「ライフゲーム」は有名だが、それをさらに進化させた「SmoothLife」なるものがある。
ただし気持ち悪いので注意。 pic.twitter.com/pwsiVAysHf

タグ：

posted at 18:33:01

これホントかな，昔からなんとなくそう思っていたけど，怪しい気もしてきた．確認できたらまたツイートします．＞真のモデルを含む有限個のモデル候補でサンプルサイズ無限大にしたら，最後は予測でもBIC系が勝つはず．

タグ：

posted at 17:45:10

ちなみにBICの損失関数が情報理論でいえば「平均符号長」そのものではないかという点を指摘したのがリサネンによるMDL（最短記述長）という話に相当する．MDLの実際の情報圧縮手法への影響が限定的だったのは複数の理由があるが，ちょっと残念．

タグ：

posted at 17:38:50

「AICが変数の多すぎるモデルを選ぶ」という話のかなりの部分は多重性を無視して沢山のモデルからAICで選ぶせいではないかと個人的には思っています．ベイズ系のモデル選択はいかに根拠が怪しくても，事前分布が規格化されてれば大破綻はしにくいのに対し，予測系は仮定から外れると暴走しがち

タグ：

posted at 17:23:24

数学的にきちんとしたモデル選択の話としては　柴田里程氏の昔のこれ　www.jstage.jst.go.jp/article/sugaku...　がよくまとまっているのでは（個人的には数学的にきちんとしていることに特に興味はないけど）特異モデルとかは出てこないけど，それはいいでしょう．

タグ：

posted at 17:19:06

#数楽リンクメモ続き

d.hatena.ne.jp/shorebird/2016...
2016-10-10 心理学実験の再現性について　その2
これもまた長大なブログ記事

タグ：数楽

posted at 17:15:12

#数楽ブログ

d.hatena.ne.jp/shorebird/
shorebird　進化心理学中心の書評など

はいつもありがたい情報満載で相当にお世話になっている。おすすめ！

タグ：数楽

posted at 17:10:39

松山せいじ Seiji Matsu @seijimatsuyama

#数楽【拡散】リンクメモ
例のp-hacking問題について

d.hatena.ne.jp/shorebird/2016...
shorebird　進化心理学中心の書評など
2016-10-07 心理学実験の再現性について
心理学評論の特集の詳しい紹介を含む

タグ：数楽

posted at 17:08:25

僕がお役所関連の萌え絵の弾圧で怒っているのは、僕自身が秋田県の由利本荘市の第三セクターの鉄道会社とコラボした身だからです。

現場の人たちはみんな一生懸命に地方創生を頑張っているのに、いちいち重箱の隅を突いて水を差すのがムカつくからです。

法的根拠一ミリもないでしょ？

タグ：

posted at 15:45:21

#数楽ダメな例の具体例の引用が少なすぎたのですが、"ベイズ統計" "ベイズの定理" "主観確率"をググって上の方から見て行くとほぼ全滅だよね。Googleで検索→ www.google.co.jp/search?q=%22%E...

これには本当にびっくり。アナザーワールドが見えた感じ。

タグ：数楽

posted at 15:09:09

#数楽ベイズ推定を使いこなしている人たちは「そのp値はどのような前提のもとでの何の確率ですか？」と質問しなければ不安になる人達とは比較にならないほど「よく理解している」はずなんですね。それにもかかわらず、どうしてベイズ統計をベイズの定理の応用だと「解説」する傾向が強いのか？

タグ：数楽

posted at 15:01:59

#数楽
(1)ベイズ推定が推定と呼ぶ価値のある方法であることを示すためにベイズの定理が無力である理由を説明せよ。
(2)ベイズ推定が推定と呼ぶ価値のある方法である理由を「主観確率」のようなジャーゴンを使わずに説明せよ。
ベイズ推しの講演者を見たらこれらの質問をぶつけるべき。

タグ：数楽

posted at 14:31:12

#数楽統計学一般における「真の分布が未知のままであってもモデルの予測性能を比較できる」というような話は「真の分布が未知であっても可能」という点で相当に非自明であり、多くの人が知るところになるべきだと思うのですが、これはまさに数学的に難しい「漸近挙動」の話になります。

タグ：数楽

posted at 14:20:10

#数楽続き。そういうことをきちんと認めた上で、ベイズ統計が持つテクニカルな利点を道具として利用するのであれば普通の考え方そのもので実質的にみんながやっていることにも一致していると思うのですが、そこに何かおまけを付け加えるときには注意を要すると思う。

タグ：数楽

posted at 14:14:06

#数楽実際のベイズ推定の中身とモデルの評価の具体的な話を知ってしまうと、ベイズ統計における「事前確率」と「事後分布」がそのまま合理的な個人もしくは集団の確信の度合いの近似物であるかのようにみなすのは無理だと思う。現実に必要な対処はそれよりもずっと複雑。

タグ：数楽

posted at 14:12:25

#数楽続き
(4)もはやベイズ推定とはまったく無関係の概念であることが明らかになってしまった段階で、「主観確率」の概念は「間主観性」に関する議論では重要なのだと言い張っている(内容はない)。

言いたいことを保ったまま「主観確率」「ベイズ的」と言うのをやめれば解決だと思う。

タグ：数楽

posted at 14:10:34

#数楽ダメな解説のパターン
(1)ベイズ統計はベイズの定理の応用であると説明する。
(2)ベイズ推定の数学的仕組みを理解できていないものだから、合理的な主観の更新であるかのような説明をして誤魔化す。
(3)ベイズ推定の漸近挙動については何も触れずに疑似哲学的な議論をしたがる。

タグ：数楽

posted at 14:06:07

#数楽ベイズ統計をベイズの定理の応用であるかのように説明しているひどい解説がまるでデフォルトのようになってしまっていることが問題なのだと思う。ベイズの定理がベイズ統計の基礎付けで無力であることを知れば、「ベイズ統計いいよ」と言うことが実は相当に大変であることがわかるはず。

タグ：数楽

posted at 14:03:52

#数楽続き。

p(x|w)、φ(w)、(x_1,…,x_n)
→φ_n(w)∝p(x_1|w)…p(x_n|w)φ(w)、p_n(x)=∫p(x|w)φ_n(w)dw

という構成との関係を明瞭にできないなら、「〇〇よりベイズの方が適している」と言わない方がよいと思う。

タグ：数楽

posted at 14:00:57

#数楽続き。さらに、逆に上に説明したような手続きで計算されるベイズ推定の仕組みを理解したとしても、リスクに対して我々社会がどのように対処するのがよいかについての深い知見は得られないでしょう。「主観確率」だとか「ベイジアン」とか言わずに別にきちんと考えた方がよいと思う。

タグ：数楽

posted at 13:14:57

#数楽続き。これが未知の確率分布のベイズ推定です。未知の確率分布は予測分布p_n(x)に「近い」と推定するわけです。問題は未知の確率分布が不明なままで予測分布が真の分布に「近くなっている」とどのようにしてわかるのか？この疑問にはベイズの定理や主観確率の概念は無力。

タグ：数楽

posted at 13:08:23

#数楽確率モデルp(x|w)(パラメーターwを持つxの確率分布)、事前分布φ(w)、未知の確率分布が生成したサンプルx_1,…,x_nから事後分布φ_n(w)∝p(x_1|w)…p(x_n|w)φ(w)や予測分布p_n(x)=∫p(x|w)φ_n(w)dwを作る。続く

タグ：数楽

posted at 13:03:59

#数楽補足。事後分布から予測分布をどのように作るかでモデルの予測の精度が変わってしまうことについてはリンク先を参照して下さい。

statmodeling.hatenablog.com/entry/toyoda-b...
StatModeling Memorandum
豊田秀樹『はじめての統計データ分析』の問題点

タグ：数楽

posted at 12:27:02

#数楽続き。現実に使う場合には求めた予測分布p(x)が結局目的に合わせて評価されるのは当然のことなのだし、統計学を応用しなければいけない場面なら未知の部分が大量に残っていることも当然なのだから、アカデミックに「主観確率」という用語を使ってもいいことは何もない。

タグ：数楽

posted at 12:14:56

#数楽ベイズ統計について「主観確率の事前分布をベイズ更新して事後分布を求める話」であるかのように説明すると、ベイズ統計を有用な道具として支えているテクニカルに重要な部分を大幅に捨象してしまうことになると思う。事後分布から予測分布を決める手続きとか、予測分布の評価の仕方とか。

タグ：数楽

posted at 12:11:48

#数楽ベイズ推定と同じようにパラメーターの分布をベイズ更新していても、ベイズ推定とは異なる事後確率最大化法(所謂MAP)があるので、

ベイズ更新の概念を説明しただけでベイズ推定について説明したことにはならない

のです。ベイズ統計の応用では結構重要な話。

タグ：数楽

posted at 11:49:22

#数楽続き。ベイズ推定の漸近挙動の素性の良さは、パラメーターの分布φ(w)から「現実」に関する予測分布p(x)を求める手続きを明瞭にして初めて確定します。例えばパラメーターの事前分布を事後分布に更新した後に事後確率最大化法で予測モデルを決めると漸近挙動の素性が悪くなる。

タグ：数楽

posted at 11:45:54

#数楽続き。未知の確率分布の推定モデルp(x)とそれを求めるために利用されるパラメーターの確率分布φ(w)(事前分布と事後分布)ではものが全然違います。現実にデータが得られるxの分布とパラメーターの分布wでは話が全然違う。続く

タグ：数楽

posted at 11:41:21

#数楽続き。(4)「主観確率」という語彙のもとでベイズ推定について語られるケースでは、未知の確率分布の推測とみなされるモデルp(x)やそれを求めるために用いた確率モデルではなく、パラメーターwの事前分布の事後分布への更新の部分のみが強調されることが多いという印象。続く

タグ：数楽

posted at 11:37:32

#数楽続き。「主観確率」という語彙を使っていても「当たり前の自明な話をしているだけ」という態度であれば問題ないのだが、「主観確率」という語彙の使用によって何か意味のある新しい考え方が追加されたと思わせたがっているような解説はよろしくないと思う。

タグ：数楽

posted at 11:34:45

#数楽続き。現実の問題に対処するために作ったモデルはそのモデルをどのような方法で作ったとしても、目的に合わせてその良し悪しが評価されることになるわけです。当たり前の話。このような話のどこに「主観確率」の概念が役に立つのやら？私は(アカデミックなこと以上に)何の意味もないと思う。

タグ：数楽

posted at 11:33:09

#数楽ベイズ推定の結果は未知の確率分布のモデルp(x)です。モデルp(x)の良し悪しが目的に合わせて評価されることになる。別の方法で推定されたモデルp_1(x),p_2(x),…が比較対象になる。これはベイズ推定に限らず、どんな推定でも同じ。続く

タグ：数楽

posted at 11:31:37

#数楽続き。新情報が得られるたびに意見を変えて行くことを「ベイズ的」と言いたくなる気持ちはわからないでもないですが、我々が実際に意見を変えて行く様は数学的に明瞭な手続きになっているベイズ推定よりも圧倒的に複雑なので、意味のある議論をしたければ「ベイズ的」などと言わない方がよい。

タグ：数楽

posted at 11:21:19

#数楽続き。私が有害だと考えている対象が、リスク対策のために未知の事柄に関してモデルを立てて利用することに関する合理的な考え方ではない。この点は誤解して欲しくないです。その手の考え方を「主観確率のベイズ推定」のような言葉で説明することを有害だと言っているだけ。

タグ：数楽

posted at 11:18:19

#数楽続き。私は以上のような意味での合理性を「主観確率のベイズ推定」のような言葉で説明するのは有害だと思う。議論の仕方によっては有害とまでは言えないかもしれないが、無用であることは確かなことだと思っています。ベイズ推定の数学的中身と一つ前のツイートでの述べた合理性は関係ない。

タグ：数楽

posted at 11:15:58

#数楽続き。ベイズ云々とは無関係にそういうことは普通によくあることだと思う。典型的なのはICRPによる放射線防御のためのモデル。どんな場合でも「本当に何もわからない」なんて状況は皆無であり、目的に合わせて未知の部分に関するモデルを作って現実に対処することになる。続く

タグ：数楽

posted at 11:12:57

#数楽続き。モデルp(x)自体には知りたいが知ることができない未知の確率分布の有効な近似になっている証拠がなくても、目的のために現在使用できるモデルの中でベストもしくはベストに近いものがそれしか無ければそれを使うしかないということもあるでしょう。続く

タグ：数楽

posted at 11:09:59

#数楽続き。(記号の説明：未知の確率分布はxに関する確率分布とみなされており、wはパラメーター。) そして、現実のモデルとみなされる確率分布p(x)を計算することに成功したら、目的に合わせてモデルp(x)の信頼性や有用性をあらゆる手段を使って評価しようとする。続く

タグ：数楽

posted at 11:06:36

#数楽続き。(3)(通常のパラメトリックな)ベイズ推定は、パラメーター付き確率分布p(x|w)とパラメーターの事前分布φ(w)から、未知の確率分布が生成しているとみなされるサンプルを用いて、その未知の確率分布の推定値とみなせる分布p(x)を求める数学的手続きの一つです。続く

タグ：数楽

posted at 11:03:51

#数楽続き。(2)未知の確率分布の推測ために使われる確率モデル(パラメーター付きの確率分布)の設定自体の根拠が薄弱であることが多いのに、なぜか事前分布の設定だけに焦点を当てて、それを「主観確率」という用語で説明して何か意味のあることを言ったつもりになっている解説も実に多い。

タグ：数楽

posted at 10:59:52

#数楽未知の確率分布を推定する場合に限定しても多くの解説が混乱している。
(1)そのようなケースではベイズの定理は論理的に適用できないのに、ベイズの定理の応用で推定しているかのような解説がある。そのような解説では未知の確率分布がどうしてその方法で推定できるかに関する説明がない。

タグ：数楽

posted at 10:53:49

#数楽続き。 www.itmedia.co.jp/enterprise/art... モンティホール型の問題で客観確率と主観確率で【アタリの確率が変化する？
】という誤解は、ベイズの定理→主観確率→ベイズ推測→主観確率なベイジアン万歳という流れでおかしな俗説をこじらせた結果だと思う。

タグ：数楽

posted at 10:23:08

#数楽続き。相当に教養のある人であっても、ベイズ統計がベイズの定理の応用であるかのように説明している場合が珍しくないので、場合によっては何らかの意味で社会的に「専門家」とみなされているような人の解説も信用しない方がいいと思う。検索しまくって結構びっくりした。

タグ：数楽

posted at 10:10:00

#数楽続き。モンティホール問題のような設定を明確にすれば真の確率分布が既知になるケースには統計学は関係ありません。モンティホール問題にベイズ統計は応用しても無意味。条件付き確率の定義からほぼ自明なベイズの定理を適用することと、ベイズ統計を応用することは論理的に関係ない。

タグ：数楽

posted at 10:05:01

#数楽続き。モンティホール問題は設定さえ明確にすれば真の確率分布は既知になるので、条件付き確率の計算にベイズの定理を適用して得られる結果は真の確率になります。しかもモンティホール問題のような問題ではベイズの定理を使わずに全事象をリストアップして条件確率を計算しても易しい。

タグ：数楽

posted at 10:01:41

#数楽一般に次の2つの区別が明瞭でない説明をする人はわかっていない人扱いでOK.
(1)条件付き確率の定義からほぼ自明なベイズの定理が適用できる状況(真の確率分布が既知であり、ベイズの定理を使う必然性もない状況)、(2)真の分布が未知なのでベイズ推定を適用する状況。続く

タグ：数楽

posted at 09:58:08

#数楽続き。一つ前のツイーとでリンクをはった記事ではモンティホール問題の変種が扱われているのだが、内容がひどすぎ。【一般的に客観的確率を学んだものであれば6枚裏返ったところで、カードを変更する意味がないとすぐに思うだろう】と書いてある。思うやつは学んでいない人。続く

タグ：数楽

posted at 09:50:59