黒木玄 Gen Kuroki(@genkuroki)/2016年10月13日

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2016年10月13日

« 次の日| 前の日 »

並び順 : 新→古 | 古→新

2016年10月13日(木)

黒木玄 Gen Kuroki @genkuroki

16年10月13日

続き。ガウス積分の公式として、∫e^{-x^2/a}dx=√(πa)や正値対象行列Aと縦ベクトルxに関する∫e^{-x^T A^{-1}x}dx=√(det(πA))はよく使われる。高次元版では行列式(すべての固有値の積)の平方根が出て来る。続く

タグ：

posted at 07:07:22

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽 xがd次元で分配函数がZ_n=∫e^{-n(S+x^T A^{-1}x)}dx=e^{-nS}√(det(πA/n))の形なら、F_n=-log Z_n=nS+(d/2)log n+const.となる。渡辺澄夫本第3章定理2が出て来る仕組みは簡単。

タグ：数楽

posted at 07:45:14

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽大学1年で習うガウス積分のd次元版を使えば、尤度函数が鋭い山型になる場合の(←これは成り立っていないことが多い仮定だが、最尤法では仮定している)ベイズ推定の周辺尤度のn→∞での漸近挙動が瞬時にわかる。

タグ：数楽

posted at 07:51:10

とよしまかず人＠圕の中下農 @zevonkeirin

16年10月13日

『基準値のからくり』にはその具体例がたくさん載ってるのでぜひ広く読まれてほしいです。→ 【SYNODOS】安全とは作法である――エビデンスを尋ねることから始まる新しい社会／岸本充生 / リスク分析 synodos.jp/society/18165

タグ：

posted at 08:53:31

非公開

タグ：

posted at xx:xx:xx

Dis Pater السهيل❤ @econometror

16年10月13日

仮説検定、単にモデルの予測性能を担保しないというだけなのに意識の高い人間たちからdisられ続けているのが不憫で不憫で涙が止まらない。

タグ：

posted at 10:56:20

黒木玄 Gen Kuroki @genkuroki

16年10月13日

@sekibunnteisuu @balsamicose 伝統的数学教授スタイルで派手に間違うことが結構多く、しかもそのことをあまり気にしない人の方が数学をわかっていることが多いような気がします。

タグ：

posted at 10:56:21

山形方人(nihonGO) @yamagatm3

16年10月13日

ノーベル賞の対象となった主要な業績は、2000年までだから、それ以後の支援は不要だったという考えもできる。2000年までだったらおそらくその1/10の2,3億円。ノーベル賞が5000個もらえるのでは。 twitter.com/parosky0/statu...

タグ：

posted at 11:25:05

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。で、以上のように第3章の設定では大学1年で習うガウス積分(の多変数版)での近似をすれば分配函数＝周辺尤度のことはわかる。問題の第4章について大学1年レベルの数学で納得するためには大学1年でガウス積分をガンマ函数に一般化した話を思い出すとよいと思う。続く

タグ：数楽

posted at 12:07:14

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。ガウス積分は∫e^{-ax^2}dx=√(π/a)型の積分。ガンマ函数の定義はΓ(s)=∫e^{-t}t^s dt/t(積分はt>0で)なのですが、t=ax^bと置換積分すれば∫e^{-ax^b}x^{bs} dx/x=Γ(s)/(ba^s)となることがわかる。続く

タグ：数楽

posted at 12:13:43

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。ガウス積分だけではなく、ガンマ函数を知っていると、exp()の中身が二乗(ガウス積分の場合)だけではなく、任意のべきの場合が扱える。ガウス積分やガンマ函数そのものは定数倍の因子として出てくるので定数場を気にしなければ高校レベルの置換∫だけで大丈夫！続く

タグ：数楽

posted at 12:17:19

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。第4章の内容も、第3章のガウス積分による評価を、もっと一般の∫_0^L dx ∫_0^M dy exp(-n x^a y^b) x^α y^β 型の積分による評価で置き換えることについて自分なりに手を動かして計算してみると色々納得できると思う。続く

タグ：数楽

posted at 12:21:40

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。実際に手を動かしてみれば、第3章のガウス積分による近似を第4章では∫_0^L dx ∫_0^M dy exp(-n x^a y^b) x^α y^β型のもっと一般の積分で近似する話に一般化していることがわかる。第4章の内容は本質的にラプラスの方法の一般化。続く

タグ：数楽

posted at 12:23:53

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽 Z_n=∫_0^L dx ∫_0^M dy exp(-n x^a y^b)x^α y^β のn→∞での漸近挙動を調べる問題はせいぜい大学1年レベル。見方によっては高校レベルの問題です。x^a=X, y^b=Yと置換すればZ_nの評価はa=b=1の場合に帰着する。続く

タグ：数楽

posted at 12:27:11

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽そこでa=b=1とすると、Z_n=∫_0^L dx ∫_0^M dy exp(-nxy)x^α y^βの挙動はα<βとα=βの場合でlog n因子の分だけ違うことがわかります。α<βのときZ_n～C/n^αとなり、α=βのときZ_n～C log n/n^αになります。

タグ：数楽

posted at 12:31:24

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。F_n=-log Z_nの方で見ると、
α<βのとき F_n=α log n+O(1)、
α=βのとき F_n=α log n-log log n+O(1).
この計算をやりとげれば大学1年レベルの数学から、渡辺澄夫さんによる周辺尤度の漸近評価に近づけると思います。

タグ：数楽

posted at 12:37:16

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。一般のd変数の場合には、F_n=-log∫…∫e^{-nx_1…x_d}x_1^{α_1}…x_d^{α_d}はα_iの最小値と重複度をそれぞれλ、mと書くと、
F_n=λ log n-(m-1)log log n+const.
第4章にこの式が書いてある！

タグ：数楽

posted at 12:41:01

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。分配函数の計算を
∫…∫e^{-nx_1^{a_1}…x_d^{a_d}}x_1^{α_1}…x_d^{α_d}
型の積分による近似に帰着するために使われているのが、広中の特異点解消定理。数学者界隈では「証明を知らなくても使ってよい大定理」扱いされていると思う。

タグ：数楽

posted at 12:47:17

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。応用上は原理的に特異点解消が可能というだけではλやmを求めることができないので、実際に特異点解消をコンピューターで実行可能であることが望ましい。実際にそういう研究があります(詳しいことはよく知らない)。応用上重要な場合にλとmを求めることはとても大事な数学的問題。

タグ：数楽

posted at 12:49:44

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽以上を紙の上で手を動かしながら大学1年レベルの計算をしながら読んでしまった人は、「物理の人なら速く読めるだろう」と言ったのはあおりでも何でもなくて、統計力学の枠組みを知っている人であればいつもやっているような計算ですぐに納得できるはずの内容であることがわかるはず。

タグ：数楽

posted at 12:53:10

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽第3章はガウス積分近似(ラプラスの方法)で、第4章は一般化されたラプラスの方法。ガウス積分近似をガンマ函数的状況に一般化。ただし、広中の特異点解消定理は「証明を知らなくても使ってよい大定理」扱いしなければいけない。
www.amazon.co.jp/dp/4339024627

タグ：数楽

posted at 12:57:13

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽 twitter.com/genkuroki/stat...
微小な訂正。次が正しい式
F_n=λ log n-(m-1)log log n+O(1).
実際に第4章に出て来る形の式は
F_n=nS+λ log n-(m-1)log log n+O(1).

タグ：数楽

posted at 13:04:06

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽数学的に難しいという評判の本を読むときには先入観でびびってしまうのが一番まずい。逐次近似的に理解して行けばよいことをおさえておいて、まず大学1年レベルの基礎的な考え方に戻って本とは独立な計算をたくさんすることが大事だと思う。いきなり高みに立とうとするのは無茶。

タグ：数楽

posted at 13:07:54

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽 F_n/n=λ(log n)/n+O((log log n)/n)なのでF_n/nはλが小さいほど収束が早い。F_n=-log∫…∫e^{-n(x_1^2+…+x_d^2)}dx_1…dx_dではλ=d/2になります(dはパラメーターの個数)。続く

タグ：数楽

posted at 13:19:17

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続く。d次元パラメーター空間上のガウス積分で近似しようとしたら、ヘシアンが退化していて、指数函数部分がdより小さいkによってexp(-n(x_1^2+…+x_k^2))となった場合にλはλ=k/2<d/2と小さくなる。

タグ：数楽

posted at 13:28:26

黒木玄 Gen Kuroki @genkuroki

16年10月13日

現実逃避。まずい。

タグ：

posted at 13:28:43

黒木玄 Gen Kuroki @genkuroki

16年10月13日

「主観確率」という用語を使った説明で問題が生じるのは、「主観確率」という概念を使ったこと自体が原因ではなく、「主観確立」と解釈するか否かが全然重要でも何でもないのに「哲学的」(本物の哲学ではないどき的)な権威付けによって何か素晴らしいことを述べているかのように見せかける場合。

タグ：

posted at 14:15:41

黒木玄 Gen Kuroki @genkuroki

16年10月13日

誰だって、「勝ち目は五分五分だな」とか「この予測は九割くらいあたるだろう」のようなまさにこれこそ主観確率と言ってよいような考え方をする。そのこと自体は全然問題にならない。実際にその予測がどのくらい当たるかが問題になる場合には「主観確率」か否かの区別はあんまり意味がないと思う。

タグ：

posted at 14:19:58

伊勢田哲治 @tiseda

16年10月13日

@genkuroki ベイズ統計に関する連続ツイート、細かく追えていませんが興味深く拝見しています。哲学的ベイズ主義の議論でも気をつけないと「信念の度合い」と「頻度についての予想」がごっちゃになる場合があって、後者の話に哲学的ベイズ主義はいらないというのはその通りです。

タグ：

posted at 15:16:32

黒木玄 Gen Kuroki @genkuroki

16年10月13日

現実逃避の #数楽 (1)「1つのサイコロをふって出た目を報告して来るやつ」が何をやっているかを予測する話は、(2)「1つのサイコロをふって出た目を使って複数のサイコロのどれかを選んでふって出た目を報告して来るやつ」が何をやっているかを予測する話に拡張される。続く

タグ：数楽

posted at 15:27:46

積分定数 @sekibunnteisuu

16年10月13日

@genkuroki 　話を追い切れていないけど、「なぜなら、この問題への解答は、どのみち「主観」的なものにすぎないからだ。」というだけで、この解説が駄目だと分かりますね。

タグ：

posted at 15:29:26

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。その話は幾らでも拡張できる。「サイコロを振って出た目でサイコロを選んでふって出た目でサイコロを選んでふって出た目で～サイコロを選らで出た目を報告するやつ」というモデルを作ってそいつが何をやっているかを予測するのが所謂階層ベイズモデルの話。

タグ：数楽

posted at 15:30:32

積分定数 @sekibunnteisuu

16年10月13日

@genkuroki 　モンティ・ホール問題では、参加者が最初に選んだのが当たりか外れかに関わらず、司会者は必ず外れを開ける、というのが肝なのに、そのあたりの説明も不十分に思いました。
diamond.jp/articles/-/821...

タグ：

posted at 15:31:55

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。サイコロを振りまくる階層の直接見えない部分の和を取ってしまえば階層ベイズモデルの数学的性質は「1つのサイコロをふって出た目を報告するやつ」に関するベイズ推定の性質に帰着することがわかる。

タグ：数楽

posted at 15:34:51

黒木玄 Gen Kuroki @genkuroki

16年10月13日

@sekibunnteisuu 「司会者は必ず外れを開ける」と言われた途端に勝ち目は最低でも2/3になることは直観的に明らか。もっと極端に1000枚のドアを用意して、そのうちの一つが当たりで、私がまず一つ選ぶと、司会者はそれ以外の外れのドアを998枚開ける。気前良過ぎwww

タグ：

posted at 15:45:31

伊勢田哲治 @tiseda

16年10月13日

@genkuroki 「信念の度合い」という概念が意味を持つのは「この仮説が正しいという確信はどのくらい？」といった、頻度に還元できないとされる（私自身は間接的に頻度に翻訳できるという立場ですが）度合いの場合で、それを一種の確率とみなすかどうかが伝統的論争の主戦場でした。

タグ：

posted at 15:46:23

ぱりー @Woofer30

16年10月13日

主観確率とベイズの定理との関係だけど、昔の人は真の分布というのを想定せず、ベイズ更新でデータを逐次的に確率に反映させていく様子を「主観的」と呼んだんじゃないかな。たぶん。

タグ：

posted at 15:52:07

積分定数 @sekibunnteisuu

16年10月13日

@genkuroki 　その説明をしたことあるのですが、１億個あって当たりが１つで、あなたが１つ選んで、司会者が残りのうち、９９９９９９９８個の外れを開けて、２個残った。さて、それぞれ当たりの確率は？でも「どちらも１／２」と言われることがしばしばあります。

タグ：

posted at 15:55:49

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽「この勝負は6分4分で私の方が有利だ」のような確信の度合いが確率の公理やらベイズの定理を満たすように*する*ことは易しくて、「確信の度合い」の概念をそうなるように数学的に定義してしまえばよい。ただしその定義が「確信の度合い」の概念の良いモデルになっているかどうかは別の話。

タグ：数楽

posted at 16:00:38

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。そのように数学的に定義された「確信の度合い」の概念を「合理的な人による推測」のモデルとして利用したければ、「データが増えるにしたがって確信の内容が真実に近付く」という条件の数学的定式化のどれかを満たしていないとダメだと思う。続く

タグ：数楽

posted at 16:03:36

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。単に「確信の度合い」を確率として数学的に定義しても本質的に意味のある議論は何もやっていないのですが、そのように定義された「確信の度合い」が「データが増えると真実に近付く」と解釈可能な定理を満たしていれば非自明な意味のある議論をしているとみなせる。

タグ：数楽

posted at 16:06:00

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。それは「ベイズ更新のサンプルサイズが大きくなるときの漸近挙動がどうなっているか」という数学的に相当に非自明な問題になります。歪んだコイン投げのような特殊で簡単な場合だけを扱っていると数学的にほぼ自明な問題(たぶん高校レベル)になりますが、～続く

タグ：数楽

posted at 16:07:59

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き～、一般の場合は非常に難しい。そこら辺の話については渡辺澄夫さんのウェブサイト(および教科書)に現在までにわかっていることが書いてあります。 watanabe-www.math.dis.titech.ac.jp/users/swatanab... こういう話は個人的に哲学的にも大事だと思う。ただし数学的に結構高度。

タグ：数楽

posted at 16:10:59

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。「確信の度合い」と説明すると一瞬だけ分かりやすくなったように感じられるベイズ統計における事前確率や事後確率ですが、数学的に明瞭な設定でサンプルサイズが増すときに事後分布に基いた予測分布がどのように振舞うかを知れば、別に「確信の度合い」と解釈する必要は無くなります。

タグ：数楽

posted at 16:13:04

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。しかも数学的に明瞭な設定における真の分布が不明のままであっても、サンプルデータだけに基いてベイズ推定の結果がどれだけ真の分布に近いかを相対的に判断するための指標を計算可能なので、事前分布を決めるパラメーターもそれを用いて調整可能になります。

タグ：数楽

posted at 16:14:50

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続く。その仮想的に設定された数学的に明瞭な世界において、真に合理的な人であればサンプルデータに基いて事前分布を変更するのは当然だということになります。このような理由から事前分布を「変更不可能な事前の確信の度合い」と解釈することには無理があると思う。

タグ：数楽

posted at 16:16:23

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。むしろ数学的各種定理が明瞭になったおかげで、広い意味での「合理的な推測の改定」のおもちゃモデルとしてのベイズ統計はより高級なおもちゃになったようにも見えます。

タグ：数楽

posted at 16:20:38

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽渡辺澄夫さんの定理では、数学的な設定として真の確率分布が決まっていることは仮定しますが、推測のために用いる確率モデルで真の確率分布を実現可能であることは仮定していません。採用した理論内でパラメーターをどんなに調節しても完全に真の法則と一致することがない場合も扱っている。

タグ：数楽

posted at 16:26:10

黒木玄 Gen Kuroki @genkuroki

16年10月13日

#数楽続き。この点もより高級で現実に近いおもちゃになっている印象を強めています。採用した確率モデルで真の分布を実現不可能なとき、ベイズ更新によって予測分布は「その確率モデルの範囲内で真の分布にKullback-Leibler情報量の意味で最も近い分布」に近付きます。

タグ：数楽

posted at 16:29:23

黒木玄 Gen Kuroki @genkuroki

16年10月13日

続き。せっかくこういう話があるのだから、広めた方がよいと思いました。

現実逃避終わり(終わるか？徹夜か？)

タグ：

posted at 16:32:05

黒木玄 Gen Kuroki @genkuroki

16年10月13日

「ベイズ統計における事前分布や事後分布を主観的な確信の度合いと解釈してよいか」への私個人の回答は「そのように解釈してもよい」です。しかし「そのように解釈しなければいけない」という主張は明瞭に誤り。「そのように解釈して何かよいことがあるか」については「場合による」だと思う。

タグ：

posted at 16:36:42

黒木玄 Gen Kuroki @genkuroki

16年10月13日

だから「ベイズ統計における事前分布と事後分布は主観的な確信の度合いである」と教えるのは有害だと思います。あと「ベイズ統計におけるベイズ更新はベイズの定理の論理的な適用の結果である」かのように教えるのも有害だと思う。非自明な部分は非自明であることが明瞭になるように教えるべき。

タグ：

posted at 16:42:36

黒木玄 Gen Kuroki @genkuroki

16年10月13日

ベイズの定理を含めた確率論の定理が適用できるように「確信の度合い」の概念を数学的に勝手に定義してしまっていることを隠して、ベイズ更新をベイズの定理の帰結だと説明するのはかなりまずい。ベイズ更新の結果が真の確率分布に近付くこと(幾らでも近付くとは限らない)は非自明な数学的定理。

タグ：

posted at 16:46:29

A級３班国民 @kankichi573

16年10月13日

@sekibunnteisuu @genkuroki なるほどせの説明なら腑に落ちる。「張る先を変更して損した。ああ悔しい。」になるケースは最初に１億分の１を的中させたそのときだけに限るわなぁ。

タグ：

posted at 18:29:44

とーちか @touchica

16年10月13日

@tatsuya_fu
持ち時間の長さや検討ソフトの個性によってかなりばらつきがあるのですが、こんな感じです。持ち時間が長く終盤で大きな逆転が起こらなかった対局を選びました。
1)この対局と同じ持ち時間での対局。
2)羽生三冠の対局。
3)現名人の対局。 pic.twitter.com/LuRXquoKts

タグ：

posted at 18:46:37

非公開

タグ：

posted at xx:xx:xx