黒木玄 Gen Kuroki(@genkuroki)/2016年10月09日

そういえば新幹線で斬新な乗り方してる人がいた。外の景色が見たかったのかな。 pic.twitter.com/gAClcRs1tw

タグ：

posted at 00:00:53

#数楽さらに、真の確率分布の推定値(予測分布)と予測分布を決めるために使われたパラメーターの確率分布(事前分布、事後分布)については、それらを「主観確率」とみなすかみなさないかに関わらず、完全に区別してもらいたいと思う。「主観確率」の概念を使いたい人は区別しているのかな？

タグ：数楽

posted at 00:01:27

#数楽たとえば、歪んだコインを投げて表が出る確率pをベイズ推定したときに、事後分布として得られるpの確率分布とその確率分布に基づいたpの推定値(この場合事後分布の平均値になる)は全然違う確率の概念です。続く

タグ：数楽

posted at 00:06:03

あ〜る菊池誠(反緊縮)公式 @kikumaco

#数楽続き。「ベイズ更新で得たpの事後分布によればpが0.3と0.5のあいだに入る確率は70%だ」と言う場合の確率と「表が出る確率pのベイズ推定の結果は確率0.41だ」と言う場合の確率は全然意味が違う。

タグ：数楽

posted at 00:12:37

@genkuroki これ、第一回のガン検診の例もベイズの定理の典型的な応用例だけど(実際、僕は講義でこの例を出しますが)、ことさらにベイズ統計だと言わなくてはならないようなものではありませんね

タグ：

posted at 00:18:30

ブルドッグ @Bulldog_noh8

ドナルド・トランプに、ロバート・デ・ニーロがブチ切れ。
ザッと訳してみたけど、もう何ていうか、出てくるワードひとつひとつが凄まじいです。笑 pic.twitter.com/tZ57w91iHI

タグ：

posted at 00:21:16

稲葉振一郎 @shinichiroinaba

“PowerPoint プレゼンテーション　ベイズ推論　　東京工業大学渡辺澄夫電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日　北海道大学” htn.to/ddgor5

タグ：

posted at 00:27:27

非公開

タグ：

posted at xx:xx:xx

稲葉振一郎 @shinichiroinaba

2件のコメント b.hatena.ne.jp/entry/watanabe... “ベイズ統計の理論と方法” htn.to/rwX2CC

タグ：

posted at 00:37:46

#数楽ベイズ更新を「主観的確信の度合いの更新」とみなしたい人達は、ベイズ更新の結果、事後分布が1点の周囲に集中した山型にならず、予想外に複雑な形になるケースが珍しくないことを知っておかないとまずい。知っていれば「主観的確信の度合い」と簡単には解釈できなくなると思う。

タグ：数楽

posted at 00:38:20

#数楽事後分布が1点の周囲の山型になっていない例は2つの山がほとんど融合してしまっている混合正規分布のパラメーターの推定の問題で得られます。 watanabe-www.math.dis.titech.ac.jp/users/swatanab...

タグ：数楽

posted at 00:42:51

#数楽続き。事後分布が1点の周囲に集中した山型にならなくても、予測分布を確率モデルの事後分布に関する平均で定義してやると、最尤推定によって得た予測分布よりも精度の高い予測が得られそうなことがわかっています。続く

タグ：数楽

posted at 00:45:45

#数楽事後分布が人間には予想できない形になることが稀ではないのに、それを「主観的確信の度合いの更新」と呼ぶ自由はあるとは思いますが、私にはそうするメリットが感じられません。

結局の所、実際のベイズ更新の様子に無知な人が何を言っても合理的な意味で説得力を持つことはないと思う。

タグ：数楽

posted at 00:53:26

#数楽事前分布を一様分布を取れば、事後分布は尤度函数の定数倍になります。尤度函数の形が結構予想できないことはベイズ統計の理解では重要です。
watanabe-www.math.dis.titech.ac.jp/users/swatanab...
百聞は一見に如かずという感じ。
「哲学」は尤度函数の形を見てから語るべき。

タグ：数楽

posted at 00:58:28

#数楽歪んだコイン投げで表が出る確率の推定とか、分散が固定されている正規分布の平均の推定などの問題が共役事前分布を使ったベイズ推定の例として使われることが多いのですが、それらの例は特殊で事後分布の形は単純な山型になります。それらの例でベイズ推定一般の様子はわからない。

タグ：数楽

posted at 01:03:55

#数楽一般に複雑な形になりえる事後分布そのものではなく、事後分布による確率モデルの平均値として定義される予測分布(真の確率分布の推定値)の漸近挙動に注目しないとベイズ推定の性質の理解は難しく、結果的にベイズ統計一般への理解も滞ると思う。

タグ：数楽

posted at 01:10:08

John Urschel @JohnCUrschel

I wrote about how students can find math in their everyday lives. sciencem.it/2dQnXG4

タグ：

posted at 04:39:31

非公開

タグ：

posted at xx:xx:xx

ポポに関しては、このハッシュタグを付けておくか。
#科学革命家

タグ：科学革命家

posted at 09:04:50

ポポってジャーナリストだったんだ(大爆笑wwwww)
#科学革命家

タグ：科学革命家

posted at 09:18:57

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

砂___の___女 @vecchio_ciao

このやり取りから、再確認したことがある。
友人（母親）は、いつも「多少の理不尽なことがあっても、とりあえず従ってやり過ごせ」と娘に教えている。
そういえば昔、娘が #掛算の順序固定で悩んでいたときも、「先生の言うとおりに」と教えていた。

タグ：掛算

posted at 09:49:24

自分自身が一番勉強していないだろうに
、何、自画自賛してんだよ(呆)
#科学革命家 pic.twitter.com/0sErvq3EvV

タグ：科学革命家

posted at 09:56:42

非公開

タグ：

posted at xx:xx:xx

おー　強化学習本だ　牧野さんも書いてる　www.amazon.co.jp/gp/product/462...

タグ：

posted at 11:05:25

森北やるね．特異点ベイズ宗教系だけじゃなかった．

タグ：

posted at 11:06:12

非公開

タグ：

posted at xx:xx:xx

@salmonsnare3 ご本人や研究室の方の話を聞いていると，そういう印象もありますね．成果を上げた方が入れ込むのは当然といえばそうですが．そもそも漸近論ですけど，階層ベイズとかはパラメータ数もサンプルサイズも同時に増える極限でそういう極限にはならない．

タグ：

posted at 11:11:06

非公開

タグ：

posted at xx:xx:xx

@salmonsnare3 実用なのか数学趣味なのかによりますが，実用だとすれば，いま挙げたモデル名や技法名がすぐにぴんとくるようになってから考えれば十分だと思います．

タグ：

posted at 11:17:59

非公開

タグ：

posted at xx:xx:xx

酋長仮免厨 @kazooooya

フリーフリッカー @Fleaflicker80

ん？　#科学革命家がバズってる… (´艸｀)

タグ：科学革命家

posted at 11:33:07

@kazooooya サイコムって、「結論ありきで情報を切り貼りして伝えるジャーナリスト」の典型だと思うんだけど。

タグ：

posted at 12:01:47

DaDa @dadakomachi

猫の小判 pic.twitter.com/TORwvzpHSp

タグ：

posted at 13:11:36

hatebu_science @hatebu_science

大隅萬里子先生の共同研究がノーベル賞を受賞 | ニュース | ニュース | 帝京科学大学 dlvr.it/MQP5ks

タグ：

posted at 13:21:03

io302 @io302

国立感染症研究所のはしか集計。「ワクチン接種してもかかる」と批判する集団があったが、結果MRワクチン2回接種率が高い10-14歳が、罹患率一番低い。5-9歳が5％なのは5-6歳(2期接種前)が多いから。「素人の実感(毎日新聞)」より疫学調査がいかに大事かが分かる。 pic.twitter.com/cW6bQtM8vH

タグ：

posted at 13:57:59

ストレス解消のための #数楽
ググっていたときにどこかで「KL情報量の尺度は意味がない。～AIC 叩き略～。予測が当たる確率を尺度として採用するべき」というようなことを書いている人を見かけた感じがするが、見失ってしまった。本当にそう書いてあったかは定かではないが、〜続く

タグ：数楽

posted at 14:32:45

#数楽続き〜、基礎的な誤解っぽいので解説しておく。確率分布pとqのKL情報量をD(q||p)と書くと、確率分布pが生成したサイズnのサンプルの経験分布がqに近い確率はほぼexp(-nD(q||p)+o(n))と振舞います(Sanovの定理、正確には大偏差原理で定式化)。続く

タグ：数楽

posted at 14:40:08

#数楽続き。すなわち、確率分布pによるサンプル生成が確率分布qの予測にほぼ成功する確率はexp(-nD(q||p)+o(n))はKL情報量D(q||p)が小さいほど大きいということ。KL情報量の小ささは予測が当たる確率の高さを表しています。続く

タグ：数楽

posted at 14:44:53

#数楽続き。ただし、確率分布pによるサンプル生成が確率分布qをほぼ再現する確率を近似的に求めるためにはD(q||p)=G(q||p)-S(q)、G(q||p)=-∫q(x)log p(x)dx、S(q)=-∫q(x)log q(x)dxをすべて近似的に求める必要があります。

タグ：数楽

posted at 14:59:02

#数楽続き。しかし、統計学的状況では、pはモデルの確率分布で、qは未知の真の確率分布なので、未知のqを含む汎化損失G(q||p)を直接求めることは困難だし、未知のqのエントロピーS(q)を求めることはさらに困難になります。続く

タグ：数楽

posted at 15:05:51

#数楽続き。有名な赤池情報量基準AICはKL情報量そのものではなく、汎化損失G(q||p)×(推定に使ったサンプルサイズの2倍)の近似値になっています。汎化損失の近似値をサンプルデータから近似的に求める方法はある。あとはエントロピーの精密な値がわかればKL情報量そのもの〜続く

タグ：数楽

posted at 15:16:23

#数楽続き〜の近似値が得られてハッピー。サイズnのサンプルからそのサンプルを生成した確率分布のエントロピーをo(1/n)の誤差で求める方法があれば教えて欲しいです。

タグ：数楽

posted at 15:22:10

#数楽 AICのような(汎化損失)=(KL情報量)+(エントロピー)の近似値を求めるタイプの情報量基準は、その値そのものはモデルの予測が当たる確率の指標にはなっておらず、そこからエントロピーの推定値を引いて得られる値がモデルの予測が当たる確率の指標になっているわけです。

タグ：数楽

posted at 15:27:07

#数楽仮に、確率密度函数p,qの定義域をr個の領域に分割して近似するとき、pが生成するサイズnのサンプルの経験分布としてほぼqが再現される確率は
e^{-nD(q||p)}/√((2πn)^{r-1}q_1…q_r)
で近似されます。q_iはi番目の領域でのの確率。

タグ：数楽

posted at 15:51:29

#数楽続き。一つ前のツイートでの近似に使ったのはスターリングの公式。詳しい計算は→ www.math.tohoku.ac.jp/~kuroki/LaTeX/... の第1.9節段落「複数のPoisson分布の積からKL情報量へ」。

タグ：数楽

posted at 15:55:56

#数楽続き。モデルの確率分布がサンプルを生成している未知の確率分布を「再現する確率」の近似公式はある。そして汎化損失G(q||p)だけではなく、エントロピーS(q)の近似値が求まれば、KL情報量D(q||p)の近似値もわかり、「再現する確率」の近似公式も使える。

タグ：数楽

posted at 16:04:49

#数楽異なるモデルのあいだの予測精度の高低の指標だけではなく、個々のモデルに関する「予測が当たる確率」(真の確率分布をほぼ再現する確率)の指標があればわかりやすいですよね。

タグ：数楽

posted at 16:17:24

mizuki_kanna07409 @kanna07409

科学が分からないキミにはムリ。 #科学革命家

タグ：科学革命家

posted at 16:31:14

#科学革命家 ←なるほどこれか→ www.seikawakate.org/past-archive/n... →p.4←www

タグ：科学革命家

posted at 16:52:57

酋長仮免厨 @kazooooya

ヤバい！　また #科学革命家がバズりそうだ！^^;

タグ：科学革命家

posted at 16:53:49

Akinori Ito @akinori_ito

#科学革命家ってけっこうなパワーワードだと思うんだけどどうかな

タグ：科学革命家

posted at 16:55:52

@kikumaco diamond.jp/articles/-/81971 ガン検診やモンティホール問題を例に説明するのは良いことだし、真の条件付き確率の更新の説明も大事なのですが、ことさら「主観確率」だの「ベイズ統計」だの言うのはベイズ統計に関する誤解を広める行為だと思いました。 #数楽

タグ：数楽

posted at 17:18:36

@kikumaco この小島さんは経済政策についてもおかしなことを言う人としてそこそこ有名→ cruel.hatenablog.com/entry/20130501...

統計学の解説もダメ、経済学の解説もダメ。

タグ：

posted at 17:21:50

IKA @ika_river_c

う～ん、科学って「過去の知見の積み上げ」を土台にしているもんだから、いわゆる「革命」という「根本的にひっくり返し」を意味する言葉って、一番そぐわないと思うんだけど。
#科学革命家

タグ：科学革命家

posted at 17:58:05

酋長仮免厨 @kazooooya

ヤバい！　大御所たちに #科学革命家が見つかってもた…(>_<)

タグ：科学革命家

posted at 18:00:25

福島への風評加害の当事者が何を戯言言っているんですか？
#科学革命家 pic.twitter.com/fqIcRJdV9O

タグ：科学革命家

posted at 18:02:14

tanigawa nisin @twinforest

このまえ、NHK杯で豊島七段と芝野二段がそろって出場されたとき、豊島で検索をかけても虎丸で検索をかけてもリアタイでは将棋クラスタしか引っ掛からなかったのでいろいろ察しました pic.twitter.com/rsYZng5m2B

タグ：

posted at 18:12:43

A級３班国民 @kankichi573

ホホちゃんが入ってるってことは（色眼鏡）　#科学革命家 twitter.com/genkuroki/stat...

タグ：科学革命家

posted at 18:51:05

闇のapj @apj

@kazooooya 非科学扇動家の間違いじゃないのかｗ

タグ：

posted at 20:20:14

IPC bot @ipc_bot

ipc_botを更新しました:
・証明可能な場合も命題を画像として表示するようにしました。
・古典論理での妥当性も判定するようにしました。
・正しくない場合に、Kripkeモデルによる反例を表示する機能をつけました。

タグ：

posted at 21:33:15

Makoto Mizuno 水野誠 @makmiz

工学系の先生方は経済学者の同僚達をそう見ていたなあ（因果の方向は別にして）。本当のところどうなのか･･･→Does Studying Economics Breed Greed? | Psychology Today www.psychologytoday.com/blog/give-and-...

タグ：

posted at 21:38:51

IPC bot @ipc_bot

訂正です。「証明不可能な場合も～」でした。

タグ：

posted at 21:42:23