Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
Favolog ホーム » @genkuroki » 2016年10月08日
並び順 : 新→古 | 古→新

2016年10月08日(土)

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。サンプルサイズが増えるごとに真の確率分布の推定結果(予測分布)を改定し続ける方法はベイズ推定以外にもたくさんある。多くの人が知りたがっていることは「ベイズ推定で真の確率分布に近付けるのか」とか「他の推定法とどちらが優れているのか」だと思う。続く

タグ: 数楽

posted at 00:01:58

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。それらの疑問に答えるためには、ベイズの定理は無力であり、サンプルサイズが大きくなったときのベイズ更新の漸近挙動を解析するという厄介な数学的問題をやっつけなければいけない。その答えはベイズ統計を肯定するものでした。渡辺澄夫さんの教科書に書いてあります。

タグ: 数楽

posted at 00:07:47

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。最尤法の基礎付けでよく使われている設定では、ベイズ推定でも十分大きなサンプルサイズで事後分布が近似的に1点の近くに集中した正規分布になり、ベイズ推定と最尤法の推定結果の収束先は同じになります。続く

タグ: 数楽

posted at 00:16:41

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。しかし、複雑な確率モデルで最尤法は収束しないかもしれず、収束してもベイズ推定よりも収束が遅い可能性が高い。ベイズ推定は一般的に成立する漸近挙動に関するきれいな定理をみたしており、数学的に素性がよいことがわかっています。広く役に立つ理由はおそらくこれ。数学が重要。

タグ: 数楽

posted at 00:23:02

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。状況を限定せずに、きれいな漸近挙動を示す数学的道具は、普遍的に役に立つ可能性が高い。ベイズ統計はこの一般原則を満たしている道具の典型例になっていたようです。(最尤法は漸近正規性が成立するような限定した場合でなければ有用でない可能性が高い。)

タグ: 数楽

posted at 00:30:27

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 ベイズ統計の理解のために必要なのは哲学ではなく数学。ベイズ推定がどのように収束するかを知ることは数学。ベイズ推定の漸近挙動について何も知らずにベイズ統計をやることは、大数の法則や中心極限定理について何も知らないままで初歩的な統計学を勉強しようとするようなものだと思う。

タグ: 数楽

posted at 00:37:51

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。ベイズ統計におけるベイズ更新を主観的信念の更新だと思いたい人は思ってもよいとは思うが、そう思っても得られるものはほぼ皆無であり、「ベイズ更新はサンプルを生成している真の確率分布の推定結果を更新している」という点を忘れるべきではないと思う。

タグ: 数楽

posted at 00:48:47

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 今回の連続ツイートも長いですが、昨日までよりわかりやすく書いたつもり。返答連鎖をたどればまとめて読めます。

タグ: 数楽

posted at 00:51:25

Qiita 人気の投稿 @qiitapoi

16年10月8日

掛け算の順序問題 in Ruby dlvr.it/MQ1SWT

タグ:

posted at 04:07:33

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 #哲学 続き。渡辺澄夫さんによるベイズ統計の教科書(2012)を読んで理解した人は所謂「ベイズ主義」が色褪せて見えてしまうことになると思う。新たな情報に基いて確信の度合いを変えることは普通の意味で合理的だが、「主観確率の更新」にこだわる「ベイズ主義」は全然ダメだろう。

タグ: 哲学 数楽

posted at 11:56:00

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。新たなデータに基いて予測を更新するための技術は無数に存在する。確率分布の推定法に限っても、最尤法、MAP法、ベイズ推定など色々ある。目的に合わせて適切な方法を選ぶことが普通。どうしてベイズ推定の方法のみを哲学的に「ベイズ主義」として一般化したのか理解できない。

タグ: 哲学

posted at 12:11:51

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。ベイズ統計の手法に限定しても、実際に使われる場合には、確率モデルと事前分布を固定してサンプルに基いた事後分布のベイズ更新をするだけで済ませる行為はまともな人には全く相手をされないレベルで不合理であり、余程の馬鹿でもない限りしているはずがない。実際には試行錯誤が必要。

タグ: 哲学

posted at 12:21:16

羊 @sheepdog07

16年10月8日

息子は時々絵本を逆から読むことを要求してきて、昨日は村の財宝をかき集めた桃太郎が鬼ヶ島に財宝を届け鬼を元気にさせ、帰り道動物達から吉備団子を奪いつつ置き去りにして家に戻り、どんどん小さくなった桃太郎は桃に閉じ込められておばあさんに川に流されました。という話を妻がしていました。

タグ:

posted at 12:22:23

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。さらに不思議なのは「事後分布(事後確率)がベイズの定理を使って更新される」と説明しているものがググると哲学の文脈に限らず大量に見つかること。ベイズの定理と同じ形の公式を使っていても、ベイズの定理が適用できる条件が満たされてないとベイズの定理を使ったことにはならない。

タグ: 哲学

posted at 12:29:10

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。特に科学哲学にような文脈では、数学的定理の適用可能条件が満たされていない場合にその定理を適用しているかのような説明の仕方をするのはアウトだと思う。そのアウトな部分をアウトでないように見せるために導入されているように見えるのが「主観確率」という曖昧な概念。続く

タグ: 哲学

posted at 12:33:36

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。「主観確率」についてはその曖昧さを利用してベイズの定理が適用できることを仮定してしまうわけだ。実際には「主観確率へのベイズの定理の適用」ではなく、「主観確率の定義の中にベイズの定理が適用できることを含めている」だけ。その部分に実質的に有効な議論は含まれていない。

タグ: 数楽

posted at 12:37:54

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 ベイズ推定・ベイズ更新が有用なのはそれが数学的によい性質を持っているからだ。そのよい性質は「ベイズの定理」を応用しても「主観確率」の概念を導入しても理解不可能。数学的によい性質を持っているから、信頼できそうな予測を行うために役に立つのだ。よい性質は試行錯誤も容易にする。

タグ: 哲学

posted at 12:47:30

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。ベイズ推定は最尤法などより収束しやすい(しかも速い)という性質を持っており、さらに尤度函数の台が一点の周囲に集中していない場合(AICの類は使用不可能)であっても予測の精度を見積もる方法が存在する。これらの性質は試行錯誤によって信頼できそうな予測を行うために有用。

タグ: 哲学

posted at 12:54:12

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。予測精度は予測分布と真の分布のKullback-Leibler情報量の小ささで測ることができる。真の分布は不明なので、真の分布が生成したサンプルからKL情報量の大小を見積もる方法が必要になるのですが、赤池情報量基準以後たくさんの研究がある。

タグ: 哲学

posted at 12:58:30

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。「サンプルを生成する真の確率分布が存在するとき、真の確率分布が未知の状態のままであっても、予測分布の予測精度の高低を見積もる手段が存在すること」は、現代の統計学の偉大な勝利の1つに数え上げられて良いことだと思う。哲学的にもきっと大事なことなんじゃないかと思う。

タグ: 哲学

posted at 13:03:33

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 真の確率分布が不明のままであっても、大数の法則と中心極限定理の応用で真の平均を適切に推定できるという事実は統計学で最初に習うことの1つ。

確率分布が生成するサンプルのサイズを大きくしたときの漸近挙動に関する良い定理は現実世界を分析するときに強力な手段になる。

タグ: 哲学

posted at 13:09:03

野毛が熱い @tetsuroito

16年10月8日

昔ベイジアンネットワークやった時にノード間の関係性を記述する方式として、それぞれの独立性検定を行う方式と全体の情報量規準とでやる方法を見たのだが、バックドア基準って後者のスタンスに近いのかな

タグ:

posted at 13:12:01

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#哲学 続き。それに限らず、何らかの数値的に信頼度が高い科学的結果を得たければ、何らかの適切な意味で「漸近挙動が単純になる」という数学的結果および現実世界に関する仮説が重要だと思う。統計学だけではなく、物理学もそのような例の宝庫。こういう話も哲学的に重要だと思う。

タグ: 哲学

posted at 13:13:38

黒木玄 Gen Kuroki @genkuroki

16年10月8日

統計学、哲学、物理学は完全に専門外なので以上のツイートの件で私を「先生」呼ばわりするのは禁止。数学についてもほんの一部の分野の専門家にすぎない。

タグ:

posted at 13:30:44

koji hasegawa @myfavoritescene

16年10月8日

実家の猫の享年27才はまあまあすごかったんだな

タグ:

posted at 14:20:26

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 いつもならはることにしている具体例へのリンクが少なくなっているのですが、ググって確認すると大学で統計学の授業をしているような専門家の人達であっても、ベイズ統計についてはおかしな説明をしている場合が多いよね。学生は信用しちゃいけないと思う。ど素人の想像に続く

タグ: 数楽

posted at 15:26:17

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。ベイズ推定に対して「通常の方法」としてよく言及されるのは最尤法。最尤法についてよく知っていると専門家であれば、最尤法が有効な情況で、ベイズ推定と最尤推定は漸近的に同じ挙動を示すことをノータイムかつ直観的に把握できるはず。続く

タグ: 数楽

posted at 15:30:43

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。最尤法が有効な場合には(結構強い仮定)、サンプルから決まる尤度函数は山のような形になり、サンプルサイズ→∞の極限で真のパラメーター値に集中するようになることを知っているはず。最尤法の推定値は尤度函数の山の頂上なので、サンプルサイズ→∞で真の値に収束する。続く

タグ: 数楽

posted at 15:38:23

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。ベイズ推定ではサンプルからパラメーターの事後分布を計算するのですが、事後分布は定数倍を除いて、最尤法で使った尤度函数と事前分布の積に一致します。最尤法が有効な場合すなわち尤度函数の台が1点に集中する場合には、事後分布も同じ点に集中することになります。続く

タグ: 数楽

posted at 15:42:49

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。以上のような筋道を経由すれば、最尤法が有効な場合
すなわち尤度函数の台が漸近的に1点に集中する場合には(これはかなり強い仮定)、ベイズ推定は最尤推定と漸近的に同じ結果を与えることがノータイムで判明することになる。続く

タグ: 数楽

posted at 15:46:24

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。以上のようなことをノータイムで考えることができる人達であれば、最尤推定は受け入れるが、ベイズ推定は受け入れないことにするのは容易でないと思う。推定に使う確率モデル自体の是非よりも、事前分布の是非が気になるからだろうか?続く

タグ: 数楽

posted at 15:51:24

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。「何が怪しいか」について合理的な判断を下せなく場合には、「無知無能」ではなく、「負の教養」による強い思い込みが原因になることが多いと思う。論文出版や人事の面まで及んだらしい「頻度主義VSベイズ主義」の争いに関する不幸な歴史的経緯が現代にも影響を与えているのだろうか?

タグ: 数楽

posted at 15:57:22

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。事前分布のことを忘れて、尤度函数のことだけを考えても、最尤法によってその最大値を与えるパラメーターだけしか考えないことは、尤度函数の形状が持っている豊富な情報を切り捨ててしまうことであり、注意を要することだと思う。続く

タグ: 数楽

posted at 16:05:08

ITÔ, Hiroki @monotropastrum

16年10月8日

『ZIPモデルのWAICを計算してみた』Taglibro de H|ito-hi.blog.so-net.ne.jp/2016-10-08-1

タグ:

posted at 16:06:06

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。ベイズ推定は尤度函数の形状が持っている豊富な情報も使う方法の1つだと考えることもできる。パラメーターに関する尤度函数の積分を使うなら、数学的にはパラメーターに関する測度(事前分布)を与えておくことが必要。大した話じゃないので嫌う必要はないと思う。

タグ: 数楽

posted at 16:11:10

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 また別の話。尤度の話。学生時代に「尤度」という用語を始めて見たとき読み方がわかりませんでした。「尤」は「ゆう」と読み、「尤もらしさ」は「もっともらしさ」と読むことを知って、学生時代は納得したつもりになっていたのですが、全然理解してなかった。(今でも理解していない。)続く

タグ: 数楽

posted at 16:14:44

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。なんとなく受け入れやすい解説にするためには、「尤度」と書くだけではなく、「もっともらしさ」のようにルビをふった方がわかりやすいと思うのですが、あえて一般人には意味がわかりにくい「尤度」という用語で説明した方がよいという意味もあると思う。続く

タグ: 数楽

posted at 16:20:24

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 パラメーターwを持つxに関する確率分布p(x|w)と何らかの確率分布が生成したサンプルx_1,…,x_nについて、パラメーターwの函数L(w)=p(x_1|w)…p(x_n|w)を尤度函数と言います。パラメーターwにおける尤度函数の値l(w)を尤度と呼ぶ。これが定義。続く

タグ: 数楽

posted at 16:27:37

kuro @Kuro_0910

16年10月8日

あー、これこれ!
ベイズといえば事前確率と事後確率で、とりあえず「検査薬の偽陽性の問題」みたいなやつやらされるんだけど、
「こんなん今までの確率の枠組み上で普通に理解できるじゃん。何がすごいの?」と思ってやる気出なかったんだよな。
そうか、収束の性質が違うのか。

タグ:

posted at 16:31:13

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。すなわち、パラメーターwに対して確率モデルp(x|w)がサンプルx_1,…,x_nを生成する確率(密度)を対応させる函数を、尤度函数と呼びます。どうしてこれを「パラメーターwのもっともらしさ」とみなしてよいかを正確に理解するためには非自明な数学的議論が必要だと思う。

タグ: 数楽

posted at 16:32:35

Iwao KIMURA @iwaokimura

16年10月8日

LaTeXで作業中にメモを残すときには,\marginpar{XXX: 検算する!}などと書いておきます. grepするときはXXXで.コンパイルしたときも欄外に表示されて目立ちます.

タグ:

posted at 16:36:50

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 サンプルが得られたとき、なんらかの確率モデルもしくは「仮説」から、そのサンプル(もしくはそれに類する事象)が得られる確率(尤度にあたるもの)は計算できますが、確率モデルもしくは「仮説」が正しい確率を計算することはできない。何の確率であるかを勘違いし易い所だと思う。

タグ: 数楽

posted at 16:44:15

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 モンティホール問題に関して「主観確率」という用語を使ったダメな解説の典型例の例を1つ挙げておきます。これ→ diamond.jp/articles/-/821...

ベイズ統計関係ないし、ベイズの定理も使わずに全事象の確率を図示すれば全然難しい問題ではない。

タグ: 数楽

posted at 21:45:42

非公開

タグ:

posted at xx:xx:xx

酋長仮免厨 @kazooooya

16年10月8日

エッ?なんだこれ?( ̄▽ ̄;)

【講師の素顔】 林 衛 先生
科学編集者,NPO サイエンス・コミュニケーション
理事(科学革命家) pic.twitter.com/v9FM9rP89X

タグ:

posted at 21:50:48

石部統久 @mototchen

16年10月8日

@monotropastrum @genkuroki @hatenablog
ニュースです。

「再現性」は何を意味するのか?
What do we mean by “reproducibility”?

d.hatena.ne.jp/uneyama/search...

タグ:

posted at 21:51:15

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 ベイズの定理自体は自明な定理なので、ベイズの定理を一回だけ使って解決できる程度の問題であれば、全事象をリストアップして直接確率を計算しても容易に解決できる。モンティホール問題はそういう問題の典型例なので、その件についてベイズ云々とか主観確率云々とか言うのはおかしい。

タグ: 数楽

posted at 21:53:22

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 別に確率について主観だとか客観だとか言いたい人は勝手にそうすればよいとも思うが、最低でもベイズの定理を適用可能なケースとそうでないケースは区別しつもらいたいものだ。モンティホール問題は適用可能な場合(もちろん使わなくても容易)。ベイズ推定の状況には適用不可能。

タグ: 数楽

posted at 21:57:39

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 モンティホール問題のケースでは真の確率分布が得られる。モンティホール問題の状況を繰り返す回数を増やせば予想通りの経験分布が得られるだろう。

それに対してベイズ推定の状況では、ベイズの定理は応用できず、真の確率分布も得られず、真の確率分布の推定値しか得られない。

タグ: 数楽

posted at 22:02:00

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 問題設定から真の確率分布が計算できてしまうケースではベイズに限らず統計学は必要ない。

真の確率分布が未知であるからこそ統計学が必要。

モンティホール問題にベイズ統計学は関係ない。ベイズの定理の応用で真の確率分布が計算できる場合にはベイズ統計学を使っていない。

タグ: 数楽

posted at 22:05:30

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 「ベイズ統計は主観の要素を組み込めるから良い」と主張する人達の中には政策決定に使えるからよいと言っている人達がいるように見える(まだ詳しく調べていない)。「主観を数値化するための道具として使える」という意味なら「ほんとにそう?」とは思っても大して害はないと思うので〜続く

タグ: 数楽

posted at 22:11:33

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き〜、「勝手にそうしたら?」と思います。しかし「主観を組み込んだベイズ更新で政策を決定する」というような方向に進むのであればベイズ更新によって得た予測分布の信頼度や精度をどのように評価するのかについてきちんと示して欲しいと思います。続く

タグ: 数楽

posted at 22:15:12

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。それに対して、異なる予測分布ごとに(真の確率分布の)予測精度の指標をきちんと計算して見せてくれる人達は信用できると思う。続く

タグ: 数楽

posted at 22:20:32

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 真の確率分布が不明のままであって、しかも推定に使っている確率モデルが十分に正しいかどうかわからなくても、予測精度に関する客観的指標を出せるかどうかは、政策決定の現場でこそ重要でしょう。

そのための数学的技術が渡辺澄夫著『ベイズ統計の理論と方法』に書いてあります。

タグ: 数楽

posted at 22:22:46

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 現実世界での意思決定には複数人が関わることが普通です。AさんはPと予測し、BさんはQと予測して、意見が対立することはよくある。むしろその方が普通。AさんとBさんが同じサンプルをもとにベイズ法で予測分布を得ているなら、予測精度の指標を比較できます。続く

タグ: 数楽

posted at 22:31:58

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 続き。現実にはそのような合理的な議論になることはほとんど皆無なのでしょうが。

タグ: 数楽

posted at 22:32:42

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月8日

時間に余裕があるときは講義で実験する。公正?を保つためモンティ役と回答者?役に観察記録者の三人組で其々十回ほど繰り返すと大体百回程度のサンプルが集まるのだ。扉も山羊も要らない。紙と鉛筆で、①モンティがABCの何れかを選びメモして観察者に渡す②回答者がABCの何れかを選びそれを、、 twitter.com/genkuroki/stat...

タグ:

posted at 23:03:57

黒木玄 Gen Kuroki @genkuroki

16年10月8日

#数楽 モンティホール問題のケースで「選ぶ先を変えると当たる確率は2/3になる」は真の確率なので、その予測はきちんと当たります。そのような確率まで「主観確率」と呼びたい人がいるなら呼んでもいいのですが、真の確率とは異なる「主観確率」とは区別しないとまずすぎ。

タグ: 数楽

posted at 23:55:49

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました