Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
Favolog ホーム » @genkuroki » 2016年10月05日
並び順 : 新→古 | 古→新

2016年10月05日(水)

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。仮にパラメーターwのk次元の空間にw=w_*を中心とするk次元の台を持つ正規分布が与えられているとします。そのときそこから自然に自由度kのカイ二乗分布が得られ、その平均はkになる。実際このような仕組みでAICにパラメーターの個数kが現れます。

タグ: 数楽

posted at 00:01:30

Hal Tasaki @Hal_Tasaki

16年10月5日

今回の物理学賞の 1/2 を受けた Thouless の最大の受賞理由はなんといっても TKNN 整数であろう。大流行のトポロジカル絶縁体の研究の源流である。そして、TKNN 論文の第二著者である甲元さんは単なる共同研究者という以上の本質的な貢献をしたとぼくは理解している。

タグ:

posted at 00:31:15

Hal Tasaki @Hal_Tasaki

16年10月5日

実は 82 年の TKNN 論文では TKNN 整数のトポロジー的な意味が明確に示されているわけではない。TKNN 整数がチャーン数であることを初めて論じたのは甲元さんの 85 年の論文なのだ。今日の TKNN 整数の位置づけにおいてこの 85 年の論文の意義は実に大きいと思う。

タグ:

posted at 00:31:58

Hal Tasaki @Hal_Tasaki

16年10月5日

ノーベル賞受賞者が三人出そろうと「ここに入り損なった四人目は誰か?」ということが必ず話題になる。ぼく自身の価値観と考えでは今回の「四人目」は迷うことなく甲元眞人さんである。

タグ:

posted at 00:32:43

Hal Tasaki @Hal_Tasaki

16年10月5日

甲元さんには、TKNN だけでなく、一次元準周期シュレディンガー方程式について大きな流れを生み出した本質的な業績もある。
ぼくの尊敬する超一流の素晴らしい理論物理学者である。彼と年来の友人でもあることを心から誇りに思っている。

タグ:

posted at 00:34:13

太陽系bot @taiyou_tentai

16年10月5日

【プロテウス】
海王星の第8衛星。トリトンを除くどの海王星の衛星よりも大きい。大きさの割に形が歪なことが特徴の一つである。例えば土星の衛星のミマスはプロテウスより質量が小さいにもかかわらず遥かに球形に近い形をしている。 pic.twitter.com/5LbxMPP4w4

タグ:

posted at 05:20:36

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。AICの導出では本質的に正規分布による近似をつかっているので、サンプルX_1,…,X_nに対して尤度Πp(X_k|w)を最大にするwの分布(サンプルの取り方を変えた場合の分布)が1点の周囲の正規分布でよく近似できない場合にはAICの使用は不適切だということになる。

タグ: 数楽

posted at 05:50:51

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 中心極限定理を用いた近似は単純な独立同分布の確率変数の和のケースではうまく行くことが極めて多いが、もっと複雑なことをしていてより複雑な議論が必要なケースでは中心極限定理の適用が適切かどうかはどんどん怪しくなる。その点に注意を払わない研究は信頼度も落ちると思う。

タグ: 数楽

posted at 06:01:21

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 補足。s次元の台を持つ正規分布の確率密度函数の指数函数部分がexp(-y/2) (ここでy=Σb_{ij}(x_i-μ_i)(x_j-μ_j))ならば、yに対応する統計量は自由度sのカイ二乗分布に従います。パラメーターの数が大幅に減るのでカイ二乗分布はとても便利!

タグ: 数楽

posted at 06:09:10

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。学部生レベルの確率統計の教科書を色々見ましたが、1つ前のツイートで述べた多次元正規分布とカイ二乗分布のシンプルな関係(カイ二乗分布が有用な理由、AICにパラメーター数が出て来る理由もこれで説明可能)を強調しているものを見つけるのは難しい。見つけたら教えて下さい。

タグ: 数楽

posted at 06:12:46

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。「カイ二乗分布が多次元中心極限定理を経由して普遍的に現れ、その自由度は中心極限定理で現れる多次元正規分布の台の次元に等しくなること」がカイ二乗分布の基本定理だと思う。標準正規分布に従う独立な確率変数の二乗和という定義だけだとカイ二乗分布の理解は難しいと思う。

タグ: 数楽

posted at 06:17:50

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 たとえば、r項分布はr-1次元の台を持つ正規分布で近似されるので近似的に自由度r-1のカイ二乗分布に従う確率変数も得られる。r×sの分割表のケースでも同様にして自由度が(r-1)(s-1)のカイ二乗分布が現れる。これらの例は多くの学部生向けの教科書に書いてある。

タグ: 数楽

posted at 06:23:40

Takashi Hayashi @tkshhysh

16年10月5日

まあ,私ほど「役に立つ」とはどういうことかについて考えている人もいないと思うけどねw
twitter.com/search?q=tkshh...

タグ:

posted at 06:26:04

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 カイ二乗分布は「独立同分布な標準正規分布する確率変数たち」だけではなく、「あらゆる多次元的正規分布」に付随して現れることを強調しておかないと、どうしてカイ二乗分布があんなに頻繁に現れるかを理解し難いと思う。

タグ: 数楽

posted at 06:27:19

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 証明の解説が面倒な場合には、グラフを示して納得させるような説明をすることが大事になるのですが、高次元の分布についてはグラフを見せることができないので2次元の場合から想像してもらうとか、色々難しくなる。数学を避けない方が結果的に直観的理解が得られるような気もする。

タグ: 数楽

posted at 06:33:04

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 証明の細部を理解してなくても、正規分布による近似を使っていることまでは認識可能な場合が多いと思う。AICの導出もそういう例になっている。正規分布による近似によって導出された道具を自分が作ったモデルに適用する場合には、続く

タグ: 数楽

posted at 06:35:55

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き、乱数で作ったたくさんの擬似サンプルをモデルに食わせて、推定結果が1点の周囲での正規分布の形になることを確認した方がよいかもしれない。もしもそうならないなら、正規分布による近似を使って導出した数学的道具(たとえばAIC)は使用できないということになる。

タグ: 数楽

posted at 06:40:21

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 watanabe-www.math.dis.titech.ac.jp/users/swatanab...
【AIC, TIC, BIC, DIC, MDL, カイ二乗検定が使えるかどうかが真の分布に依存しているということは、 真の分布が不明であるという実問題ではそれらは使えないということを意味しています】厳しい……。

タグ: 数楽

posted at 06:47:41

黒木玄 Gen Kuroki @genkuroki

16年10月5日

iPhoneやiPadでアクセスしたウェブサイトが文字化けして読めない場合にはドルフィンブラウザでアクセスすると読めます。これを知らないと寝床であちこち見て回るときに不便することになる。

タグ:

posted at 06:49:47

内海 @u23mjag

16年10月5日

ニセ科学批判を普段やっている人の中にも何人か見かけるし、 要は「選択と集中」みたいなリソースの最適な分配の仕方を考えてしまう癖の様なものが研究者の資質を持っている人間に元々有るのかも。 だとしたら教育の環境からでもそこを変える努力をしないといけないよなあ。 >RT

タグ:

posted at 07:24:31

黒木玄 Gen Kuroki @genkuroki

16年10月5日

Re:RTs 「アクティブファンドとインデックスファンドの比較」とか「じゃんけん大会で優勝する人は別に有能なわけじゃない」とかの話とその他もろもろの教養がないと大変かもね。研究者がおバカなことを言っているケースは教養に欠けていることを自覚できていないから。自覚できれば早い。

タグ:

posted at 08:24:09

結城浩 / Hiroshi Yuki @hyuki

16年10月5日

Kindle Unlimitedの話、売れすぎたので不利益契約を再度締結させられるということは、元の契約には売れすぎた場合の条項が明示的には書かれてなかったということなのかしら。プログラムも契約も、正常系だけではなくて異常系が大事という話?エラー処理抜けててアプリ落ちるみたいな。

タグ:

posted at 08:39:37

結城浩 / Hiroshi Yuki @hyuki

16年10月5日

契約書は、相手との関係が有効でなくなった時に重要な意味を持つ。相手との関係が有効だからこの程度でいいかなと考えるのは間違っている。…という話を以前聞いたことがあります。

タグ:

posted at 08:52:09

結城浩 / Hiroshi Yuki @hyuki

16年10月5日

“アマゾン読み放題炎上から学ぶ、放題サービスの落とし穴 | 柿沼太一” htn.to/N5PTFmm

タグ:

posted at 09:02:46

原子心母 @atomotheart

16年10月5日

simplicial complex というネーミング

タグ:

posted at 09:03:20

内村直之 @Historyoflife

16年10月5日

ノーベル物理学賞、各紙はホールデンと書いているが、日本の物理屋界隈ではハルデーン(ハルデーン予想とかハルデーンギャップとか)といっており、ホールデンでは通じない。大栗さんもハルデーンだ(東大青木秀夫先生の退職記念シンポに参加しておられた)。スェーデン訛りなのではないか>ホールデン

タグ:

posted at 09:52:47

Akinori Ito @akinori_ito

16年10月5日

ノーベル賞だけに焦点を絞るとおかしくなると思う.もっと広く「有用な研究成果」をターゲットに調査すれば,おそらく「ほどほどの金を広く配れ」という話になり,そして無視される

タグ:

posted at 09:57:31

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 twitter.com/genkuroki/stat...

頻度主義統計学では、母数は定数で、データは確率変数。
ベイズ統計学では、母数は確率変数で、データは定数。

というような奇妙な言説がすでにものすごく拡散されているようだ。この言説の発生源をご存知の人がいれば教えて下さい。

タグ: 数楽

posted at 12:08:16

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 数学的にきちんと書かれたベイズ統計の教科書(たとえば渡辺澄夫さんの著書)を見ると、その手の怪しい言説は皆無で、統計学には頻度主義とベイズ主義の本質的に異なる哲学に基いた統計学が存在するという説も否定されています。大学の授業でも堂々とデマが拡散されているのでは?

タグ: 数楽

posted at 12:11:13

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 不幸な歴史的経緯によって拡散された俗説を無視して、ベイズ統計の場合も含めて次の設定で学んだ方がよいと思う。

推定したい真の確率分布→1つに決まっている
サンプルデータ→真の確率分布に従う独立同分布な確率変数列

続く

タグ: 数楽

posted at 12:15:20

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。最尤法でもベイズ法でも、推定したいのは未知である真の確率分布(ベイズ法でも1つに確定していると考える)。サンプルは真の確率分布から生成されていると考える。

タグ: 数楽

posted at 12:17:33

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 最尤法ではパラメーターw=θによって決まるp(x)=p(x|θ)の形の確率分布で真の分布を推定しようとする。
ベイズ法ではパラメーターの確率分布φ(w)によって決まるp(x)=∫p(x|w)φ(w)dwの形の確率分布で真の分布を推定しようとする。
目的は同じ。手法が違う。

タグ: 数楽

posted at 12:21:45

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。新たなデータが得られるごとに、最尤法ではパラメーターw=θが更新され、ベイズ法ではパラメーターの確率分布φ(w)が更新される。似ている。

「最尤法とベイズ法が確率に関する異なる哲学に基いている」という言説は以上の立場に立てば、無視するべき単なる俗説にしかならない。

タグ: 数楽

posted at 12:25:36

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月5日

気になりながら己では何も確認も計算もせずTLに現れる呟きを眺めているだけなのですが、この真の確率分布というのは類型的なもの(正規分布などの名前のついた)という限定は全くないわけですよね。どうもその辺りがモヤモヤするのですが何にモヤモヤしているのかもよく分からないので更にモヤモヤ。 twitter.com/genkuroki/stat...

タグ:

posted at 12:36:45

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie そうです。真の確率分布は未知であり、なんでもよい。一般に未知の確率分布の真の値を知ることは不可能。推定法と評価方法を開発して試行錯誤するしかない。推定結果の評価のためには真の確率分布が未知のままで可能な方法が必要になる。まさに統計学はそれをやっている。 #数楽

タグ: 数楽

posted at 12:52:11

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 与えられた確率モデルp(x|w)によってp(x)=p(x|θ)とかp(x)=∫p(x|w)φ(w)dwと真の確率分布が表せない場合にはその確率モデルによる推定法で真の確率分布に幾らでも近付くことは不可能になります。そういう場合にも役に立つ方法が欲しい。

タグ: 数楽

posted at 13:01:49

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 確率モデルp(x|w)のパラメーターwを動かすとき、真の確率分布q(x)に最も近くなるパラメーターをw_0と書くとき、真の確率分布が生成するサンプルに基いてp(x|w_0)に幾らでも近付けるか、といような問題が信頼できる教科書では扱われています。

タグ: 数楽

posted at 13:07:41

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 で、そのようなことを考えるためには、「確率分布pが確率分布qにどれだけ近いか」を測る指標を定義しなければいけません。選択肢は無数にあるのですが、数学的に素性が良いものとしてKullback-Leibler情報量が標準的によく使われています。

タグ: 数楽

posted at 13:10:19

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 以上のような理由で、真の確率分布を推定で得たモデルの確率分布で近似することを考え、複数のモデルで近似の精度を比較する、というようなことを学びたければ、Kullback-Leibler情報量に関する知識が必須になるわけです。

タグ: 数楽

posted at 13:13:12

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月5日

このようなやり取りがたまに実現するところが有難い。モデルを推定する事と其れがより近いかどうかを判断するという二つの「計算」が肝なのだろうか。そして、ベイズや尤度はそのどちらにも関係するのか或いは推定の手段として別という事なのか、更には組み合わせたり他の手段もあるのかなど。分からん

タグ:

posted at 13:25:35

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 ベイズ統計について「真の確率分布をp(x)=∫p(x|w)φ(w)dwの形で推定しようとする」と解釈するべき所を「真の確率分布自体が1つに決まっておらず、それを決めるパラメーターは確率分布していると考える」と解釈しようとするから、おかしなことになっているのだと思う。

タグ: 数楽

posted at 13:25:43

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月5日

確率分布間距離だからノルムのようなものを考えるのでしょうか。それにしても「未定のもの」との距離を測ることはまた別種の問題があるような。そして更にどれが近いかという確率分布!を考えることになるとか頭がウニになってしまいそう。 twitter.com/genkuroki/stat...

タグ:

posted at 13:28:48

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 twitter.com/tsatie/status/...
ベイズ法では、推定側が学習モデルp(x|w)と事前分布φ(w)を用意して、未知の真の確率分布q(x)が生成したサンプルx_1,…,x_nをもとにφ(w)を改定して、推定分布p(x)を作ります。

タグ: 数楽

posted at 15:26:35

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 推定の結果は真の確率分布q(x)の推定とみなされる確率分布p(x)です(p(x)をモデルと呼ぶ)。真の確率分布が不明のまま、モデルが真の確率分布をどれだけ近似しているかを見積もることができる場合があるという点が決定的に重要なポイント。続く

タグ: 数楽

posted at 15:30:03

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。真の確率分布は不明であっても、推定側は真の確率分布が生成したサンプルx_1,…,x_nの情報は持っているわけです。サンプルの情報を用いて推定で作ったモデルと未知の真の確率分布の違いを見積もることができる場合があるのです。続く

タグ: 数楽

posted at 15:32:29

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 このツイートの内容は以上とは別の話であることに注意。既知の2つの確率分布の違いはKullback-Leibler情報量で測るという話をしました。ノルムでもないし、距離の公理も満たしていない。無用な先入観は有害。KL情報量を知らない人はこの話題では門前払い。

タグ: 数楽

posted at 15:36:09

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 KL情報量が基礎になっている話なので、それについて知らない人は門前払いになる。門前払いされたくない人は勉強するしかない。ところが、平易に解説してある良さげな文献が見つからない。だから自前で書いた→ www.math.tohoku.ac.jp/~kuroki/LaTeX/...

タグ: 数楽

posted at 15:38:57

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 また別の話。最初に触れるべき例。歪んだコインを投げて表の出る確率をqとする(真の確率)。qを推定するために0から1のあいだのパラメーターwでパラメーター付けられた確率の族p(w)=wを考えます。p(w)は確率モデルとか学習モデルと呼ばれる。続く

タグ: 数楽

posted at 15:43:11

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。パラメーターwの事前分布としてφ(w)=w^{a-1}(1-w)^{b-1}/B(a,b)を採用しましょう。ここでB(a,b)はベータ函数です。この事前分布のもとでの真の確率の推定値は∫_0^1p(w)φ(w)dw=a/(a+b)になる。続く

タグ: 数楽

posted at 15:47:27

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月5日

やはりそういう事なんですね。ふむふむ。「真の分布が不明な侭で見積もる事ができる」とは何とも不思議な事に思える。此処が分かると楽しそうだなぁ。 twitter.com/genkuroki/stat...

タグ:

posted at 15:50:30

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月5日

「見積もる事ができる場合がある」という事はサンプル(と推定方?やその結果のモデル?)に依っては「見積もる事が出来ない場合」まあるという事なのだろうか。 twitter.com/genkuroki/stat...

タグ:

posted at 15:52:10

ʇɥƃıluooɯ ǝıʇɐs @tsatie

16年10月5日

ふむふむ。生半可や半可通な事は忘れて一から見ないとあかんゆう事ですね。 twitter.com/genkuroki/stat...

タグ:

posted at 15:53:12

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。a/(a+b)がコインを投げる前の推定値。コインをn回投げて表がk回出たとします。このときベイズ更新によってパラメーターwに関する確率分布φ(w)はψ(w)=w^{a+k-1}(1-w)^{b+n-k-1}/B(a+k,b+n-k)に改定される。

タグ: 数楽

posted at 15:55:44

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。ψ(w)を事後分布と呼び、それに対応する真の確率qの推定値は∫_0^1 p(w)ψ(w)dw=(a+k)/(a+b+n)になります。nを大きくすると大数の法則から、これは真の確率qに収束します。これがベイズ推定の最も易しい場合です。

タグ: 数楽

posted at 15:59:23

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 サンプルをもとに事前分布を事後分布に更新するための一般的な式は教科書にあるし、ググってもたくさん見つかると思います。ベイズ更新の定義を調べて、以上の話が定義通りになっていることを確認できれば、ベイズ推定の最も簡単な場合について知ったことになります。

タグ: 数楽

posted at 16:07:46

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 最尤法の場合に最もよく使われる「モデルと未知の真の分布の違いを見積もるための指標」に赤池情報量規準AICがあるのですが(コンピューターが自動的に計算してくれる)、AICが使えない場合にも使われているケースがたぶんたくさんある。

タグ: 数楽

posted at 16:51:37

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 確率モデルはパラメーター付き確率の族p(w)=wではなく、パラメーターw付き確率分布の族p(表|w)=w、p(裏|w)=1-wを考えた方が上の例とベイズ更新の一般的定義の関係を見易いかも。コインをn回投げて得られるサンプルは表と裏の列〜続く

タグ: 数楽

posted at 17:37:01

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き〜 x_1,…,x_nで、そのサンプルによる事前分布φ(w)のベイズ更新の結果ψ(w)はψ(w)=p(x_1|w)…p(x_n|w)φ(w)/Z、Z=∫_0^1 p(x_1|w)…p(x_n|w)φ(w)dwと定義されます。後は上に書いた式と比較。

タグ: 数楽

posted at 17:41:30

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 p(x_1|w)…p(x_n|w)はパラメーターwのもとで確率モデルp(x|w)がサンプルx_1,…,x_nを生成する確率です。この確率が大きいほど、サンプルに対するパラメーターwのもっともらしさ(尤度)は大きいと言います。尤度はパラメーターの函数。

タグ: 数楽

posted at 17:46:05

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 事前分布φ(w)のサンプルを使った更新結果ψ(w)は、事前分布にそのサンプルのもとでのパラメーターのもっもらしさ(尤度)かけたものを確率の総和が1になるという条件で正規化したものとして定義されます。続く

タグ: 数楽

posted at 17:49:43

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続く。それによって、事後分布ψ(w)はサンプルのもとでもっともらしいwにおける値が事前分布φ(w)よりも大きな確率密度函数になります。サンプルサイズを大きくすると、より強くもっともらしいwに分布が集中して行くと期待されるわけです(実際には簡単じゃない)。

タグ: 数楽

posted at 17:53:43

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 上の歪んだコイン投げの例では、実際にその期待が実現することが数学的に容易に証明できます(上で本質的に証明したつもり)。少なくとも歪んだコイン投げのケースでベイズ統計が真の確率の推定に役に立つことがわかる。どこにも数学的・科学的に怪しい部分はありません。

タグ: 数楽

posted at 17:57:39

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 大事な点は、歪んだコイン投げの例でベイズの定理を使っていないことです。一般の場合のベイズ更新の漸近挙動の分析にもベイズの定理は使われません。自明な話なのですが、ベイズ統計の有効性があたかもベイズの定理の帰結であるかのような印象を与える解説があるので注意。

タグ: 数楽

posted at 18:01:17

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 歪んだコイン投げのケースで最尤法についても説明します。記号は歪んだコイン投げのベイズ推定で定義したものをそのまま使います。例えば確率モデルはp(表|w)=w、p(裏|w)=1-wで、x_1,…,x_nは真の確率分布が生成した表と裏の列(サンプル)です。続く

タグ: 数楽

posted at 18:53:22

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。そのサンプルのもとでのパラメーターwのもっともらしさ(尤度、パラメーターwのもとで確率モデルがそのサンプルを生成する確率)はp(x_1|w)…p(x_n|w)になる。尤度が最大になるパラメーターwをw_nと書く。続く

タグ: 数楽

posted at 18:59:54

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。サンプル中の表の数がkのとき尤度はw^k(1-w)^{n-k}になります。これが最大になる0と1の間のwを求めると、w_n=k/nになります。大数の法則からサンプルサイズn→∞の極限でw_n→(真の確率)=qとなります。続く

タグ: 数楽

posted at 19:08:24

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。事前分布φ(w)が0から1での一様分布の場合(a=b=1の場合)に事後分布はψ(w)=w^k(1-w)^{n-k}/B(k,n-k)になるので、ベイズ更新における事後分布と最尤法で使った尤度函数w^k(1-w)^{n-k}は定数倍の違いを除いて一致。

タグ: 数楽

posted at 19:10:54

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 パラメーターwの空間がコンパクトならば「ベイズ推定における事前分布φ(w)が一様分布の場合の事後分布ψ(w)と最尤法における尤度函数p(x_1|w)…p(x_n|w)は定数倍の違いを除いて一致する」と自明に言えます。

タグ: 数楽

posted at 19:14:31

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。だから、サンプルサイズ→大での、尤度函数の漸近挙動を調べることと、ベイズ推定における事後分布の漸近挙動を調べることのあいだには大きな違いはない。尤度函数が一点の周囲で正規分布で近似できるケースでは事後分布も同じように振る舞うこともわかるはず。

タグ: 数楽

posted at 19:22:25

黒木玄 Gen Kuroki @genkuroki

16年10月5日

@tsatie #数楽 続き。問題は尤度函数がそのように良い振る舞いをしない場合で、その場合には話が難しくなる。そういうケースでも有効な結果を出すためには20世紀の数学の深い結果を使えばよいということを渡辺澄夫さんが見つけました。

タグ: 数楽

posted at 19:26:14

黒木玄 Gen Kuroki @genkuroki

16年10月5日

www.shonenjump.com/p/sp/1610/tori...
ノーベル医学生理学賞受賞記念
「トリコ」を読めば話題の「オートファジー」が解る!?
3話分無料公開10/12(水)まで

タグ:

posted at 19:50:45

須山敦志 Suyama Atsushi @sammy_suyama

16年10月5日

よく機械学習を「ブラックボックス」っていう風に言う人がいますが、あれは人手の解析が困難な複雑な関数を取り扱っているというだけであって、モデル自体は非常にシンプルな仮説(スパース性とか階層構造とか)に基づいていることが多いです。

タグ:

posted at 21:19:29

プクりん @pukurin1996

16年10月5日

最近の小学生…さくらんぼ計算とかやってるんやな…
説明を見る限り無駄な計算だよね…
しかもこのやり方でやらないとダメとか… pic.twitter.com/PdzNTLZVaI

タグ:

posted at 21:20:28

黒木玄 Gen Kuroki @genkuroki

16年10月5日

Re:RT やっぱりそうか。リンク先からK島某さんのブログに飛んだら、主観ベイズのやばそうな本が紹介されていた。検索したらK島某さんは【ベイズ推定の哲学的背景について包み隠さず正面から書いている】と書いていた。これはアウトだと思う。世の中には負の教養を拡散する人がいるので注意。

タグ:

posted at 22:16:52

黒木玄 Gen Kuroki @genkuroki

16年10月5日

モンティホール問題とベイズ統計は関係ないよね。モンティホール問題について【この問題への解答は、どのみち「主観」的なものにすぎない】と言ってしまうような人が書いた確率関係の解説を読むのは時間の無駄。ちなみに私は家庭内で実験して遊んだことがある。

タグ:

posted at 22:30:53

あ〜る菊池誠(反緊縮)公式 @kikumaco

16年10月5日

@genkuroki モンティホールをベイズで解説する本があって、途方に暮れたことがあります。モンティホールは全事象を列挙すればいいだけですから、ベイズを持ち出す意味がわかりません

タグ:

posted at 22:33:24

くるの はるみ @H_Kuruno

16年10月5日

モンティホールのどこに主観が関与するんだろうねぇ www >そういう人twitter.com/genkuroki/stat...

タグ:

posted at 22:33:49

黒木玄 Gen Kuroki @genkuroki

16年10月5日

寝床。iPhoneでツイッター社公式アプリで「ベイズ 主観」の検索結果をざっと見て、さらに「ベイズ 主観 until:2012-12-31」の検索結果も見た。「ベイズ統計は主観確率の話だ」という俗説を信じている人達がたくさんいることに驚いた。

タグ:

posted at 22:45:44

黒木玄 Gen Kuroki @genkuroki

16年10月5日

ちなみに、家庭内モンティホール問題ごっこは90回試してみて力尽きた。確率論の予測は非常に当たるのですが、結果は確率的に揺らぐのでその経過を色々面白く人間の側は感じてしまうことになる。

タグ:

posted at 22:49:58

黒木玄 Gen Kuroki @genkuroki

16年10月5日

最近何度も強調しているけど、真の条件付き確率と真の事前確率についてほぼ自明に成立しているベイズの定理の話と、ベイズ推定の有用性に関する非自明な話を混同したり、混同させるように解説するのはまずい。たくさんの人がやってしまっている。

タグ:

posted at 22:55:43

黒木玄 Gen Kuroki @genkuroki

16年10月5日

寝床で検索しているのはツイッターだけではないです。「モンティホール問題 主観確率」をぐぐるとウィキペディアにも変な説明がありますね。ベイズの定理は真の条件付き確率と真の事前確率と真の事後確率に関する定理であり、主観確率云々とか言う必要はない。

タグ:

posted at 23:04:58

黒木玄 Gen Kuroki @genkuroki

16年10月5日

「ベイズ統計は主観確率を扱う」という言説およびその周辺にはあまりにも非論理的なデタラメが不幸な歴史的経緯のせいで蔓延しているようでここ数日の間ずっとびっくりしている。

タグ:

posted at 23:08:19

黒木玄 Gen Kuroki @genkuroki

16年10月5日

流行語になっているようにも見える「ベイズ統計」の解説を書く側は渡辺澄夫さんのウェブサイトの解説をよく読んで時代遅れでずさんな「哲学もどき」に影響されないように注意した方がよいと思う。 watanabe-www.math.dis.titech.ac.jp/users/swatanab...
iPhoneでもドルフィンブラウザなら読める。

タグ:

posted at 23:11:47

黒木玄 Gen Kuroki @genkuroki

16年10月5日

あと、次の教科書は数学的にかなりの素養を要求するのですが、怪しげな考え方を明瞭に否定する説明が随所に含まれており、数学にあまり強くない人も見ておくと良いかもしれません。
watanabe-www.math.dis.titech.ac.jp/users/swatanab...
iPhoneな人はドルフィンブラウザを使うと読める。

タグ:

posted at 23:18:32

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 今日、私自身も説明をごまかすためにやってしまいましたが、パラメーターwの函数である尤度は「パラメーターwのもとで確率モデルがそのサンプルを生成する確率(密度)」が定義であり、それを「そのサンプルの下でのパラメーターwのもっともらしさ」と解釈することはちょっと余計。続く

タグ: 数楽

posted at 23:39:00

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 続き。パラメーターwの尤度を、定義に戻らずに、文字通りに「パラメーターwのもっともらしさ」と解釈してしまう人が出て来てしまうと、最大の尤度を持つパラメーターwを選ぶことが、一番もっともらしいwを選ぶことになると誤解してしまうかもしれない。(p値にも似た誤解がある。)

タグ: 数楽

posted at 23:43:23

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 パラメーターwの尤度は本当は「パラメーターwのもとで確率モデルがそのサンプルを生成する確率」以上の意味を持ちません。このようなものを最大化するwがよい推定値を与える場合があることは非自明な数学的結果です。尤度(尤もらしさ、likelihood)という用語は要注意。

タグ: 数楽

posted at 23:47:39

黒木玄 Gen Kuroki @genkuroki

16年10月5日

#数楽 watanabe-www.math.dis.titech.ac.jp/users/swatanab... にも【回答3.尤度関数は「パラメータが与えられたときサンプルセットが現れる確率(密度)」を 表していますが「サンプルセットが与えられたときのパラメータの確からしさ」を 表していません】と書いてありました。

タグ: 数楽

posted at 23:52:07

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました