Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2020年12月15日(火)

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 別の確率分布qを考えます。

ここで考えたい問題はこうです:

(*) 分布pの乱数列X_1,X_2,…,X_nがまるで分布qの乱数列に見える確率はn→∞でどのようにふるまうだろうか?

これの答えが、KL情報量(=-相対エントロピー)のSanovの定理です。続く

タグ: 統計

posted at 23:58:35

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 確率分布pの乱数列X_1,X_2,X_3,… (i.i.d.)が生成されている状況を考えます。

最も易しい場合は、表が確率pで出るコインを投げ続けている場合です。その場合にはX_iは表なら1、裏なら0になると約束しておくことが多いです。

X_iの値が有限集合の元のどれかになるのが次に易しい場合。

続く

タグ: 統計

posted at 23:54:15

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 その難しい本質的な話に行く前の、易しい部分であるKL情報量の話を続けます。

「おい!私が分からん話を易しいとあっさり言うな!」という声が聞こえた感じがするのでそうします。続く

タグ: 統計

posted at 23:49:23

黒木玄 Gen Kuroki @genkuroki

20年12月15日

@KMKTo MKTさん、誤解もあったようだし、言い過ぎたところも多々ある点はお詫びしておきます。その点はちょっとごめんなさいね。

タグ:

posted at 23:44:08

黒木玄 Gen Kuroki @genkuroki

20年12月15日

@KMKTo 「Wベイズ」という言い方が出て来た経緯について私は誤解していたかもしれません。ごめんなさい。

しかし、私に誤解があったとしても、ベイズ法の予測分布の汎化誤差を考えることは大昔からある話であり、そういう広い範囲の何かを指す言葉に聞こえるので、「Wベイズ」と略すのはやめて欲しいです。

タグ:

posted at 23:43:00

Naoki Ueda(上田直生) @naokiueda

20年12月15日

今日はとても嬉しい事がありました。中学生の時に天文雑誌を通じて文通していたお兄さんから、なんと35年以上ぶりにお便りが届きました!!なんとそのお兄さんは夢を叶えてすごい天文学者になられており、著書を送ってくれました。凄すぎる!!!!
それより覚えていてくれてて、とても嬉しい!

タグ:

posted at 23:30:43

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計

汎化誤差=KL情報量+共通の定数はデータから原理的にも計算できないのでどうするか

が最も本質的で面白い部分なので、KL情報量(=-相対エントロピー)という平易な話題でキーワードを並べる知ったかぶり段階で立ち止まってしまうと、結果的に本質的なことを何も理解できずに終わってしまいます。

タグ: 統計

posted at 23:30:42

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 ぶっちゃけ、KL情報量を使うことは特別に難しい話ではなく、「熱力学」「情報理論」「エントロピー」といったキーワードを並べて深淵な含意があるかのように語るのは滑稽な部分。

統計学学習の準備に「大数の法則」「中心極限定理」「KL情報量のSanovの定理」について理解しておくとお得。

タグ: 統計

posted at 23:24:55

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 そこには深淵な含意はなく、シンプルな数学があるだけです。分かってしまえば、どこにも神秘化する余地が残らない。

タグ: 統計

posted at 23:19:48

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 続き。赤池さんはStirlingの公式しか使っていない。

その程度のことであれば、さすがに多くの人が理解できるはず。

物理的な統計力学はもっと難しい場合も扱っているのですが、そういう大変な場合とは無関係の易しい計算ができれば赤池さんの考え方は理解できます。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 23:19:47

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 赤池弘次さんが発見&発展させた考え方は、中心極限定理よりも易しいSanovの定理についての教養があれば十分です。

実際、赤池さん本人による解説(以下のリンク先で紹介)でも、さらっと「Sanovの定理」などと言わずにそれに相当することを示して使っています。

平易な解説で非常によいです。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 23:14:20

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 一般の場合のSanovの定理は、素朴に有限で無限を近似して極限を取った形がそのまま成立しているというものなので、有限集合上でのSanovの定理が完璧に分かっていれば、(特別に数学的厳密さも目標としたい場合を除けば)教養的に十分だと私は思います。

タグ: 統計

posted at 23:09:59

Dr. nhayashi @nhayashi1994

20年12月15日

@genkuroki MKTさんの真意は知りませんが、
著者名+書籍名と同じ形で著者名理論という呼び方はよくします。
便宜上の名前で権威にあやかりたいものではありません(私は件の理論は公的な場所では特異学習理論といいます)

タグ:

posted at 23:08:52

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 「情報理論における相対エントロピー/Kullback-Leibler情報量に関するSanovの定理」はそういう言い方をすると何か深淵な含意があるように聞こえてしまいがちですが、有限集合上の確率分布の場合であれば、中心極限定理よりも易しい結果に過ぎません。

解説→ genkuroki.github.io/documents/2016...

続く

タグ: 統計

posted at 23:06:44

Dr. nhayashi @nhayashi1994

20年12月15日

@genkuroki (そういうさほど本質的でないところでキツめに突っ込むから、黒木さんの言を揚げ足取って喚く人たちがいるんすよ)

タグ:

posted at 23:04:39

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 「情報理論のエントロピー」のような言い方で、自分自身が本当に何も理解していないことが分かる発言ができる人が出て来てしまうことについては、KL情報量のSanovの定理について教わる機会がないという問題が関係しているのかもしれない。

続く

タグ: 統計

posted at 23:02:13

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 【Wベイズ】という言い方にも呆れた。

私のように旗幟鮮明に「ろくでもない」と評価した対象をそう評価していることをより鮮明にするための言い方をするのであれば分かる。

そうでないのであれば、もっとマシな言い方をするべき。

キーワードを挙げて知ったかぶりをするのもやめた方がよい。 pic.twitter.com/nTvX45dMAz

タグ: 統計

posted at 22:53:39

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 MKTさんをミュートしていたことに気付いた。

気付いた瞬間に、

* 熱力学
* 情報理論のエントロピー

のようなキーワードを拾うだけで、理解する方向の努力ができない人特有の典型的に「見事な」発言が見えたので記録に残しておく。

この手の発言をする知ったかぶりになっちゃダメです。続く twitter.com/kmkto/status/1... pic.twitter.com/72IrKK2Qh7

タグ: 統計

posted at 22:49:53

Yuki Nagai @cometscome_phys

20年12月15日

Juliaでのユーザー定義演算子の種類 on @Qiita qiita.com/cometscome_phy...

タグ:

posted at 22:37:55

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 関連

Savageなどが「尤度原理」(←明らかに極端で馬鹿げた考え方)を自分が信奉する主義の勢力を強めるために使っていることだけでも、「これはひどい!」と評価されて当然です。

統計学と相性が悪そうな「効用体系」の類に関するアドホックな前提からの演繹を主な手段にするからそうなる。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:10:47

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 もちろん「たとえ狂人であっても自分自身の効用最大化を行っていれば合理的」という意味で合理的な統計的推測の理論を考えることにもそれなりに面白いところがあるのですが、それは多くの人が統計学に求めていることとは違うことは認めて謙虚になってくれないと困る。

タグ: 統計

posted at 22:00:16

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 【論理的整合性に基づいて事前分布と効用体系の存在を明かし】たと言っても、合意を得られそうもないアドホックな前提から導出したにすぎず、せいぜい「たとえ狂人であっても自分自身の効用最大化を行っていれば合理的」という意味での合理性は扱えても、科学が必要とする合理性は得られません。

タグ: 統計

posted at 22:00:15

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 1つ前のツイートの添付画像は

gist.github.com/Gedevan-Aleksi...

より。関連↓ twitter.com/genkuroki/stat...

タグ: 統計

posted at 21:46:24

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計

受けた(笑)

「形式的なベイズ統計」事件以来(笑)

【単に事前分布あるいはそれに近いものを形式的に用いることにより,いくつかの問題をアド・ホックに解決しようとするだけで,ベイズ流の論理構造を理解しているとは思えないような人々】
【渡辺(2012)は~「形式的なベイズ統計」にのみ限定】 twitter.com/nhayashi1994/s... pic.twitter.com/Ib5eO61OGZ

タグ: 統計

posted at 21:46:23

yudai.jl @physics303

20年12月15日

@genkuroki ありがとうございます!分かりやすいですね.(というか,Juliaがシンボリックな計算ができることを知らなかったです)

それなりに大きいテンソルを扱うときは無難にttt(ttt(ttt(u_1, u_2),u_3),u_4)
にしておけばokと理解しました.

タグ:

posted at 21:31:26

Dr. nhayashi @nhayashi1994

20年12月15日

今日はWベイズはベイズ統計学ではないというトンチンカンな表を見てしまった

タグ:

posted at 20:19:01

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#Julia言語

Juliaのパッケージマネジャーも非常に良い。

コンパイル済みのライブラリや実行可能ファイルの面倒も見れくれる。 twitter.com/hiraokatakuya/...

タグ: Julia言語

posted at 20:11:32

平岡 拓也 @HiraokaTakuya

20年12月15日

ライブラリの依存解決とか、より良い解決方法を持っている他言語エコシステムとかに触れたりしないと、問題を認識出来ない感はあると思う(´・_・`)
Rustのcargoとかは相当良いけど、それを知るまでは僕はライブラリがすぐに動かない事は問題ではあるにせよ、当たり前だと思っていた。

タグ:

posted at 20:07:03

tidetide8 @tidetide81

20年12月15日

謝依旻さん(囲碁が強い人)が胡蝶しのぶのコスプレしてる写真が流れてきて心底驚いている

タグ:

posted at 20:06:18

μjirow+&Co. @GakChu

20年12月15日

@yimin1116 @wasabi_xyz3 @1515_Erk 「次のニュースです。昨日、台湾出身で過去に多くのタイトルを獲得してきた囲碁棋士の謝依旻六段が、現在漫画やアニメ映画で大ヒット中の『鬼滅の刃』のキャラクター、胡蝶しのぶのコスプレをした映像をSNSなどのサイトに投稿しました。棋士仲間やファンを中心に盛り上がりを見せているとの事です」

タグ:

posted at 19:34:53

非公開

タグ:

posted at xx:xx:xx

謝依旻 @yimin1116

20年12月15日

鬼滅の刃/胡蝶しのぶ

「鬼を殺せる毒を作ったちょっと凄い人なんですよ。」

🦋🦋🦋🦋🦋🦋🦋🦋🦋

photo:@wasabi_xyz3
support:@1515_Erk

#コスプレ
#Cosplay pic.twitter.com/Ol62vLj05A

タグ: Cosplay コスプレ

posted at 19:01:42

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 あと、事前分布を主観確率で解釈するかどうかと無関係に、多くの場合にモデルの分布族p(x|θ)の妥当な選択が非常に難しい問題で、ひどく的を外してしまっている危険性があることを認めないとダメだよね。

赤池さんの上の論説p.12の最初の文も参照。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 18:55:19

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計

ismrepo.ism.ac.jp/index.php?acti...
統計的推論のパラダイムの変遷について
赤池弘次
1980

において、現代の普通の科学的常識を身につけている人達にとって意味不明なのは第7節のSavage批判の部分。その部分のわけの分からなさはSavageさんのわけの分からなさの反映。赤池さんは悪くない。

タグ: 統計

posted at 18:36:53

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 例えばSavageさんが馬鹿なことを言っていたことを認めていれば、事前分布を主観確率で解釈する場合があってもまとも扱いできる可能性が出て来る。

もちろん、事前分布を主観確率で解釈する必要がないことを当然とした上で、主観確率だと解釈しても良さそうな場合もあるという話にしないとダメ。

タグ: 統計

posted at 18:29:53

積分定数 @sekibunnteisuu

20年12月15日

@eco_tetsu @genkuroki @Ra_koyama @tsatie #超算数
啓林館の足し算の順序
広島大学付属小の増加と合併の区別

この2つは、トンデモ算数の負の世界遺産 pic.twitter.com/IloAljRo0E

タグ: 超算数

posted at 18:28:05

エコ鉄 @eco_tetsu

20年12月15日

@genkuroki @sekibunnteisuu @Ra_koyama @tsatie なんだかんだ言って
「初めの数量」+「増えた数量」
に帰着させる怖さ.

30円持っていて.ポチ袋に入った20円をもらう.
持っていたお金をポチ袋にしまった.
いくら持ってる?

さて,「初めの数量」とは何でしょうね?

30+20=50
20+30=50

50円持っていることに変わりない.

タグ:

posted at 18:04:39

黒木玄 Gen Kuroki @genkuroki

20年12月15日

@sekibunnteisuu @Ra_koyama @tsatie こういう教育を大真面目に小学1年生相手にしている地獄

タグ:

posted at 17:54:16

黒木玄 Gen Kuroki @genkuroki

20年12月15日

@sekibunnteisuu @Ra_koyama @tsatie #超算数

「いくらなんでもこういうことを言うわけない」と思っていると、不意打ちになって、お茶を噴き出す。

こうなると知っていても、「あのネタが炸裂するぞ」という期待の高まりで笑える。

【斜めの方向から2台きたらどんな式になりますか】

🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣🤣

www.shinko-keirin.co.jp/keirinkan/sans... pic.twitter.com/5SzXjYxh5L

タグ: 超算数

posted at 17:53:07

ʇɥƃıluooɯ ǝıʇɐs @tsatie

20年12月15日

(台本があるなら喋るのも機械任せで... とか思うだけは思うた事がある。録画もした事は未だないしお試しすらしてへんし分からへんけど。Macだと結構まともに喋ってくれる事だけは思いついた時に確認してみたけど...) twitter.com/genkuroki/stat...

タグ:

posted at 17:51:29

blueqat @blueqat_os

20年12月15日

「例えば今、Julia(プログラミング言語)のArm A64FXへの移植をしていて」

www.mext.go.jp/b_menu/shingi/...

タグ:

posted at 16:58:19

Yasuko Suzuki @yasukabe

20年12月15日

一般の方は、換気の重要性とその効果に懐疑的で、空気清浄機とかの何らかの機械設備を使う方がより高級で効果があると、誤解しているような気がする。『治療』11月号のこの部分、ホントソレ! って思った。 pic.twitter.com/0OJsnQPmGc

タグ:

posted at 16:49:26

クジラ飛行机 @kujirahand

20年12月15日

C言語よりも速い柔軟な動的言語「Julia」- マイナビ連載「世界のプログラミング言語」が掲載されました。Juliaスゴイです。
news.mynavi.jp/article/progra...

タグ:

posted at 16:12:45

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

積分定数 @sekibunnteisuu

20年12月15日

@Ra_koyama @tsatie @genkuroki www.shinko-keirin.co.jp/keirinkan/sans... これだね。

私こういうのを見ると、林家三平の、元旦に坊主が2人やってきた、を連想しちゃうんだよねw

タグ:

posted at 12:29:12

らじうむ小山_PPPMP @Ra_koyama

20年12月15日

@tsatie @sekibunnteisuu @genkuroki 当時は、上から降ってきたら

+
4
だの、
ナナメだったらどうするだの、大喜利化した記憶がwww

タグ:

posted at 12:21:41

非公開

タグ:

posted at xx:xx:xx

Nagamura ∩|∵|∩ Naoka @naganao

20年12月15日

@cometscome_phys 職員の時は「熊出たアラートメール」が結構頻繁に回ってきました!植物園がお散歩コースになっているようです。食堂に来たという報告も…🐻

タグ:

posted at 10:56:57

黒木玄 Gen Kuroki @genkuroki

20年12月15日

@physics303 #Julia言語 1つ前のツイートのメモリ効率はものすごく悪いので、超小規模の計算以外には使っちゃダメ。

Juliaでの書き方の参考になると思って例示しました。

タグ: Julia言語

posted at 10:11:31

黒木玄 Gen Kuroki @genkuroki

20年12月15日

@physics303 #Julia言語

kronとreshapeの組み合わせで書くなら、

using LinearAlgebra
otimes(u) = u
otimes(v...) = reshape(kron(reverse(v)...), length.(v))

reverseが入っている理由についてはkronのヘルプを参照

gist.github.com/genkuroki/45f7... pic.twitter.com/Gq8mhlYnEB

タグ: Julia言語

posted at 10:08:14

Yuki Nagai @cometscome_phys

20年12月15日

そういえば東北大って金研以外行ったことがないので、熊が出るという環境が気になっている

タグ:

posted at 10:05:34

Erik Engheim @erikengheim

20年12月15日

@martin_trapp #JuliaLang is just awesome for this. First language I've used with dependencies, packages, environments etc all wrapped into one well integrated solution that just works. Took Steven 3 tries to get the package manager right though 😉 Totally worth it. I love how well it works.

タグ: JuliaLang

posted at 10:00:34

ʇɥƃıluooɯ ǝıʇɐs @tsatie

20年12月15日

@sekibunnteisuu @genkuroki @Ra_koyama 可哀想... では済まないよな。「奥からも来た」「手前からも来た」としたらどないなるねん #そこじゃないかも

タグ: そこじゃないかも

posted at 09:42:01

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 補足

MCMC法についてよくある誤解は「MCMC法はベイズ統計のための方法である」とか「MCMC法を使っていればベイズ統計でる」の類。

MCMC法はベイズ統計と無関係に説明可能な非常に普遍的な方法です。その特殊用途の1つが事後分布のサンプルを作ることというだけです。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 09:30:56

WIRED.jp @wired_jp

20年12月15日

グーグルのAI倫理研究者は、なぜ解雇されたのか? 「問題の論文」が浮き彫りにしたこと wired.jp/2020/12/15/beh... #最新記事

タグ: 最新記事

posted at 09:05:20

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年12月15日

福島の甲状腺検査は受診者にとって有害無益なので全面的に中止すべきですが、せめて学校検診は即刻やめるべき。

それが理解できないおしどりマコに放射能問題を語る資格はない twitter.com/makomelo/statu...

タグ:

posted at 08:46:27

非公開

タグ:

posted at xx:xx:xx

ceptree @ceptree

20年12月15日

> 丸美屋の麻婆豆腐を作ることよりも環境構築が簡単なことで有名なプログラミング言語Juliaで書きました。

タグ:

posted at 08:42:25

name @unagi_anago

20年12月15日

「車が3台止まっていました。左から1台、右から1台、手前から1台来ました。その後、1台は爆発してその場で消滅しました。何台車は残っていますか?」は、どうやって表記するつもりなんだろう twitter.com/siawasensei/st...

タグ:

posted at 08:41:24

るこら。 @rucola_

20年12月15日

掛け算だけじゃなかったのか…。 twitter.com/siawasensei/st...

タグ:

posted at 08:35:58

Hiroshi Shinaoka @HShinaoka

20年12月15日

@ShunSakana Python、Juliaでも問題なくMPI並列計算はできます。ただ、Pythonで性能を出すにはCython等を使わないといけなくなる可能性はあります。Juliaはモダンなスパコン「には」環境が用意されるようになっていますね(物性研新システムB等)

タグ:

posted at 08:35:10

@kankichi57301 @kankichi57301

20年12月15日

@sekibunnteisuu ええ歳して「赤ちゃんはコウノトリが運んでくる」をマジで信じてるものは日本では皆無だろうが、#掛算 の順番はマジで信じてるのがよおさんいてるのはなぜだろう。

タグ: 掛算

posted at 08:09:23

砂___の___女 @vecchio_ciao

20年12月15日

これは新しい!😳

どちらも正解なのに、片方だけを正しいとする順序強制カルトの教義😩

#掛算 #超算数 twitter.com/asak_/status/1...

タグ: 掛算 超算数

posted at 07:58:32

@kankichi57301 @kankichi57301

20年12月15日

♪右を向いても 左を見ても
馬鹿と阿呆(あほう)の 絡み合い
#超算数 twitter.com/siawasensei/st...

タグ: 超算数

posted at 07:57:38

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 KL情報量最小化の意味での近似に直観を効かせるためには、Sanovの定理がほぼ必須。数学科または物理学科の大学2~3年生を想定して書いた解説が以下の場所にある。

genkuroki.github.io/documents/2016...

タグ: 統計

posted at 00:53:38

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 訂正:「変文」→「変分」

変分推論では、理論的には既知の真のpを特殊な形のqでD(q||p)を最小化したもので近似。

統計的推測では、未知の真のqを特殊な形のpでD(q||p)を最小化するもので近似したいと考える。(こちらではqが未知でそのサンプルしか見えていないので超難問であることに注意!)

タグ: 統計

posted at 00:50:25

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 変文推論では真の事後分布pに対して、特殊な形のqでKL情報量D(q||p)を最小化するものを求める。

統計的推測の(理想的過ぎて完璧には不可能な)目標は、未知の分布qが生成したデータからモデルの分布pでKL情報量D(q||p)を最小にするものを求めることです。

D(q||p)の中でのq、pの違いに注意。

タグ: 統計

posted at 00:44:39

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 「本物の」変分推論で変わったことが起こるケースの数値実験はちょっと面倒なのですが、人工的な易しい場合に特殊な形のqでD(q||p)を最小化する数値実験は易しいです。

実際にやってみたのが以下のリンク先 twitter.com/genkuroki/stat...

タグ: 統計

posted at 00:36:00

積分定数 @sekibunnteisuu

20年12月15日

@schitao_ 過激でもなんでもなく、

間違ったことが教えられて間違った採点が行われているのだから、バツになるのは喜ばしいこと、〇になったら要注意

を世間の常識にしていくべきでしょう。
twitter.com/sekibunnteisuu...

タグ:

posted at 00:33:23

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 qの台がpの台からはみ出していると、pのサンプルにそのはみ出した部分の点は決して含まれないので、pのサンプルがqのサンプルに見えてしまうことは起こりません。

だから、そういう場合には D(q||p) = ∞ になってしまうと考えてよいです。

タグ: 統計

posted at 00:30:58

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 だから、変分推論で得られたqは、特殊な形のqで真の事後分布のサンプルでqのサンプルに見えるものが最も高い確率で生じるものになっています。

続く

タグ: 統計

posted at 00:30:57

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 MCMC法は真の事後分布pのサンプル w_1, w_2, … を生成する方法の1つです。

KL情報量のSanovの定理より、KL情報量D(q||p)はpのサンプルがまるでqのサンプルであるかのように見える確率の対数の-1/n倍の近似値になっています。

続く

タグ: 統計

posted at 00:30:56

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 一般的に言えること

D(q||p)<∞のとき、分布qの台は分布pの台に含まれます。

一般に、変分推論によって得られる特殊な形のqによる真の事後分布pの近似の台(0でない領域)はpの台よりも小さくなり、qの分布はpより狭い範囲の分布になります。

タグ: 統計

posted at 00:23:14

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計 真の事後分布をpと書くとき、特殊な形に制限された分布qでKL情報量D(q||p)が最小になるものを求めるのが、所謂「変分推論」です。

qの形の制限のせいで、KL情報量D(q||p)を最小にするqが真の事前分布pから、かけ離れたものになる可能性があります。続く

タグ: 統計

posted at 00:17:34

黒木玄 Gen Kuroki @genkuroki

20年12月15日

#統計

①MCMC法では時間を十分にかければ真の事後分布の良質なサンプルが得られる。

②所謂変分ベイズでは、理想的に計算を遂行できても、真の事後分布から大きく外れた結果が得られる場合も出て来る。

具体的な状況は分かりませんが、「かなり結果が違う」は当然の結果である可能性があります。 twitter.com/bicycle1885/st...

タグ: 統計

posted at 00:13:54

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました