Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2020年05月17日(日)

古賀章成 #こがとうんてん @akinarikoga

20年5月17日

すげぇ。

あと、ベイズ統計ってこうやって使いこなすのかっていう、個人的な驚きもあって、すげぇ。 twitter.com/hankagosa/stat...

タグ:

posted at 23:58:00

Jiahao Chen 陈家豪 @acidflask

20年5月17日

@_julesh_ @revprez @JuliaLanguage Corollary: a great many people don't understand the performance delta between their python code and bare metal

タグ:

posted at 22:29:42

Jiahao Chen 陈家豪 @acidflask

20年5月17日

@_julesh_ @revprez which is exactly what @JuliaLanguage started out to change. 11 years of reducing abstraction costs and still going

#Julialang

タグ: Julialang

posted at 22:27:12

julesh @_julesh_

20年5月17日

@revprez True! So zero cost abstractions are very important

タグ:

posted at 21:48:44

REVPREZ @revprez

20年5月17日

@_julesh_ Second Law of Scientific Computing: abstraction tends to make the bleeps bloop slower.

タグ:

posted at 21:46:49

julesh @_julesh_

20年5月17日

Although it's not my field, I'm going to outrageously leave my lane to claim a First Law of Scientific Computing: the model and the solver should be totally decoupled

タグ:

posted at 21:39:24

前田敦司 @maeda

20年5月17日

さらに言えば、横軸が名義尺度の折れ線グラフというのも抵抗がある…

タグ:

posted at 21:29:40

前田敦司 @maeda

20年5月17日

ただ、対数軸の棒グラフはどうにもいただけない…
テレビ番組で使われたもの? pic.twitter.com/H1m1Jduy5S

タグ:

posted at 20:47:34

こいなぎ @naginyan135

20年5月17日

こ れ は や ば す ぎ る 詰 み 筋 pic.twitter.com/TUksb7gYeB

タグ:

posted at 20:41:42

前田敦司 @maeda

20年5月17日

たいへんよくまとまっていて納得した“「日本のPCR検査不足」は表面的な印象に過ぎず、不足をきちんとした理論で示したものはないように思う” / “PCR検査をめぐる「5つの理論」を検討する - 鈴木貞夫|論座 - 朝日新聞社の言論サイト” htn.to/2K36erxCmX

タグ:

posted at 20:32:17

室月淳Jun Murotsuki @junmurot

20年5月17日

ほとんどは陰性となり検査の無駄です.もし「陽性」とでたら? 流行期ですら、症状から明確に感染と判断できるときでも半数強しか陽性とでないキットですから、陰性者のなかにも感染者がいるかもしれない。あるいはもともとの事前確率が低いので偽陽性かもしれない。結局あまり役にたちません。

タグ:

posted at 20:13:54

室月淳Jun Murotsuki @junmurot

20年5月17日

似た例としてはインフルエンザの迅速診断キットがあるかもしれません.検査原理も検査の意義も異なりますが,感度や特異度はコロナPCRに近いところがあります.いまはインフルの流行期でありませんが,「院内感染を予防する」ということで無症候の医学生全員にインフル迅速診断をおこなったとしたら?

タグ:

posted at 20:08:26

室月淳Jun Murotsuki @junmurot

20年5月17日

患者からていねいな問診と理学所見をとったうえで,適切な検査法を選択するというごくあたりまえの基本を,ベイズ推定をもちいてていねいに説明しています.医学生とかレジデントはよく理解していますが、理解しているがうえに,高齢の医師たちが見当はずれの対応を強制してくるのに反発するわけです.

タグ:

posted at 20:06:17

室月淳Jun Murotsuki @junmurot

20年5月17日

なぜ無症状でかつ接触歴のない,すなわち事前確率の低い人間をスクリーニング目的でPCR検査をしていけないかは,一度ご自分でお読みいただければ幸いです.
「誰も教えてくれなかった診断学ー患者の言葉から診断仮説をどう作るか」p149-
「構造と診断ーゼロからの診断学」p89-
などはお勧めです.

タグ:

posted at 20:03:28

室月淳Jun Murotsuki @junmurot

20年5月17日

しかし40代以上の医者はそういったことを学んでこなかったので、なにを批判されているかチンプンカンプンなのです。無症候の入院患者全員に平気でPCRによるスクリーニングのなにが問題なのかわかっていませんし、だからこそ医師の判断で保険がきくようになったというニュースを無邪気に喜んでいます。

タグ:

posted at 20:01:55

室月淳Jun Murotsuki @junmurot

20年5月17日

いまの医学教育では、ある検査法の感度、特異度から陽性的中率、陰性的中率を算出する方法を学び、診断において事前確率を推定することが重要であることが強調されます。国試に毎年でるいわゆるベイズ推定の考えかたです。だから医学生あるいは若手医師のほうがよく知っているのです。

タグ:

posted at 19:59:08

室月淳Jun Murotsuki @junmurot

20年5月17日

バズフィードの岩永直子さんがいい記事をお書きになっています。ご高齢の教授会の判断がおかしく、医学生、看護学生の抗議がまっとうですが、これはおどろくべきことに、むしろ教授クラスの世代の医者のほうが診断学の基本を知らないというのがほんとうのところだと思います。www.buzzfeed.com/jp/naokoiwanag...

タグ:

posted at 19:58:15

とろろ @tororo2048

20年5月17日

囲碁入門くらいの人に分かりやすいかもしれない、くっつく碁石さんはどうでしょう?

・石のつながりが分かりやすい
・欠け眼も気づきやすいかも?
・大石取るの気持ちよさそう
・盤面わりと囲碁っぽくなくて斬新な気が

前にもらったリプに可能性を感じて、それをヒントに描いてみました笑 pic.twitter.com/EfL9UMyRHV

タグ:

posted at 19:12:23

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 「主観確率」によるベイズ統計の説明の悪影響の1つに、ベイズ統計について「リスク最小化」で説明していて一見非常に合理的に見えていても、実際には単なる「モデル内でのリスク最小化」しか扱っておらず、現実的なリスクを一切扱っていないものが結構あるという問題がある。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 18:05:52

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 モンティ・ホール問題は既知の確率分布での条件付き確率分布を求める問題で、ある意味で小学生レベルの割合の問題に過ぎず、「ベイズ統計」と呼ぶに値しない。

それに対して、未知の確率法則についてモデルを使って推測する方法の1つとしてのベイズ統計は「ベイズ統計」と呼ぶに値する。

タグ: 統計

posted at 17:42:05

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 仮にベイズ統計について教えるとしたら、「主観確率」のような「ベイズ主義」に繋がる用語を廃して、数学の科学的に健全な応用としてのベイズ統計を教えるようにしないとまずいと思う。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 17:38:18

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 巷に溢れるベイズ統計の解説のほとんどはクズです。

例えば、モンティ・ホール問題について「主観確率」「ベイズ確率」のような用語を使って説明している解説は単なるトンデモ。

モンティ・ホール問題で出て来る確率は高校で習う普通の確率に過ぎません。もちろんベイズの定理も必要ない。

タグ: 統計

posted at 17:33:25

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 モデルの現実における妥当性の評価は大変な難問なのですが、そこを避けていては「統計学」と呼ぶに値しないと考えるべきだと思います。

「主観確率」という用語は「ベイズ主義は頻度主義とは違う」という言い方で肝腎の問題から逃げるためにも使えるので、要注意用語だと思う。

タグ: 統計

posted at 17:30:54

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 「主観確率」の部分は、好意的かつ常に通用する解釈を適用することにすれば「モデル内確率」だとみなされます。

モデルが現実において妥当でなければどんなに「モデル内確率」を計算しても現実への適用には適さない値を得ただけで終わってしまう。それでは、我々が統計学に期待することは無理。

タグ: 統計

posted at 17:28:13

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 平成30年版の

www.mext.go.jp/content/140707...
【数学編 理数編】高等学校学習指導要領 解説

におけるベイズ統計の解説は20世紀に広まってしまってしまった時代遅れで有害な俗説なので、高校生に教えてはいけないと思います。

赤線を引いた部分を信じる高校生が出て来ると被害甚大だと思う。 twitter.com/syoei/status/1... pic.twitter.com/d5vMuykCXq

タグ: 統計

posted at 17:24:38

黒木玄 Gen Kuroki @genkuroki

20年5月17日

雑な説明、論理的には正しくないがモチベーションは分かる説明、などなども含めて数学の解説は何でもありの方がよい。

しかし、雑な説明を正確な説明だと思って説明してはいけないし、論理的に正しくないことを言う場合には正直にそう述べた方がよい。

タグ:

posted at 17:08:22

黒木玄 Gen Kuroki @genkuroki

20年5月17日

一般に、正確な定義を天下り的に述べて定義を出発点にする説明の仕方は多くの人達にとって分かりにくい説明になる。

真に数学者なら定義は決して出発点ではないことを知っているはず。

論理的スキルが低い人への訓練以外の場面では正確な定義から出発することを強制するのは教育的に有害だと思う。

タグ:

posted at 17:04:08

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#超算数 関連

訂正
❌「今までのことをまとめています」
⭕️「今までのことをまとめてみます」

雑な説明を正確な説明で置き換える場合には、「今までのことをまとめてみます」ではなく「以上で雑に説明したことを正確な定義として述べ直しましょう」と書くべき。

「定義」から始める必要はない。 twitter.com/genkuroki/stat...

タグ: 超算数

posted at 17:01:03

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#超算数 #十分 #と教

平田オリザさんによる新井紀子さんへの厳しい批判

これについては平田オリザさんが正しく、新井紀子さんがやらかしてしまっているように見える。

検証・子どもたちは本当に「教科書が読めない」のか mi-mollet.com/articles/-/18599 @mimollet2015より

タグ: と教 十分 超算数

posted at 16:52:04

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 #西浦寝ろ 関連

ついでにメモ↓
www.nippyo.co.jp/shop/search?se...
日本評論社で西浦博を検索
数セミでの連載は非常に面白かった。
いつか現在の経験も含めて単行本になったら買いたい。

twitter.com/hankagosa/stat...

タグ: 統計 西浦寝ろ

posted at 16:40:15

松浦 健太郎 @hankagosa

20年5月17日

1番の読者はクラスター班の近くの人だと思って、いつも通りの統計寄りの記事にしてしまいました。許してください。まあいいよね。

タグ:

posted at 16:30:30

松浦 健太郎 @hankagosa

20年5月17日

ブログを更新しました→「西浦先生らによる実効再生産数の統計モデルを解説&拡張する試み」 - StatModeling Memorandum statmodeling.hatenablog.com/entry/covid19-...

タグ:

posted at 16:24:03

ceptree @ceptree

20年5月17日

にみえた

タグ:

posted at 16:21:29

ceptree @ceptree

20年5月17日

Google Colab ならハンコ無しで #Julia言語 を無料で使えます!

タグ: Julia言語

posted at 16:21:24

黒木玄 Gen Kuroki @genkuroki

20年5月17日

さらに続けて「結婚もしてみた」ならすごいなと思った。

Google Colab でパソコン無しで #Julia言語 を無料で使えます! twitter.com/ceptree/status...

タグ: Julia言語

posted at 16:20:34

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 非常に困ったことに、コイン投げの簡単なモデルであっても、頻度論の通常のP値を捨てて、ベイズ事後分布で測った確率を考えれば、ある種の問題が解決するかのように書かれた本が最近出版されたようですが(豊田『瀕死本』)、コイン投げモデルに関して色々計算済みの人にとっては噴飯物の内容。

タグ: 統計

posted at 16:11:50

質問者2 @shinchanchi

20年5月17日

Amazonプライムで1、2を見て面白いな、と^_^

BS-TBS|税務調査官・窓際太郎の事件簿33 www.bs-tbs.co.jp/drama/madogiwa...

タグ:

posted at 16:10:20

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 ベルヌイ試行の簡単なモデルでは最尤法(頻度論)と(おとなしめの事前分布での)ベイズ統計は「いんだよ。こまけーことは」的には違いがないことも分かります。

青線は二項分布の正規分布近似による通常のP値函数で、橙破線はベイズ統計での事後分布で作ったP値函数の類似物。ほぼ一致! pic.twitter.com/IWixnGmNN4

タグ: 統計

posted at 16:08:03

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#数楽 スターリングの公式を最初に「証明」(というか納得)するには添付画像のガンマ函数の積分表示を経由する方針がよいと思う。

√(2π)以外の因子nⁿ e⁻ⁿ√n が一瞬で得られる!

被積分函数の対数を眺めるとよいことが分かる場合が多い。

対数函数は神の1つ。

genkuroki.github.io/documents/2016... pic.twitter.com/VAb9UJcDGi

タグ: 数楽

posted at 15:59:42

kenjikun @kenjikun__

20年5月17日

Atomだと意外とjulia書きやすいな,今度なんか作ろ

タグ:

posted at 15:57:12

黒木玄 Gen Kuroki @genkuroki

20年5月17日

ベータ函数やガンマ函数は大学1年での微積分の講義で教わると思うのですが、以上のように役に立つ話だと分かるような解説をできるほど大学1年生向けの講義の余裕はないです。

さらに上の方で使ったスターリングの公式についても同様。

タグ:

posted at 15:51:24

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 コイン投げの超絶シンプルなモデルなんだから容易だろうと思って油断すると、計算の途中でガンマ函数の導函数達が出て来てひるんでしまう人もいるかもしれない。

しかし、対数ガンマ函数の導函数達は基本特殊函数のライブラリに含まれているので、コンピュータを使っていれば怖くない。

タグ: 統計

posted at 15:49:00

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 ベイズ統計ではない最尤法でも同様です。

最尤法、ベイズ法、汎化誤差+定数=予測誤差、各種情報量基準や交差検証といった「統計学入門」を超える題材であっても、モデルが簡単なら手計算もコンピュータでの計算も易しくなります。

簡単な例を知っていると、「高級な話題」も怖くなくなる。 pic.twitter.com/t7YvgiLOIB

タグ: 統計

posted at 15:46:13

手を洗う救急医Taka @mph_for_doctors

20年5月17日

たぬきち先生が始めた

#HPVワクチンを接種しました
#HPVワクチンを自分の子に接種します

のタグが本当に素晴らしい。

これを見られた方は、かなりの安心感を持っていただけるのではないでしょうか。

ワクチン接種に迷っている方に「大丈夫ですよ」ということが伝わって欲しいと心から思います。

タグ: HPVワクチンを接種しました HPVワクチンを自分の子に接種します

posted at 15:44:35

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 LOOCVやWAICだけでなく、汎化誤差+定数=予測誤差も計算すると、LOOCVとWAICはほぼ一致し、それらと予測誤差が逆相関すること(渡辺澄夫『ベイズ統計の理論と方法』p.119,p.180)もきれいに確認できます。 pic.twitter.com/uj6T99729h

タグ: 統計

posted at 15:42:19

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 コイン投げの簡単な(ある意味で最も簡単な)確率モデルに過ぎないベルヌイ試行モデル(二項分布モデル)であっても、共役事前分布を経由して、ベータ函数、ガンマ函数、対数ガンマ函数、digamma, trigamma函数が必要になり、初等函数以外の函数も役に立つ(コンピュータで計算できる)ことを学べる。

タグ: 統計

posted at 15:37:46

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 対数ガンマ函数 log Γ(x) にはガンマ函数 Γ(x) を経由しない効率的な数値計算法があって基本特殊函数のライブラリに通常含まれている。その1,2階の導函数はそれぞれdigamma, trigamma函数と呼ばれ、どちらも基本特殊函数のライブラリを使えば容易に数値計算可能です。

タグ: 統計

posted at 15:34:35

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 ベルヌイ試行なので楽勝と思っていても、共役事前分布がベータ分布なので以下の函数が必要になってしまう。上から下にかけて難しくなる。

LOOCV → log x
自由エネルギー → log Γ(x)
WBIC → digamma函数 ψ(x) = (log Γ(x))'
WAIC → trigamma函数 ψ'(x)

nbviewer.jupyter.org/gist/genkuroki... twitter.com/genkuroki/stat... pic.twitter.com/f84ouqxKzh

タグ: 統計

posted at 15:31:41

Yuki Nagai @cometscome_phys

20年5月17日

記事に追記。ここにあるコードをコピペしてtest.ipynbと保存してアップロードすれば、簡単にJuliaを使える。
qiita.com/cometscome_phy...

タグ:

posted at 14:46:21

okazakitomohiro @oo_kk_aa

20年5月17日

どんな物にも物性があって、それぞれの物体が持っている物性のパラメータのようなものに興味を持つようにもなった。その値を引き出して、結果的に動きがつくられるつくりかた。そう思い始めていたころのもの。 youtu.be/Ojl_WdplheI pic.twitter.com/gr65MfMG26

タグ:

posted at 14:43:26

ceptree @ceptree

20年5月17日

Google Colab で Julia を使ってみた
qiita.com/ueuema/items/c...

Google ColabでJuliaを使う:元々あるノートブックを使う
qiita.com/cometscome_phy...

Julia v1.1 on Google Colaboratory
hackmd.io/@antimon2/HJgY...

Julia in Google Colab
stackoverflow.com/questions/5827...

タグ:

posted at 14:20:35

黒木玄 Gen Kuroki @genkuroki

20年5月17日

webronza.asahi.com/national/artic...

5つの理論
①カルピス
②アイスクリーム
③寿司屋
④パクチー
⑤下茹で
😅😅😅

私版「新型コロナに対する方針」
① 患者数把握ではなく死亡者数最小化
② 病院は隔離ではなく治療を
③ 治療は原因ではなく症状に応じて
④ 検査は希望ではなく必要に応じて
😊😊😊

タグ:

posted at 13:50:10

Otepipi @Otepipipi

20年5月17日

はてなブログに投稿しました #はてなブログ, #Julia言語, #微分方程式
Juliaで計算モデルの解析:収束判定 - システムとモデリング
otepipi.hatenablog.com/entry/2020/05/...

タグ: Julia言語 はてなブログ 微分方程式

posted at 13:40:39

ceptree @ceptree

20年5月17日

テレJuliaの時代か

タグ:

posted at 13:30:25

Yuki Nagai @cometscome_phys

20年5月17日

ローカルにjuliaもjupyter notebookもいれずにgoogle colabだけでJuliaやる方法もわかったけど需要あるかな?昨日の記事がわかればほぼ自明ではある

タグ:

posted at 13:27:13

Yuki Nagai @cometscome_phys

20年5月17日

google colabでJuliaを使う方法が思いの外簡単だったので、昨日深夜記事を書いた。あとはGPUで遊んでみたい

タグ:

posted at 13:21:39

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 このスレッドで、確率を対数を取ってから扱っていますが、確率はその対数を扱う方が便利なことが多いです。

その理由は確率は積を取ることが多く、積は対数を取ると和になり、積より和の方が扱い易いからです。

これはコンピュータの浮動小数点数で確率を扱うときに顕著になる。

タグ: 統計

posted at 12:10:10

桑満おさむ @kuwamitsuosamu

20年5月17日

世界に自分に似た人が3人はいるとしても、こりゃ無いでしょう→コスメのネット広告は要注意。違うシミ消しコスメなのに同一人物が続々と。 | 五本木クリニック www.gohongi-clinic.com/k_blog/5120/ @kuwamitsuosamuから

タグ:

posted at 12:09:40

Masa Yamamoto予測誤差が大き @mshero_y

20年5月17日

ポアソン分布→多項分布→KL divergence きれい。ここまで一度手を動かすとすごく身につく(気がする)。KL divergence まで行けることが重要だと思える。感謝 twitter.com/genkuroki/stat...

タグ:

posted at 12:08:36

草下シンヤ/作家・編集者 @kusakashinya

20年5月17日

小学校の担任の先生が人を殺した話② pic.twitter.com/YRHDCRJt1Y

タグ:

posted at 11:36:50

草下シンヤ/作家・編集者 @kusakashinya

20年5月17日

以前、公開したものですが、私が犯罪取材に注力する切っ掛けになったエピソードです。

小学校の担任の先生が人を殺した話① pic.twitter.com/QQ7OUaaAvL

タグ:

posted at 11:36:50

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 教科書に書いていない道に入り込んだお陰で、見晴らしの良い場所に偶然到達して、きれいな景色を眺めることができる場合は数学では非常によくあります。

全部無料だけど時間だけは膨大に取られてしまう。

タグ: 統計

posted at 11:18:27

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計

⑤以上の自明な計算を整理すると、正規分布近似を出すためにTaylor展開する前の

k log(k/λ) - (λ-k)

型の式が基本的であることが分かる。

⑥ゆえに、世の中でKullback-Leibler情報量と呼ばれるものが多項分布から出て来ること(Sanovの定理)も自明。

結論:多項分布のSanovの定理も自明。

タグ: 統計

posted at 11:15:58

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 続き

④多項分布はポアソン分布の直積を線形な条件で制限することによって得られるので、以上の結果より、多項分布が多変量正規分布で近似されること(多項分布の中心極限定理)も自明。

結論:ポアソン分布の正規分布近似を知っていれば、多項分布の中心極限定理は自明。

😊😊😊

タグ: 統計

posted at 11:12:10

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 ①ポアソン分布単体の中心極限定理(正規分布近似)をスターリングの公式でささっと導出する。

②その結果より、ポアソン分布の直積が多変量正規分布で近似されることは自明。

③多変量正規分布の線形な条件による制限も多変量正規分布になることは自明。

続く

タグ: 統計

posted at 11:09:23

Masa Yamamoto予測誤差が大き @mshero_y

20年5月17日

ポアソン分布からKL divergenceへの流れです。凄いすっきりする解説。 twitter.com/genkuroki/stat...

タグ:

posted at 11:09:10

Masa Yamamoto予測誤差が大き @mshero_y

20年5月17日

神経発火がポアソン分布で問題ない理由の一つ twitter.com/genkuroki/stat...

タグ:

posted at 11:06:22

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 二項分布の中心極限定理を何の準備もせずに直接的にスターリングの公式のみを使ってやり遂げてみたことのある人は、ポアソン分布の直積のレベルで計算してからそれを制限した方が圧倒的に計算が楽で意味のわかる計算だけで済むことにびっくりすると思います。

タグ: 統計

posted at 11:04:40

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 多項分布は有限集合上の確率分布の最も一般的なものなので、確率分布一般についての理解を深めるために重要。

そこから、KL情報量、ピアソンのχ²統計量、中心極限定理(正規分布近似)が出て来ることは、多項分布がポアソン分布の直積の制限であることを知っていると見通し良く楽に計算できます。

タグ: 統計

posted at 11:02:19

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 続き。k log(k/λ) - (k - λ) を k = λ でのTaylor展開によって

k log(k/λ) - (k - λ) ≈ (1/2) (k - λ)²/λ

と近似すれば、ピアソンのχ²統計量の項の1つ

(観測値 - 期待値)²/期待値 = (k - λ)²/λ

が得られ、これを多項分布に適用すれば多項分布の中心極限定理も得られます。

タグ: 統計

posted at 10:57:59

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 その結果の主要項は

Σ_i k_i log(k_i/λ_i)

です。これは k_i≈nq_i, λ_i≈np_iのとき

n Σ_i q_i log(q_i/p_i)

で近似される。 Σ_i q_i log(q_i/p_i)はよくKullback-Leibler情報量と呼ばれています。この経路での導出ではKL情報量の特徴的な形はポアソン分布の近似に由来することも分かる。

タグ: 統計

posted at 10:47:31

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 k=k_i, λ=λ_iとおいて、i=1,…,rについて上の式を足し上げると

Σ_i k_i log(k_i/λ_i) + Σ_i λ_i - Σ_i k_i - Σ_i log√(2πk_i).

これを Σ_i k_i=nで制限して適当に定数を足せば多項分布でも確率の対数の-1倍の近似が得られます。そのときΣ_i λ_i=nと仮定してもよい。続く

タグ: 統計

posted at 10:43:40

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 ポアソン分布での確率 exp(-λ)(λᵏ/k!) の対数の-1倍は

log k! - k log λ + λ

です。これはスターリングの公式

log k! ≈ k log k - k + log√(2πk)

より

(k log k - k + log√(2πk)) - k log λ + λ
= k log(k/λ) + (λ - k) + log√(2πk)

で近似される。k log(k/λ)の項が重要!

タグ: 統計

posted at 10:37:20

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 以上を理解できれば、λᵏ/k!型の因子が確率の式に並ぶ離散確率分布達の基本構成因子はポアソン分布であることが分かります。

そして、シンプルな分布の直積の条件付き確率分布を考えるとより複雑に見える確率分布が出て来るというパターンの例になっている。

タグ: 統計

posted at 10:28:10

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 以上の二項分布の構成は多項分布や2×2の分割表の非心超幾何分布に一般化されます。(非心超幾何分布の特別な場合がFisher検定で使われる超幾何分布。非心超幾何分布は超幾何分布より難しい)

すなわち、二項分布、多項分布、非心超幾何分布はどれも複数のポアソン分布の直積を制限して得られる。

タグ: 統計

posted at 10:24:52

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 続き~すぐ上のポアソン分布の直積内での確率をCで割ったもの

n!(pᵏ/k!)((1-p)ⁿ⁻ᵏ/(n-k)!)

である。これは二項分布における確率に等しい。q.e.d.

タグ: 統計

posted at 10:21:22

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 証明

l=n-k, p=λ/(λ+μ)とおくと、2つのポアソン分布の直積での確率は

exp(-(λ+μ))(λ+μ)ⁿ(pᵏ/k!)((1-p)ⁿ⁻ᵏ/(n-k)!)
= C×n!(pᵏ/k!)((1-p)ⁿ⁻ᵏ/(n-k)!) (Cはkによらない因子)

となり、これのk=0,1,…,nに関する和はCになります。k+l=nで制限した条件付き確率の定義は~続く

タグ: 統計

posted at 10:21:20

ITÔ, Hiroki @monotropastrum

20年5月17日

『[Stan] Modeling wiggly covariate relationships (AHM 10.14)』Taglibro de H|ito-hi.blog.ss-blog.jp/2020-05-17

タグ:

posted at 10:15:27

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 続き

上の2つのポアソン分布の直積を

k+l=n

という条件で制限して条件付き確率分布を作ると

p=λ/(λ+μ)

の二項分布になる。この事実をしっていると、ポアソン分布に関する比較的易しい計算を二項分布に応用できるようになります。

これはKullback-Leibler情報量について理解する第一歩!

タグ: 統計

posted at 10:10:44

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 続き~、「二項分布よりポアソン分布の方が基本的な分布とみなすこともできるんじゃね?」と思えてきます。

非負の整数の組(k,l)の確率を

exp(-λ)(λ^k/k!)×exp(-μ)(μ^l/l!)

とすることによって定まる確率分布を2つのポアソン分布の直積と呼びます。続く

タグ: 統計

posted at 10:07:13

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 二項分布とポアソン分布の確率はそれぞれ

二項分布 n!(pᵏ/k!)((1-p)ⁿ⁻ᵏ/(n-k)!
ポアソン分布 exp(-λ)(λᵏ/k!)

で構成因子が似ています。二項分布にはポアソン分布におけるkに依存した因子λᵏ/k!が2個入っているとみなされる。

このことに気付くと、~続く

タグ: 統計

posted at 10:07:11

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 確率分布に街の散歩も結構楽しい。ブログにも直接リンク

streetstat.hatenablog.com/entry/2020/05/...

ポアソン分布と二項分布の関係で、二項分布の極限でポアソン分布を出す方向の解説はよくある。

ポアソン分布の直積の条件付き確率分布で二項分布を出せるという向きの関係もある。続く twitter.com/kouraku16/stat...

タグ: 統計

posted at 09:56:38

黒木玄 Gen Kuroki @genkuroki

20年5月17日

@seiya_sasaki 私は式以外のあらゆる道具(例えば言葉)も使う説明が重要だと述べています。

そういう式だけを見て判断できるようにするという発想は皆無。

かけ算順序問題の本質は「式を見ただけで場面や考え方がただ一つに決まるようにする」というクズな考え方にあると10年位言い続けています。 #超算数

タグ: 超算数

posted at 09:51:02

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#統計 私も二項分布を結構好きだったりする。

好きな証拠

nbviewer.jupyter.org/gist/genkuroki...

ベルヌイ分布モデルによるi.i.d.のサイズnのサンプルの統計分析は実質的に二項分布の話。その場合の自由エネルギー、LOOCV、WAIC、WBICの公式有り。 twitter.com/kouraku16/stat...

タグ: 統計

posted at 09:45:10

佐々木聖也@かけ算順序コンサル @seiya_sasaki

20年5月17日

@genkuroki a を b で 割った商が q で余りが r になる
を積と和で表現させるには,割る数と商を×の左右どちらに配置するか決めないとだめじゃないですか?

ちなみに,転記ミスで「7を3で」を「7で3を」にしてしまっていました。

タグ:

posted at 09:45:05

黒木玄 Gen Kuroki @genkuroki

20年5月17日

@seiya_sasaki していません(笑)

タグ:

posted at 09:35:13

黒木玄 Gen Kuroki @genkuroki

20年5月17日

Re: RTs 「エア御用」に分類されたり、「ネトウヨ」扱いされたり、「朝敵」および「国家の敵」と呼ばれたりと、人生色んなことがある(笑)

私の方から見ると、そういう態度を取った人達は大ダメージを負っているように見えるのだが、どこまで自覚しているのやら。

タグ:

posted at 09:34:21

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年5月17日

#数楽

logsumexp の細部に気を配った実装は結構面倒。

第一関門は楽に突破できても、log1p(x)=log(1+x)を使うことを忘れてしまう人が多いと思われる。

この辺は #Julia言語 を使ったMITでの講義関連情報で知った。
discourse.julialang.org/t/fast-logsume... twitter.com/rinchi_math/st... pic.twitter.com/GE0hYIblo9

タグ: Julia言語 数楽

posted at 09:22:32

オンライン囲碁.net @onlineigonet

20年5月17日

【本音丸聞こえ!ペア碁3番勝負】
上野愛咲美女流本因坊の意気込み動画が到着しました!かわいらしい編集にも注目です✨

www.online-igo.net
#オンライン囲碁net pic.twitter.com/F9014IwhFX

タグ: オンライン囲碁net

posted at 08:15:22

Katsushi Kagaya @katzkagaya

20年5月17日

licoyasさんのところにいる小さめのカイカムリ
twitter.com/licoyas/status... twitter.com/licoyas/status...

タグ:

posted at 01:44:15

須山敦志 Suyama Atsushi @sammy_suyama

20年5月17日

Juliaのmacroの作り方はまだ慣れていないのでぎこちないですが、とりあえず例外処理などはなしで20行程度でパーサ(サンプリングと尤度関数の自動生成)が書ける。 pic.twitter.com/J8uDvB0P0l

タグ:

posted at 01:42:55

須山敦志 Suyama Atsushi @sammy_suyama

20年5月17日

あくまで教育用ですが、Julia言語で簡易PPL(確率的プログラミング言語)を作っています。とりあえずロジスティック回帰やニューラルネットワーク程度ならパースできるようになったので、次は自動微分を使って近似推論の実装をしてみます。 pic.twitter.com/vFiVjazKgS

タグ:

posted at 01:35:54

Katsushi Kagaya @katzkagaya

20年5月17日

licoyasさんのところにいるカイカムリ
twitter.com/licoyas/status... twitter.com/licoyas/status...

タグ:

posted at 01:34:00

Yuki Nagai @cometscome_phys

20年5月17日

Google ColabでJuliaを使う:元々あるノートブックを使う on @Qiita qiita.com/cometscome_phy...

タグ:

posted at 01:21:08

シュー @shu_n148

20年5月17日

PCR不要論とか反拡充派とかそんなものは無くてレッテル張りようなもの。あるのは、反ナビタスやPCRの限界を踏まえた上での病院受診抑制論。治療法のない段階、類似症の多い冬場に軽症者にまでPCRを推奨することは、受診動機になり、防護具の浪費や病院外来での感染リスクの増大など弊害が大きいから

タグ:

posted at 01:20:06

Katsushi Kagaya @katzkagaya

20年5月17日

YouTubeにNational Geographicが論文の動画をつかって編集してくれたものがありました。このカニみてると自分もコツコツと頑張ろうという気持ちになります。
youtu.be/2vJfC_MjpxY

タグ:

posted at 01:15:34

おばけ @triwave33

20年5月17日

おれもおぼろげだけどわかる。例えば自分で組んだMCMCなんて使う必要ない(使わない方がいい)から実装する意味あるかって自分でも思うけど、手を動かすとやっぱり理解が違う。紙面じゃ書ききれない議論の流れを想像できる。あとはJuliaのプロットに強くなれるw twitter.com/rinchi_math/st...

タグ:

posted at 00:10:07

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました