黒木玄 Gen Kuroki(@genkuroki)/2020年02月/Page 28

ろくでもない奴らについて「あいつらはベイズ〇〇を理解していないからダメなんだ」と言っても、それを見ている大多数は単なる一般人。

一般人の中には高校レベルの確率の練習問題を解けても「ベイズ〇〇」について知らない人達が大量に混じっているはず。

そういう人に理解してもらうことが大事。

タグ：

posted at 00:11:45

おばけ @triwave33

@MathSorcerer こちらはまだ理解が追いついていません。時間かけてからFBさせてもらいます。（とりあえず変数名が秀逸で逆に頭に入らないw）

タグ：

posted at 00:21:42

おばけ @triwave33

ごまふあざらし(GomahuAzaras @MathSorcerer

@genkuroki @nhayashi1994 using推奨の理由があるのですね。ありがとうございます。まずリンクを見てそれを自分で考えてみます

タグ：

posted at 00:23:54

@triwave33 了解！

タグ：

posted at 00:33:32

Hideaki_npc @hgot07

東北大は長いこと入学式が無かったし、この機会にまた無くしてもよいのでは？ (:3[___]

タグ：

posted at 00:47:16

ITensor @ITensorLib

Nearly every feature involving QN conserving (block sparse) ITensors are working now in Julia. Full DMRG test completed! Now just need to finish AutoMPO with QNs and remove some performance bottlenecks. github.com/ITensor/ITenso...

タグ：

posted at 00:56:38

Katie Hyatt @kslimes

#JuliaLang gets the goods, folks. twitter.com/itensorlib/sta...

タグ： JuliaLang

posted at 00:57:20

クロイヨシツネ @YoshitsuneK

思い付きで「半年間消費税無くします」とかやってくんねえかな。

タグ：

posted at 01:02:47

@golgo_sardine @kids_ps @YouTube 失礼します。ざわざわ(陰者)さんは、「逆順」は「相応しくない」という認識なのでしょうか？ざわざわ(陰者)さんご自身は、「正しい順序」で式を立てているのでしょうか？

4人に3個ずつ、なら4×3としないで、3×4とするのでしょうか？

タグ：

posted at 01:28:54

Hideaki_npc @hgot07

@hgot07 東北大学新聞(231号) tohoku.repo.nii.ac.jp/?action=pages_...

タグ：

posted at 01:38:29

www.youtube.com/watch?v=SMoXnw...

　順序批判派、順序派、双方の見解を要約して、「どっちでもいい」という見解を示しているが、「勉強を好きになることが大事」というような方向での理由。

　順序でバツにすることも場合によって許容するが、その場合でも嫌いにならないように配慮が必要、という見解。

タグ：

posted at 01:55:01

@sekibunnteisuu 個人的にYouTubeの動画にまずいものが多いという印象があります。若年層への影響力はtwitterよりYouTubeの方が強いかも。

YouTube方面は詳しくないし、動画を見るのは苦痛なので、手が出ない。

タグ：

posted at 01:58:37

@genkuroki この動画に関しては、これ自体が間違って主張をしているということじゃなくて、「順序批判のポイントはそこじゃないでしょ」という程度のはなしではありますが、

まあ、酷いのはいくらでもありそうですね。

タグ：

posted at 02:03:06

@genkuroki twitter.com/sekibunnteisuu...　「どっちでもいい」は、「どっちの順序でもいい」の意味。「順序固定でも順序自由でもどっちでもいい」の意味じゃない。

タグ：

posted at 02:04:50

#統計「主観確率」でベイズ統計について説明している文献であっても、「主観確率」の定義を「数学的モデル内部の確率分布で測った確率」に上書きすれば救える場合が結構あるように思えます。

「主観確率」という言葉の元来の意味もニュアンスも完全に失われることになるのですが(笑)。

タグ：統計

posted at 02:44:26

#統計「数学的モデル内部の確率分布で測った確率」だとちょっと一般的過ぎて言いたいこととは違ってしまうな。

「数学的モデル内部における現実世界に対応物が見つからない確率分布で測った確率」のように「主観確率」を定義し直す。

例えば、事前•事後分布で測った確率はそういうもの。

タグ：統計

posted at 02:50:51

#統計「事前•事後分布は数学的モデル内部での確率分布として定義されている」という主張は正しい。単にそれだけのことだと思うことにして余計な解釈を入れなければ、万人が受け入れざるを得ない主張に留まる。

しかし「事前•事後分布は主観や信念を表す」と言った途端に怪しげな話になってしまう。

タグ：統計

posted at 02:54:30

#統計事前•事後分布に限らず、数学的モデル内部に現実世界に対応物がない確率分布を組み込んでも、現実世界の分析に役に立つ数学的モデルであり得る。

そのためには数学面で頑張らないといけないのですが、昔はそういうことを十分にできていなかったせいで、苦しいことになっていたのだと思う。

タグ：統計

posted at 02:58:31

14世紀のペスト流行中のユダヤ人迫害も
seesaawiki.jp/intelligential...

タグ：

posted at 05:24:56

Cohn & Kutalek (2016)によれば、21世紀初頭の西亜アフリカのエボラアウトブレイクにおいて、感染症対策のため伝統的な葬儀・埋葬を禁じたことに対して、暴動が起きたが、これは19世紀欧米のコレラ暴動でも同じ。
www.ncbi.nlm.nih.gov/pmc/articles/P...

タグ：

posted at 06:18:19

参考: 今年の佐賀大学理工学部入学試験の数学の問題らしい。

その集団での感染率を p と書けば後は上の方で紹介した高校の教科書にある例題と同様。

もちろん「ベイズの定理」は必要ない。

2×2の分割表を数値で埋めるだけの問題。

もちろん統計学の知識も必要ない。

twitter.com/hide104_nk/sta...

タグ：

posted at 07:47:43

knxm @knxm

日本数学会のビデオアーカイブは，東大数理科学研究科のご支援が無ければ，実現しなかったと思います．東大数理ビデオアーカイブスには，中学生，高校生を対象とした「公開講座」のビデオも公開されています．www.ms.u-tokyo.ac.jp/video/

タグ：

posted at 08:54:11

Y Tambe @y_tambe

岡田先生、そろそろ調子が出てきた感ある（なくてよかった twitter.com/Mihoko_Nojiri/...

タグ：

posted at 10:31:17

Y Tambe @y_tambe

感染症の専門家であることは間違いないので、調子が出てくるまでの間は信頼できるんだけど（感染症界隈はこんなんばっかか？）

タグ：

posted at 10:42:58

#統計引用したHashimotoさんの感想は典型的な誤解の1つかもしれない。

異なる分析ツールX,Yについて、ある場合にはX,Yを用いた結果がほぼ同じで、別のある場合には全然違うとしよう。

そのとき、X,Yの両方をBと呼ぶだけで終わるようでは、読者はX,Yの道具としての違いを認識できなくなります。続く twitter.com/sho_has_hus/st... pic.twitter.com/WqFF1DR3Nz

タグ：統計

posted at 14:04:06

#統計実際、事後分布の最頻値や平均値などを求めることをベイズ統計と呼び、それらとは異なる「予測分布として確率モデルを事後分布による平均で定義する方法」については満足な説明をしない。そして、それらがどのように異なる道具であるかについては何も触れない。続く

タグ：統計

posted at 14:04:07

#統計このスレッドの主題は「ある種の人達が、ベイズ統計では仮説が正しい確率を求められる」と主張していることでした。しかも、そういう人達が扱っているケースは、おとなしめの事前分布の場合には、通常の仮説検定や区間推定と事後分布を用いて得た数値がほぼ同じになるケースです。続く

タグ：統計

posted at 14:09:28

#統計続き。数学的に似たような数値が得られることがわかっているのに、事後分布を用いて計算した数値(彼らの言葉使いではそれが「ベイズ統計」で得られた数値)については、「研究仮説が正しい確率が求まった」というような強い主張ができるとしている。

続く

タグ：統計

posted at 14:12:55

#統計「事後分布の代表値や事後分布から『仮説が正しい確率』を求めること」を特に「ベイズ統計」と呼ぶだけではなく、

* 異なる道具の区別を明瞭に説明しない。

* 「ベイズ統計」と名付けた途端に不可能だった強い主張をすることが可能になると説明する。

としていることが批判されているわけ。

タグ：統計

posted at 14:18:09

#統計

「ベイズ統計」という用語の使い方が杜撰であること

や

そもそもまともに科学的な考え方をできていないんじゃないかという疑いがあること

を批判しているのであり、「ベイズ統計」と名付けることそのものを批判しているのではありません。

タグ：統計

posted at 14:25:51

#統計このスレッドではめちゃくちゃ厳しい指摘を勇気をふりしぼってしているつもりなのに、単なる名付け方の問題だと受け取られるのは心外です。

私が、ベイズ云々だけにこだわっているのではなく、ベイズに限らない統計学入門のスタイルを批判していることを思い出して下さい。

タグ：統計

posted at 14:25:53

#統計ベイズ統計の道具としての性質は数学的に非自明です。その非自明な点を理解していないと、私による統計学入門の伝統的スタイルへの批判の一部分であるベイズ云々の話は理解できません。

だから、その辺についての説明も必要になりました。

その辺はかなり重たい作業になりました。続く

タグ：統計

posted at 14:31:21

#統計以下のリンク先動画は、ベルヌーイ分布モデルでn=100の場合には、二項分布の正規分布近似によるP値とJeffreys事前分布のベイズ更新で得られる事後分布から作ったP値の類似物がほぼぴったり一致していることを示しています。(ゆえに通常の信頼区間とベイズ信用区間はその場合にはほぼ一致する。) twitter.com/genkuroki/stat...

タグ：統計

posted at 14:36:49

#統計続き。その場合には、ベイズ側の事後分布で計算した「仮説が正しい確率」とほぼ同じ値の「頻度論」での対応物があり、「頻度論」側では「仮説が正しい確率」だと解釈してはいけないことになっています。続く

タグ：統計

posted at 14:41:33

#統計ほぼ同じになることがわかっている値について、「頻度論では『仮説が正しい確率』だと解釈するのは誤りだが、ベイズ統計であれば『仮説が正しい確率』だと解釈してよい」と主張することは、科学的には意味がありません。

少なくとも研究の再現性の問題はそれでは絶対に解決しない。

タグ：統計

posted at 14:45:59

#統計以下のリンク先動画では、真の分布は{1,2,3,4,5,6}上の一様分布に近く、ほんの少しだけ3が出る確率が高い。確率モデル中の分布Bでは3,4の確率が非常に高く、一様分布からほど遠い。しかし、事後分布(posterior)で計算した「真の分布がBである確率」は100%に収束しています！ twitter.com/genkuroki/stat...

タグ：統計

posted at 14:56:32

#統計真の分布はBから程遠いにもかかわらず、ベイズ統計における事後分布で確率を計算すると「真の分布がBである確率は100%である」という結論が出てしまうことがあるのです。

この性質を説明せずに「ベイズ統計では仮説が正しい確率が分かる」などと解説するのはひどい。

タグ：統計

posted at 15:01:07

#統計補足: 事後分布は数学的モデル内部の仮想世界における確率分布に過ぎず、その外部(例えば現実世界)との直接的な関係はありません。

数学的モデル内部ではいくらでもナンセンスなことが起こり得るので、事後分布で計算した確率が有益な指標にならない場合があっても不思議でもなんでもない。

タグ：統計

posted at 15:06:25

#統計補足の補足: モデル内部の確率分布は、

その外部から得たデータと比較できるものの確率分布

と

その外部に比較対象がないものの確率分布

に分類されます。事前・事後分布は後者の分布であり、それそのものをデータと比較することは不可能なのです。間接的にその妥当性を調べるしかない。

タグ：統計

posted at 15:11:23

#統計事後分布のみに特に注目して、事後分布で測った確率を「仮説が正しい確率」のように安易に呼んでしまいことの危険性は、既出の以下のリンク先の動画を理解すればわかる。

確率モデルが大外ししていると、事後分布からミスリーディングな結論が得られてしまうのです。 twitter.com/genkuroki/stat...

タグ：統計

posted at 15:14:51

感染者のいないウクライナで、COVID19暴動があったり。
www.buzzfeednews.com/article/christ...

タグ：

posted at 15:17:02

#統計以上のような諸々の事情を理解していれば、事後分布に特に注意を引きつけて、事後分布の代表値を求めたり、事後分布で「仮説が正しい確率」を求めることを、「ベイズ統計」と呼んで済ませることは、単なる名付け方の問題にはならず、極めて有害であることが分かると思います。

タグ：統計

posted at 15:18:34

#統計杜撰なベイズ統計の解説が多いことの原因は、ベイズ云々以前の基本的な事柄を理解していない人達が解説を書いていることが原因だと思っています。

特に、モデルと現実の区別が曖昧で、モデルの妥当性の吟味が必要であることを徹底的に強調しようとしない非科学的な態度が問題だと思います。

タグ：統計

posted at 15:22:30

#統計そういう視点で統計学入門の教科書を見直すと、

　　母集団分布は正規分布であると仮定する

と書いてあることが多くて、

　　えっ？正規分布だと仮定していいのかよ？

という真当な疑問を蔑ろにするスタイルが標準的であることに気付くわけです。正規分布はモデル内確率分布に過ぎません。

タグ：統計

posted at 15:27:15

#統計私は名付け方を問題にしているのではなく、

ベイズ統計の名の下で
事後分布の代表値を求めることや
事後分布で『仮説が正しい確率』を求めること
を特に強調して済ませること

を批判しています。

もしもそういうスタイルが妥当であるとお考えならば、意見が正反対であることになります。 twitter.com/sho_has_hus/st... pic.twitter.com/TvbjVkUP5n

タグ：統計

posted at 15:34:26

#統計注意: 「事前分布に尤度函数をかけて事後分布を作ること」という見方にこだわると、より基本的で一般的な「モデル内部の確率分布を外部から得たデータを用いて制限した条件付き確率分布を考える」という見方をできなくなるので注意が必要だと思います。この話も何度も繰り返しています。続く

タグ：統計

posted at 15:51:14

#統計注意続き: 尤度函数を事前分布にかけて確率の総和が1になるように正規化する手続きは、条件付き確率分布を作る手続きになっています。

ベイズの定理を形式的に適用すると、ベイズの定理よりも基本的な条件付き確率分布の概念が見えなくなります。続く

タグ：統計

posted at 15:51:24

#統計注意続き: さらに大事なことは、モデル内部における確率分布を扱っていることの明瞭な認識です。モデル内部の様子と外部の様子の関係は別問題として扱う必要があります。

事前分布と尤度函数から事後分布を作る手続きを特に強調すると、この点が見えなくなりがちだと思います。

タグ：統計

posted at 15:51:26

#統計

(1) 数学的モデルを使ってデータからの推定・推測・推論を行う。
(2) その妥当性を吟味する。

「事前分布と尤度函数から事後分布を作って、事後分布の代表値を求めたり、事後分布での確率を計算する」は(1)に属することで、(2)は別に行う必要があります。

(2)が難しくて重要な部分。

タグ：統計

posted at 15:59:48

#統計同じことを繰り返して言うより、新たな有益な情報を拡散する方が良さそうなので、最近見つけた面白そうな本を紹介します。

島谷健一郎著『ポアソン分布・ポアソン回帰・ポアソン過程』
統計スポットライト・シリーズ2、近代科学社、2017、iv+124頁
www.amazon.co.jp/dp/B076LVLLSF pic.twitter.com/epu5HpqZ1H

タグ：統計

posted at 16:21:20

#統計島谷「ポアソン³」本から引用(pp.115-116)

ポアソン過程モデルによる推定を詳しく解説した後で

【5.8　正解はなくてもモデルを創る
～そもそもこれらの樹種がポアソン過程に従って分布している可能性は皆無である～こうした影響を考慮したモデルを考案したり、その検証に有効なデータを～】 pic.twitter.com/0WItZo3TT2

タグ：統計

posted at 16:28:57

#統計島谷「ポアソン³」本は、uniqueな本で以下を含んでいます。

* 離散分布の中で最も基本的な確率分布だと思われるポアソン分布についての易しい解説

* ポアソン分布モデルを例に使った最尤法入門

* ポアソン回帰を例に使ったAIC(所謂赤池情報量規準)入門

* 非定常ポアソン過程とその応用

タグ：統計

posted at 16:34:34

#統計続き。島谷「ポアソン3乗」本のpp.83-85では、カルバック・ライブラー情報量が真の分布との近さを測る尺度になっている理由(その本ではSanovの定理と呼んでいないが、Sanovの定理)についても説明されています。

そして、全編に渡って、真の分布が未知であることを強調した解説がされています。

タグ：統計

posted at 16:40:05

#統計島谷「ポアソン³」本ではコンピュータによる数値実験を自分で行うとよいことがあちこちで強調されています。

この本を読んで、実際に数値実験してみて、結果とソースコードを公開する人が出て来たり、そのベイズ版も試してみる人が出て来ると、さらに楽しくなりそうな本だと思いました。

タグ：統計

posted at 16:44:00

「検査陽性のときに、実際に病気有りの確率」を求める問題は高校レベルの数学の問題です。大学入試でも出題されています。

問題を解くためにはベイズの定理も統計学も必要ない。

2×2の分割表を書くだけでよい。

神戸薬科大学入試問題2017年度一般前期

www.kobepharma-u.ac.jp/exam/applicant... より pic.twitter.com/kYYXhJBHMY

タグ：

posted at 17:23:40

#統計真の法則は未知であり、その推測のために用いた確率モデルの妥当性はそう簡単に分かることではなく、妥当性が不明の確率モデルを使って作った事後分布で測った確率が適切な指標になっていると考えることの妥当性も不明。

それなのに、その確率を「仮説が正しい確率」などと呼ぶのはまずい。

タグ：統計

posted at 17:30:39

あ〜る菊池誠(反緊縮)公式 @kikumaco

#統計こういう当たり前の話をしているのに、困る人達がいるということ自体がおかしいのです。

上で紹介した島谷「ポアソン³」本は、当たり前であるべき話を「ポアソン尽くし」の本を書くことによって説明することを試みた本とみなせると思いました。

タグ：統計

posted at 17:35:15

そうなんだー。仮に原材料が同じだとしたって、トイレットペーパーはマスクにならないよねー twitter.com/kokokomine/sta...

タグ：

posted at 18:12:49

仙台市では本当に休校になるみたいですね。

仙台市教委、３月２日から臨時休校を正式発表 | 河北新報オンラインニュース www.kahoku.co.jp/tohokunews/202... @kahoku_shimpoより

タグ：

posted at 18:13:04

【仙台市】全国一斉休校について仙台市の方針が決まりました！！3月2日（月）から4月7日（火）まで臨時休校の措置をとることで決定です。 bit.ly/32BdAzC @goguynetより

タグ：

posted at 18:17:25

@goguynet 宮城県立中高が３月２日から一斉休校　仙台市小中高も | 河北新報オンラインニュース www.kahoku.co.jp/tohokunews/202... @kahoku_shimpoより

タグ：

posted at 18:18:56

#統計違いの説明:「いんだよ、こまけえことは」のセンスで、尤度函数がサンプルサイズn→大で台の狭い単峰型になって行く場合には、最尤法、事後分布の最頻値を選ぶ(MAP法)、事後分布の平均を選ぶ(EAP法)、事後分布による確率モデルの平均を予測分布とする(ベイズ法)は、同じ結果になると思ってよい。

タグ：統計

posted at 18:31:44

#統計続き。事後分布の台が凸型になっていない場合には、事後分布に平均は事後分布の台の外に出てしまいます。そういう場合には事後分布の平均を推定値とするEAP法は極めて不適切な推定法になります。

タグ：統計

posted at 18:34:36

#統計続き。事後分布で測ったモデル内での平均二乗誤差を最小にする意思決定論の意味では適切な推定量は、事後分布の平均に一致するので、事後分布の台が凸型でない場合には極めて不適切な推定法になります。

意思決定論によるベイズ推定の説明は絶対に鵜呑みしてはいけません。

タグ：統計

posted at 18:37:25

#統計学事後分布の最頻値を推定量とするMAP法は「正則化」「罰則項付き最適化」と同じなので、最尤法では起こるオーバーフィッティングが緩和されることがあります。

タグ：統計学

posted at 18:39:51

#統計モデルが複雑で事後分布の形状が非常に複雑になる場合には、事後分布の平均や最頻値を代表値として選ぶ必然性がなくなり、予測分布として確率モデルの事後分布による平均を選ぶことが自然になり、収束性も保証し易くなります。

タグ：統計

posted at 18:42:24

#統計事後分布に代表値を選ぶことと、予測分布として何を選ぶかについては以上のように複数の選択肢があり、どれを選んでも「いんだよ、こまけえことは」のセンスで同じになる場合もあれば、その一部が他との比較で極めて不適切になる場合もあります。

タグ：統計

posted at 18:45:08

#統計こういう事情があるので、実際にベイズ統計を応用して使ってみたいと思っている人に「事前分布と尤度函数から事後分布を作ること」がベイズ統計だと教えることは好ましくなく、注意するべき点についてしっかり説明することが大事になるのです。

タグ：統計

posted at 18:48:05

ytb @ytb_at_twt

直観主義の残念な「啓蒙」書ならありますよね「無言論の教室」とかの啓蒙の弁証法を地でいくような本が。 twitter.com/kamo_hiroyasu/...

タグ：

posted at 18:50:34

#統計すべてについて詳細な説明が無理な場合には「安全牌」についてのみ重点的に説明してすませるのもありだと思います。

そして、安全牌は「事後分布による確率モデルの平均を予測分布とみなすこと」です。

事後分布の平均(EAP)を推定値として採用するのはとても危ない。

タグ：統計

posted at 18:50:45

#統計ベイズ統計について何も知らない人向けの解説で、危険な選択肢とそうでない選択肢について平等にかつごちゃ混ぜに説明するのはやめた方がよいという話をしています。

これも私には単なる常識的配慮に過ぎないと思うのですが、どうでしょうか？

タグ：統計

posted at 18:53:18

津田和俊／急激に進行した網膜剥離と闘って @kaztsuda

スケープゴーティング in 心理学
seesaawiki.jp/transact/d/%a5...

タグ：

posted at 21:11:29

津田和俊／急激に進行した網膜剥離と闘って @kaztsuda

ネット通販のDMで、幹細胞コスメとかいうものが出てきたので、ナンジャそりゃいったい何が入っているのだ？、と調べると、ヒト細胞培養液が入っているのが一番イイとかいう情報がでてきて、ますますわからん。しかし、それって多分、本当の「細胞」は入ってないんじゃないかなぁ。。。

タグ：

posted at 21:15:15

みんなぁ、「はたらく細胞」を、観ようよー

タグ：

posted at 21:15:15

#統計このスレッドの主題である「ベイズなら仮説が正しい確率が分かる」について、豊田秀樹さんがどのように述べているかについてはこのスレッドの以下のリンク先以降を参照。 twitter.com/genkuroki/stat...

タグ：統計

posted at 21:35:53

#統計あと以下のリンク先以降も参照

リンク先の添付画像の一部をこのツイートに添付。豊田秀樹さんは「共通した標準偏差を持つ2つの正規分布モデル」と「十分に広い範囲の一様事前分布」から作った事後分布で計算した確率を「研究仮説が正しい確率」と呼んでいます。

twitter.com/genkuroki/stat... pic.twitter.com/ESPESk5xPk

タグ：統計

posted at 21:44:22

津田和俊／急激に進行した網膜剥離と闘って @kaztsuda

#統計

豊田秀樹さん曰く【極めて自然であり誤解の生じようがない】

それ、誤解そのものだと思うんですが。 twitter.com/genkuroki/stat...

タグ：統計

posted at 21:46:47