黒木玄 Gen Kuroki(@genkuroki)/2020年03月01日

#統計条件付き最適化問題による数学的定式化は「よい数学的定式化」の典型例です。

数学をよく知っているほど、そういうことがわかって来るので、数学をよく知ってるせいで「おお！なるほど、これは合理的だ！」と感じて騙される可能性がある。

この辺は本当に要注意な部分だと思う。

タグ：統計

posted at 23:45:54

#統計 q(x)との関係を一切考慮していないくせに「統計学」を名乗るとは一体どういうことか？と言いたくなる人もいるかもしれませんが、まさにそれこそが「主観主義」だということなのだと思います。

現実での予測の失敗には一切配慮せずに、主観内部でリスクが最小化できれば合理的だとみます方針。

タグ：統計

posted at 23:43:22

#統計統計的意思決定論によるベイズ推定の解説でも、q(x)を一切出さずに、なんと、サンプルが

Z(x_1,…,x_n) = ∫p(x_1|w)…p(x_n|w)φ(w)dw

に従って生成されているという設定での平均リスク最小化を扱うことになる。q(x)との関係は一切考慮しない。

その結果、EAP推定を勧めて来たりするわけ。

タグ：統計

posted at 23:40:29

#統計現実の確率法則のモデル化として未知の確率分布q(x)を用意して、統計分析用の確率モデルp(x|w)と明瞭に区別して議論を進めていればよいのですが、q(x)を一切出さずに、p(x|w)だけで押し通している解説が結構多いので、初学者が非科学的でおかしなスタイルを身に付ける危険性があると思います。

タグ：統計

posted at 23:40:29

#統計損失やリスク最小化のような条件付き最適化問題のスタイルでの定式化は数学的に素性がよいので、「これは合理的だ！」と信じてしまいそうになるのですが、統計的意思決定論によるベイズ推定の解釈では推定結果と現実の関係の問題を一切扱わないので、現実にそのまま応用するのは危険です。

タグ：統計

posted at 23:35:11

#統計リスク最小化で「主観主義」に基く「ベイズ推定」を解説しているとみなせるものには

to-kei.net/bayes/decision...
決定理論とは？簡単にわかりやすく説明

to-kei.net/bayes/bayes-es...
ベイズ推定量は、事後分布の平均と一致する

(互いに相互リンク)

などがあります。

twitter.com/genkuroki/stat...

タグ：統計

posted at 23:31:55

#統計事後分布の平均のずれ方に納得できなかったので(不安はいつも消えない)、事後分布の対数の例もプロットしてみました。

対数を取って確認したら(添付画像の右半分)、左側と上側に結構のびていました。

足し上げ時の重みが小さくても遠く離れていれば平均には影響を与えることができる。 pic.twitter.com/TF4bpKPVkL

タグ：統計

posted at 23:22:54

#統計訂正

❌サイズn=10のガンマ分布モデルの事後分布
⭕️サイズn=10のサンプルから作られるガンマ分布モデルの事後分布

「サンプルから作られる」が抜け落ちてしまった。 twitter.com/genkuroki/stat...

タグ：統計

posted at 22:41:25

#統計気軽に使えるようになったMCMC法では事後分布のサンプルが得られるので、事後分布のサンプルから気軽に近似計算できる事後分布の代表値ごとに「どのような危険があるか」に関する情報はユーザー側にとって必須の予備知識だと思われます。

タグ：統計

posted at 22:35:02

#統計渡辺澄夫『ベイズ統計の理論と方法』では、以上で__要注意__であることを指摘したEAP法=平均プラグイン法への注意がp.125の4.6.1節にあります。

引用【最適なパラメータの集合が凸集合でないときには、平均プラグイン法は統計的推測には適していないので注意が必要である】

タグ：統計

posted at 22:32:53

#統計リスク函数として事後分布に関する平均二乗誤差を採用すると、リスク最小化は以上で__要注意__であることを指摘した事後分布の平均(EAP)で実現されます。

リスク最小化を「主観に基く合理性」だと解釈して、「主観主義」によって「ベイズ推定」を説明している文献は沢山あるので要注意です。

タグ：統計

posted at 22:29:02

#統計事後分布の台が凸型ではない場合には、事後分布の平均は事後分布が集中している場所から外れることになります。こういう意味でEAP推定値(=事後分布の平均)は要注意だと思う。

選択肢が多い場面では至る所に落とし穴が隠れているので要注意。

タグ：統計

posted at 22:24:50

#統計サンプルを生成した分布がGamma(α=2, θ=0.5)の場合

☆が真値、◆がMAP推定値(今の場合は最尤推定値と同じ)、◯は事後分布(posterior)の平均(=EAP推定値)です。

EAP推定値が事後分布の台から外れかけている。

#Julia言語ソースコード↓ (汚いです)
nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/kAsoeMpXnX

タグ： Julia言語統計

posted at 22:22:22

？？？「きこえますか？６４Coreで、１２８すれっどで、
Juliaをビルドしまくるのです。」 twitter.com/bicycle1885/st...

タグ：

posted at 21:28:24

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#統計例: Gamma(α=10, θ=0.1) 分布で生成したサイズn=10のガンマ分布モデルの事後分布をプロット。事前分布は台が十分広い一様分布。

☆が真値、◆がMAP推定値(今の場合は最尤推定値と同じ)、◯は事後分布(posterior)の平均(=EAP推定値)です。

EAP推定値が事後分布の台から外れていることに注目。 pic.twitter.com/zCfhT88kip

タグ：統計

posted at 21:20:52

ストレス解消にパソコン買うか

タグ：

posted at 21:18:11

Enrico Catalano @enricocatalano4

S (ﾂｲｰﾄはｽﾚｯﾄﾞ全体をご確認く @esumii

This week at @UniOslo talk about the discovery of Niels Henrik Abel’s 1823 Paper on Fractional Derivatives and a framework for fractional-order calculus with appropriate notation for non-integer-order integration and differentiation @abel_prize and @HLForum pic.twitter.com/Ahths6p2Nc

タグ：

posted at 21:15:31

写真がなぜか仙台駅。 twitter.com/yahoonewstopic...

タグ：

posted at 18:39:02

Minori @minotonefinland

1枚目は1987年にブダペストで撮られた母と子の写真。

2枚目は2020年。
娘さんは33歳の立派な科学者となったそう。 pic.twitter.com/VCohX4CK7s

タグ：

posted at 17:29:00

docs.julialang.org/en/v1/manual/u...

のテーブルを見ながらすると簡単だった pic.twitter.com/LnpwdjTXAW

タグ：

posted at 17:11:11

For those who wanna reproduce the tweet
#Julialang
#Julia言語 (Japanese edition Julialang hash tag) twitter.com/markkitti/stat... pic.twitter.com/SzLQltnIBM

タグ： Julialang Julia言語

posted at 16:51:57

非公開

タグ：

posted at xx:xx:xx

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

再現度高すぎーーーー twitter.com/brother_tono/s...

タグ：

posted at 16:36:25

フォローされてないのにたまにJeffにLikeされるんだけど，もしかして監視されてる？

タグ：

posted at 16:21:32

Massimo @Rainmaker1973

ゴルゴ・サーディーン @golgo_sardine

Turbulence is everywhere, but it is one of the least understood phenomena in classical physics. Now, researchers may have identified a fundamental mechanism by which turbulence develops by smashing vortex rings head-on into each other buff.ly/388p3bb pic.twitter.com/LQQ5T9EJ7h

タグ：

posted at 16:20:35

「#掛算の順序を守ると割合を理解するうえで効果がある」などと言う人は、
「あなたは、食塩水中の食塩の量を求めるとき　濃度×全体　でも良いと言うのですか？」などと言い放ってしまう。@sekibunnteisuu twitter.com/KntyMrk/status...

タグ：

posted at 16:18:29

私は、街の某所で座って休んでいるときに、小学校2年生くらいの知らない男の子に

　　　おじさん、電子ってなに？教えて！

といきなり質問されてしまったことがある。

タグ：

posted at 15:46:21

あおじるPPPP @kale_aojiru

@Ra_koyama 場合の数云々は私もよく分かりませんでした。あれはむしろ掛順守ってるほうが困る例の筈なんですが

タグ：

posted at 15:14:28

あおじるPPPP @kale_aojiru

「普通にやってたら逆にならない」と思うのがそもそも掛順指導に染まった思考回路から脱せていないという証拠なので

タグ：

posted at 15:13:16

らじうむ小山_PPPMP @Ra_koyama

@kale_aojiru すいません、元ツイ何をいってるのか全然わからなかった。なんせ、アタマ悪いもんでw

タグ：

posted at 15:12:35

あおじるPPPP @kale_aojiru

頭悪いのが誰なのかよく分かるツイートだ twitter.com/yossi_hobby/st...

タグ：

posted at 15:11:28

頭悪そうな意見だ twitter.com/yossi_hobby/st...

タグ：

posted at 14:58:47

これを減点とする人は、多項式の因数分解を理解していないと思われる。 twitter.com/yamak0523/stat...

タグ：

posted at 13:59:27

非公開

タグ：

posted at xx:xx:xx

#Julia言語 #Turing

]add Turing@0.8.3

でTuring.jlを

Julia v1.0.5
Julia v1.3.1

に入れて動かすことには成功しています。

v1.4.0-rc2.0 では失敗。解決法は不明。

タグ： Julia言語 Turing

posted at 13:31:35

Jun Takahashi @Jun_Gitef17

元ツイートでは「マクスウェルの悪魔です」的に書いてあるけど、実際はミクロな状態選別を行う悪魔的な機構ではなくて、単純に真の安定なマクロ状態（ネマチック）とは別の準安定（ジャミング？）に引っかかってる所に多少のエネルギー加えて逃して助けてやってるわけだよね。限りなく熱力学の範囲内！

タグ：

posted at 13:31:31

#Julia言語 #Turing

Julia v1.4.0-rc2.0 に Turing を入れて build したら、Libtask.jl の build でこけます。解決方法は知らない。

github.com/TuringLang/Lib...
Libtask does not support Julia 1.4.0 #50

タグ： Julia言語 Turing

posted at 13:27:06

#Julia言語 #Turing

Turing.jlのbuildしたらエラーが出てしまうという問題に悩んでいる人は

github.com/TuringLang/Tur...
Build failing. "AbstractChains not defined" #1121

を参照。

]add Turing@0.8.3

を実行してみて、適当に他のパッケージをrmして試行錯誤してみる。続く

タグ： Julia言語 Turing

posted at 13:27:05

k @musicisthebest_

なんなのこのマリーアントワネット。 twitter.com/eiji_kamo/stat...

タグ：

posted at 12:46:39

二項分布の正規(normal)分布近似で作ったP値(ある種の確率の近似値)

と

ベイズ統計の事後分布(posterior)で測ったある種の確率

がよく一致している場合があることを示す動画。

これを見れば、定義が違っていても似たような値になる場合があることがよく分かる。

twitter.com/genkuroki/stat...

タグ：

posted at 12:42:53

twitter.com/genkuroki/stat...

タグ：

posted at 12:38:12

「主義」や「立場」が変わると、同じような値になる指標から得られる結論を変えることができると堂々と主張するのはさすがにみっともない。

上の○○の部分の例は「研究仮説が正しい確率」です。

特に豊田秀樹さんとその擁護者達には問題がありすぎると思う。

タグ：

posted at 12:35:43

しかし、そういう技術的に合理的な考え方だけで済ませずに、「主義」を持ち出すと非常に怪しげな議論になります。

最悪なのは、定義は異なっているがほぼ同じ数値になることが分かっている指標について、

頻度論では○○ではないが、ベイズでは○○だと解釈できるので分かり易い

のように言うこと。

タグ：

posted at 12:32:35

尤度函数やベイズ統計において事後分布をモデルのデータへの適合の仕方の判断材料として使うことは合理的です。

何らかの方法で正規化された指標の方が分かり易い場合があるという意味で、尤度函数より事後分布の方が分かり易いと言うことも間違いではない。

続く

タグ：

posted at 12:32:32

そういう「主義」に基く杜撰な説明の仕方の問題は、ベイズ云々以前の問題になっていると思う。

タグ：

posted at 12:18:15

典型的にダメなのは、ベイズ統計の解説を「主観主義」の話をして切り抜けようとするスタイル。

「頻度主義vs.ベイズ主義」という発想を背景にしているせいで、ベイズ信用区間(確信区間)の説明だけではなく、「頻度論」の通常の信頼区間についてもおかしな説明がされていることも多い。

タグ：

posted at 12:18:12

Re: RT なんか変な人がいるんですね。

統計学に限らず、数学的道具を使わざるを得ないケースでは、テクニカルな部分の理解が重要。テクニカルな話の理解は大変だし、よく間違うし、理解していても説明が難しい。

そういう所を「主義」や「(擬似)哲学的言説」で何とかしようとするのは誤り。

タグ：

posted at 12:05:44

みょうが @mrkn

@genkuroki おおっと思って見に行ったんですが、固定レイアウトなんですね。残念です・・・

タグ：

posted at 11:43:42

#統計上で紹介した島谷さんの本はKindle版もあって、Kindle版は紙版の半額です。

www.amazon.co.jp/dp/B076LVLLSF

twitter.com/mrkn/status/12...

タグ：統計

posted at 11:39:13

くろ @kuroseventeen

突然の休校、給食業者に衝撃　「涙止まらない」国に補償要求へ　発注済み2万食どうなる（京都新聞） - Yahoo!ニュース headlines.yahoo.co.jp/hl?a=20200229-...

タグ：

posted at 10:56:44

名取宏（なとろむ） @NATROM

気軽にクリニックで検査できるようになったら、「絶対に違う」と言い切るヤブ医者のせいで、本当は感染しているのに偽陰性でお墨付きをもらった患者さんが出歩くだろうね。テレビはもうちょっと、出演させる医師を選んだらどうだろうか。

タグ：

posted at 10:56:26

#統計具体的な計算を徹底して行うと同時に、普遍的で一般的な考え方にも必ず触れるこのスタイルは‼️‼️‼️

と思いました。

タグ：統計

posted at 10:55:42

名取宏（なとろむ） @NATROM

偽陰性について理解していないか、理解した上で患者に嘘をついているか。どちらしててもとんでもない。いくらなんでもここまで阿呆なことをテレビカメラの前で言うとは信じられないので、フェイクの可能性も考えるけど、字幕だけならともかく音声でもそういっているからねえ。

タグ：

posted at 10:53:08

名取宏（なとろむ） @NATROM

47秒ぐらいから。大谷義夫医師。「ここで簡単にPCR検査できれば絶対に違うと言いきれるんですけど」←誤り。検査には偽陰性があるので検査できても「絶対に違う」とは言い切れません。 twitter.com/tiger_1225/sta...

タグ：

posted at 10:52:36

#統計 ‼️‼️‼️

島谷健一郎『ポアソン分布・ポアソン回帰・ポアソン過程』(2017)はコンピューターシミュレーションでも遊べるくらい具体的な例を通して、基本的かつ普遍的な考え方を解説している気持ちの良い本です。

数学が得意な人が娯楽で読むには非常に良い本だと思う。

twitter.com/paul_painleve/...

タグ：統計

posted at 10:49:17

みょうが @mrkn

この本、達人出版会で電子化されないかなぁ〜 twitter.com/genkuroki/stat...

タグ：

posted at 10:48:44

山猫だぶ㌠ @fluor_doublet

未来のかがくしゃさんは自分のiPadでDNAをぐるぐる回している。ぐるぐるらせんなのがだいじ。 pic.twitter.com/tapRM5kWMj

タグ：

posted at 10:32:43

@Feudal_lord_k3 今時間がないのですぐには出せないけど、いくらでもいます。

＞多数の子供たちを扱う教員がまとめて概念を理解していない子をあぶり出すには、この方法が有効

と言っている算数教育の専門家はいるのでしょうか？

タグ：

posted at 07:29:31

@Feudal_lord_k3 他にも、各教科書会社が出している指導書

タグ：

posted at 07:28:07

@Feudal_lord_k3 正木　孝昌
twitter.com/genkuroki/stat...

タグ：

posted at 07:27:46

Ryo @pys_ryo2019

なにかを見ただけです。深い意図はありません。

タグ：

posted at 06:28:39

Ryo @pys_ryo2019

だいたい、なんの立脚点もなく学問が成立するわけもないのである。そんな当たり前なことにもいちいち触れないといけないのか

タグ：

posted at 06:27:34

Ryo @pys_ryo2019

｢ベイズ主義vs頻度主義論争は不毛と言ってる人たちも、渡辺ベイズという教条に陥ってる｣という皮肉は的外れだよね。本人たちは上手いこと言ってやったつもりなのかもしれないが……。主義による統計学を批判している人は、既に解消された論争を掘り起こすことの不毛さを指摘しているだけでしょう。

タグ：

posted at 06:27:33

Jun Takahashi @Jun_Gitef17

剛体棒のネマチック相だ！！ twitter.com/BrianRoemmele/...

タグ：

posted at 03:30:33

Shuhei Kadowaki @kdwkshh

いつもGitHubかSlack上でコミュニケーションしてる人と初めて対面で会うのちょっと緊張したけど、JuliaとJunoの話はもちろんベルリンの街についても色々教えてくれてめちゃくちゃ楽しかった。
そしてJuno v1.0でJuliaConやろうっていう新たなモチベもできた。わくわく。

タグ：

posted at 03:25:07

こういう素朴なことを気軽にできる点が #Julia言語の非常に良い点だと思います。コードを見ればわかるように、素朴にforループを回して足し上げているだけです。

そういう計算が遅いと数学的に相当に非自明な工夫が必要になってしまいます。 pic.twitter.com/u4FNV07Kti

タグ： Julia言語

posted at 03:08:37

#数楽 #Julia言語いつも、リーマンのゼータ函数だけだとつまらないので、ガウスの整数環 Z[√-1] のデデキントのゼータ函数を最も素朴だと思われる方法で計算してみました。

これも絶対値の対数のプロット。
やはり零点が実部0.5のラインに並んでいます。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/FT6F8p6xTo

タグ： Julia言語数楽

posted at 03:05:39

#統計これは重要な情報

twitter.com/katzkagaya/sta...

タグ：統計

posted at 02:05:52

#数楽オイラー積を通して、x以下の素数の個数と直接関係するのはリーマンのゼータ函数ζ(s)の対数微分である。対数微分の極の全体は元のζ函数の極と零点の全体に一致する。こういう形でリーマンのゼータ函数の零点の位置が素数の分布と関係する。解説が

nbviewer.jupyter.org/github/genkuro...

の3.4節にある。

タグ：数楽

posted at 02:00:38

#数楽「ゼータ函数の極が大事」と言うと、「あれ？リーマン予想は、ゼータ函数の極ではなく、零点に関する主長だよね？」と疑問を持つ人が当然いるはず(いて欲しい)。続く

タグ：数楽

posted at 01:57:25

#数楽渡辺澄夫著『ベイズ統計の理論と方法』におけるベイズ統計での自由エネルギーのサンプルサイズ→∞での漸近挙動は、ベイズ統計における分配函数に対応するゼータ函数の極の様子から分かる仕組みになっている。ゼータ函数の極は非常に大事。詳しい解説が

nbviewer.jupyter.org/github/genkuro...

にある。

タグ：数楽

posted at 01:55:26

Katsushi Kagaya @katzkagaya

次のプレプリントはこれらの解説の実問題への適用例になっています。twitter.com/katzkagaya/sta... twitter.com/katzkagaya/sta...

タグ：

posted at 01:52:53

#Julia言語 #数楽どうしてシンプルなカットオフ因子をかけて単に足すだけでリーマンのゼータ函数を近似計算できてしまうかについての非常に詳しい解説は

nbviewer.jupyter.org/github/genkuro...
ディリクレ級数の滑らかなカットオフ

にある。これを読むとディリクレ級数の解析接続の極の意味がわかる。

タグ： Julia言語数楽

posted at 01:52:33

#Julia言語リーマンのゼータ函数の虚部が10以上の様子は

Σ_{n=1}^∞ exp(-(n/N)^2)/n^s

で結構よく近似される。その事実を使ってプロットするとこうなる。上とほぼ同じ。∞個足すのは無理なので100個しか足していない。

これは、リーマン予想のお手軽な数値的確認法。単に足すだけでよいので簡単。 pic.twitter.com/RJTPAPBjUq

タグ： Julia言語

posted at 01:49:45

#Julia言語数え切れないほどプロットして来たリーマンのゼータ函数の非自明零点

log(abs(ζ(s))) の値で色を付けてプロット。

実部 = 0.5 のラインに零点が並ぶ。

「リーマンのゼータ函数の実部が0から1の間にある零点の実部はすべて1/2である」というのがリーマン予想。

gist.github.com/genkuroki/b0a3... pic.twitter.com/zBni9We3Yb

タグ： Julia言語

posted at 01:46:47

Katsushi Kagaya @katzkagaya

ReRT: ［階層モデルでのWAICについて]黒木さんのツイート、清水さんのスライド、松浦さんのこの解説をとても参考に勉強させてもらいました。あとWatanabe2018(green book)も。statmodeling.hatenablog.com/entry/waic-wit...

タグ：

posted at 01:43:33

#数楽 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...

t が 0 から 6π まで pic.twitter.com/tXBpCRxWil

タグ： Julia言語数楽

posted at 01:03:44

#数楽 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...

exp(it) のべき級数展開の動画を作り直した。

t が 0 から 2π のまで pic.twitter.com/3zfR9Xqrr5

タグ： Julia言語数楽

posted at 01:03:43

算数・数学を理解したら「かけられる数」と「かける数」は区別出来ない、区別する必要もない、となると思うが。

タグ：

posted at 00:38:00

＞まず、Twitterで共感を得ている人々は、全員間違いなく「かけられる数」と「かける数」の違いを明確に理解した小学生であった、ということだ。その数学教授もそうだったに違いない。

何故こんな事を断言できるのだろうか？

タグ：

posted at 00:37:32

【話す機会を逃したシリーズ】小学校の掛け算順序問題について - とのとの雑記　～人生トラックリセマラ～ tononza.hatenablog.com/entry/2020/02/...

タグ：

posted at 00:35:30

ゆうすけ @_yusu_k