黒木玄 Gen Kuroki(@genkuroki)/2022年06月29日

#統計 #Julia言語

添付画像の尤度函数は、分布

p(x|μ, t) = 0.5 N(x) + 0.5 N((x-μ)/exp(t))

のサイズ10の標本分布モデルの尤度函数の例です。

ここで、N(x)は標準正規分布の密度函数。

このモデルでは忠実な最尤法は破綻する。

github.com/genkuroki/publ... twitter.com/genkuroki/stat... pic.twitter.com/7ZamTjcGNP

タグ： Julia言語統計

posted at 23:51:18

モりやま @moripapa100k

@sekibunnteisuu こういう人たちって、出題者の意図をあーだこーだと無理矢理こねくり回して読み取るくせに、回答した子供の意図をまったく理解しようとしないんですね

タグ：

posted at 23:41:17

間違っていることの理解を求めるのは、何年生に対してであっても無理がある。 twitter.com/yuizumi_y5i/st...

タグ：

posted at 23:37:50

ずかし♡手作りツイート @ZukashiT

クソ問題の「意図」など知ったことではない。 twitter.com/mizo_muzic/sta...

タグ：

posted at 23:26:51

洗濯機が汚いっぽいのでこれで掃除中
zukashi.com/bleach/

タグ：

posted at 23:24:30

まともに物事を考える能力があれば、「こんな問題がクソ」で終了である。
twitter.com/tekarin/status... pic.twitter.com/edCrZs3X6U

タグ：

posted at 23:23:48

#統計もしかしたら、二項分布モデルの易しい場合の段階で、こんな感じで、

* P値函数と通常の信頼区間
* 事後分布とベイズ版信用区間
* おまけで尤度函数

のグラフをプロットして比較するようにすれば、「頻度論vs.ベイズ主義」的な頭の悪そうな思考法に陥らなくて済む？

nbviewer.org/github/genkuro... pic.twitter.com/A3btbEugF1

タグ：統計

posted at 23:23:47

頭使っていないのはこの人 twitter.com/tekarin/status...

タグ：

posted at 23:22:16

教科書にもある問題。教員個人がアホなんじゃなくて、算数教育界全体がアホ。それを批判できず鵜呑みしてしまう教員もどうかとは思うが。 twitter.com/Exy4A/status/1...

タグ：

posted at 23:20:36

意味不明 twitter.com/emi1831/status...

タグ：

posted at 23:19:03

ゆう＠簿記1級を目指す @IqkcSp4HYk1YOSp

誤植訂正

❌binom(n,k) pᵏ(1-p)ⁿ⁻¹
⭕️binom(n,k) pᵏ(1-p)ⁿ⁻ᵏ

なぜkが1になった。😅 twitter.com/genkuroki/stat...

タグ：

posted at 23:15:42

ゆう＠簿記1級を目指す @IqkcSp4HYk1YOSp

@genkuroki …実は恥ずかしながら数年前に某大学大学院の理学研究科(数学)を卒業したものです（直接的な関わりはなかったかもしれませんが）。ご指導頂き恐縮する以上に嬉しく大変懐かしい気持ちになりました。不勉強が目立つかと思いますが、今後ともよろしくお願いします。

タグ：

posted at 22:40:15

ゆう＠簿記1級を目指す @IqkcSp4HYk1YOSp

@genkuroki また、理解に関しても、直感的な解釈だけを求めずに、手計算との両面から深めていきたいと思います。貴重なご指導ありがとうございました。続きます

タグ：

posted at 22:31:49

@genkuroki 黒木玄先生
丁寧な解説をありがとうございます！
知識としては知っていた順序統計量でベータ分布と二項分布がつながること、大変勉強になりました。ガンマ分布とポアソン分布に関しては全くの勉強不足でした😂二項分布、負の二項分布と絡めながら勉強し直したいと思います。続きます

タグ：

posted at 22:25:18

hessihan @hessihan

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#julia言語 #julialang #Causalinference #因果推論

Juliaで無理やりDID

zenn.dev/hessihan/artic... pic.twitter.com/Hr7GtATqN5

タグ： Causalinference julialang julia言語因果推論

posted at 21:00:00

非公開

タグ：

posted at xx:xx:xx

NothingPhoneくん　イギリスか @5gReiwa

スウェーデンの高校生にJuliaを教えることになったぞい。

タグ：

posted at 18:17:42

Julia日本語記事まとめ @julia_kizi

秋葉原に赤松健さんの選挙カーがある😯イタ車やん🤔さすが、原作者だね🥰 pic.twitter.com/39ElB2tZgA

タグ：

posted at 17:56:52

新しい記事がZennにアップされました！#Julia言語　 #Julia日本語記事
 zenn.dev/hessihan/artic...👈

タグ： Julia日本語記事 Julia言語

posted at 17:43:29

TaKu @takusansu

#超算数答えが正しいか確かめないのかという点も気になります。
全体の60％が21人なので、「答え×0.6＝21」になれば、答えの正しさの確度が高まるのですが、その手の指導はあまり見かけません。

タグ：超算数

posted at 17:06:14

TaKu @takusansu

#超算数【計算が苦手】とか以前に、問題文から100％が何人か求めたいと認識しているかが重要だと思っています。
そうなれば60％(21人)に40％(？人)を足せば良いという当たり前の発想に繋がります。
twitter.com/genkuroki/stat...

タグ：超算数

posted at 17:06:13

非公開

タグ：

posted at xx:xx:xx

黒うさぎ @krousagi

信号待ちでふと横見たら今話題の赤松号いました！
(政治的なツイはしない主義ですが痛車なのでギリセーフという事で)
好きな漫画1位の「魔法先生ネギま!」
推しキャラ永遠の1位殿堂入りのエヴァンジェリン
の作者赤松健先生
色々意見もあるみたいですが頑張ってください！
#ネギま
 #赤松健 pic.twitter.com/bWWa828V8u

タグ：ネギま赤松健

posted at 15:09:31

スドー @stdaux

こちらの事件につき、被告から知財高裁に控訴されていましたが、本日その判決がありました。控訴棄却、認容額を含め原審維持です。 twitter.com/bengo4topics/s...

タグ：

posted at 15:05:59

mopcup @mopcup

『ベイズ統計の理論と方法』の著者の渡辺先生のHPにある『「主義」を心配されるみなさんに』を読んだ後に「いつも何度でも」を聞くなどした．

タグ：

posted at 14:10:31

#統計現実には人間はよく間違う存在なので、直観を大事にする場合であっても、格好悪く地道に計算して確認することは、決して無駄になりません。

むしろ、直観的で賢そうに見える話に手を出す前に地道な計算で確認する経験はあった方が良いと思う。

数学がらみの事柄では格好悪い勉強の仕方は重要。

タグ：統計

posted at 14:07:27

#統計【許されるコストと倫理の範囲内で】

「倫理」が出て来る理由は、例えば

　かけ算順序問題強制指導の影響を研究するために
　あなたのうちのお子さんは公平な抽選によって
　かけ算順序固定強制指導を厳密に行うクラスに配属されました

という仮想の設定について考えればすぐに分かる。

タグ：統計

posted at 14:00:57

#統計 Poisson分布とガンマ分布の直観的な理解をどう得たらよいのだろうか？

1つの初等的なやり方は、Poisson分布とガンマ分布のそれぞれを二項分布と負の二項分布の連続時間極限とみなして、二項分布と負の二項分布の関係の直観的理解に帰着することである。

私のツイログに解説があるはず。

タグ：統計

posted at 13:50:45

#統計すなわち、

Σ_{i=k}^∞ e^{-λ} λⁱ/i! = ∫_0^λ e^{-t} tᵏ⁻¹ dt / Γ(k).

この公式は、Poisson分布とガンマ分布の直観的理解から即得られる。

タグ：統計

posted at 13:50:44

#統計単位時間に平均して1回起こるイベントが時間λの間に起こる回数がk回以上になることと、起こる時間の間隔が平均して1のイベントがちょうどk回起こるまでの時間がλ以下になることは同値。

これからPoisson分布とガンマ分布の関係が得られる。続く

タグ：統計

posted at 13:50:44

#統計期待値λのPoisson分布は、単位時間に平均してλ回起こるイベントが単位時間内で起こる回数の分布=単位時間に平均して1回起こるイベントが時間λの間に起こる回数の分布。

形状α、スケールθのガンマ分布は、起こる時間の間隔が平均してθのイベントがちょうどα回起こるまでにかかる時間の分布。続く

タグ：統計

posted at 13:50:43

#統計ガンマ分布とPoisson分布の関係は、ガンマ分布とPoisson分布のそれぞれを直観的に理解していれば(←これは非自明)、当たり前の話に見えて来るはずの事柄。続く

タグ：統計

posted at 13:50:42

#統計このようにベータ分布と二項分布の関係

Σ_{i=k}^n binom(n,i) pⁱ (1-p)ⁿ⁻ⁱ
= ∫_0^p tᵏ⁻¹ (1-t)ⁿ⁻ᵏ dt / B(k, n-k+1)

は、一様分布の標本分布(における順序統計量)を経由すれば直観的に理解できる。

タグ：統計

posted at 13:50:38

#統計ゆえに、n!/((k-1)!1!(n-k)!) = 1/B(k, n-k+1) であることに注意すると、T_1,…,T_nのうちp以下のものの個数がk個以上になる確率＝T_1,…,T_nの中のk番目に小さな値がp以下になる確率は、ベータ分布Beta(k,n-k+1)におけるp以下になる確率になることがわかる。続く

タグ：統計

posted at 13:50:38

#統計 T_1,…,T_nのうちk-1個がt以下で、1個が区間(t,t+dt)に含まれ、残りのn-k個がt+dt以上になる確率は、dtに関する高次の微小量の違いを除いて、

n!/((k-1)!1!(n-k)!) tᵏ⁻¹ dt (1-t)ⁿ⁻¹

に等しくなります。n!/((k-1)!1!(n-k)!)は、n個のk-1個、1個、n-k個へのグループ分けの仕方の個数。続く

タグ：統計

posted at 13:50:37

#統計 0～1の一様分布のサイズnの標本T_1,…,T_nの中のp以下のものの個数がk個である確率は、二項分布の確率 binom(n,k) pᵏ(1-p)ⁿ⁻¹になります。これは自明。

タグ：統計

posted at 13:50:36

#統計ベータ分布と二項分布の関係の直観的理解は、『現代数理統計学の基礎』で言えば、pp.101-105の順序統計量の一様分布の場合(例5.27)を直観的に理解する問題になります。続く twitter.com/iqkcsp4hyk1yos...

タグ：統計

posted at 13:50:34

雨宮純 @caffelover

既に指摘されてますが、ヤフコメに支持者が集まっていてかなり濃い投稿が行われてます。
また、参政党はウェブサイトでは危険なワードをあまり出さない一方、街宣では「ユダヤ勢力にマスコミが支配されている」といった差別に繋がる陰謀論を堂々とやって支持者を沸かせており、かなり計算されています

タグ：

posted at 13:03:58

文情スイミー @Suimylikesbooks

ベイズ統計と言えば渡辺本ですわね。読んだことないけど。 pic.twitter.com/pmhzbALHV2

タグ：

posted at 12:22:13

Y Tambe @y_tambe

↓野生のミトコンドリア
ja.wikipedia.org/wiki/%E3%83%AA... twitter.com/KazuhikoTsuduk...

タグ：

posted at 12:02:34

前田敦司 @maeda

"「結果的に電力は足りたではないか」という主張は、そのロジックにおいて、「これまで大きな事故が起こったことはないからさしたる危険はないのだ」という主張とまったく同じだ"

タグ：

posted at 12:00:51

前田敦司 @maeda

2012年9月の記事“結果として電力は足りたから、再稼働は必要なかったという理屈は、居酒屋談義ならともかく、まっとうな場に持ち出す主張としては合理性を欠く” / “リスクと無駄とコスト/山口浩 - SYNODOS” htn.to/2g5wUDdNRT

タグ：

posted at 11:58:24

岸政彦 @sociologbook

わかったぞ！ pic.twitter.com/pbaagcHnNV

タグ：

posted at 11:45:56

#超算数個人的な意見ですが、相対評価の5段階評価では1や2になってしまっても、計算がものすごく苦手なところを工夫でカバーしたことを本音で素晴らしいことだと感情的に思っている大人を連れて来て、そういう子を絶賛させる、というようなことをできれば、大変な教育効果があるように思える。😊

タグ：超算数

posted at 11:42:08

#超算数相対評価の5段階評価で1か2になるような子であっても、公式に当てはめて小数によるわり算を使うことを強制しなければ、数学が得意な方の大人が使うのと全く同じ効率的な方法で割合の問題を解けてしまうことが、優れた小学校の先生によって報告されています。

計算が苦手でも工夫でカバー！ twitter.com/genkuroki/stat...

タグ：超算数

posted at 11:37:17

#超算数「きはじ」や「くもわ」に限らず、「3つの公式」に数を当てはめさせて式を作って問題を解くことを教えることは、特に算数が真に苦手な子を潰す行為に他ならない点をみんなで繰り返し注意するべき。

算数が本当に苦手な子への小数によるわり算を使うことの安易な強制はどう考えてもまずい。 twitter.com/genkuroki/stat...

タグ：超算数

posted at 11:33:00

#統計データの取得法自体に問題があるかどうかを知るには分野固有の専門知識が必要。

まずは、許されるコストと倫理の範囲内で、データの取得法を可能な限り改善するべき。

それでも残ってしまうデータ取得法が原因で生じる問題については、モデル及びその使い方の工夫で何とかできないかを考える。 twitter.com/tsatie/status/...

タグ：統計

posted at 10:57:04

#統計大体そういうこと。

「1000人中867人支持」というデータの数値と整合性がありそうな仮想的な支持率pの範囲を、支持率がpという仮想的な設定+何らかの理想化の下でデータと同じ数値が生じる確率を見て判断するという考え方もできるわけです。

類似の別の考え方もある。尤度、P値、事後分布。 twitter.com/tsatie/status/...

タグ：統計

posted at 10:47:23

#統計この場合には、Clopper-Pearsonの95%信頼区間(95% confidence interval)とBayes版の95%信用区間(95% credible interval)は実践的には無意味な違いを除いてぴったり一致しています。

定義が全然異なる量が必然的に近似的に一致することは解析学の世界ではよくあります。 pic.twitter.com/ReYlRRFIWD

タグ：統計

posted at 10:31:32

#Julia言語

ソースコード github.com/genkuroki/publ...

尤度函数、P値函数、事後分布の3点セット。事後分布のプロットは重複している。この場合には平坦事前分布を採用しているので、事後分布は定数倍を除いて尤度函数に等しい。

尤度函数　P値函数
事後分布　事後分布
↓ pic.twitter.com/9xpqerD1nY

タグ： Julia言語

posted at 10:28:22

#統計さらに、尤度函数、P値函数の他に同じような情報を持つものに事後分布があります。普及している悪しき解説では「主義が違う」という点を強調していますが、入門段階では主義のような非科学的な事柄に騙されないように、数学的類似性に注目する方が安全。

事後分布(posterior)と信用区間
↓ twitter.com/tsatie/status/... pic.twitter.com/bRkQ5nAYbV

タグ：統計

posted at 10:25:22

ʇɥƃıluooɯ ǝıʇɐs @tsatie

結局こういう事ですか？例えば無作為抽出で調べたサンプルの結果から当然やけど全体の何かの値を無理矢理でも類推したいが無理。でも誰かが「こんなもんちゃうか」というた時に「理想的な架空の状況で計算した場合」に「それ位やな」となる「確率」は「こんなもんやろ」位は返したい。その為の尤度関数 twitter.com/genkuroki/stat...

タグ：

posted at 10:20:54

ʇɥƃıluooɯ ǝıʇɐs @tsatie

何故かこんな風に見えない呟きが幾つかあって気になります。誰かが謎ツッコミしてるのか、黒木さんがおもろい話ししてるのか。 twitter.com/genkuroki/stat... pic.twitter.com/LSHEpgyy6f

タグ：

posted at 10:07:28

ʇɥƃıluooɯ ǝıʇɐs @tsatie

なるほど？此れ？が尤度関数？（まぁそんな気配というか疑念もない事はなかったけど...）だとすると確かに名称も数多ある説明も謎やなぁと。此れ？を尤度と呼ぶのかぁ... 。それ以前に連続化とかの数学的課題が未だ解決してない。 twitter.com/genkuroki/stat...

タグ：

posted at 10:05:08

#統計

P値はデータの数値以上に極端な値がモデル内で生成される確率もしくはその近似値。

「～以上に極端な」や「近似値」の適切な定義は両側検定の場合に制限しても沢山ある。しかし、よく使われているものは少数で、nが大きな場合にはどの流儀で計算しても同じ値になる。

P値函数の例
↓ pic.twitter.com/0a2mJp4ZMe

タグ：統計

posted at 09:52:07

#Julia言語 #統計上の続き

尤度函数のグラフとP値函数のグラフを並べたもの

コードは nbviewer.org/github/genkuro...

尤度函数を再発見できたなら、P値函数も自力で発見できたりするかも。

尤度はデータの数値とぴったり等しい値がモデル内で生成される確率またはその密度。

続く twitter.com/tsatie/status/... pic.twitter.com/z5VwuA8D4Q

タグ： Julia言語統計

posted at 09:48:10

#統計尤度函数とは違うが、nが大きいときには、ほぼ同じような情報を持つP値函数が定義されて、そのグラフを高さαで切断すると、100(1-α)%信頼区間(confidence interval)も得られます。

nbviewer.org/github/genkuro... pic.twitter.com/DD1b8qyw8r

タグ：統計

posted at 09:44:38

#統計 #Julia言語による尤度函数のプロットの例

コードはALTに貼り付けてある。

nbviewer.org/github/genkuro... twitter.com/tsatie/status/... pic.twitter.com/lfW70GrUKs

タグ： Julia言語統計

posted at 09:41:19

#統計このグラフを見れば、無作為抽出が理想的にうまく行っているという前提のもとで、「1000人中867人」というデータの数値と適合性(もしくは整合性)がほぼ皆無とは言えない仮想的な支持率pの範囲はおおよそ84%～89%だと分かります。 twitter.com/tsatie/status/... pic.twitter.com/NN77iQR5gc

タグ：統計

posted at 09:38:27

堕禍愚羅迦頭鬼頑駄無 @_takakurakazuki

#統計二項分布モデルにおけるパラメータ値pの尤度は

データの数値「1000人中867人」

と

支持率がpでかつ無作為抽出が理想的にうまく行っていることを意味するモデル(数学的フィクション)

の適合度(もしくは整合性)の指標の1つとして結構使えます。 twitter.com/tsatie/status/...

タグ：統計

posted at 09:13:11

これめちゃRTされてるけどあくまでこの本の著者たちの考察＋俺のざっくり解釈なのであしからず。わりと曖昧情報

タグ：

posted at 09:08:31

#統計 tsatieさんは本質的に尤度函数を再発見したことになります。

観測データが「1000人中867人」のとき、n=1000で確率パラメータ値がpの二項分布内でデータと同じ数値が生じる確率を二項分布モデルの尤度(ゆうど)と呼び、パラメータ値pに尤度を対応させる函数を二項分布モデルの尤度函数と呼ぶ。 twitter.com/tsatie/status/...

タグ：統計

posted at 09:06:10

#Julia言語おお！ついにJupyterLabでJuliaを動かすことに成功している！おめでとう！ twitter.com/tsatie/status/...

タグ： Julia言語

posted at 08:44:50

雨宮純 @caffelover

参政党が一番やばいのは、陰謀論やスピリチュアルで人と資金を集め、全選挙区+比例での候補擁立、選挙資金3億5千万円超え、党員数7万人超えを実現している上、政治経験者が中核にいて議席を取りかねないところです。

news.yahoo.co.jp/articles/d3ac0...

タグ：

posted at 06:55:03

Keno Fischer @KenoFischer

Recording: www.youtube.com/watch?v=B7aPcZ...

タグ：

posted at 04:24:41

Keno Fischer @KenoFischer

The discussion afterwards got a little drowned out, but if there are particular questions, I'm happy to answer them here or by email.

タグ：

posted at 03:45:30

Keno Fischer @KenoFischer