黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年08月09日(火)
#統計 ベイズ統計の事後分布のグラフも作りました。
添付画像が事前分布です。(かなりテキトーに設定した)
サンプルを生成させた分布がGamma(10,1)なので、μ, σ²の真の値はどちらも10です。
続く
github.com/genkuroki/publ... pic.twitter.com/o2xB6bSXaZ
タグ： 統計
posted at 00:29:50
#統計 添付画像がサイズ10のサンプルの事後分布の例です。
事後分布が真の値(10, 10)の近くに集まってきている。
github.com/genkuroki/publ... pic.twitter.com/6NPz2Xbxgb
タグ： 統計
posted at 00:31:16
#統計 サイズ10のサンプルの場合の
μの事後分布
と
σ²だけを動かして最大化した尤度の値
を同時プロット。尤度の側は適当に正規化してあります。
サンプルサイズ10の時点でかなりいっちしている！ pic.twitter.com/Lq0Htkkgun
タグ： 統計
posted at 00:33:32
#統計 サンプルサイズ20の場合。グラフ上で
ベイズ統計でのμに関する事後分布
と
各μごとにμを固定して最大化した尤度
がぴったり重なって来ている！ pic.twitter.com/KghG6yV2cs
タグ： 統計
posted at 00:36:21
#統計 サンプルサイズ40ではさらによく一致
この場合にはサンプルサイズ20程度で、以下の3つのどれを使っても結果は同じになると言って良さそうなことが分かりました。
* t検定のP値
* 尤度函数の各μごとにμを固定した最大化
* ベイズ統計でのμに関する事後分布
github.com/genkuroki/publ... pic.twitter.com/4LybsE2JBG
タグ： 統計
posted at 00:39:54
#統計 データの数値と統計モデル+パラメータ値の整合性を測るための道具として、
* P値函数
* 尤度函数
* 事後分布
は3点セットだと覚えておけば、使える道具を増やし易いと思います。
そして、このスレッドで示した例は「ロゼッタストーン」のようなものだと思えます。
github.com/genkuroki/publ...
タグ： 統計
posted at 01:01:29
@Tei393098 @samakikaku @breathingpower これもそれの亜流ですね。www.gohongi-clinic.com/k_blog/1164/
タグ：
posted at 08:22:37
内藤誉三郎、こんなところでその名前を目にするとは。#超算数 では1858年指導要領関係で取り上げたことがあります。ちなみにウィキペディアja.wikipedia.org/wiki/%E5%86%85...。官僚からゴリゴリの保守政治家になったようですね。
タグ： 超算数
posted at 08:44:15
@kuwamitsuosamu @samakikaku @breathingpower 初めまして😊ありがとうございます
私も疑問に思ってました「EM否定、裁判まで行かなくても地元信者ともめて校長降参」になってるのではないかと
＞プールへの自家培養したEM菌散布をOKし今後のEM菌散布の予算の見積もりを依頼した校長先生、事前に調べることをしなかったの？
www.gohongi-clinic.com/k_blog/1164/
タグ：
posted at 08:49:29
@kuwamitsuosamu @samakikaku @breathingpower 校長先生に自家培養EMを渡した「上流域に暮らすEM婦人」は岐阜県（又は近郊に）お住まいでしょうか🤔
市外局番058。
「おたまじゃくし大量発生💖」の投稿日が2月28日で昨年撒いて「おたまじゃくし」は、時系列がヘンな文章
見積依頼ということはEM婦人はEM販売もしてる様子
cafeohana.exblog.jp/16446058/
タグ：
posted at 09:11:33
@kuwamitsuosamu @samakikaku @breathingpower 2回目の掃除では「おたまじゃくし大量発生」してても、わからないわ。
05/24
今日はプール掃除を頑張りました。
追川消防団の方々が22日に清掃をして下さっていた
消防団の方が「プールがきれいでした。今年は、EM菌を入れたんですか？」と質問
cms.miyazaki-c.ed.jp/1820/blogs/blo...
twitter.com/breathingpower...
タグ：
posted at 09:41:01
@kuwamitsuosamu @samakikaku @breathingpower 別の学校の例
＞平成18年5月のプール清掃時に排水が少し良くなったと報告をいただきました。
それまでは金曜日に排水口を開け、月曜日に清掃する時に、まだプールの水が抜けておらずバケツリレーで水を汲み上げる必要があったのに今回はその必要が無かったということでした
ultraman1430.blog.fc2.com/blog-entry-35....
タグ：
posted at 09:47:02
@kuwamitsuosamu @samakikaku @breathingpower EMニュースは「米国の企業では、プールや池、水族館の水質の管理にEMが活用されています。」と、
すでに終了してるリンク先を証拠に紹介してる始末。
日本の企業（が後援してるではなく企業として活用してる例）や水族館のEM活用事例は無い、と思ったら
日本にはシャボン玉石けんがありましたね。 pic.twitter.com/FRl1yqwEHZ
タグ：
posted at 10:09:29
海外の院生(多分論文のURL見て来た?)に、githubのjuliaのコードにstar付けられてるので、どっかのタイミングで非線形応答のコードを整理しないとな、、、
LTの空き時間とかかな
タグ：
posted at 10:13:14
@kuwamitsuosamu @samakikaku @breathingpower 環境省は総合政策として「こどもエコクラブ事業」
・環境を大切にする心を育んでいくことを目的
2008.2.18
「こどもエコクラブ全国フェスティバル in 北九州」
後援
文部科学省／厚生労働省／福岡県教育委員会
北九州市教育委員会
協賛
シャボン玉石けん（株）
www.env.go.jp/press/9353.html
タグ：
posted at 10:35:36
@kuwamitsuosamu @samakikaku @breathingpower 実験の結果報告はされてないようですが
文部科学省の「心を育んでいく教育」にすり替わっていくのですよね
2021.8.20
＜産学官連携でシャボン玉石けん初の実証実験プロジェクト＞生活排水の環境及び生物への影響に関する実証実験プロジェクトを福岡県宗像市にて9月より開始
prtimes.jp/main/html/rd/p...
タグ：
posted at 10:40:02
#統計 以上では平均に関する推定や検定については、P値函数、尤度函数、事後分布のどれを使っても大差ないことを示しました。比率に関する推定や検定でも同様です。
以下のリンク先ではこのスレッドで扱わなかったBayes因子とP値の関係を示しています。
twitter.com/genkuroki/stat...
タグ： 統計
posted at 10:44:33
#統計 Bayes因子の大きさに閾値を設けて判断することは、通常のP値を使う検定の側では、有意水準αを標本サイズnの単調減少函数になるようにした場合に対応しています。
標本サイズnを大きくしたとき、有意水準が低くなるようにした場合が、ちょうどベイズ検定に対応。
twitter.com/genkuroki/stat...
タグ： 統計
posted at 10:46:40
@Tei393098 @kuwamitsuosamu @samakikaku 文部科学省は「世界最大の江戸しぐさ普及団体」という指摘がありますが、ユネスコスクールの状況を見ると「世界最大のEM菌普及団体」と言えるかもしれません。htn.to/2t1aU3JNTw
タグ：
posted at 11:00:33
@hamada30137146 #統計 この話題では、「不偏推定量にして何がうれしいの？」という疑問に答えなければ、疑問は全然解消しないと思いました。
特にn-1で割るとσ²に不偏推定量になることを一所懸命理解した人ほど「こんなに頑張って計算して何がうれしいの？」と感じると思う。続く
タグ： 統計
posted at 11:09:52
@hamada30137146 #統計 「不偏推定量にして何がうれしいの？」という質問への正直な答えは、「不偏分散が分散の不偏推定量であること自体は大してうれしくない」だと思います。
ここを大学の先生の側が正直に言わずに、とてもうれしいことであるかのような態度をとるから、みんなスッキリしない気持ちになる。続く
タグ： 統計
posted at 11:12:48
@hamada30137146 #統計 統計学入門の教科書で正直な説明がされていないことの多くは、より進んだ教科書を読めば解消します。
不偏性に関する正直な話は、すでに紹介しましたが、例えば、
竹村彰通『新装改訂版 現代数理統計学』
第7.4節「不偏推定の問題点」pp.135-139
に書いてあり、読む価値があります。
タグ： 統計
posted at 11:19:24
@hamada30137146 #統計 不偏性が大してうれしい条件でないのに、不偏分散を使うという慣習ができた理由については、歴史について調べないと分からないことだと思います。
考えられる１つの理由はよく使われて来たt検定などとの関係です。t検定とは補正無し標本分散よりも不偏分散の方が相性がよいと思います。
タグ： 統計
posted at 11:22:40
@hamada30137146 #統計 検定や区間推定の結果は多くの人が報告するものなので、結果を比較し易くするために、みんなで同じ流儀で計算する慣習を作ることは十分に合理的です。
そういう文脈では、t検定との関係で不偏分散を使う慣習を作ることには十分な合理性があると思います。
タグ： 統計
posted at 11:25:54
@hamada30137146 #統計 不偏分散がよく使われている理由は、数学的合理性や科学的合理性ではなく、複数の研究者達がコミュニケーションを円滑にするために作り上げた慣習にあるのだと私は思います。
そういう社会学的な話について詰めた議論をしてくれる人がいるととてもありがたいと思っております。
タグ： 統計
posted at 11:28:15
@hamada30137146 #統計 竹村彰通『現代数理統計学』第7.4節「不偏推定の問題点」にはこんな感じのことが書いてあります。 twitter.com/genkuroki/stat... pic.twitter.com/XGtlCIiNmW
タグ： 統計
posted at 11:38:36
非公開
タグ：
posted at xx:xx:xx
#統計 教育分野で起こりがちなことは、
①Aという慣習ができあがる。
↓
②その慣習について教えければいけない人達が出て来る。
↓
③単なる慣習に特別な価値があると教える人が出て来る。
↓
④グダグダになる。
例：A=補正無し標本分散よりも、不偏分散を主に使うこと twitter.com/genkuroki/stat...
タグ： 統計
posted at 12:27:17
#統計どちらかと言えば、「不偏にすると平均的に誤差が小さくなる」よりも、「不偏にすると平均的に誤差は大きくなる」の方が正しい場合が多いのに(トレードオフの関係になっている場合が多いのに)、不偏性が期待誤差を小さくするかのように聞こえる説明をするのは非常にまずい。
タグ： 統計どちらかと言えば
posted at 12:35:30
#統計 昔からよく読まれて来た竹村さんの教科書でも、不偏性が強くこだわるべき条件ではない理由が具体例を示すことによって説明されています。
もっと普及させた方が良いのは、不偏性への不合理なほど強いこだわりを潰すために必要な知識だと思います。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 12:40:01
#統計 竹村さんの本での、(7.38)式で定義されたμ̂²がμ²のUMVUEになっていることの証明でも「地元にヤンキー俺ひとり！だから地元で俺最強！」論法を使っています。同書p.133の定理7.2を参照。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 12:54:29
#統計 竹村さんが「不偏推定の問題点」の節の以下のリンク先で引用していない部分で、Stein推定の話も紹介しています。
Stein推定は、最尤法がひどいオーバーフィッティングを引き起こす場合に、事前分布の使用でその害を緩和できるという話になっています。
詳しい解説→ nbviewer.org/gist/genkuroki... twitter.com/genkuroki/stat...
タグ： 統計
posted at 13:17:44
新しい記事がQiitaにアップされました！#Julia言語 #Julia日本語記事
qiita.com/WolfMoon/items...👈
タグ： Julia日本語記事 Julia言語
posted at 14:27:25
理学修士(数学)の人が掛け算に順序があるっていう方が衝撃の事実。
（嘘、えっ？その経歴でっていう人は時々いる） twitter.com/keijuku_nakats...
タグ：
posted at 14:38:29
新しい記事がQiitaにアップされました！#Julia言語 #Julia日本語記事
qiita.com/WolfMoon/items...👈
タグ： Julia日本語記事 Julia言語
posted at 15:42:12
#統計 #Julia 母平均の検定・推定のt-testとベイズ法の比較を拡充した。
以下の添付画像の場合には、サンプルサイズm=80で通常のt-testから来る予測分布とベイズ法による予測分布はほぼ一致している。
github.com/genkuroki/publ... pic.twitter.com/VOOhVdCxtW
posted at 17:49:16
#統計 サンプルはガンマ分布Gamma(10,1)で生成している。真の平均と分散がともに10の場合になっている。
サンプルサイズm=10では、2×2に並べた右下の予測分布のグラフはt-testとベイズでかなりずれている。
github.com/genkuroki/publ... pic.twitter.com/YfEKjalEbW
タグ： 統計
posted at 17:52:20
#統計 サンプルサイズm=20
ベイズ法の側の予測分布は事後分布で正規分布の平均を取ったもの。
t-test側の予測分布は、パラメータμの確率的揺らぎの影響を入れたものになっている。(正規分布のパラメータを最尤法で決めたものではない)
github.com/genkuroki/publ... pic.twitter.com/No6ywK7HNU
タグ： 統計
posted at 17:55:33
#統計 サンプルサイズm=40 (倍々に増やしている)
右下の予測分布の違いが小さくなって来ており、色々一致してきている。
github.com/genkuroki/publ... pic.twitter.com/mzdYXc2i6X
タグ： 統計
posted at 17:57:24
#統計 サンプルサイズm=80
ここまで一致すれば、
t検定とベイズ法は同じことをやっている
と言って良いと思う。
右下の予測分布は真の分布(今の場合はGamma(10,1))にKL情報量の意味で最も近い正規分布に近付きます。正規分布モデルではこうなる。 pic.twitter.com/POgi7ickrE
タグ： 統計
posted at 18:00:05
#統計 自分で、正規分布のベイズ法の実験に必要な公式集が
nbviewer.org/github/genkuro...
正規分布の共役事前分布(正規ガンマ分布)
にあります。ベルヌイ分布モデルのベイズ法の公式集は
nbviewer.org/gist/genkuroki...
Bernoulli分布モデル
にある。WAIC, LOOCV, free energy, WBICの公式も全部書いてある。
タグ： 統計
posted at 18:15:06
#統計 ベイズ統計が真に威力を発揮しない場合にも、ベイズ統計の方法を使うメリットはあります。
数学的技巧を使って作った公式を用いて実装された特別な統計パッケージを使わずに、「ベータ分布の乱数を100万個ずつ生成すれば簡単にチェックできるよ」のようにできたりします。
例
↓ twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:31:31
UFO教授 (藤木文彦 Fumihiko @UFOprofessor
@sekibunnteisuu どうして数学科を出られたのか不思議ですね。入る方は、偶然入れる事はあるでしょうけど。
タグ：
posted at 18:34:49
#統計
以下のリンク先の例は本質的にABテストと同じです。
以下のリンク先のようにベイズ的なモンテカルロ法でリスク比の区間推定を行った結果は、通常のP値を使う方法での信頼区間とよく一致します。
ベイズ統計を使っても同じことしかできない場合になっている。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:40:04
#統計 ベイズ統計を使っても通常の信頼区間と同じ結果になる場合なのに、一部に、ベイズ主義に関する予備知識がないと理解できない統計分析法を使っているかのように誤解しているように見える人達がいました。
こういう社会的に重要そうな事柄の判断でそういうことを持ち込まれるとマジで困る。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:43:30
@MjUx3HgaZMTmPOx @LimgTW @keijuku_nakatsu 【日本人は
１つ分✕個数と書くことが多いから
１つ分✕個数と書くようにしようか
と説明しています】
何故そんなすぐばれる嘘をついてまで
児童の実生活を否定し、
掛け算の順序を押し付けようとするのですか？
日本ではどちらの順序も流通していますよ？
twitter.com/genkuroki/stat...
タグ：
posted at 18:45:09
新しい記事がQiitaにアップされました！#Julia言語 #Julia日本語記事
qiita.com/ishigaki/items...👈
タグ： Julia日本語記事 Julia言語
posted at 18:55:15
黒木先生こんにちは。
最近統計を勉強しはじめたばかりの者なのですが、p値について調べていたところ、
www.nri.com/jp/knowledge/g...の記事が検索上位に出てきました。この記事内での回帰分析結果の検定の流れ(特に7.と記されている結末)は誤りだと思うのですが、ご見解いただけませんでしょうか。 twitter.com/genkuroki/stat...
タグ：
posted at 18:56:18
JuliaでMPI使った並列計算で性能出ないと悩んだ件。なんでこんなこと起きるか情報いただけるとうれしいです。
qiita.com/ishigaki/items...
タグ：
posted at 19:06:09
@doublecovering #統計
www.nri.com/jp/knowledge/g... をクリックした途端に以下の添付画像の説明が見えたので、これはひどいと思いました。
こういうクズページを参考にしてはいけないと思いました。
でも、この手のゴミは検索すれば山のように見つかると思う。
あと、回帰分析ではまず散布図をプロットしないとダメ。 pic.twitter.com/xo9aWd913F
タグ： 統計
posted at 19:10:10
振り返ると、このJulia旅行はめちゃくちゃプロダクティブで、2週間ほどの滞在で18 commitsと15 PRをJuliaLang/juliaに上げることができた。久々の旅行は楽しい反面慣れてなくて、帰国した後にちょっとメンタルがバタついたけどもう落ち着いた。次に行くときはもう大丈夫そう。
github.com/aviatesk?tab=o...
タグ：
posted at 19:35:05
@tomoak1n @Yta8Ntion1FKvR0 @golgo_sardine @keijuku_nakatsu やり方覚えるのが算数、などと言っているのですね。
ダメだこりゃ～ pic.twitter.com/m2JWSWhhsU
タグ：
posted at 20:19:28
夜、汗でＴシャツがドロドロになるので、今季初の自室冷房で
２８℃まで下げたが、棋力は向上しないようだ。 🥴
「 [ ５路 Lv１ ] ８対１１で敗北しました。」 ０勝１３１敗
#ぷよ碁
#囲碁
puyogo.app/rp?kf=QjMkNCIy...
posted at 20:33:48
nieru.net/TaKu/10/4
市川 伸一氏は低学年，中学年では、【理解を重視した学習方略を使用】していないような発言をしています。
それの亜種(発達段階の悪用)のように思えます。
#超算数 ではありがちなのかもしれません。
twitter.com/sekibunnteisuu...
タグ： 超算数
posted at 20:45:11
相変わらず、こういうデタラメなことを言う人が現れて。
指導要領なんて公開されてるんだからでたらめ言う前にググりましょう pic.twitter.com/MW0iyVLi3A
タグ：
posted at 21:29:45
@E_Fessenden @sekibunnteisuu @tkawai18_tkawai 「3×4=3+3+3+3」であって「3×4=4+4+4」ではないというのは、等号をどう認識しているのだろう。
タグ：
posted at 21:58:30
@takusansu @sekibunnteisuu @E_Fessenden @tkawai18_tkawai 「認識」って何それ美味しいの？世の中はルールなんだよ♬ とか言いつのるのだろうなぁ。
タグ：
posted at 22:09:32
@takusansu @genkuroki @E_Fessenden @sekibunnteisuu @tkawai18_tkawai 計算結果が同じなだけで、"意味" ってのが異なるらしい。
タグ：
posted at 22:18:27
#統計 P値函数・尤度函数・事後分布のどれかについて考えるときには、発想を「成立する確率」や「含まれる確率」から「データの数値との整合性」に切り換えることが重要。
それら3つを比較するときには、発想を「ぴったり等しい」から「近似的に等しい」(標本サイズ→大)に切り換えることがポイント。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 22:23:38
@LimgTW @takusansu @genkuroki @E_Fessenden @sekibunnteisuu 更におかしな予備校講師が参加でカオス。乙ですw
タグ：
posted at 22:56:53
@LimgTW @genkuroki @E_Fessenden @sekibunnteisuu @tkawai18_tkawai 「3×4=3+3+3+3」や「3×4=4+4+4」は正しいが、「3×4」と「3+3+3+3」は"意味"が同じで、「3×4」と「4+4+4」は"意味"が異なる？
私には想像出来ない世界ｗ
タグ：
posted at 22:59:55
@takusansu @genkuroki @E_Fessenden @sekibunnteisuu @tkawai18_tkawai この方はいわゆる掛け算の順序とも違う意味付していることに注意。問題視されている掛け算の順序を把握してない可能性が高いです。これはこれで問題だが、別問題として切り分けた方が吉。 twitter.com/limgtw/status/...
タグ：
posted at 23:04:02
#統計 実はAさんは0.5から1.0の間の数を選んでいる確率が高いことが分かっていたとします(Aさんの癖)。
そこで、事前分布をBeta(7, 3)に設定することにします(添付画像)。
さらに話を簡単にするために、実際にAさんはこの事前分布に従ってpの値をランダムに決めると仮定しましょう。続く pic.twitter.com/dFYnrmhukL
タグ： 統計
posted at 23:45:15
#統計 そういうAさんが「n=2回中k=1回がp以下だった」と報告して来たなら、pの事後分布は
Beta(7+k, 3+n-k) = Beta(8, 4)
になります。
pが含まれる確率が95%の区間は例えば [0.39026, 0.89074] と作れる。
以上の結果のまとめ
↓ pic.twitter.com/f6BjPE0W7Q
タグ： 統計
posted at 23:49:52
#統計 以上の設定で、Wilsonの95%信頼区間にpが含まれる確率は95%では全然なくて、98.5%になります！
確かにこの場合には、「95%信頼区間にpが含まれる確率は95%だ」と言うことは、「近似的に」という但し書きを付けても言い難いです。続く pic.twitter.com/KmMlyOrjYQ
タグ： 統計
posted at 23:52:44
