黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年07月28日(木)
非公開
タグ:
posted at xx:xx:xx
非公開
タグ:
posted at xx:xx:xx
ほりたみゅ (mastodonも見てね) @Hyrodium
s9からs12までの例を追加して更新しました!
zenn.dev/hyrodium/artic...
タグ:
posted at 22:19:20
#統計
① θ = P(X < Y) + (1/2)P(X = Y) = 1/2 だが、最悪のケースであってもYはそう悪くなく、Yは良い場合には非常に良い。
② 中央値が等しくても、θ = P(X < Y) + (1/2)P(X = Y) > 1/2 となる場合。
③ 中央値はXの方がYよりも大きいが、XがYに負ける確率が 1/2 より大きい場合。 pic.twitter.com/Q0NMHi2u04
タグ: 統計
posted at 21:49:33
#統計
lbm.ab.a.u-tokyo.ac.jp/~omori/kensyu/...
ノンパラメトリック検定
大森宏
2018.11.13
これもなぜか、t検定達は母集団分布が正規分布であることが疑わしい場合には使わない方が良いことにされている。
あとノンパラメトリック検定は中央値に関する検定ではない。
続く pic.twitter.com/gugyT8j1rJ
タグ: 統計
posted at 19:30:41
#統計 Mann-WhitneyのU検定の具体的な計算例はググれば嫌になるほど得られます。
この「嫌になるほど」という感想をみんなで共有したいところ(笑)
実際に検索
↓
www.google.com/search?q=Mann-...
www.google.com/search?q=Mann-...
タグ: 統計
posted at 17:00:58
#統計 ちなみに、2群に関するStudentのt検定は、2つの標本のサイズが等しければ、等分散の前提抜きに使用可能です。
2つの母集団の正規性も不要で、2つの標本平均の分布が中心極限定理によって正規分布で近似されていれば概ね十分です。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 15:51:46
#統計
【この前も正規分布しないデータをt検定にかけていたけど、その場合はマンホイットニー等を使うべきだろう。こんなことは医学部1年の4月に習うことだぞ。】
よく見る典型的な誤り。複数の意味でまずい。
本当に医学部でそう教えているなら、憂慮するべき事態になっている。 twitter.com/muuucol/status...
タグ: 統計
posted at 15:39:55
#統計
www.pu-hiroshima.ac.jp/p/ttetsuji/Sof...
↓
www.pu-hiroshima.ac.jp/p/ttetsuji/R/%...
Brunner-Munzel検定
冨田 哲治
これも、両t検定について正規性の仮定が必要だと誤解している。 pic.twitter.com/Vh3yBsPbye
タグ: 統計
posted at 15:33:02
#統計
hoxo-m.hatenablog.com/entry/20150217... の最初の方を見ると、【Brunner-Munzel 検定は、分布が同じことは仮定せず、両群から一つずつ値を取り出したとき、どちらが大きい確率も等しいという帰無仮説を検定する】と正確な説明があるのに、後の方では中央値の検定扱いしている。 pic.twitter.com/bwlwUntn4k
タグ: 統計
posted at 15:29:31
#統計
hoxo-m.hatenablog.com/entry/20150217...
マイナーだけど最強の統計的検定 Brunner-Munzel 検定
2015-02-17
の方を見ると、さらに誤解は明瞭になります。
違いの測り方を変えると全然違うことをやっていることになるはずなのに、違いの有無に関する検定として同列に扱うという「伝統的パターン」にも合致。 pic.twitter.com/6qVFWtBipX
タグ: 統計
posted at 15:24:50
#統計
rpubs.com/hoxo_m/57550
Brunner-Munzel 検定
RPubs
by hoxo_m 7年前
もWelchのt検定が(母集団の)正規性を前提にしていると誤解しています。
あと、Mann-WhitneyのU検定やBrunner-Munzel検定が中央値に関する検定で__ない__ことも分かっていないように見える。 pic.twitter.com/5KJR9kWz9p
タグ: 統計
posted at 15:20:36
#統計 もしかしたら、2つの分布が等しくなくても、分散が等しければMann-WhitneyのU検定を「中央値が等しいかどうか」の検定には使える、のように誤解している人は2つの添付画像の各々の右側を参照。
「等分布」と「等分散」では条件の強さが段違いです。
github.com/genkuroki/publ... pic.twitter.com/UznI0bXrIC
タグ: 統計
posted at 15:09:31
#統計
note.com/xinzuzhai/n/na...
Brunner-Munzel検定
川口秀樹
2020年4月20日 09:00
これもひどく間違っています。
2群に関するStudentおよびWelchのt検定では、2群の母集団の正規性は必要ではなく、標本平均の分布について中心極限定理による正規分布近似が有効ならば概ね使用可能です。 pic.twitter.com/UF16kIrAE7
タグ: 統計
posted at 14:53:47
#統計
blog.goo.ne.jp/r-de-r/e/2c2f1...
裏 RjpWiki
Brunner-Munzel 検定
19/05/21
は添付画像のようにひどく間違っています。
Mann-WhitneyのU検定とBrunner-Munzel検定の統計モデルが全然違うことを完全に無視するという誤りをおかしています。
検索するとこういう解説が出て来るので要注意。 pic.twitter.com/oW5tnmyqYC
タグ: 統計
posted at 14:47:11
#統計 もしかしたら、上の計算例を見て、Mann-WhitneyのU検定は
❌近似的に「P(X < Y) = 0.5 であるか否か」の検定である
と誤解する人がいるかもしれませんが、添付画像を見れば分かるようにそういうことにはなっていません。
私なら「Mann-WhitneyのU検定は原則として使用しない」としたいです。 pic.twitter.com/GVfOHwmd5r
タグ: 統計
posted at 14:14:43
#統計 以上におけるグラフの左右でXとYの分布がどうなっているかは添付画像の通り。
形状は同じだが、横方向のシフトの仕方が違う。
左側ではP(X < Y)=0.5となっており、右側では中央値が一致している。
github.com/genkuroki/publ... pic.twitter.com/ZTu69KvN20
タグ: 統計
posted at 14:03:39
#統計 同じ場合に、XとYの中央値が一致させて計算してみると(右側のグラフ)、Mann-WhitneyのU検定のP値が5%以下になる確率は32%以上もの値に!
これから、2つの分布の一致抜きに、中央値が等しいかどうかの検定をMann-WhitneyのU検定でできないことが分かります。
github.com/genkuroki/publ... pic.twitter.com/id5KCjgFWT
タグ: 統計
posted at 14:00:43
#統計 Mann-WhitneyのU検定のP値は、2つの分布が等しいという仮定の下で計算されます。
2つの分布が等しくなくても、左側のように、P(X < Y) = 0.5 が成り立つようにすると、P値がα以下になる確率がほぼαになることはあります。続く
github.com/genkuroki/publ... pic.twitter.com/SJH2HtgEZb
タグ: 統計
posted at 13:56:30
#統計 添付画像は、Xが-1と1の間の一様分布に従い、Yが指数分布をシフトした分布に従っている場合です。
左:P(X < Y) = 0.5 になるようにシフトした場合
右:XとYの中央値が一致するようにシフトした場合
左と右で全然違う!
github.com/genkuroki/publ... pic.twitter.com/xnWKu2eHLv
タグ: 統計
posted at 13:53:42
#統計 2つの母集団分布が等しいという現実には保証されることが稀なはずの仮定の下で計算されたMann-WhitneyのU検定のP値によって、中央値が等しいかどうかの検定をできると誤解している人も多いように見えます。
これもちょっと計算すれば誤りだとすぐに分かります。
github.com/genkuroki/publ... pic.twitter.com/ZFREjFqYMw
タグ: 統計
posted at 13:49:43
ほむほむ先生 @ped_allergy の解説が分かりやすすぎて感動的です。
・カロナール以外にもアセトアミノフェン製剤はあります。
・子どもと妊婦さん(と腎臓が悪い人)以外はアセトアミノフェンである必要はないし、できればアセトアミノフェンがよいというわけでもないです。
news.yahoo.co.jp/byline/horimuk...
タグ:
posted at 13:47:39
訂正
❌Y側の分散と標本サイズがともにX側の2倍
⭕️Y側の分散はX側の2倍で、Y側の標本サイズがともにX側の半分 twitter.com/genkuroki/stat...
タグ:
posted at 13:43:03
#統計 Yの側の標準偏差をXの側の2倍にするだけではなく、Xの側の標本サイズをYの側の2倍にすると、Mann-WhitneyのU検定のP値が5%以下になる確率は8.5%程度になっています!
これはひどい。
Mann-WhitneyのU検定を安易に使うと、こういう不当な方法で有意差を出せてしまう!
github.com/genkuroki/publ... pic.twitter.com/n9hHoc4PXK
タグ: 統計
posted at 13:41:12
#統計 今度は、X側は標準正規分布で、Y側は平均0標準偏差2の正規分布の場合。サンプルサイズはどちらも25です。
左側のMann-WhitneyのU検定ではP値がα以下になる確率は上側に少しオーバーシュートするようになりました。
個人的な意見ではこの程度のオーバーシュートは許容範囲。続く pic.twitter.com/G9Ey9aj8PE
タグ: 統計
posted at 13:37:57
#統計 添付画像は、2つの分布が共に標準正規分布の場合の、Mann-WhitneyのU検定でP値がα以下になる確率(左)とWelchのt検定でP値がα以下になる確率(右)です。
45度線にどちらも近く、それらの確率はαに近い。続く
github.com/genkuroki/publ... pic.twitter.com/GCg0YvI9QY
タグ: 統計
posted at 13:34:48
#統計
kasuya.ecology1.org/stats/utest01....
Mann-WhitneyのU検定と不等分散
粕谷 英一 2001
への計算例補足。
Y側の分散と標本サイズがともにX側の2倍のとき(どちらも平均0の正規分布)、Mann-WhitneyのU検定では、P値が8.5%の確率で5%未満になる。(約5%であってほしい。)
github.com/genkuroki/publ... twitter.com/genkuroki/stat... pic.twitter.com/m54eiUflq2
タグ: 統計
posted at 13:21:13
#統計 サンプルサイズを大きくしても(大きくすると)、帰無仮説=モデル0が正しいときに、帰無仮説=モデル0が棄却される確率は約15.7%になります。
これを知っていれば、検定の知識さえあれば、 www.jstage.jst.go.jp/article/seitai... の内容を理解できます。
タグ: 統計
posted at 11:52:19
#統計
www.jstage.jst.go.jp/article/seitai...
生態学におけるAICの誤用 : AICは正しいモデルを選ぶためのものではないので正しいモデルを選ばない
粕谷 英一 2015
へのコメント
そこで扱われている場合は、本質的に
有意水準15.7%の検定では、真のモデルを約15.7%で棄却する
と同じです。続く twitter.com/genkuroki/stat...
タグ: 統計
posted at 11:41:13
how close can you get expressing the most beautiful equation in #JuliaLang REPL? pic.twitter.com/ViFmUX1u8p
タグ: JuliaLang
posted at 10:13:39
ax+bx=cx
が(a,b,c)の値によって方程式と呼んだりそう呼ばなかったりするのは、不自然だし不便な気がします。 twitter.com/genkuroki/stat...
タグ:
posted at 08:41:14
#rstudioconf2022 で発表さたRStudio社の社名変更(RStudioからPositへ)。Python実行環境の整備やreticulateによる連携、QuartoでのPython, Julia, Observableといった多言語への広がりを見せていただけに納得。何より「データサイエンスのためのR」を超えた使命をきちんと宣言しているのが推せるっ!
タグ: rstudioconf2022
posted at 07:52:49
World and Science @WorldAndScience
How many Humans have ever lived?
(Credit: Max Roser) pic.twitter.com/WVZbz6HFNq
タグ:
posted at 04:59:06
変化する RStudio
とりあえず社名変更とのことです。
R方面も強化しつつPythonなどを扱えるように横方向に拡張していきたいという雰囲気でした。
既にリリースされている、Quarto(RだけでなくPythonやJuliaを扱えるえる)についても言及されてます。
www.infoworld.com/article/366825...
タグ:
posted at 01:18:40
Morph the Cat.
The cat formula found! 😼 www.deconbatch.com/2018/11/morph-...
mtc-220728005501
#processing #generative #creativecoding pic.twitter.com/ltSO4If7NW
タグ: creativecoding generative processing
posted at 01:09:37
Mark Kittisopikul ht @markkitti
The Julia for Medical Imaging talk by Niklas Hackelberg today during #JuliaCon2022 really shows the potential for #JuliaLang for open source hardware control.
Using Julia's tasks, threads, and asynchronous I/O, Hackelberg demos control of serial and DAQ
youtu.be/chZfGfAAnpE
posted at 00:17:10
Hideki Kawahara: WAS @hidekikawahara
この結果を論文に載せるときは、さらにマイク位置の情報で補正して唇前方30cmでの音圧で表現する必要があります。今回のMATLABのAudiotoolboxは、A特性でのレベルを求めるためにだけ使っています。でも、実時間処理には必須ですので、音を使う場合には購入しておくことを(強く)勧めます。 twitter.com/hidekikawahara...
タグ:
posted at 00:02:43