黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年08月03日(水)
pdf.sciencedirectassets.com/272528/1-s2.0-...
The Mahonian probability distribution on words is asymptotically normal ✩
E. Rodney Canfield a,∗, Svante Janson b, Doron Zeilberger
2011
タグ：
posted at 23:53:44
#統計 #数楽
arxiv.org/abs/1805.08375
Counting partitions inside a rectangle
Stephen Melczer, Greta Panova, Robin Pemantle
posted at 23:50:01
#統計 ググってみた。
pure.tue.nl/ws/files/16109...
Combinatorics, computer algebra and Wilcoxon-Mann-Whitney test
A. Di Bucchianico
1996
タグ： 統計
posted at 23:41:53
理解に至るには、地道に格好悪く、クソ面倒な作業に膨大な時間をかけるしかない。
* どれだけ計算してみたか？
* 図はどれだけ描いたか？
* どれだけ文献を読んだか？
* どれだけ自力で試行錯誤したか？
* きちんと甘い考え方を捨てたか？
タグ：
posted at 23:37:46
あと、直交射影について勉強しておくと
標本平均とn-1で割る不偏分散
Σ_{i=1}^m (X_i - X̅)² + Σ_{j=1}^n (Y_j - Y̅)² をn-2で割って作った不偏分散
単回帰とn-2で割る不偏分散などのことを
などの説明で使われる「自由度」という曖昧な言葉の論理的に明確で視覚的直観に直結した定義が得られます。
タグ：
posted at 23:32:23
Aがn-1で割る不偏分散なら、
Σ_{i=1}^m (X_i - X̅)² + Σ_{j=1}^n (Y_j - Y̅)² を何で割れば不偏分散になるか
単回帰での不偏分散
不偏分散の分散や標本平均との共分散
不偏分散の定数倍のσ²関する期待二乗誤差
不偏性を犠牲にして誤差を小さくするスタイン推定
などが、A', A'', A''', …になる。
タグ：
posted at 23:17:24
一般にAに関する議論を追ってもAについて全然理解した気持ちになれない場合には、視界をちょっと広げて、Aだけではなく、A', A'', A''', …についても調べてみると良い場合が多いと思う。
タグ：
posted at 23:17:22
#Julia言語 この本は非常に良い本。
この本の記述には独特の美しさがあって、ものすごく繊細な神経を使って書かれているように見えます。単に役に立つ以上の本になることを著者達は目指したのだと思う。
整然としていてシンプルな様子は非常に独特。
Juliaを使わない人も買う価値があります(笑) twitter.com/abap34/status/...
タグ： Julia言語
posted at 22:38:45
#統計 統計学の話なので中心極限定理が使えます。
添付画像は(21, 10)のq二項係数の係数から作った確率分布と、その正規分布近似の同時プロットです。
n, k = 21, 10 程度ですでに十分に正規分布近似の精度が高くなっています。
nbviewer.org/github/genkuro... pic.twitter.com/StctSq0RDu
タグ： 統計
posted at 22:29:28
#統計 #数楽
添付画像①Wilcoxonの順位和の分布のグラフ
②q二項係数のqの多項式としての係数から作った確率分布
③一致の確認
④q二項係数であることの確認
というわけで、Wilcoxonの順位和検定=Mann-WhitneyのU検定は本質的に(またしても！)q二項係数の数学でした！
nbviewer.org/github/genkuro... pic.twitter.com/OALQh49OIx
posted at 22:25:55
#統計 重複(tie)無しの場合のWilcoxon-Mann-Whitney検定の確率計算で使われる母函数は数学者達にとってなじみ深いものになっています。
実はその母函数はq二項係数の母函数になっており、q二項係数のqの多項式としての係数達が確率分布を記述しています。続く
nbviewer.org/github/genkuro...
タグ： 統計
posted at 22:21:22
Sato Shuntaro｜佐藤俊太朗 @Shuntarooo3
さらに、ぼくらが巻き込まれやすい研究不正行為についてもお伝えします。オーサーシップなんて、おかしいと思うことありますよね？
なんでぼくがこんなに研究不正行為や再現性の問題に関心を持つようになったのか。
強烈な動機があります。この動機についても少しお話ししたいです。
タグ：
posted at 22:00:09
Sato Shuntaro｜佐藤俊太朗 @Shuntarooo3
検定大好きな人。有意差大好きな人たくさんいます。でもそれは時代遅れです。それを求めるせいで同じ結果が再現できないかもしれません。
今回は、研究の再現性を担保するための手段をいくつか紹介します。
・データセット仕様書
・統計解析計画書
・どこで検定するか
・どういう検定・解析はまずいか
タグ：
posted at 22:00:08
The Julia Language @JuliaLanguage
"Embedding Julia libraries in C++" by @MatthijsCox #JuliaLang
forem.julialang.org/matthijscox/em...
タグ： JuliaLang
posted at 22:00:01
「1週間で学べる！ Julia数値計算プログラミング」のサポートページに、3日目までの動作確認したコードを置きました。4日目以降は確認次第置きます。
cometscome.github.io/YukiNagai/ja/b...
タグ：
posted at 20:52:33
#統計 標本平均に付随する不偏分散を作るときに使われるn-1は、ℝⁿの1次元部分空間{(t,t,…,t)|t∈ℝ}の直交補空間への射影のトレースの値です。
単回帰では、2次元部分空間{(β₀+β₁x₁,…,β₀+β₁x_n)|β₀,β₁∈ℝ}の直交補空間のトレースの値n-2で割ることになる。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 20:31:33
#超算数
うっかり見逃してしまったが、重要な情報を見逃していた。
「指導教官」って、大学の先生という意味だよね？
大学の先生で、教員志望学生に足し算の順序が"逆"なら△、と指導している人がいるらしいです。 twitter.com/sekibunnteisuu... pic.twitter.com/SQpuK7jHxS
タグ： 超算数
posted at 20:26:31
@ebimirin0505 ＞合併と増加、という視点で考えることはしていなかったので勉強になりました！
確認ですが、そのような視点で考えないことが正しくて正常です。
＞勉強になりました！
算数教育ではそういうおかしなことが教えられていると知って勉強になった、ということですよね？
タグ：
posted at 20:20:00
#統計 一般に平均μと分散σ²と過剰尖度κ₄を持つ分布の標本X_1,…,X_nについて、X̅をその標本平均とし、
V_a = a Σ_{i=1}^n (X_i - X̅)²
を分散の推定量とみなすとき、期待二乗誤差
E[(V_a - σ²)²]
を最小化するaは
a = 1/((n-1)(1+κ₄/n+2/(n-1)) = 1/(n+1+(1-1/n)κ₄)
になり、続く twitter.com/genkuroki/stat...
タグ： 統計
posted at 20:05:44
夏休みにJulia始めたい人はこれ読んでおけば間違いないです！おすすめ
1から始める Juliaプログラミング 進藤 裕之 www.amazon.co.jp/dp/433902905X/... via @amazonJP
タグ：
posted at 20:05:07
markdown + pandoc でスライドを作成する時に必要なのでメモとして残します
いずれLaTeXそのものでなくmarkdownに移行したいので（書き直す時間あるかなぁ）
pandoc-doc-ja.readthedocs.io/ja/latest/user...
タグ：
posted at 19:51:51
このかわいさの破壊力よ
「仕事疲れぶっ飛びの破壊力」 子猫が寝ながら前足をグーパー→猛烈なかわいさに「夢の中で何してるのかな？」
nlab.itmedia.co.jp/nl/articles/22... pic.twitter.com/fmmMLCMd1L
タグ：
posted at 19:05:00
@Sheeeeepla ↓で言及されている不具合に気付いて修正。
twitter.com/sakeikuratarak...
修正版（99bytes/87文字）
```
15|>s->while s!=1911;s=2s%4096+(i=rand()<.5);print.('ド'.-[16,22]i);end;println("ラブ注入♡")
```
昨日のも同じ不具合を含むけれど同じbytes数で書き換えできた↓参照
mybinder.org/v2/gist/antimo...
タグ：
posted at 18:55:33
@ebimirin0505 失礼します。元の質問は足し算の順序です。
＞小学生のうち(特にかけ算を習いたてのとき)は順序が間違えていれば❌でもいいんじゃないでしょうか🙆🏻
なぜでしょうか？ pic.twitter.com/kusts3kyoO
タグ：
posted at 17:48:24
Introducing NMRTools.jl: a simple, open source interface for NMR data in Julia. A poster entry for #GlobalnmrTC2022. Interested? Questions? Get in touch! #nmrchat #julialang #openscience @School_Pharmacy @UCLLifeSciences pic.twitter.com/85xfgThl4M
タグ： GlobalnmrTC2022 julialang nmrchat openscience
posted at 16:30:00
れはあきらかに犯罪行為です。それを「賛否」などという両論表記をすることは、さらに犯罪を重ねる行為です。マスコミは、なんでもかんでも「賛否」と両論を表記して責任から逃げますが、その表記そのものが犯罪を許し、加担しているのです。世の中には、「賛否」と書いてはいけないものがあるのです。 twitter.com/YahooNewsTopic...
タグ：
posted at 16:12:32
Claudio Moroni @Claudio__Moroni
Please join us if either:
- You're interested to contribute or you know students/researchers/developers who might be interested;
- You could transfer some of your relevant repositories to JuliaEpi;
- You are interested in epidemiology in Julia.
#JuliaLang #EpiTwitter twitter.com/JuliaLanguage/...
タグ： EpiTwitter JuliaLang
posted at 16:00:01
@hamada30137146 不偏性と誤差の大きさがトレードオフの関係になるという現象は普遍的で、事前分布を使うベイズ統計の数学的仕組みが予測誤差を小さくする仕組みの一部分の説明にもなっています。
スタイン推定についての私の解説が
nbviewer.org/gist/genkuroki...
Ridge正則化とStein推定量
にあります。
タグ：
posted at 15:36:39
@hamada30137146 竹村彰通『新装改訂版 現代数理統計学』のpp.135-139の最後では、不偏性を犠牲にすると誤差を小さくできる場合に関する例として有名な「スタインのパラドックス」が説明されています。
そのスタイン推定は事前分布が誤差を小さくするために役に立つ例ともみなせます。
twitter.com/genkuroki/stat...
タグ：
posted at 15:34:24
@hamada30137146 例外的にほぼ無害でよく使われている不偏分散の作り方では、数学的には直交射影の余次元が分母に来る仕組みになっています。
直交射影との関連がわかれば、計画行列がn×rになる線形回帰の場合に、不偏分散の分母が n-r になることも理解できます。
単回帰ではr=2なのでn-2で割ることになる。
タグ：
posted at 15:27:50
@hamada30137146 むしろ、「期待二乗誤差などの意味での誤差を小さくするために、バイアスが生じることを甘受する」というようなことの方が実践的には普通だと思われるので、例外的によく使われている不偏推定量である不偏分散の価値を過大に見せることは統計学教育として有害だと思われます。
タグ：
posted at 15:24:36
@hamada30137146 推定量の「不偏性」と「期待二乗誤差がより小さいこと」は別の問題です。
一般に「不偏性」は統計学においてそう重要な条件ではありません。標準的な教科書では、例えば、竹村彰通『新装改訂版 現代数理統計学』のpp.135-139に「不偏推定」にこだわり過ぎることが有害であることの解説があります。
タグ：
posted at 15:22:41
@hamada30137146 よく使われている期待二乗誤差で誤差の大きさを測ると、正規母集団の分散の推定において、不偏分散の誤差は補正無し標本分散より大きくなるので、不偏分散を使った方が平均的に誤差が小さくなるかのように安易に語るのは非常にまずいです。
タグ：
posted at 15:19:06
@hamada30137146 標準正規分布の標本の不偏分散が1より大きいときには、それよりも小さい補正無しの標本分散の方が真の値の1に近くなります。
その影響を測る必要があります。
そして、その測り方によって、不偏分散と補正無し標本分散のどちらの誤差が大きいかに関する結論が変わります。
誤差の測り方が重要。
タグ：
posted at 15:16:31
@hamada30137146 標準正規分布のサイズnの標本分布について、不偏分散と不偏補正無しの標本分散の期待二乗誤差(1との差の二乗の期待値)を計算すると、不偏分散の方が大きくなります。
twitter.com/genkuroki/stat...
タグ：
posted at 15:15:02
@hamada30137146 「平均的に目標に一致させる」ために不偏分散を使うという説明の仕方だと、「平均的に目標に一致させる」の意味が曖昧過ぎるせいで、ひどくミスリーディングな解説になっているので、早めに撤回した方がよいと思いました。
理由は以下のリンク先を見ればわかります。
↓
twitter.com/genkuroki/stat...
タグ：
posted at 15:10:29
#統計 Mann-WhitneyのU検定のtieがある場合にも対応しているexact版の効率的な実装に興味がある人のためにググった結果も紹介。
pure.tue.nl/ws/files/13304...
や
www.sciencedirect.com/science/articl...
#Julia言語 で実装した人がいたらコードを見せてもらえるとうれしいです。
twitter.com/genkuroki/stat...
posted at 13:53:16
#統計 2つの母集団の分散も中央値も等しいのに、Mann-WhitneyのU検定を使うと、有意水準5%で有意差が出る確率が34%を超える場合があることを示す例
↓
twitter.com/genkuroki/stat...
タグ： 統計
posted at 13:43:51
#統計 Mann-Whitney U-test (= Wilcoxonの順位和検定)を「Aの方がBより優れている」という意味での「有意差」を出すために使いたい人は、そのための使用条件が極めて厳しいことに注意するべきです。
twitter.com/genkuroki/stat...
タグ： 統計
posted at 13:36:48
#統計 #Julia言語
nbviewer.org/github/genkuro... のコードには珍しくコメントが大量についているのはそういう理由。私自身がはまった部分があったので、詳しくコメントを書いておいた。
posted at 13:33:06
#統計 #Julia言語
nbviewer.org/github/genkuro... には以下が書いてある.
* 事前割り当てによって新規のメモリ割り当てがゼロの組み合わせ全体の生成子の構成
* 事前割り当てによって新規のメモリ割り当てがゼロのtiedrank
* Mann-WhitneyのU検定のexact版の素朴な実装(遅いが分かり易い)
posted at 13:23:15
#統計 #Julia言語 さらに、tiedrank github.com/JuliaStats/Sta... の事前割り当て版も書いた。
しかし、X の要素がすべて整数の場合には sortperm(X) の方が sortperm!(idx, X) よりも速くなる場合があるので、常に速くなるわけではない。この辺はBaseに改善の余地が残っているかも。
posted at 13:19:40
@Sheeeeepla #Julia言語 で100切れた（98bytes/86文字）
```
1|>s->while s!=1911;s=2s%4096+(i=rand()<.5);print.('ド'.-[16,22]i);end;println("ラブ注入♡")
```
↓binder更新
mybinder.org/v2/gist/antimo...
twitter.com/Sheeeeepla/sta...
タグ： Julia言語
posted at 13:08:22
@tiseda 伊勢田先生、はじめまして。
貴重な情報をありがとうございます。
Youtubeチャンネルも廃止になってしまうのでしょうか。www.youtube.com/user/KyoDaiOcw
タグ：
posted at 11:39:57
#統計 #Julia言語 そこで github.com/genkuroki/publ... では事前割り当ての下で新たなメモリ割り当てゼロですべての組み合わせを生成する函数も書きました。
使いたい人は自由に私に許可を取らずに使って下さい。
posted at 11:36:26
#統計 #Julia言語
素朴な実装は、すべての組み合わせについて和を取ることなので、配列 X からのインデックスに重複がない m 個の組み合わせをすべて生成する必要があります。
それは github.com/JuliaMath/Comb... のcombinations(X, m) で実現できるのですが、メモリ割り当てが発生しまくります。
posted at 11:34:59
#統計 使用可能条件が極めて厳しいMann-WhitneyのU検定(=Wilcoxonの順位和検定)について数学的にちょっと面白いのは、データの数値に重複(タイ)がある場合です。
github.com/genkuroki/publ... では素朴な計算効率が最悪の実装を行ってみました。
素朴な実装なので意味は分かり易い。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 11:32:12
@ALPINA_B5_ そして数秒で
ゾロ目の奇跡が見られました。
ありがとうございます
おじゃまいたしました pic.twitter.com/Se1W5SYLYH
タグ：
posted at 08:49:05
Jean-Baptiste Lefevr @jblefevre60
Unstoppable 🏸
#AI #MachineLearning #Robotics #sport
@sallyeaves @PawlowskiMario @Fabriziobustama @gvalan @rwang0 @ipfconline1 @helene_wpli @Shi4Tech @gvalan @LaurentAlaus @kalydeoo @Ym78200 @Nicochan33 @RLDI_Lamy @ahier @3itcom @andi_staub @tewoz @AkwyZ pic.twitter.com/ei3U6IVXhX
タグ： AI MachineLearning Robotics sport
posted at 04:05:10
JuliaEpi: Collaborative Computational Epidemiology in Julia forem.julialang.org/inphyt/ann-jul... #hackernews
タグ： hackernews
posted at 00:27:17
新しい記事がQiitaにアップされました！#Julia言語 #Julia日本語記事
qiita.com/WolfMoon/items...👈
タグ： Julia日本語記事 Julia言語
posted at 00:02:27
