黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年08月14日(日)
新しい記事がZennにアップされました!#Julia言語 #Julia日本語記事
zenn.dev/suisuiso/artic...👈
タグ: Julia日本語記事 Julia言語
posted at 00:00:09
ごまふあざらし(GomahuAzaras @MathSorcerer
必ずしも必須ではありません (って書いてある)
Ref:
discourse.julialang.org/t/type-annotat...
struct に型をつけるのが面倒であれば
github.com/jonniedie/Conc...
の concrete マクロを使えばいいだけのこと twitter.com/ari23ant/statu...
タグ:
posted at 00:21:46
ごまふあざらし(GomahuAzaras @MathSorcerer
毎回思うけれどみんな
docs.julialang.org/en/v1/manual/t...
の添付のスクショ読んでます?
この部分,昔寄稿したJulia入門の記事にも触れてるんですよ.
#Julia言語 pic.twitter.com/SP0esnEjle
タグ: Julia言語
posted at 00:33:39
ごまふあざらし(GomahuAzaras @MathSorcerer
ロジックは同じだけれど LLVM の時点でもコンパイルされるものは同じになっとる.
自作ツールを作ってた自分は偉大(・ω・`)b pic.twitter.com/RGG2Cvk1v6
タグ:
posted at 00:56:51
富谷(助教);監修 シン仮面ライダー @TomiyaAkio
日本語圏のJulia知見が足りてない
(まぁ本が少ないし、使ってる人も相対的にまだ多くない) twitter.com/MathSorcerer/s...
タグ:
posted at 01:03:08
Björn Schumacher @schumacherbj
The academic system twitter.com/InterestingsAs...
タグ:
posted at 01:51:40
#統計 分割表の独立性のχ²検定で使う自由度を周辺度数を固定したときに動かせる自由に動かせるセルの個数とすることは誤りではないのですが、Pearsonのχ²検定を超幾何分布の正規分布近似経由で理解しようとするよろしくない方向に誘導するミスリーディングな説明です。続く
best-biostatistics.com/contingency/de... twitter.com/bbiostatistics...
タグ: 統計
posted at 01:58:05
#Julia言語
Juliaでは、函数の戻り値(返り値)についても型注釈を無駄に書かない方がよいです。
function f(x::Int)::Int
x/2
end
は
function f(x::Int)
convert(Int, x/2)
end
とほぼ等価です。
f(2)
→1
f(3)
→InexactError: Int64(1.5)
となる。これは嫌でしょう。 twitter.com/genkuroki/stat...
タグ: Julia言語
posted at 02:27:45
#統計 脱線。共通オッズ比の推定量にMantel-Haenszel推定量という巧妙な推定量があるのですが、最尤推定量との関係については以下のリンク先を参照。
以下のリンク先のような話は論文を探さないと読めなかった。
わかってしまえば易しい話なので誰か教科書に書きべき。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 02:40:49
#統計 脱線続き。共通リスク比に関するMantel-Haenszel推定量の類似物を独自に作ってみたら、Rothmanさん達の疫学の教科書に書いてあるものから少しずれた。MH型の共通パラメータの推定量は出所がわかりにくいのでこうやって丁寧に最尤推定量の近似としての導出の説明を書いて欲しいものだ。
↓ twitter.com/genkuroki/stat...
タグ: 統計
posted at 02:45:17
#統計
best-biostatistics.com/stat-test/w-te... の内容はとてもひどかったです。統計学の誤用に誘導する解説になっていると思いました。
❌t検定には母集団の正規性が必要。
⭕️t検定は標本平均に中心極限定理による正規分布近似を使える状況なら、母集団が全然正規分布でなくても使える。
続く twitter.com/bbiostatistics... pic.twitter.com/OAES3x1Wur
タグ: 統計
posted at 03:16:25
#統計
❌Wilcoxonの順位和検定はオールマイティ
↑
ひどい誤り
⭕️Wilcoxonの順位和検定を適切に使えるためには、 2つの母集団分布が位置関係を除いて等しいという超絶強い仮定が必要。その仮定が成立していない場合には、不当な方法で有意差を出す方法になる。
best-biostatistics.com/stat-test/w-te... pic.twitter.com/87ZP0EIbC3
タグ: 統計
posted at 03:19:49
#統計 脱線。Wilcoxon-Mann-Whitney検定を中央値に関する検定だと思う誤解もよく見られる。
等分散かつ等中央値であっても、有意水準5%のWilcoxon-Mann-Whitney検定で有意差が出る確率が30%を超える仮想的な例を容易に作れます。
↓ twitter.com/genkuroki/stat...
タグ: 統計
posted at 03:38:30
#統計 Wilcoxon-Mann-Whitney検定を「中央値に関する検定」だとみなせるためには、等分散の条件だけでは足りず、2つの母集団分布が平行移動の違いを除いて同じ分布になっているという実践的には保証できそうもないくらい強い条件が必要です。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 03:44:35
#統計 標本サイズが小さすぎない場合には、Brunner-Munszel検定が頑健です。使用可能条件がWilcoxon-Mann-Whitney検定よりも大幅に緩くなっている。
ただし、効果量をp=P(X<Y)+P(X=Y)/2で測ることは多くの目的に合っていないと思う。代替案は以下のリンク先に書いた。
↓
nbviewer.org/github/genkuro... twitter.com/genkuroki/stat...
タグ: 統計
posted at 03:50:51
#統計 効果をp=P(X<Y)+P(X=Y)/2で測ることについての注意は、Brunner-Munszel検定の使用時の注意そのもの。
小さな不快と大きな改善が半々で起こるのは良いことだと考えられるのに、添付画像のようなデータでは、
p̂ = (x_i < y_j となる割合) = 1/2
となって、BM検定では有意差が出ない。 pic.twitter.com/gXg29A0725
タグ: 統計
posted at 04:12:10
量子超越性でざっと検索したら、そういえばこのIBMの反論は読んだなと思い出した。僕は健忘症だ。
量子超越性はいまだ実証されていない。その理由は古典計算機でアルゴリズムをごりごりに頑張れば高速計算できる規模の問題しか解いてないから。つまり、量子計算機が小さすぎる twitter.com/minatoyuichiro...
タグ:
posted at 10:56:30
スキンケア&皮膚科Info by 皮膚科 @S96405539
韓流で「きゅうり🥒パック」が流行しつつあるようです。
ただ、肌に食材を塗る行為は食物アレルギー発症のリスクを高めます。実際、きゅうりパックのせいでウリ科アレルギーとなり、メロン/スイカ等を食べられなくなった例も…
「小麦粉パック」「蜂蜜🍯パック」等も危険💦真似しないで下さいね。 twitter.com/TXT_members/st...
タグ:
posted at 11:04:32
スキンケア&皮膚科Info by 皮膚科 @S96405539
【補足】より詳細は、こちら↓のツイートツリーで解説しています。
食材は「塗るもの」ではなく「食べるもの」です。口から入る分には大丈夫でも、皮膚から吸収されるとアレルギーを招きやすくて危険なのです。
食物アレルギーは命にも関わりうるので、何卒ご注意を🙏
mobile.twitter.com/S96405539/stat...
タグ:
posted at 11:05:11
スキンケア&皮膚科Info by 皮膚科 @S96405539
【補足】看護師YouTuberが紹介した小麦粉パックは非常に危険です。過去に「小麦成分入り石鹸」を使用して小麦アレルギーを発症された方々もいらっしゃいます。
mobile.twitter.com/S96405539/stat...
タグ:
posted at 11:05:27
スキンケア&皮膚科Info by 皮膚科 @S96405539
詳しく知りたい方は、コチラ↓の記事をご覧ください。「茶のしずく石鹸事件」をご存知ないお若い方もいるようです。すでに約2万回閲覧されている人気記事ですが、一人でも多くの方に知識を得ていただきたいと思います。
mobile.twitter.com/S96405539/stat...
タグ:
posted at 11:05:46
この発想はなかった。100均のメジャーで八木-宇田アンテナを作る。ビームを自在に丸められるので持ち運びも楽勝。面白い。
www.printables.com/model/258239-y...
タグ:
posted at 11:35:48
私の理解では、数学や科学の世界で誤解したり、ミスってしまったり、おかしな考え方を解説したりしてしまうことは、大して恥ずかしいことではなく、日常茶飯事に過ぎません。
問題は、ある特定の条件の下で、誤りを数十年以上訂正しない風潮が一部に生まれてしまうこと。これは恥になります。
タグ:
posted at 11:42:26
#統計
[1] best-biostatistics.com/stat-test/w-te...
→ [2] youtu.be/i7mYa77VMOI
添付画像①は[1]より。②は[2]より。
ウィルコクソンの順位和検定(=Wilcoxon-Mann-Whitney検定)の帰無仮説がブログ記事とYouTubeで違っています。
これを見るだけでも、Wilcoxonの順位和検定の理解が難しいことがわかります。 pic.twitter.com/mb8iQle6RJ
タグ: 統計
posted at 11:46:06
#統計 Wilcoxonの順位和検定が、YouTubeの動画 youtu.be/i7mYa77VMOI にあるように、
仮説「 2つの群の分布は等しい」
の検定になっているというのは正しいです。分布の形状が違っていたり、広がり方が違っていても、有意差が出易くなる。だから、有意差を不当な方法で出すために使い易い。続く pic.twitter.com/8F5sFZ2VFz
タグ: 統計
posted at 11:49:19
#統計 ブログ記事 best-biostatistics.com/stat-test/w-te... の側にあるように、ウィルコクソンの順位和検定が、 2つの分布の位置関係に関する検定だと言うこともできるのですが、そのためには、
A群の分布 = B群の分布 + a
のように A群の分布がB群の分布を平行移動して得られるという超絶強い前提が必要です。 pic.twitter.com/zzHA0ShU6R
タグ: 統計
posted at 11:52:42
新しい記事がQiitaにアップされました!#Julia言語 #Julia日本語記事
qiita.com/bontensuzuki/i...👈
タグ: Julia日本語記事 Julia言語
posted at 11:58:58
#統計 添付画像①は best-biostatistics.com/stat-test/w-te... より。②は youtu.be/i7mYa77VMOI より。
ミスリーディング!
❌母集団分布を正規分布でモデル化することによって作られた検定は現実の母集団分布が正規分布以外の場合に常に使えない
という考え方は誤りです。これはちょっと面白い話だと思う。続く pic.twitter.com/gGVpJ1jHBo
タグ: 統計
posted at 12:07:16
#統計 Wilcoxon-Mann-Whitney検定が多くの場合抜き不適切な使われ方をしていることは、昔から論文で指摘されていることです。例えば、粕谷さんは自分が書いた論文を自分で紹介しています。
kasuya.ecology1.org/stats/utest01....
Mann-WhitneyのU検定と不等分散
粕谷 英一 2001
私による計算例補足
↓ twitter.com/genkuroki/stat...
タグ: 統計
posted at 12:25:40
#統計 既出の例
添付画像②の2つの分布の分散と中央値は一致しています。
しかし、添付画像②にようにWilcoxon-Mann-Whitney検定では、有意水準5%で有意差が出る確率は34.5%程度もあります。
Wilcoxon-Mann-Whitney検定の使用時にはこういうことを気にする必要がある。
github.com/genkuroki/publ... pic.twitter.com/7Y9IqPD2Fv
タグ: 統計
posted at 12:36:02
Oldies but goldies: W. Fenchel, On conjugate convex functions, 1949. The Legendre-Fenchel transform extends the Legendre transform to arbitrary dimensions. |x|^2/2 is the only fixed point of the transform. en.wikipedia.org/wiki/Legendre_... pic.twitter.com/GTkWo5tK0W
タグ:
posted at 14:00:00
#統計 以下で、Cochran-Mantel-Haenszel検定について簡単に触れましたが、「いちばんやさしい、医療統計」では
best-biostatistics.com/hypo_test/cmh-...
に解説がありました。使用可能条件は
* k個の独立な2×2の分割表達のパラメータとしてのオッズ比が等しい(共通オッズ比の存在)。
これが説明されていない。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 15:54:43
『社会運動の戸惑い フェミニズムの「失われた時代」と草の根保守運動』は非常に面白い本なので、統一協会の問題が話題になっている今みんな読むべき。
例えば夫婦別姓制度について、計算してデマを流して成功した人物が統一協会関係者で、どういう人物であるかが非常に面白く読める本になっている。 twitter.com/atalisawali/st...
タグ:
posted at 16:00:52
統一協会関係者が計算して流したデマに騙されている無垢な一般人は結構いると思われる。
そういう可能性がある人ほど読む価値がある本。
自分を騙した奴がどういう人なのかがよくわかります。
いやあ、そういう取材をよくもしたものだと思います。
タグ:
posted at 16:04:32
著者達が「まじめ」過ぎるせいで、社会的にたくさんの人に読まれた方がよいのに、宣伝に失敗しているように思えます。
値段の安い普及版で沢山売れるような面白い本を著者達は書けると思うので期待したいです。
タグ:
posted at 16:10:33
#数楽 合っている。パーフェクトに正しい。
Wallisの公式はベータ函数とガンマ函数の話だと思うと易しくなる。 twitter.com/W8msUY70cdzJ0v...
タグ: 数楽
posted at 16:35:02
#統計 15個のランダムに作ったサンプル対X, Yについて
X と Y + a を比較
するためのWilcoxon-Mann-Whitney検定とBrunner-Munszel検定のP値をプロット。横軸が a で縦軸がP値。縦軸は対数スケール。
以下の添付画像は,標準正規分布のサイズ10,20の標本対の比較の場合。
nbviewer.org/github/genkuro... pic.twitter.com/aoGgxxcROG
タグ: 統計
posted at 16:56:00
#統計 WMWの青実線がWilcoxon-Mann-Whitney検定のP値で、BMの橙破線がBrunner-Munszel検定のP値。参考のためにWelchのt検定のP値も同時プロットしてある。
WMWとBMの違いに興味がある。 pic.twitter.com/cBlY3RcnbD
タグ: 統計
posted at 16:58:47
#統計 サンプルXとサンプルYの比較だとP値がそれぞれ1個しか得られず様子がよくわからない。
ここでは X とYの数値にaを足した Y + a を比較している。
XとY+aから無作為にとって値x_i, y_j+aについて、x_i < y_j + a となる確率が1/2になる a で、WMW検定とBM検定のP値は最大の1になる。 pic.twitter.com/BEkKMVt3Bi
タグ: 統計
posted at 17:02:31
#統計 X と Y + a の比較は、Yチームの側の戦闘力をaだけかさ上げした場合の比較になる。そのかさ上げによって、XチームとYチームが互角になるとき、WMW検定とBM検定のP値は最大値の1になる。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 17:06:18
非公開
タグ:
posted at xx:xx:xx
#統計 分散が異なる場合
Normal(0,1), Mormal(0,2)の標本サイズが(10, 20), (15, 15), (20, 10) の場合。
分散が大きな側の標本サイズが相対的にちいさくなると、Brunner-Munszel検定よりもWMW検定の方がP値が小さくなり易くなっているように見える。(青線が下に来る)
nbviewer.org/github/genkuro... pic.twitter.com/f2GtQY9HrM
タグ: 統計
posted at 17:15:03
#統計 青線が下に来ると、青線のWilcoxon-Mann-Whitney検定では有意差が出易くなる。おそらく添付画像の場合には過剰に有意差が出易くなっている。 pic.twitter.com/xOkJmTKLvJ
タグ: 統計
posted at 17:16:56
Yuichiro Minato @MinatoYuichiro
自分のITの経験から書いてみました。昔は1万円もうごかすのが大変だったのに、最近は100万、1000万単位の取引も増えてきて、成長したものです。
誰も助けてくれないフリーランスから復活する方法 by Yuichiro Minato | blueqat blueqat.com/yuichiro_minat...
タグ:
posted at 17:18:00
#統計 異なる対数正規分布の標本の比較。
対数正規分布ではWelchのt検定の直接的適用は適切ではないだろう。
添付画像の場合にはおそらくWilcoxon-Mann-WhitneyのP値は過剰に小さくなる傾向がかなり強くなっている。 pic.twitter.com/eU9sHhYMtW
タグ: 統計
posted at 17:22:47
引用【医療費を抑える。体調崩すと病院送りになって時間は取られ、お金もかかります。絶対に体調は管理することが必須です。】 twitter.com/minatoyuichiro...
タグ:
posted at 17:26:14
ワシントンで「日本の水道は全て民営化する」と語ってきた麻生財相だが、都内の火葬場は民営化して一族が手に入れた上で中国企業に株を売却していたと…。売国ってこういう風にやるんだな…。 / “東京23区の火葬料金についての連ツイに各地の火葬料金事情が寄せられその高…” htn.to/RNuXWcotWq
タグ:
posted at 17:29:39
* 函数の引数に型注釈はつけない方が良い場合が多い。
* 函数の戻り値の型注釈は原則として避けた方がよい。
のようなことは、Julia discourseでもよく指摘されて来たことなので、日本語圏以外でも、理解している人達は少数派なのだと思います。 #Julia言語 twitter.com/tomiyaakio/sta...
タグ: Julia言語
posted at 18:12:04
「函数の引数や戻り値には基本的に型注釈をつけた方がよい」と過学習してしまった人たちが、悪しき過学習から抜け出せないせいで、おかしくなっているように見える場合が多いので、情報の少なさとは別に、悪しき過学習に気付いてもらうことの難しさという問題があると思う。
タグ:
posted at 18:18:13
#Julia言語 小学生男子のごとく無意味に「うんち」と書いてあって素晴らしいです。
Distributions.jl では cdf(d, x) (p=F(x))の逆函数 quantile(d, p) が実装されていれば、自動的に rand(d) も使えるようになります。(自前で確率分布を実装する話)
github.com/genkuroki/publ... twitter.com/rental_kotadon... pic.twitter.com/HuWWArfI0Y
タグ: Julia言語
posted at 20:38:44
#Julia言語 確率分布を引数として持つ函数で、自前の確率分布を使いたい場合には、気軽にそれを作れる。
juliastats.org/Distributions....
タグ: Julia言語
posted at 20:38:45
#統計 不偏分散の話は直交射影の話の一部分に過ぎない。最小二乗法は本質的に直交射影の話そのもの。
分散共分散行列が単位行列のσ²倍のとき、期待値μを含む部分空間への直交射影を考えればよいだけの話。
直交射影抜きで考えるのは相当に苦しい。
1ページで説明
↓ pic.twitter.com/8Oe4AVgdei
タグ: 統計
posted at 21:38:24
数列の極限をグラフで見てみます!
Julia言語のPluto.jlを使って変化を眺めます。
それにしても,ロジスティック写像はカオスだ!
#Julia言語 #Pluto pic.twitter.com/V4d4jxKlsE
posted at 22:04:33
p-valueが0.05より大きいか小さいかが何かを決定的に決めるわけではないのだが、それによって論文が採択されるかされないかが決まっちゃうのがよろしくないので、論文誌のほうが「p>0.05であることだけを理由に論文をリジェクトしない」と言ってくれないと事態は変わらない気がする
タグ:
posted at 22:08:00
#統計 ゆーい差決戦主義の代替手段として、信頼区間が提案されたのかもしれないが、閾値を設定しているせいで決戦主義に戻り易く、不十分なので、信頼区間の上位互換でかつ閾値無用のP値函数全体を提示することが提案されているのだと思う。(縦軸は対数スケールがよい。)
journals.sagepub.com/doi/10.1177/02... pic.twitter.com/xxaEmas2tq
タグ: 統計
posted at 22:24:24
#統計 論文 journals.sagepub.com/doi/10.1177/02... の面白い所は、P値を使うこと自体に問題があったのではなく、P値を1つしか計算しないことが問題を引き起こしていることを明確にしていることです。
「効果ゼロ」のP値しか計算せずにゆーい差決戦主義に陥っているのが悪い。
続く
タグ: 統計
posted at 22:32:32
#統計 「効果は〇〇である」(〇〇は具体的な数値)という仮説のP値も計算できるのに、なぜかそうせずに、「効果はゼロ」という仮説のP値しか計算しない不思議。
計算すればよいと思う。
journals.sagepub.com/doi/10.1177/02...
タグ: 統計
posted at 22:34:30
#統計 すべての数値〇〇について「効果は〇〇である」という仮説のP値を計算することは、統計モデル+効果を意味するパラメータ値とデータの数値の整合性の様子を丸ごと見ていることになり、データの有効利用になる!
P値1個とか、信頼区間の両端の値2個よりはずっとよい。
journals.sagepub.com/doi/10.1177/02...
タグ: 統計
posted at 22:37:56
#統計 通常のP値函数とベイズ統計の事後分布のフェアな比較の例については以下のリンク先を参照。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 22:48:55
#統計 以下のリンク先では、平均の推定の場合について、ベイズ統計の事後分布から作ったP値函数と通常のP値函数を比較している。
P値函数の側に寄せて比較する方法と、事後分布の側に寄せて比較する方法の両方が可能。 twitter.com/genkuroki/stat...
タグ: 統計
posted at 22:52:11
Weave.jlを使ってみました。
Juliaを実行して,
htmlもpdfをできるのですね。
すごいですね!
#Julia言語 #Weave twitter.com/rental_kotadon... pic.twitter.com/nzvwV2kpgJ
posted at 23:20:02