Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2022年08月03日(水)

Julia News @julialang_news

22年8月3日

JuliaEpi: Collaborative Computational Epidemiology in Julia forem.julialang.org/inphyt/ann-jul... #hackernews

タグ: hackernews

posted at 00:27:17

さくラビ @saclabi

22年8月3日

Jupyter notebookでJulia使ってるんだけど、めっちゃ使い勝手よくて感動してる

タグ:

posted at 01:16:46

にゃあこ @5KJ1YiAecXTb9HH

22年8月3日

@ALPINA_B5_ そして数秒で
ゾロ目の奇跡が見られました。
ありがとうございます
おじゃまいたしました pic.twitter.com/Se1W5SYLYH

タグ:

posted at 08:49:05

k @nami_ca

22年8月3日

#Julia言語,#JuliaLang

Julia 言語による数理系(データサイエンス,AI)の教育教材を作る予定です,なかなか,進まず,この分野で参考になりそうなサイトはどこでしょうか?
分野的には線形代数,最適化,統計でしょうか.

タグ: Julia言語

posted at 10:49:25

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 使用可能条件が極めて厳しいMann-WhitneyのU検定(=Wilcoxonの順位和検定)について数学的にちょっと面白いのは、データの数値に重複(タイ)がある場合です。

github.com/genkuroki/publ... では素朴な計算効率が最悪の実装を行ってみました。

素朴な実装なので意味は分かり易い。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 11:32:12

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語

素朴な実装は、すべての組み合わせについて和を取ることなので、配列 X からのインデックスに重複がない m 個の組み合わせをすべて生成する必要があります。

それは github.com/JuliaMath/Comb... のcombinations(X, m) で実現できるのですが、メモリ割り当てが発生しまくります。

タグ: Julia言語 統計

posted at 11:34:59

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語 そこで github.com/genkuroki/publ... では事前割り当ての下で新たなメモリ割り当てゼロですべての組み合わせを生成する函数も書きました。

使いたい人は自由に私に許可を取らずに使って下さい。

タグ: Julia言語 統計

posted at 11:36:26

gogorock80 @twittetar

22年8月3日

@tiseda 伊勢田先生、はじめまして。
貴重な情報をありがとうございます。
Youtubeチャンネルも廃止になってしまうのでしょうか。www.youtube.com/user/KyoDaiOcw

タグ:

posted at 11:39:57

伊勢田哲治 @tiseda

22年8月3日

@twittetar わたしはセンターの当事者ではないので情報公開する立場にはありませんが、うかがったところではYoutubeチャンネルは残るようです。

タグ:

posted at 12:53:19

gogorock80 @twittetar

22年8月3日

@tiseda ありがとうございます。

タグ:

posted at 12:58:38

あんちもん2 @antimon2

22年8月3日

@Sheeeeepla #Julia言語 で100切れた(98bytes/86文字)
```
1|>s->while s!=1911;s=2s%4096+(i=rand()<.5);print.('ド'.-[16,22]i);end;println("ラブ注入♡")
```
↓binder更新
mybinder.org/v2/gist/antimo...
twitter.com/Sheeeeepla/sta...

タグ: Julia言語

posted at 13:08:22

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語 さらに、tiedrank github.com/JuliaStats/Sta... の事前割り当て版も書いた。

しかし、X の要素がすべて整数の場合には sortperm(X) の方が sortperm!(idx, X) よりも速くなる場合があるので、常に速くなるわけではない。この辺はBaseに改善の余地が残っているかも。

タグ: Julia言語 統計

posted at 13:19:40

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語

nbviewer.org/github/genkuro... には以下が書いてある.

* 事前割り当てによって新規のメモリ割り当てがゼロの組み合わせ全体の生成子の構成

* 事前割り当てによって新規のメモリ割り当てがゼロのtiedrank

* Mann-WhitneyのU検定のexact版の素朴な実装(遅いが分かり易い)

タグ: Julia言語 統計

posted at 13:23:15

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語 exact Mann-Whitney U-test = Wilcoxon順位和検定の__素朴でない__実装はR言語の

exactRankTests::wilcox.exact
coin::wilcox_test

にある。肝腎な所はCで書かれている。

タグ: Julia言語 統計

posted at 13:25:01

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語 データの数値に重複(tie)がある場合のexact Mann-Whitney U-testの正しい仕様は(実装の仕方と無関係に)非自明。

実際、HypothesisTests.jlの実装は正しくないように思われる。

SciPyではそもそもtieがある場合に対応していない。

タグ: Julia言語 統計

posted at 13:27:10

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 その辺で正しくなさそうな仕様にしてしまいがちな原因は、重複(tie)がない場合には分布は左右対称だが、重複(tie)がある場合には左右対称ではなくなることである。だから、重複がある場合にも、片側確率の2倍をP値の定義として採用するとちょっとおかしなことになる可能性がある。

タグ: 統計

posted at 13:29:10

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 ぶっちゃけ、広く使われているわりに使用可能条件が滅茶苦茶厳しいMann-WhitneyのU検定を私自身が使いたくなることは稀だと思いますが、広く使われている検定法の性質を学習するために、自分で実装する人も出て来ると思うので、私自身がはまった部分について説明したいと思いました。

タグ: 統計

posted at 13:31:34

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #Julia言語

nbviewer.org/github/genkuro... のコードには珍しくコメントが大量についているのはそういう理由。私自身がはまった部分があったので、詳しくコメントを書いておいた。

タグ: Julia言語 統計

posted at 13:33:06

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 Mann-Whitney U-test (= Wilcoxonの順位和検定)を「Aの方がBより優れている」という意味での「有意差」を出すために使いたい人は、そのための使用条件が極めて厳しいことに注意するべきです。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 13:36:48

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 Mann-Whitney U-test (= Wilcoxonの順位和検定) の帰無仮説は「AとBの母集団分布は同じ」で、Welchのt検定の帰無仮説「AとBの母平均は同じ」よりも圧倒的に厳しい条件。

MWのU検定では、分散が違っていても有意差が出るし、分散と中央値が等しくても分布の形状が違うと有意差が出ます。

タグ: 統計

posted at 13:39:26

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 Mann-Whitney U-test (= Wilcoxonの順位和検定)で有意差が出ても、「その有意差はどういう違いなんですか?」と問われると困るような使い方になっているとまずいです。

「はい、分散も中央値も同じに見えますが、分布の形状が違うので有意差が出たようです!」となるかもしれません。

タグ: 統計

posted at 13:42:18

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 2つの母集団の分散も中央値も等しいのに、Mann-WhitneyのU検定を使うと、有意水準5%で有意差が出る確率が34%を超える場合があることを示す例

twitter.com/genkuroki/stat...

タグ: 統計

posted at 13:43:51

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 Mann-WhitneyのU検定を安易に中央値に関する検定扱いしている人達は基本的なことをわかっていません。中央値、中央値と言っている人達が実に多い。分散が揃っていても全然ダメ。

Mann-WhitneyのU検定を安易に中央値に関する検定扱いするためには極めて強い条件が必要になります。

タグ: 統計

posted at 13:46:02

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 〇〇検定がどういう場合に危険になるかを知るためには、コンピュータでまずいことになる場合の例を作ればよいのですが、そういう例を作るためには、〇〇検定を確率分布の立場から直観的に理解しておく必要があります。

確率分布に関する直観無しでは、コンピュータで例を作ることも難しい。

タグ: 統計

posted at 13:48:40

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 Mann-WhitneyのU検定のtieがある場合にも対応しているexact版の効率的な実装に興味がある人のためにググった結果も紹介。

pure.tue.nl/ws/files/13304...



www.sciencedirect.com/science/articl...

#Julia言語 で実装した人がいたらコードを見せてもらえるとうれしいです。

twitter.com/genkuroki/stat...

タグ: Julia言語 統計

posted at 13:53:16

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 データの数値に重複がない場合については、計算したい確率を線形漸化式を使って効率的に計算できます。

重複がある場合にも、母函数の方法を使うと漸化式を使う方法を拡張できます。

組み合わせ論的な議論では母函数は定番の強力な道具でこういう場合にも役に立ちます。

タグ: 統計

posted at 13:55:10

四一郎 @yon_ichiro

22年8月3日

(マジかっこいいっすよマギー司朗師匠)

タグ:

posted at 14:39:37

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 「平均的に目標に一致させる」ために不偏分散を使うという説明の仕方だと、「平均的に目標に一致させる」の意味が曖昧過ぎるせいで、ひどくミスリーディングな解説になっているので、早めに撤回した方がよいと思いました。

理由は以下のリンク先を見ればわかります。

twitter.com/genkuroki/stat...

タグ:

posted at 15:10:29

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 標準正規分布のサイズnの標本分布について、不偏分散と不偏補正無しの標本分散の期待二乗誤差(1との差の二乗の期待値)を計算すると、不偏分散の方が大きくなります。

twitter.com/genkuroki/stat...

タグ:

posted at 15:15:02

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 標準正規分布の標本の不偏分散が1より大きいときには、それよりも小さい補正無しの標本分散の方が真の値の1に近くなります。

その影響を測る必要があります。

そして、その測り方によって、不偏分散と補正無し標本分散のどちらの誤差が大きいかに関する結論が変わります。

誤差の測り方が重要。

タグ:

posted at 15:16:31

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 よく使われている期待二乗誤差で誤差の大きさを測ると、正規母集団の分散の推定において、不偏分散の誤差は補正無し標本分散より大きくなるので、不偏分散を使った方が平均的に誤差が小さくなるかのように安易に語るのは非常にまずいです。

タグ:

posted at 15:19:06

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 推定量の「不偏性」と「期待二乗誤差がより小さいこと」は別の問題です。

一般に「不偏性」は統計学においてそう重要な条件ではありません。標準的な教科書では、例えば、竹村彰通『新装改訂版 現代数理統計学』のpp.135-139に「不偏推定」にこだわり過ぎることが有害であることの解説があります。

タグ:

posted at 15:22:41

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 むしろ、「期待二乗誤差などの意味での誤差を小さくするために、バイアスが生じることを甘受する」というようなことの方が実践的には普通だと思われるので、例外的によく使われている不偏推定量である不偏分散の価値を過大に見せることは統計学教育として有害だと思われます。

タグ:

posted at 15:24:36

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 不偏分散は不偏推定量の中で使ってもほぼ害がなくて、実際に最も気軽に使われている例外的な存在だと思われます。

タグ:

posted at 15:25:59

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 例外的にほぼ無害でよく使われている不偏分散の作り方では、数学的には直交射影の余次元が分母に来る仕組みになっています。

直交射影との関連がわかれば、計画行列がn×rになる線形回帰の場合に、不偏分散の分母が n-r になることも理解できます。

単回帰ではr=2なのでn-2で割ることになる。

タグ:

posted at 15:27:50

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 竹村彰通『新装改訂版 現代数理統計学』のpp.135-139の最後では、不偏性を犠牲にすると誤差を小さくできる場合に関する例として有名な「スタインのパラドックス」が説明されています。

そのスタイン推定は事前分布が誤差を小さくするために役に立つ例ともみなせます。

twitter.com/genkuroki/stat...

タグ:

posted at 15:34:24

黒木玄 Gen Kuroki @genkuroki

22年8月3日

@hamada30137146 不偏性と誤差の大きさがトレードオフの関係になるという現象は普遍的で、事前分布を使うベイズ統計の数学的仕組みが予測誤差を小さくする仕組みの一部分の説明にもなっています。

スタイン推定についての私の解説が

nbviewer.org/gist/genkuroki...
Ridge正則化とStein推定量

にあります。

タグ:

posted at 15:36:39

king-biscuit @kingbiscuitSIU

22年8月3日

節子、そうでもないことは、オウムの時にわしら世代の年寄りは思い知ったんやが、な…… twitter.com/DASEW01/status...

タグ:

posted at 15:40:20

Claudio Moroni @Claudio__Moroni

22年8月3日

Please join us if either:

- You're interested to contribute or you know students/researchers/developers who might be interested;

- You could transfer some of your relevant repositories to JuliaEpi;

- You are interested in epidemiology in Julia.

#JuliaLang #EpiTwitter twitter.com/JuliaLanguage/...

タグ: EpiTwitter JuliaLang

posted at 16:00:01

鴻上尚史 @KOKAMIShoji

22年8月3日

れはあきらかに犯罪行為です。それを「賛否」などという両論表記をすることは、さらに犯罪を重ねる行為です。マスコミは、なんでもかんでも「賛否」と両論を表記して責任から逃げますが、その表記そのものが犯罪を許し、加担しているのです。世の中には、「賛否」と書いてはいけないものがあるのです。 twitter.com/YahooNewsTopic...

タグ:

posted at 16:12:32

Chris Waudby @chris_waudby

22年8月3日

Introducing NMRTools.jl: a simple, open source interface for NMR data in Julia. A poster entry for #GlobalnmrTC2022. Interested? Questions? Get in touch! #nmrchat #julialang #openscience @School_Pharmacy @UCLLifeSciences pic.twitter.com/85xfgThl4M

タグ: GlobalnmrTC2022 julialang nmrchat openscience

posted at 16:30:00

Akinori Ito @akinori_ito

22年8月3日

コンピュータオセロが人間より強いからオセロをやらない,という人は確かに見たことない

タグ:

posted at 17:37:06

積分定数 @sekibunnteisuu

22年8月3日

@ebimirin0505 失礼します。元の質問は足し算の順序です。

>小学生のうち(特にかけ算を習いたてのとき)は順序が間違えていれば❌でもいいんじゃないでしょうか🙆🏻

なぜでしょうか? pic.twitter.com/kusts3kyoO

タグ:

posted at 17:48:24

ironman @hommedefer3

22年8月3日

カラムーチョとったはずなのに買い物袋見たらよくわからんポテチ入ってた。謎すぎる。

タグ:

posted at 18:32:39

あんちもん2 @antimon2

22年8月3日

@Sheeeeepla ↓で言及されている不具合に気付いて修正。
twitter.com/sakeikuratarak...
修正版(99bytes/87文字)
```
15|>s->while s!=1911;s=2s%4096+(i=rand()<.5);print.('ド'.-[16,22]i);end;println("ラブ注入♡")
```
昨日のも同じ不具合を含むけれど同じbytes数で書き換えできた↓参照
mybinder.org/v2/gist/antimo...

タグ:

posted at 18:55:33

ねとらぼ生物部 @itm_nlabzoo

22年8月3日

このかわいさの破壊力よ

「仕事疲れぶっ飛びの破壊力」 子猫が寝ながら前足をグーパー→猛烈なかわいさに「夢の中で何してるのかな?」
nlab.itmedia.co.jp/nl/articles/22... pic.twitter.com/fmmMLCMd1L

タグ:

posted at 19:05:00

徳澤泰明@猫好き一口馬主 @thisistokuzawat

22年8月3日

真剣で、怪しすぎる動き🐈
ピアノ弾いて鳴くところで毎回笑っちゃう... pic.twitter.com/tPvOjSxDfT

タグ:

posted at 19:15:47

河合祐介 @tkawai18_tkawai

22年8月3日

@ebimirin0505 @sekibunnteisuu うーん、高校数学教員なら代数学とかやってるはずなんだけどなぁ

タグ:

posted at 19:28:48

TA @TA25140989

22年8月3日

markdown + pandoc でスライドを作成する時に必要なのでメモとして残します
いずれLaTeXそのものでなくmarkdownに移行したいので(書き直す時間あるかなぁ)

pandoc-doc-ja.readthedocs.io/ja/latest/user...

タグ:

posted at 19:51:51

abap34 @abap34

22年8月3日

夏休みにJulia始めたい人はこれ読んでおけば間違いないです!おすすめ

1から始める Juliaプログラミング 進藤 裕之 www.amazon.co.jp/dp/433902905X/... via @amazonJP

タグ:

posted at 20:05:07

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 一般に平均μと分散σ²と過剰尖度κ₄を持つ分布の標本X_1,…,X_nについて、X̅をその標本平均とし、

V_a = a Σ_{i=1}^n (X_i - X̅)²

を分散の推定量とみなすとき、期待二乗誤差

E[(V_a - σ²)²]

を最小化するaは

a = 1/((n-1)(1+κ₄/n+2/(n-1)) = 1/(n+1+(1-1/n)κ₄)

になり、続く twitter.com/genkuroki/stat...

タグ: 統計

posted at 20:05:44

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 続き、そのとき期待二乗誤差の最小値は

σ⁴ (κ₄/n+2/(n-1))) / (1+κ₄/n+2/(n-1))

になる。これはa=1/(n-1)の場合の不偏分散の期待二乗誤差

σ⁴ (κ₄/n+2/(n-1)))

より、1より大きな分母の分だけ小さくなる。

タグ: 統計

posted at 20:05:47

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 例:正規分布ではκ₄=0なので、a=1/(n+1)のとき、期待二乗誤差の最小値

2σ⁴/(n+1)

になる。これはa=1/(n-1)の場合の不偏分散の期待二乗誤差

2σ⁴/(n-1)

より、少し小さい。

タグ: 統計

posted at 20:05:48

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 役に立ちそうな統計量(確率変数)を定義したら、その期待値と分散は必ず求めておいた方が、理解のためには良いのですが、非常に残念なことに、不偏分散の期待値だけで計算を終えている場合が多く、不偏分散の確率変数としての分散についての解説が抜け落ちていることが多い。

タグ: 統計

posted at 20:05:50

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 さらに、母集団分布の歪度をκ₃と書くと、不偏分散と標本平均の共分散が

σ³κ₃/n

になることも計算しておいた方がよい。

これによってn→∞で標本平均と不偏分散の組(X̅, S²)の同時分布の様子が分かる。

コンピュータでプロットすると楽しい。

タグ: 統計

posted at 20:09:36

椹野道流 @MichiruF

22年8月3日

大きい猫さん、おとなりでカリカリを食べてもいいですか? pic.twitter.com/XuTuB7D3u3

タグ:

posted at 20:12:44

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 その辺の、言われれば、誰でも「当然やっておかなければいけない基本的な計算であった」と思うような計算をやっておけば、不偏分散の分散の公式から、不偏分散の定数倍のσ²の推定量としての期待二乗誤差の公式も自然に得られ、誤差の観点から不偏分散は最適ではないことも分かります。

タグ: 統計

posted at 20:12:51

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 論理的科学的に理解するためには、各種の権威的な言説(教科書によくある)から自由になることが必須。

不偏分散の使用は期待二乗誤差の観点から見ると最適でも何でもないことを知れば、不偏分散の周辺について相対的に物事を眺めることができるようになり、権威的な押し付けを排除できます;

タグ: 統計

posted at 20:16:17

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 そして、不偏分散の不偏性よりも難しい計算(不偏分散の分散や不偏分散と標本平均の共分散の計算)をやり遂げた後ならば、n-1で割る不偏分散を使って各種の公式を整理すると、その不偏性のお陰でさまざまな式がシンプルになることにも気付く。

その点は確かに不偏分散を使うメリットになります。

タグ: 統計

posted at 20:19:32

積分定数 @sekibunnteisuu

22年8月3日

@ebimirin0505 >合併と増加、という視点で考えることはしていなかったので勉強になりました!

確認ですが、そのような視点で考えないことが正しくて正常です。

>勉強になりました!

算数教育ではそういうおかしなことが教えられていると知って勉強になった、ということですよね?

タグ:

posted at 20:20:00

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 一方、正規分布の標本分布モデルの最尤法の解は不偏分ではなく、不偏補正をしていない標本分散の方が自然に出て来ます。そういう場合に不偏分散にこだわり過ぎる必要はないと思います。

タグ: 統計

posted at 20:21:28

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 あと、慣習に従うことが、盲目的に権威に従うことになるようだとダメなのですが、すでに普及している慣習を利用して説明をシンプルにするために慣習に従うことは、コミュニケーションの技術の1つだと思います。

不偏分散はそういう形でも役に立つ。

タグ: 統計

posted at 20:23:27

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 しかし、

❌不偏分散を使うと分散の推定の誤差が減るから不偏分散を使う

という考え方は

誤り

です。少なくとも期待二乗誤差は全然最小になっていない。誤差の大きさの評価の仕方を変えると結果も変わる。

タグ: 統計

posted at 20:25:56

積分定数 @sekibunnteisuu

22年8月3日

#超算数
うっかり見逃してしまったが、重要な情報を見逃していた。

「指導教官」って、大学の先生という意味だよね?

大学の先生で、教員志望学生に足し算の順序が"逆"なら△、と指導している人がいるらしいです。 twitter.com/sekibunnteisuu... pic.twitter.com/SQpuK7jHxS

タグ: 超算数

posted at 20:26:31

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 標本平均に付随する不偏分散を作るときに使われるn-1は、ℝⁿの1次元部分空間{(t,t,…,t)|t∈ℝ}の直交補空間への射影のトレースの値です。

単回帰では、2次元部分空間{(β₀+β₁x₁,…,β₀+β₁x_n)|β₀,β₁∈ℝ}の直交補空間のトレースの値n-2で割ることになる。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 20:31:33

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 サイズm+nの標本X_1,…,X_m,Y_1,…,Y_nについて、X_iの標本平均をX̅と書き、Y_jの標本平均をY̅と書くとき、

Σ_{i=1}^m (X_i - X̅)² + Σ_{j=1}^n (Y_j - Y̅)²

をn-2で割ると分散の不偏推定量(不偏分散)が得られます。そのn-2は、続く

タグ: 統計

posted at 20:35:36

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 続き。そのn-2は、2次元部分空間

{(s,…,s,t,…,t)|s,t∈ℝ} (sはm個、tはn個)

の直交補空間への直交射影のトレースの値n-2として出て来ます。

この辺の話は全部線形代数の直交射影の話になっています。

タグ: 統計

posted at 20:38:07

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 訂正

❌直交補空間のトレース

⭕️直交補空間への直交射影のトレース twitter.com/genkuroki/stat...

タグ: 統計

posted at 20:39:19

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 こういう話は、一度直観的に理解してしまうと、非常にクリアなイメージ(描像)が得られます。

「なんとなくそうなる」のような曖昧さがなく、完璧に論理的でかつ極めて直観的。

眼鏡なしには全てがぼやけて見える人が眼鏡をした瞬間に細部が鮮明に見えるようになることに似ている。

タグ: 統計

posted at 20:44:00

Yuki Nagai @cometscome_phys

22年8月3日

「1週間で学べる! Julia数値計算プログラミング」のサポートページに、3日目までの動作確認したコードを置きました。4日目以降は確認次第置きます。

cometscome.github.io/YukiNagai/ja/b...

タグ:

posted at 20:52:33

Sato Shuntaro|佐藤俊太朗 @Shuntarooo3

22年8月3日

検定大好きな人。有意差大好きな人たくさんいます。でもそれは時代遅れです。それを求めるせいで同じ結果が再現できないかもしれません。
今回は、研究の再現性を担保するための手段をいくつか紹介します。
・データセット仕様書
・統計解析計画書
・どこで検定するか
・どういう検定・解析はまずいか

タグ:

posted at 22:00:08

Sato Shuntaro|佐藤俊太朗 @Shuntarooo3

22年8月3日

さらに、ぼくらが巻き込まれやすい研究不正行為についてもお伝えします。オーサーシップなんて、おかしいと思うことありますよね?

なんでぼくがこんなに研究不正行為や再現性の問題に関心を持つようになったのか。
強烈な動機があります。この動機についても少しお話ししたいです。

タグ:

posted at 22:00:09

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 重複(tie)無しの場合のWilcoxon-Mann-Whitney検定の確率計算で使われる母函数は数学者達にとってなじみ深いものになっています。

実はその母函数はq二項係数の母函数になっており、q二項係数のqの多項式としての係数達が確率分布を記述しています。続く

nbviewer.org/github/genkuro...

タグ: 統計

posted at 22:21:22

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #数楽

添付画像①Wilcoxonの順位和の分布のグラフ

②q二項係数のqの多項式としての係数から作った確率分布

③一致の確認

④q二項係数であることの確認

というわけで、Wilcoxonの順位和検定=Mann-WhitneyのU検定は本質的に(またしても!)q二項係数の数学でした!

nbviewer.org/github/genkuro... pic.twitter.com/OALQh49OIx

タグ: 数楽 統計

posted at 22:25:55

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 統計学の話なので中心極限定理が使えます。

添付画像は(21, 10)のq二項係数の係数から作った確率分布と、その正規分布近似の同時プロットです。

n, k = 21, 10 程度ですでに十分に正規分布近似の精度が高くなっています。

nbviewer.org/github/genkuro... pic.twitter.com/StctSq0RDu

タグ: 統計

posted at 22:29:28

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 統計学入門がらみの数学は、具体的な式で書ける話が多いので、「微分方程式がほとんど出て来ない特殊函数論」のような雰囲気になっている点は面白いと思います。

q二項係数にも中心極限定理が効いていることはこういう経路でないと気付き難い。

タグ: 統計

posted at 22:31:34

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 趣味に走ればこういう純粋数学的な面白さのある話をいくらでもできるのですが、

 P値や尤度や事後分布の実践的に適切な解釈の仕方の話

のようなあまり数学っぽくない話題が多い点は少しほめてほしいところかも。😊

趣味側のスイッチが入るととんでもないことになるかもしれない。

タグ: 統計

posted at 22:34:58

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#Julia言語 この本は非常に良い本。

この本の記述には独特の美しさがあって、ものすごく繊細な神経を使って書かれているように見えます。単に役に立つ以上の本になることを著者達は目指したのだと思う。

整然としていてシンプルな様子は非常に独特。

Juliaを使わない人も買う価値があります(笑) twitter.com/abap34/status/...

タグ: Julia言語

posted at 22:38:45

黒木玄 Gen Kuroki @genkuroki

22年8月3日

一般にAに関する議論を追ってもAについて全然理解した気持ちになれない場合には、視界をちょっと広げて、Aだけではなく、A', A'', A''', …についても調べてみると良い場合が多いと思う。

タグ:

posted at 23:17:22

黒木玄 Gen Kuroki @genkuroki

22年8月3日

Aがn-1で割る不偏分散なら、

Σ_{i=1}^m (X_i - X̅)² + Σ_{j=1}^n (Y_j - Y̅)² を何で割れば不偏分散になるか
単回帰での不偏分散
不偏分散の分散や標本平均との共分散
不偏分散の定数倍のσ²関する期待二乗誤差
不偏性を犠牲にして誤差を小さくするスタイン推定

などが、A', A'', A''', …になる。

タグ:

posted at 23:17:24

黒木玄 Gen Kuroki @genkuroki

22年8月3日

あと、直交射影について勉強しておくと

標本平均とn-1で割る不偏分散
Σ_{i=1}^m (X_i - X̅)² + Σ_{j=1}^n (Y_j - Y̅)² をn-2で割って作った不偏分散
単回帰とn-2で割る不偏分散などのことを

などの説明で使われる「自由度」という曖昧な言葉の論理的に明確で視覚的直観に直結した定義が得られます。

タグ:

posted at 23:32:23

黒木玄 Gen Kuroki @genkuroki

22年8月3日

理解に至るには、地道に格好悪く、クソ面倒な作業に膨大な時間をかけるしかない。

* どれだけ計算してみたか?
* 図はどれだけ描いたか?
* どれだけ文献を読んだか?
* どれだけ自力で試行錯誤したか?
* きちんと甘い考え方を捨てたか?

タグ:

posted at 23:37:46

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 ググってみた。

pure.tue.nl/ws/files/16109...
Combinatorics, computer algebra and Wilcoxon-Mann-Whitney test
A. Di Bucchianico
1996

タグ: 統計

posted at 23:41:53

黒木玄 Gen Kuroki @genkuroki

22年8月3日

#統計 #数楽

arxiv.org/abs/1805.08375
Counting partitions inside a rectangle
Stephen Melczer, Greta Panova, Robin Pemantle

タグ: 数楽 統計

posted at 23:50:01

黒木玄 Gen Kuroki @genkuroki

22年8月3日

pdf.sciencedirectassets.com/272528/1-s2.0-...
The Mahonian probability distribution on words is asymptotically normal ✩
E. Rodney Canfield a,∗, Svante Janson b, Doron Zeilberger
2011

タグ:

posted at 23:53:44

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました