黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2017年10月31日(火)
⚡️ "「Fisherの正確確率検定」は正確ではない" #数楽 #JuliaLang #統計
twitter.com/i/moments/9253...
posted at 22:45:43
Just finished a synchrotron solver in #JuliaLang 1e5 spec/sec on 4 cores, <1% error. Happy if you find bugs: github.com/jdonnert/julia...
タグ: JuliaLang
posted at 22:09:49
Fisher's exact testが"正確”かどうか - r-statistics-fanの日記 r-statistics-fan.hatenablog.com/entry/2017/10/...
タグ:
posted at 19:18:18
🔗 Fisher's exact testが"正確”かどうか r-statistics-fan.hatenablog.com/entry/2017/10/...
タグ:
posted at 17:57:04
@genkuroki シミュレーションでP値を個別に出すことをやてみました。r-statistics-fan.hatenablog.com/entry/2017/10/... pic.twitter.com/xDunxl30fe
タグ:
posted at 17:03:37
はてなブログに投稿しました #はてなブログシミュレーションで計算するP値を計算してみました。
Fisherより正確かつアルファエラーも保てる。
Fisher's exact test…
r-statistics-fan.hatenablog.com/entry/2017/10/... pic.twitter.com/OWtHimuzJS
タグ: はてなブログシミュレーションで計算するP値を計算してみました
posted at 17:01:46
本日の詰将棋(5手詰)です。
わかったら「いいね」ボタンをお願いします。
→ヒント、解答はこちら buff.ly/2lwtfyl
#詰将棋 #まいにち詰将棋 #5手詰 pic.twitter.com/GhOysGxqeG
posted at 15:00:04
#数楽 通常の補正無しのカイ二乗検定はかなり安定して45度線に近くなっており、かなり頑健に見えます。「2×2の分割表ではピアソンのカイ二乗統計量が漸近的に自由度1のカイ二乗分布に従う」という定理を使った近似はかなり優秀です。
nbviewer.jupyter.org/gist/genkuroki...
タグ: 数楽
posted at 13:16:09
#数楽 続き。例えば添付画像のケースで
* G検定で有意水準5%で有意差が出る確率は7%を軽く超えている😱
* カイ二乗検定での同確率は4%程度。
* Fisherの正確確率検定でちょうど5%の確率で有意差が出るようにするためには有意水準を10%に設定する必要がある😅 pic.twitter.com/RHuAHjoQJZ
タグ: 数楽
posted at 13:12:26
#数楽 #JuliaLang 検証用のソースコードが公開されていても、有料のソフトが必要だったり、無料であっても素人にはソフトの導入が非常に難しかったりする場合には、第三者による再検証は大変になる。しかし、JuliaBoxで利用できるJupyter notebookなら簡単。
posted at 12:56:06
#数楽 #JuliaLang Julia言語とJuliaBox(どちらも無料)によって、私の主張と数値計算は、自分のパソコンに新たにソフトをインストールするという大変な手間をかけずに、誰でも再検証可能なようになっています。これ以上オープンな議論は不可能だと感じられるレベル。
posted at 12:53:44
#数楽 #JuliaLang Julia言語のJupyter notebookは
next.juliabox.com
にアップロードすればそのまま使えるはずです。ただし、Pkg.add(~)して下さいというエラーメッセージが出たら、指示に従って下さい。
posted at 12:50:52
#数楽 実際にはもっとたくさんの場合を計算しています。詳しくは何度も紹介しているJupyter notebooksを見て下さい。
nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...
タグ: 数楽
posted at 12:48:35
#数楽 サンプルサイズさえ固定されていない場合(サンプルサイズの期待値は50)。
一つ前の添付画像とほぼ同じ様子になっています。 pic.twitter.com/4Su1zmk8Xa
タグ: 数楽
posted at 12:45:28
#数楽 続き。サンプルサイズは50に固定されているが、横合計も縦合計も固定されていない場合。
「Fisherの正確確率検定」のプロットがさらに45度線から離れました。
そして、対数尤度比を使うG検定で有意水準5%で有意差の出る確率は7.5%程度もあります。 pic.twitter.com/9L6vM1naaQ
タグ: 数楽
posted at 12:43:39
#数楽 以下では現実的にあり得る想定でのプロットを紹介します。
横方向の合計5と45だけが固定されている場合。
カイ二乗検定とG検定では有限離散性の影響が大幅に緩和され、45度線にかなり近付いています。Fisherの正確検定はもはや45度線に触れることさえできなくなります。 pic.twitter.com/PkcfSf3XNy
タグ: 数楽
posted at 12:37:50
#数楽 まず、「Fisherの正確確率検定」が正確な場合である横合計と縦合計のすべてが固定されている非現実的な場合。カイ二乗検定とGテストが45度線の上にはみ出しており、その部分でそれらは有意差を出し易くなっています。Fisherの正確検定で出て来るp値は45度線に載っている。 pic.twitter.com/1hn1sJsFTk
タグ: 数楽
posted at 12:16:29
#数楽 そこで私はサンプルサイズが25,50,100の場合に数値実験してみました。4種類の確率分布でテストサンプルを生成して3種の検定でのp値の分布がどうなるかを調べてみました。
nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...
タグ: 数楽
posted at 12:03:12
#数楽 「カイ二乗検定のYates補正」と「Fisherの正確確率検定」を使うべきではないとする意見は27年前の次のリンク先の論文にもあります。
onlinelibrary.wiley.com/doi/10.1002/si...
添付画像はこの論文より。
pic.twitter.com/UzcXvBngma
タグ: 数楽
posted at 11:55:12
#数楽 「Fisherの正確検定」の不適切な使用問題については、ベイズ統計の大家のゲルマンさんも指摘しています。添付画像は andrewgelman.com/2009/05/15/i_h... で紹介されている論文より。私と同じようなことを述べています。
pic.twitter.com/2qSgptRc0I
タグ: 数楽
posted at 11:34:26
#数楽 「Fisherの正確確率検定」で計算される確率は現実的な場面への応用では自明に正確ではない、という数学的には当たり前の話への反響が結構あったので、今日も繰り返しておきます。以下のリンク先の話の繰り返しです。
twitter.com/genkuroki/stat...
タグ: 数楽
posted at 10:20:40
Linear and non-linear Support Vector Machine(SVM) classification codes using JuMP are added #julialang github.com/AtsushiSakai/J...
タグ: julialang
posted at 09:24:33
非公開
タグ:
posted at xx:xx:xx
@LimgTW @nekonyannyan821 #超算数 #生徒に考えさせる前にネタばらしする教科書
提示される解法が割と普通なので、「別の考え方で求めよ」と言われると、アクロバティックな答案になりかねない。
どんな解法でも構わない、エレガントでもエレファントでも構わないと思っているが、「普通じゃない方法の強要」はやめて欲しい
posted at 07:58:11
@LimgTW @nekonyannyan821 #超算数 #生徒に考えさせる前にネタばらしする教科書
同じく、学校図書中1教科書から。式と図を対応させるという、問題自体が錯誤ですね。
一般的場合の式を求める場合には、具体的数値で成り立つかの確認が重要なわけで、そういうことをちゃんと教えて欲しいと思うのだが・・・ pic.twitter.com/L9yuqcSEz3
posted at 07:36:53
Dr. Chris Rackauckas @ChrisRackauckas
DifferentialEquations.jl 3.0 is out for #julialang. Developments of the last few months and a roadmap for the next: www.stochasticlifestyle.com/differentialeq...
タグ: julialang
posted at 04:58:33