黒木玄 Gen Kuroki(@genkuroki)/2017年10月31日

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2017年10月31日

« 次の日| 前の日 »

並び順 : 新→古 | 古→新

2017年10月31日(火)

Dr. Chris Rackauckas @ChrisRackauckas

17年10月31日

DifferentialEquations.jl 3.0 is out for #julialang. Developments of the last few months and a roadmap for the next: www.stochasticlifestyle.com/differentialeq...

タグ： julialang

posted at 04:58:33

積分定数 @sekibunnteisuu

17年10月31日

@LimgTW @nekonyannyan821 #超算数　 #生徒に考えさせる前にネタばらしする教科書
同じく、学校図書中１教科書から。式と図を対応させるという、問題自体が錯誤ですね。

一般的場合の式を求める場合には、具体的数値で成り立つかの確認が重要なわけで、そういうことをちゃんと教えて欲しいと思うのだが・・・ pic.twitter.com/L9yuqcSEz3

タグ：生徒に考えさせる前にネタばらしする教科書超算数

posted at 07:36:53

積分定数 @sekibunnteisuu

17年10月31日

@LimgTW @nekonyannyan821 #超算数　 #生徒に考えさせる前にネタばらしする教科書
提示される解法が割と普通なので、「別の考え方で求めよ」と言われると、アクロバティックな答案になりかねない。
どんな解法でも構わない、エレガントでもエレファントでも構わないと思っているが、「普通じゃない方法の強要」はやめて欲しい

タグ：生徒に考えさせる前にネタばらしする教科書超算数

posted at 07:58:11

非公開

タグ：

posted at xx:xx:xx

Atsushi Sakai @Atsushi_twi

17年10月31日

Linear and non-linear Support Vector Machine(SVM) classification codes using JuMP are added #julialang github.com/AtsushiSakai/J...

タグ： julialang

posted at 09:24:33

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確確率検定」で計算される確率は現実的な場面への応用では自明に正確ではない、という数学的には当たり前の話への反響が結構あったので、今日も繰り返しておきます。以下のリンク先の話の繰り返しです。

twitter.com/genkuroki/stat...

タグ：数楽

posted at 10:20:40

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽扱うのは2×2の分割表

a b
c d

です。「Fisherの正確検定」で計算される確率はサンプルサイズa+b+c+d=nと横合計a+b=rと縦合計a+c=s(それらはマージンと呼ばれている)が固定されている場合の確率分布である超幾何分布における確率です。続く

タグ：数楽

posted at 10:24:56

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽実際の調査で、サンプルサイズa+b+c+d=nが最初の計画によって固定されている場合は少なくないでしょう。しかし、横合計a+b=r, c+d=r'と縦合計a+c=s, b+d=s'のすべてが最初の調査計画で固定されている場合はほぼ皆無でしょう。続く

タグ：数楽

posted at 10:27:15

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確検定」で計算される確率は横合計と縦合計の両方がすべて固定されている場合の超幾何分布における確率なので、少なくとも横合計または縦合計の片方が固定不可能な場合の調査結果に「Fisher正確検定」を適用しても正確な確率計算ができるはずがないのです。続く

タグ：数楽

posted at 10:29:35

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽例：n人を無作為にサンプルとして選び、喫煙者と非喫煙者、肺がんになったかならなかったかで分類して2×2の分割表を作ったとしましょう。このとき、サンプル中の喫煙者の人数も肺がんになった人の数もサンプルの抽出ごとに変わる。この場合に「Fisherの正確検定」は正確ではない。

タグ：数楽

posted at 10:34:49

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽例：r人の喫煙者とr'人の非喫煙者を無作為にサンプルとして選び、肺がんになったかどうかで分類して2×2の分割表を作ったとしましょう。このときサンプル中の肺がんになった人の数はサンプルを取るごとに変わる。この場合にも「Fisherの正確検定」は正確ではない。

タグ：数楽

posted at 10:36:44

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽例：s人の肺がんにかかった人とs'人のかからなかった人をランダム抽出して、喫煙者と非喫煙者に分けて2×2の分割表を作ったとしましょう。このときにはサンプル中の喫煙者と非喫煙者の人数はサンプルを取るごとに揺らぎます。この場合も「Fisherの正確検定」は正確ではない。

タグ：数楽

posted at 10:40:01

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確検定」が正確だと言えるためには、サイズnのサンプル中の喫煙者の人数rと肺がんにかかった人の数sがサンプルの取り方によらず一定になるというようなちょっとありそうもない実験計画を想定をする必要があります。通常、固定できるのはrまたはsのどちらか片方です。

タグ：数楽

posted at 10:43:45

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽 p値の概念を利用するときに最も重要なことは、p値を計算するときに使う確率分布を実際の実験計画に合わせることです。例えば「〇〇となるまでサンプルサイズnを順次増やした」というようなケースではサンプルサイズnを固定した確率分布で計算したp値には意味が無くなります。

タグ：数楽

posted at 10:47:04

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽例：サンプルサイズが固定されている前提で設計されている〇〇検定法で計算したp値が十分小さくなるまで順次サンプルサイズを増やした場合には、結果的に得られた〇〇検定法のp値には科学的価値は無くなります。〇〇検定法内部で使われている確率分布と全然違うことを実際にはやっている。

タグ：数楽

posted at 10:50:07

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確(確率)検定」を横合計または縦合計の少なくともどちらか片方が固定されていない場合に適用することは、一つ前の例に相当に似たことをやっていることになります。ただし、「Fisherの正確検定」のp値はかなり高めの値になるのですが。

タグ：数楽

posted at 10:55:17

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確検定」のp値が高めになることは、「業界」では「conservativeだ」と表現され、許されているようです。しかし、「Fisherの正確検定」のp値が高めの値になる真の理由は、現実の実験計画には適用するべきではない確率分布を仮定しているからなのです。

タグ：数楽

posted at 10:58:09

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確検定」を使っている人たちは、「業界」では不正とみなされるp-hackingと本質的に同じ「使うべきではない確率分布の確率を使用する」という方法で高めのp値を出していることになります。有意差が出し難いという理由でそれを許すのは個人的にとてもまずいと思う。

タグ：数楽

posted at 11:00:47

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確検定」のp値が実際の応用場面で高めになる理由は、超幾何分布の強い有限離散性ではありません。この点も誤解し易い点かもしれません。横合計と縦合計が固定されているという仮定のもとでなら、「Fisherの正確検定」のp値は正確な確率の値になっています。続く

タグ：数楽

posted at 11:02:35

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。「Fisherの正確検定」のp値は超幾何分布の仮定のもとでの正確な確率の値です。超幾何分布の強い有限離散性自体がp値が高めに出る理由だと言わない方が良いと思います。続く

タグ：数楽

posted at 11:05:43

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。「Fisherの正確検定」のp値が実際の応用で高めになる理由は、その適用先が、横合計または縦合計の少なくともどちらか片方が固定不可能な実験計画になっているからです。「Fisherの正確検定」で使われている超幾何分布はその場合には適用できません。続く

タグ：数楽

posted at 11:07:52

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。しかし、大学などで使われている統計学の教科書では、「2×2の分割表の独立性について、サンプルサイズが大きくない場合にはFisherの正確確率検定を使おう。カイ二乗検定はその近似に過ぎない」のようなデタラメが書いてあったりするわけです。これは相当にまずいことだと思う。

タグ：数楽

posted at 11:12:03

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽ピアソンのカイ二乗統計量に関する通常のカイ二乗検定や対数尤度比に関する尤度比検定(所謂G検定)に関しては、横合計または縦合計の少なくともどちらか片方が固定されていない場合にも漸近論の一般論による数学的基礎付けがある。Wilksの定理によって自由度1のカイ二乗分布を使える。

タグ：数楽

posted at 11:15:12

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽サンプルサイズが大きいときには、通常のカイ二乗検定と対数尤度比に関するG検定の使用はおかしなことをやっていません。

さらに、私の数値実験によれば、サンプルサイズが大きくない場合にも、通常の補正無しのカイ二乗検定は結構robustです。

タグ：数楽

posted at 11:18:31

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽漸近論の一般論的にもサンプルサイズが大きくない場合の数値実験的にもおかしなことを何もやっていない補正無しのカイ二乗検定と超幾何分布の定義から自明におかしなことをやっているように見える「Fisherの正確確率検定」では比較にならないと私は考えています。

タグ：数楽

posted at 11:20:02

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽漸近論的にも数値実験的にもまともなことをやっているように見える通常のカイ二乗検定を自明におかしなことをやっているように見える「Fisherの正確確率検定」に近付けるためのYatesの補正というのがあるらしい。私は統計学ど素人なのでそんなものがあることをずっと知らなかった。

タグ：数楽

posted at 11:23:47

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽しかも「Fisherの正確確率検定」が高めのp値を出すことを「conservative」と表現し、「Fisherの正確確率検定」で計算されたp値が高めになる理由は適用してはいけない確率分布を適用するというp-hackingと同じ仕組みによることを見逃しているように見える。

タグ：数楽

posted at 11:27:52

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確検定」の不適切な使用問題については、ベイズ統計の大家のゲルマンさんも指摘しています。添付画像は andrewgelman.com/2009/05/15/i_h... で紹介されている論文より。私と同じようなことを述べています。
pic.twitter.com/2qSgptRc0I

タグ：数楽

posted at 11:34:26

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽個人的な意見では、p-hackingと「Fisherの正確確率検定」の不適切な使用問題に共通していることの理解は、p値の概念をより正しく理解するために役に立つと思います。

「おかしなことをやっているやつらがたくさんいるぜ！」という話題になってしまうのですが。😅

タグ：数楽

posted at 11:38:52

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「カイ二乗検定のYates補正」と「Fisherの正確確率検定」を使うべきではないとする意見は27年前の次のリンク先の論文にもあります。
onlinelibrary.wiley.com/doi/10.1002/si...
添付画像はこの論文より。
pic.twitter.com/UzcXvBngma

タグ：数楽

posted at 11:55:12

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽通常のカイ二乗検定と対数尤度比に関するG検定の基礎はサンプルサイズ大での漸近論による近似。「Fisherの正確確率検定」は(好意的に見れば)横合計と縦合計が固定された確率分布の適用という「近似」を行っているとみなせる。どちらも近似なのだから誤差の大きさが問題になります。

タグ：数楽

posted at 12:00:29

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽そこで私はサンプルサイズが25,50,100の場合に数値実験してみました。4種類の確率分布でテストサンプルを生成して3種の検定でのp値の分布がどうなるかを調べてみました。
nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...

タグ：数楽

posted at 12:03:12

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽テストサンプルを生成する函数の名前は randPoisson、randMultinomial、randBinomial、randHypergeometric です。名前を見れば何をやっているかが想像つくと思います。4種類の確率モデルで実験しました。

タグ：数楽

posted at 12:13:18

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽まず、「Fisherの正確確率検定」が正確な場合である横合計と縦合計のすべてが固定されている非現実的な場合。カイ二乗検定とGテストが45度線の上にはみ出しており、その部分でそれらは有意差を出し易くなっています。Fisherの正確検定で出て来るp値は45度線に載っている。 pic.twitter.com/1hn1sJsFTk

タグ：数楽

posted at 12:16:29

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽グラフの見方：y=αであるようなプロット上の点のx座標が、有意水準αで有意差が出る確率を表わしています。離散分布では計算の結果出て来るp値も離散的になることに注意して下さい。45度線の上にはみ出た部分では有意差を出し易くなっており、下の部分では有意差を出し難くなっている。

タグ：数楽

posted at 12:21:04

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽「Fisherの正確確率検定は正確だが、カイ二乗検定は正確ではない。カイ二乗検定を使うと不当に有意差を出し易くなるので、使う場合には補正しなければいけない」という**ひどい誤解**の原因は、おそらく、上のグラフが非現実的な場合を扱っていることに無自覚なことだと思います。

タグ：数楽

posted at 12:23:11

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽 2×2の分割表

a b
c d

でa+b+c+d=n、a+b=r、a+c=sのすべてが一定のa,b,c,dの組み合わせしか考えずに確率計算をしているせいで、場合の数が大幅に減って有限離散性の影響が不当に大きくなっているのが、上で示したグラフの場合です。

タグ：数楽

posted at 12:25:33

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽現実の実験計画では

a b
c d

のサンプルサイズa+b+c+d=nだけしか固定されて無かったり、nとa+b=rの2つ(またはnとa+c=sの2つ)しか固定されていない場合はあっても、n,r,sのすべて固定されている場合はほぼ皆無に近いでしょう。続く

タグ：数楽

posted at 12:28:03

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。そういう皆無に近い場合を想定して描かれたグラフが上で示した「Fisherの正確確率検定が正確でかつカイ二乗検定とG検定のプロットが45度線の上に大きくはみ出していて補正が必要に見える場合」です。通常ならありえない状況を想定してそんなグラフを描いても意味がありません。

タグ：数楽

posted at 12:31:04

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽以下では現実的にあり得る想定でのプロットを紹介します。
横方向の合計5と45だけが固定されている場合。

カイ二乗検定とG検定では有限離散性の影響が大幅に緩和され、45度線にかなり近付いています。Fisherの正確検定はもはや45度線に触れることさえできなくなります。 pic.twitter.com/PkcfSf3XNy

タグ：数楽

posted at 12:37:50

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。注意しなければいけないことは、一つ前のツイートのケースではG検定だと有意水準5%で有意差が出る確率が9%近くもあることです。「G検定をサンプルサイズが小さくて偏りが大きい場合に使うとよい」とすることは、この数値実験例から**正しくない**ことがわかります。

タグ：数楽

posted at 12:39:56

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。サンプルサイズは50に固定されているが、横合計も縦合計も固定されていない場合。

「Fisherの正確確率検定」のプロットがさらに45度線から離れました。

そして、対数尤度比を使うG検定で有意水準5%で有意差の出る確率は7.5%程度もあります。 pic.twitter.com/9L6vM1naaQ

タグ：数楽

posted at 12:43:39

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽サンプルサイズさえ固定されていない場合(サンプルサイズの期待値は50)。

一つ前の添付画像とほぼ同じ様子になっています。 pic.twitter.com/4Su1zmk8Xa

タグ：数楽

posted at 12:45:28

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽以上で示したサンプルサイズ50で偏りもそこそこ大きな場合での数値実験結果から以下の結論が出ます。

* Fisherの正確確率検定が正確だという考え方は**誤り**である。

* サンプルサイズが小さくて偏りが大きな場合にG検定を使うべきだという意見も**誤り**である。

タグ：数楽

posted at 12:47:29

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽実際にはもっとたくさんの場合を計算しています。詳しくは何度も紹介しているJupyter notebooksを見て下さい。

nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...

タグ：数楽

posted at 12:48:35

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽 #JuliaLang Julia言語のJupyter notebookは

next.juliabox.com

にアップロードすればそのまま使えるはずです。ただし、Pkg.add(～)して下さいというエラーメッセージが出たら、指示に従って下さい。

タグ： JuliaLang 数楽

posted at 12:50:52

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽 #JuliaLang Julia言語とJuliaBox(どちらも無料)によって、私の主張と数値計算は、自分のパソコンに新たにソフトをインストールするという大変な手間をかけずに、誰でも再検証可能なようになっています。これ以上オープンな議論は不可能だと感じられるレベル。

タグ： JuliaLang 数楽

posted at 12:53:44

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽 #JuliaLang 検証用のソースコードが公開されていても、有料のソフトが必要だったり、無料であっても素人にはソフトの導入が非常に難しかったりする場合には、第三者による再検証は大変になる。しかし、JuliaBoxで利用できるJupyter notebookなら簡単。

タグ： JuliaLang 数楽

posted at 12:56:06

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽訂正：以下のリンク先の説明は誤り。次のツイートに訂正版を書きます。

twitter.com/genkuroki/stat...

タグ：数楽

posted at 13:00:47

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽訂正版グラフの見方：

* 〇〇検定のプロット上のx=αの点のy座標は有意水準αで有意差が出る確率を表わしています。

* 〇〇検定のプロット上のy=αの点のx座標は、有意差が出る真の確率がαになるような有意水準を表わしています。

続く

タグ：数楽

posted at 13:07:37

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽続き。例えば添付画像のケースで

* G検定で有意水準5%で有意差が出る確率は7%を軽く超えている😱

* カイ二乗検定での同確率は4%程度。

* Fisherの正確確率検定でちょうど5%の確率で有意差が出るようにするためには有意水準を10%に設定する必要がある😅 pic.twitter.com/RHuAHjoQJZ

タグ：数楽

posted at 13:12:26

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽通常の補正無しのカイ二乗検定はかなり安定して45度線に近くなっており、かなり頑健に見えます。「2×2の分割表ではピアソンのカイ二乗統計量が漸近的に自由度1のカイ二乗分布に従う」という定理を使った近似はかなり優秀です。
nbviewer.jupyter.org/gist/genkuroki...

タグ：数楽

posted at 13:16:09

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽以上の結果と意見については、私以外の第三者による再検証結果が複数出て来るまで信用しない方がよいと思います。第三者による再検証は大事。私が論理的ミスを犯している可能性もあるし、プログラミングにもバグがあるかもしれない。しかし、再検証のための道具はきちんと紹介しました。

タグ：数楽

posted at 13:18:30

黒木玄 Gen Kuroki @genkuroki

17年10月31日

#数楽誤りの程度には違いがあって、「Fisherの正確確率検定は正確であり、カイ二乗検定はその近似に過ぎない」という考え方は**相当にひどい誤り**だと思います。

すべての周辺度数が定数になるような実験計画を立てているやつがどこにいるんだ？www

タグ：数楽

posted at 13:26:18