黒木玄 Gen Kuroki(@genkuroki)/2017年10月30日

#statistics 自由エネルギーの漸近挙動が

λ log n - (m-1)log log n +O(1)

になることは(特異点解消を除けば)大学1年生レベルの計算でOK
genkuroki.github.io/documents/2016...

twitter.com/kaitou_ryaku/s...

タグ： statistics

posted at 00:02:17

#statistics 自由エネルギーは分配函数の対数。分配函数の近似計算をLaplaceの方法の一般化(Gauss積分ではなく、ガンマ函数の積分で近似)でやると、ある場合には積分結果にlogが出て来ることがある。自由エネルギーではさらに対数を取るのでlog logになる。

タグ： statistics

posted at 00:06:40

#JuliaLang #statistics カノニカル分布の話(Sanovの定理の帰結)の数値的確認例が以下のリンク先にあります。
twitter.com/genkuroki/stat...
twitter.com/genkuroki/stat...
twitter.com/genkuroki/stat...

タグ： JuliaLang statistics

posted at 00:16:54

解答略 @kaitou_ryaku

@genkuroki pdfありがとうございます。ざっと目を通しただけですが、多変数版のガンマ関数を使えば、複素解析を経由せずに漸近挙動が導出できるっぽいですね。

タグ：

posted at 00:19:22

#JuliaLang Julia言語は習得が容易かつ高速なので誰でも簡単に2次元Potts模型のモンテカルロシミュレーションをできたりします。
twitter.com/genkuroki/stat...

みんな、気楽にこういう数値計算をもっとやるべきだと思う。

タグ： JuliaLang

posted at 00:21:07

#JuliaLang 以下のリンク先には Kuramoto model の相転移の数値計算例があります。私がやった計算はどれもソースコードをJupyter notebookの形式で公開。リンクはリンク先のスレッドの中にある。
twitter.com/genkuroki/stat...

タグ： JuliaLang

posted at 00:23:25

解答略 @kaitou_ryaku

@genkuroki ありがとうついでに質問なのですが、
f(x,y)=(y-exp(-1/x^2))*(y-exp(-1/x^4))の原点の特異点解消って、
a=y-exp(-1/x^2)
b=y-exp(-1/x^4)
f=ab
で良いのでしょうか？

タグ：

posted at 00:24:32

@kaitou_ryaku そうです。そういう話です。漸近挙動の主要項を出すだけならそう難しくないです。

タグ：

posted at 00:25:35

@kaitou_ryaku 申し訳ありませんが、そういう質問は受け付けません。渡辺澄夫さんの本を見て下さい。

タグ：

posted at 00:26:55

@kuri_kurita

『大昔に作られたガラス窓は時間とともに溶けたようになり、ガラスの下の方が厚くなってたりするらしいです』…じゃないだろ。😑

原文では、「もし…という俗説が間違いだと言ったら？」と、最初から否定的なニュアンスで書かれているのに、いきなり間違った俗説を肯定的に紹介してどうする。 twitter.com/gizmodojapan/s...

タグ：

posted at 08:33:13

#JuliaLang random matrixの数値実験も添付画像のように簡単。この気楽さが重要。

next.juliabox.com を iPad から使いました。自分のパソコンにJulia言語をインストールする必要さえない。 pic.twitter.com/mUwBs76P4a

タグ： JuliaLang

posted at 10:52:54

#数楽 Yatesの「補正」はカイ二乗検定をFisherの「正確」検定に近付けるための補正なのですが、Fisherの「正確」検定は現実的な状況ではひどく不正確なので、そのことを理解せずにYatesの補正を使うのはとてもまずい。

twitter.com/webjapanesej/s...

タグ：数楽

posted at 11:29:45

#数楽 Fisherの「正確」検定はサンプルサイズが小さな場合にすすめられているようですが、サンプルサイズが小さいときにはものすごく不正確になります。p値が5%以下になる確率が5%よりずっと小さくなることが多い。

タグ：数楽

posted at 11:33:16

#数楽 2×2の分割表の独立性検定でFisherの「正確」検定が正確なのは、4つの周辺度数が調査前に確定しているという通常ならありえない場合に限ります。サンプル抽出ごとに周辺度数がゆらぐ場合にFisherの正確確率検定を使うことは数学的には自明にひどく不正確です。

タグ：数楽

posted at 11:38:27

#数楽数学的に自明に不正確なフィッシャーの正確確率検定に近付ける補正をすると、当然のことながら、確率の近似値の計算の誤差が増えます。これも自明。

タグ：数楽

posted at 11:40:22

#数楽漸近論が有効になる領域かどうか自明でないサンプルサイズが小さな場合には、実際に数値実験してみないと、p値として確率の近似値がどれだけ正確に計算できているかはわからないと思う。(手計算では多分無理)

タグ：数楽

posted at 11:43:25

#数楽 2×2の分割表について私がした数値実験の結果とそのための #JuliaLang でのソースコードが以下のリンク先のスレッドで公開されています。

私が計算した範囲内では古典的な補正無しのカイ二乗検定が頑健。

twitter.com/genkuroki/stat...

タグ： JuliaLang 数楽

posted at 11:48:26

#数楽私の計算結果とソースコードは以下のリンク先で見れます。

nbviewer.jupyter.org/gist/genkuroki...

nbviewer.jupyter.org/gist/genkuroki...

タグ：数楽

posted at 12:01:10

#数楽現実的な状況での確率計算は、サンプルサイズが有限で漸近論がどこまで有効かわからないことが多いので、◯◯検定を利用する前に数値実験でどこまで正確かを確認しておくべきだと思う。

統計パッケージをブラックボックスとして使い、数学的な内容も理解していないとかなり危ない。

タグ：数楽

posted at 12:04:40

#数楽学生は「カイ二乗検定はFisherの正確確率検定の近似に過ぎないので、後者が使えるならそうするべきである」とする**自明にひどく間違っている**授業をする先生達をきちんととっちめられるように勉強しておくべき。

タグ：数楽

posted at 12:09:08

質問者2 @shinchanchi

「金融政策は効果あっても財政無効なんだろ！MFがー」とか「財政拡大を言うのは意味不明！」とか残念な誤理解に基づく「ご批判」がある⁉︎
①↑金融↑財政
②↑金融→財政
は良くて
③↑金融↓財政
④→金融↑財政
⑤↓金融↑財政
⑥↓金融↓財政
などは残念
安倍氏は前半①後半③かな twitter.com/shinchanchi/st...

タグ：

posted at 12:32:16

#数楽イェーツの補正は数学的に**不正確に**確率を計算するフィッシャーの「正確」確率検定に近付ける補正なので、数学的に不正確なことをやることにメリットを感じる場合以外には使わない方が良いと思う。根拠はこの発言の返答連鎖に。

twitter.com/onigiritake/st...

タグ：数楽

posted at 12:33:06

#数楽フィッシャーの「正確」確率検定はサンプルサイズが小さいと余計にかつひどく**不正確**になる。

フィッシャーの正確確率検定は通常の状況では数学的に自明に不正確な確率計算をするので、私ならば使わないし、使っている人達は基本的なことを理解していない人達だと疑う。

タグ：数楽

posted at 12:38:03

牙龍一:脱財政再建！ @kiba_r

就職活動が厳しくなって、少しでも採用されるように必死になった結果が、あの喪服就活だとすると、コレもデフレ不況の結果なのかもな。

タグ：

posted at 12:39:55

#数楽なぜか、2×2の分割表でサンプルサイズが小さいときに、カイ二乗検定よりも、対数尤度比検定(G検定)やフィッシャーの「正確」確率検定をすすめている場合があるようですが、サンプルサイズが小さいとき、それらは補正無しのカイ二乗検定よりも不正確なことが非常に多いです。

タグ：数楽

posted at 12:54:50

#数楽もしも私が R でカイ二乗検定、対数尤度比検定、フィッシャーの正確確率検定の比較の計算をしていたとしたら、計算の遅さにくじけていたと思う。 #JuliaLang のおかげで気楽にかつ簡単にできた。計算速度が必要かつ気楽さも必要ならJulia言語がおすすめ。

タグ： JuliaLang 数楽

posted at 12:59:01

今回の黒髪強要にしろ、算数トンデモ採点にしろ、体罰にしろ、まず最初に「全部の学校がそうではない。私のところはそんなことない」と言う学校関係者は、それだけで信用できない。「自分には責任がない」という前に、「こんなのおかしい。許せない」が先に来るのが普通じゃないの？

タグ：

posted at 15:59:41

「全ての学校でそうなっている」と主張しているのなら、事実認識の誤謬なんだから「そんなことはない」と反論すればいいだけ。

それから、一部であってもそのようなことがある、という事実は歴然としてあるわけで、それが出てくる背景・システムがあるとして全体が問題視されることもあり得る。

タグ：

posted at 16:01:36

matome.naver.jp/odai/213581084...　
冤罪で殴られて死亡とかまである。

こういう事例に対して「そういうのは一部だけで・・・」って、そんなのわかっとるわい！

大半の教師が生徒を殴り殺したりしないのは、言われなくても分かっている。

タグ：

posted at 16:06:58

これおかしくね？「p値が5%以下になる確率が5%よりずっと小さくなる」としても、p-値の定義(＝同等あるいはより確率の低い事象が起こる確率)と矛盾しないんだけど。twitter.com/genkuroki/stat...

タグ：

posted at 16:28:34

rs_fan_jp @rs_fan_jp

@willyoes 名前をFisherの保守的検定にしたら良さそうですね。正確とかオラついた名前にするからアカンのだな。アルファエラー保てていない検定は論外でリジェクトされるわな。

タグ：

posted at 16:41:56

@rs_fan_jp 「p値が正確」で問題ないです。正確でないと言う人がいたとしたらその人のp値の定義の記憶が正確でないと思います。

タグ：

posted at 16:43:26

#ブラック校則荻上チキさんが募った理不尽な校則体験談と寄せられた多くの声 - Togetterまとめ togetter.com/li/1165919 @togetter_jpさんから

タグ：ブラック校則

posted at 16:55:12

ネワノ @One_of_Engineer

#絶対値の話題(|-5|=+5)が出ていて、アレ?ってなった。数学的には非負数への変換だから正しいのか。理科関係だと、絶対値とると違う物理量になることが多いから、別物のイメージになっていた。プログラミングのSignedな型からUnsignedな型の違いみたいなもの #超算数

タグ：絶対値

posted at 17:33:18

#数楽もしかして、以下のリンク先の疑問の持ち方は、私の主張への理解不足に基くことを理解できていない人がいたりするのかな？このような反応は今回が初めて。続く

twitter.com/willyoes/statu...

タグ：数楽

posted at 17:39:49

#数楽少なくとも、以下のリンク先の主張が私が述べていることに関係があると思っているとしたら、「ちょっとひどすぎない？」と言う権利が私にはあると思う。続く

twitter.com/willyoes/statu...

タグ：数楽

posted at 17:41:09

#数楽私の主張は、Fisherの「正確」確率検定で計算されている確率は現実の調査においては非現実的な仮定に基づいているので、現実の調査での使用においては数学的に自明に正確ではない確率を計算していることになる、です。これは以前紹介したゲルマンさんも指摘していることです。続く

タグ：数楽

posted at 17:44:30

#数楽ゲルマンさん(ベイズ統計の大家)の意見は

twitter.com/genkuroki/stat...

に引用してあります。すでに私も述べたように、周辺度数が最初から固定されている場合の確率を正確に計算しても、現実の調査では周辺度数がゆらぐのでその分の誤差が出るわけです。続く

タグ：数楽

posted at 17:46:26

#数楽周辺度数(マージン)が揺らぐ場合に、Fisherの「正確」確率検定を適用している場合には、確実に不正確な計算をしていることになります。

問題はその不正確な計算の誤差なのですが、実際に数値計算してみるとかなり大きいことが容易にわかるという話になっています。

タグ：数楽

posted at 17:48:01

#数楽 Fisherの「正確」確率検定が現実的な場合に「p値がそれ以下になる確率よりもかなり大きくなる」原因はFisherの「正確」確率検定で求めたp値の離散性ではありません。この点を理解していない人達は私の主張を最初から誤解していることになります。

タグ：数楽

posted at 17:50:03

#数楽私は次のような話とは違う話をしています。「ある方法で正確に求めた確率としてのp値の値は離散的になり、p値は3%と9%に成り得るがそれらのあいだの値になることはない。このとき、p値が5%以下の確率は3%になってしまう」←こういう話だと思っている人はひどく誤解している。

タグ：数楽

posted at 17:56:05

#数楽 2×2の分割表の独立性検定は非負の整数の値を成分に持つ2×2行列

a b
c d

に対して定義されます。A=a+b, B=c+d, C=a+c, D=b+d を周辺度数と呼びます。

a b | A
c d | B
----------
C D| n

続く

タグ：数楽

posted at 18:00:39

#数楽続き。Fisherの「正確」確率検定で使用されている確率分布は4つの周辺度数がすべて固定されていて、a,b,c,dのうちどれか一つだけでも決まると残りの3つが決まってしまうような非負整数行列全体の集合上で定義される確率分布(所謂超幾何分布)です。続く

タグ：数楽

posted at 18:02:16

#数楽続き。ほぼ同主旨のことを、ゲルマンさんが述べていることを以下のリンク先で引用しておきました。論理だけではなく、権威のお墨付きが欲しい人は参照するとよいと思います。私のような人物であっても、こういうことにも気を使います。

twitter.com/genkuroki/stat...

タグ：数楽

posted at 18:07:13

#数楽「カイ二乗統計量がカイ二乗近似に漸近的に従うことを用いたカイ二乗検定」や「対数尤度比がカイ二乗分布に漸近的に従うことを用いたG検定」はどちらも近似が入っています。しかし、Fisherの「正確」確率検定もまた周辺度数が揺らぐことを無視する「近似」を行っているわけです。続く

タグ：数楽

posted at 18:11:21

#数楽大きくない有限のサンプルサイズで、それらの「近似」がどのような性質を持っているかを知りたければ、サンプルサイズ大の漸近論の一般論に頼ることができないので、数値計算で確認するのが良いだろうと言っているわけです。実際には「確認するべきだ」ともっと強い主張をしたいです。

タグ：数楽

posted at 18:14:21

#数楽周辺度数が固定されている超幾何分布で生成したサンプルを動かしたときの、Fisherの「正確」確率検定で求めたp値がx以下になる確率は、p値の離散性が原因で、xよりかなり小さくなることが普通にあるのですが、私はそのことを問題にしていません。この点を誤解すると完全にアウト。

タグ：数楽

posted at 18:17:34

#数楽言い訳不可能なほど完全にアウト😭

タグ：数楽

posted at 18:18:22

#数楽誰でも再検証可能になるように、もしくは私の誤りを指摘し易いように、ソースコードと計算結果のプロットも全公開！

nbviewer.jupyter.org/gist/genkuroki...

nbviewer.jupyter.org/gist/genkuroki...

再検証求む。

#JuliaLang

タグ： JuliaLang 数楽

posted at 18:51:21

#数楽以上の話はp値に関わるイロハに関わる話です。「サンプルサイズをp値が〇〇となるまで順次増やす」というズルは有名ですが、それがズルになる理由は、p値を計算するために使った確率分布を「サンプルサイズを好きなタイミングで増やす場合」には適用できないことです。続く

タグ：数楽

posted at 19:03:02

#数楽続き。実際に得られるサンプルでは周辺度数も揺らぐのに、それを無視して、超幾何分布を適用してしまうことも「使うべきではない確率分布を適用すること」の一例になっています。まあ、そういうことをすると有意差をものすごく出し難くなるのですが。有意差を出したくない人にはおすすめ。😁

タグ：数楽

posted at 19:05:46

#数楽続き。サンプルサイズが小さいときに有意差を出したい人にはカイ二乗検定よりも対数尤度比検定(G検定)がおすすめです。もちろん「補正」しちゃダメ。😱

私のある数値計算結果では、5%の有意水準でのG検定での帰無仮説が棄却される確率が7～9%程度になる場合が珍しくなかった。 pic.twitter.com/lWCJkNTNUv

タグ：数楽

posted at 19:13:55

#数楽続き。例えば、サンプルサイズnは50に固定されていて、期待値が

2 3
18 27

のような数値になるケースでは対数尤度比検定(G検定)で独立性の帰無仮説が棄却されやすくなります。このケースでもG検定がすすめられていたりしないか？どうですかね？ pic.twitter.com/YmAZo01Sd5

タグ：数楽

posted at 19:20:50

#数楽続き。一つ前のツイートはより正確に言えば「サンプルサイズnは50に固定されているが、サンプルを得るときに周辺度数は一切固定されず、多項分布のモデルで考えてよい場合」です。n=50で独立性の帰無仮説の期待値が

2 3
18 27

の場合。続く

タグ：数楽

posted at 19:23:08

#数楽仮に、期待値が

2 3
18 27

の多項分布で生成されているとしたら、有意水準を5%とするとき、G検定を使うと7%超の確率で有意差を出せる。カイ二乗検定なら4%程度で、Fisherの「正確」確率検定なら2%程度。(ピアソンの)カイ二乗検定は結構頑健。

タグ：数楽

posted at 19:27:04

#数楽実際にはサンプルサイズさえ固定されていない場合もあるでしょう(例がこのスレッドの一番上の発言のリンク先のリンク先にある)。そのような場合の様子も見るために、サンプルのa,b,c,dがPoisson分布に従う場合も扱いました。(最初の数値実験では見逃していた。)

タグ：数楽

posted at 19:29:09

#数楽確率分布を決めないと確率は計算できません。だから確率としてのp値を求める計算手続きを決める場合には、帰無仮説を何らかの確率分布でモデル化することになります。そのモデル化が不適切だと、使うべきではない確率分布を使ってp値を計算してしまうことになります。

タグ：数楽

posted at 19:32:19

#数楽私が昔からよく参照している統計学の教科書にも、Fisherの「正確」確率検定は正確で、カイ二乗検定はその近似に過ぎないというようなこと(率直に言ってひどいデタラメ)が書いてあってショックだったのですが、私自身もその辺のことを理解していなかったので、いい勉強になりました。

タグ：数楽

posted at 19:34:09

#数楽念のために。上の方で「もしも有意差を出したければ」とか「もしも有意差を出したくなければ」のような言い方をしていますが、もちろん冗談です。p値に限らず、何か数学的道具に頼るなあら、全部正直にぶっちゃけた話をしないとまずいと思う。数学的道具は一般人には権威的な力を持ちます。

タグ：数楽

posted at 19:37:43

#数楽数学は本質的に難しい。だから、権威の力で納得させるための武器としても使えてしまう。そうならないようにするためには、「こいつは気に入らないやつだから荒探ししてやろう」と思われるような態度で、計算結果やソースコードなどを可能な限り公開して他人に下駄を預けることが重要。😅

タグ：数楽

posted at 19:42:07

#数楽もう一度書いておくけど、離散分布の離散性が原因で生じる問題に関する話を私はしていません。

どちらかと言えば「p値がある値以下になるまでサンプルサイズを増やし続けるズル」の話に近い話題を扱っています。

帰無仮説の確率モデル化とそれの適用先のあいだの関係。

タグ：数楽

posted at 19:56:56

訂正　冤罪で体罰があったケースは、殴られたことが直接の原因ではなくて自殺でした。どっちにしても酷いけど
kyouikublog.wpblog.jp/shiryo/taibats...

タグ：

posted at 20:10:05

教師の暴行が原因で死亡の例

岐阜県立岐陽高校「体罰死」事件
kyouikublog.wpblog.jp/shiryo/taibats...

タグ：

posted at 20:12:26

【Aはもともと「体罰」をおこなわない教師だった。しかし同校では当時「体罰」や教師の暴力が強く容認・奨励される体質をもった学校で、Aは同僚教諭から日常的に「『体罰』をおこなわないのは指導が甘い」という圧力を受けていたという背景もあり、

タグ：

posted at 20:13:38

Aは「自分もやらねばならない」と思い、生徒らに対して暴行を加えた。】

連合赤軍と同じ構造

タグ：

posted at 20:13:56

川崎市立桜本小学校「体罰死」事件
kyouikublog.wpblog.jp/shiryo/taibats...
＞死亡した児童は頭蓋骨狭窄症の障害を持ち、生後6ヶ月の時に外科手術を受けていた。
＞「頭部をたたくなど、頭に衝撃を与えるようなことはしないでほしい」とかねてから保護者が注意を申し入れ、

タグ：

posted at 20:16:56

kyouikublog.wpblog.jp/shiryo/taibats...
＞Mの減刑嘆願署名が「被害者・Aさんがとんでもない不良生徒だった」かのような事実無根の誹謗中傷とともに集められたり、遺族宅への嫌がらせの手紙や電話など、被害者の関係者への嫌がらせが続いた。

タグ：

posted at 20:19:01

kyouikublog.wpblog.jp/shiryo/taibats...

こんな教師ばかりじゃないのは分かっているよ。こんな教師ばっかりなら、もっと頻繁に起こっているだろう。そんなの分かっている。そんな当たり前のことをあえて言う必要はない。

タグ：

posted at 20:21:46

@LimgTW @nekonyannyan821 #超算数　＃生徒に考えさせる前にネタばらしする教科書
私が見た範囲ではそのようなものはありません。こんな具合です。

学校図書中学１年教科書から pic.twitter.com/fXLwcZaHkG

タグ：生徒に考えさせる前にネタばらしする教科書超算数

posted at 20:40:50

#数楽すでにどこかに書いたと思いますが、私が数値実験して意外だったのは、対数尤度比検定がサンプルサイズが小さいときに不安定だったことです。シミュレーションでサンプルを生成する確率分布のパラメーターを動かして実験すると、補正無しのカイ二乗検定の方が対数尤度比検定より頑健に見えた。

タグ：数楽

posted at 21:06:57

#数楽続き。Fisherの「正確」確率検定が不正確な結果を出すことは、サンプルを生成している確率分布が超幾何分布とは違うので、まったく意外ではありませんでした。(注意：離散分布の離散性が主な原因の話をしていないことに注意。そこを誤解するとすべてがアウトになる。)

タグ：数楽

posted at 21:09:22

@genkuroki F正確検定の仮定の妥当性に疑問があるのでその仮定を変えると正確でないということですね。それなら理解できます。ちなみに、シミュレーションでは統計量の離散性による影響を除去できているのでしょうか？

タグ：

posted at 21:30:20

@willyoes #数楽要するに私が公開していた情報を見ずに誤解していたということですよね。

離散性の問題は自由度1の超幾何分布をもっと自由度の高い分布に変えるとかなり緩和されます。緩和がどの程度かについては実際の計算結果のプロットを見れば一目瞭然です。これも見ればわかる話です。

タグ：数楽

posted at 21:34:45

@genkuroki なるほど。確かに黒木さんの議論は見てませんでしたが、私の２つのツイートは論理的に間違った事は言ってないですよ。モデルの仮定が正しい事を前提としてp値が正確かどうかを議論するのは当然なので。仮定を変えてシミュレーションすると齟齬が出るという議論には意味があると思いますが。

タグ：

posted at 21:44:16

@willyoes 私の発言の発言を引用していましたよね。
私と無関係に言っていたのであれば問題が無かった。
「ごめんなさい」のひとことはないのでしょうか？
まあ、リンクをはっているので、見ればわかることですが。

こういうやりとりはつまらないのでこれでやめましょう。
私は自分がしたい話に戻ります。

タグ：

posted at 21:59:15

@genkuroki ええ。その点は申し訳ありませんでした。ツイートの量が多いので全部フォローできてませんでした。

タグ：

posted at 22:00:56

#数楽添付画像は、奥村晴彦『Rで楽しむ統計』p.46の図。こういう図ができる原因は二項分布の有限離散性です。以上で問題にしている話はこれとは毛色が違う。

離散的な値しか出て来ないものに連続量に適用することが適切な考え方を適用しているのだから、こうなるのは仕方がない。 pic.twitter.com/Ez570LtMTM

タグ：数楽

posted at 22:05:48

#数楽超幾何分布でサンプルを生成するとサンプルサイズが小さい場合には生じるサンプルがたったの数種類程度になってしまうことがよくあります。数種類のサンプルにp値を割り振ると可能なp値の値も数個になる。

これは定義に従えば当然そうなるべきことに過ぎません。

タグ：数楽

posted at 22:09:03

@genkuroki ツイート消すのは勿体ない感じがしたので、私の最初のツイートにはリンクを参照するようにコメントつけました。ご了承下さい。

タグ：

posted at 22:11:25

#数楽しかし、例えば、n=50の4項分布でサンプルを生成するなら、生じる可能性のあるサンプルの種類はa+b+c+d=50を満たす非負の整数の組(a,b,c,d)全体になって多様性が大幅に増します。だから、計算の結果得られるp値の種類も増えて、離散性の問題は大幅に緩和します。

タグ：数楽

posted at 22:14:33

#数楽サンプルサイズa+b+c+d=nだけが固定されていて、周辺度数が固定されていない場合には、4項分布のような確率モデルを考える必要があります。

A群のサイズa+bとB群のサイズc+dが固定されている実験計画では「2つの2項分布」のような確率モデルを考える必要がある。

タグ：数楽

posted at 22:17:57

#数楽最初にサンプルサイズa+b+c+d=nを決めずに、サンプルを得た場合にはサンプルサイズさえ固定されていないと考えなければいけません。この場合にどうモデル化するのが打倒なのか知りませんが(私は統計学はど素人です)、私は「4×Poisson分布」を使って数値実験しました。

タグ：数楽

posted at 22:23:43

#数楽実験結果は以下のリンク先にある。既出の2つ以外にもう一つ追加しておきました。

nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...

3つ目は尤度函数のアニメーションの作成です。

タグ：数楽

posted at 22:27:38

#数楽超幾何分布でサンプルが生成されている場合に、Fisherの「正確」確率検定で得られたp値は「p値がそれ以下になる確率」とぴったり一致します。しかし、超幾何分布は周辺度数が固定されている場合に制限された確率分布なので、それ以外の場合に適用することは「近似」になります。続く

タグ：数楽

posted at 22:37:26

#数楽 2×2の分割表でサンプルサイズa+b+c+d=nしか固定されていない場合を4項分布でモデル化した場合には(離散性の問題は大幅に緩和される)、n=100であってもFisherの「正確」検定のp値と「p値がそれ以下になる確率」はずっと離れたままになります。 pic.twitter.com/ucSZXabsgS

タグ：数楽

posted at 22:41:37

#数楽一つ前の添付画像のケースでは、通常のカイ二乗検定とG検定(尤度比検定)では「得られたp値」と「p値がそれ以下になる確率」はほぼ一致しているのに、Fisherの「正確」確率検定では全然違う振る舞いになっています。このケースではFisherの「正確」確率検定だけがひどい。

タグ：数楽

posted at 22:43:19