黒木玄 Gen Kuroki(@genkuroki)/2022年06月21日

なんか見た．こういうのわざわざ小数で計算するよりも比で計算する方が簡単なので積分定数さんと同じようにするなぁ．
小数の割り算とかも基本的に比を使えば小数で割り算しなくても良いし pic.twitter.com/BkA14Ly7J7

タグ：

posted at 23:53:27

河合祐介 @tkawai18_tkawai

@Yossy_K 比の使い方が鈍臭そうですね

タグ：

posted at 23:50:26

Yossy @Yossy_K

「3で割れば0.5mあたりの重さが出る」ってことが確認できてないと、「3で割って2を掛ければ良い」なんてできねぇと思うけどな。 twitter.com/w2Y3lkPhWhOwuq...

タグ：

posted at 23:48:34

非公開

タグ：

posted at xx:xx:xx

#統計回帰直線のP値函数の3次元グラフのアニメーション

nbviewer.org/github/genkuro... pic.twitter.com/QhEgZXJavI

タグ：統計

posted at 23:23:23

#統計これは回帰直線の信頼区間(区間は縦方向で無限に並んでいる)の場合のP値函数のヒートマップです。

3次元グラフにすると、てっぺんが尖った山脈型になるはず。 twitter.com/genkuroki/stat... pic.twitter.com/GygqF3aokW

タグ：統計

posted at 22:34:37

#統計 P値函数はまだ普及しているとは言えない感じなので、「なんじゃこれは？」と思っている人も多いと思うのですが、

　あらゆる信頼区間の上には
　とんがり帽子型のP値函数が乗っかっている

と覚えておけばきっと役に立つと思います。

そして重要なのは信頼区間よりもとんがり帽子の方🥳 pic.twitter.com/ZUK7JEr9g8

タグ：統計

posted at 22:29:11

#超算数割合、速さは、日常生活に豊富に実例が存在するので、3用法とかOT図のような画一的で人工的な手法をとる意義がとても薄いです。教科書にあるような定型的な課題で正解させるためにも裏マニュアルが必要な上twitter.com/temmusu_n/stat...、そうまでしても簡単につまづくとtwitter.com/temmusu_n/stat...。

タグ：超算数

posted at 22:22:31

#統計 1つ前の添付画像の実線は一様事前分布の事後分布に対応するP値函数のグラフ。

以下はJeffreys事前分布の場合で、点線の通常のP値との違いが小さくなっている。 pic.twitter.com/m6kGZLUyxw

タグ：統計

posted at 22:19:28

#統計信頼区間を書き込まない方が見易いと思う。

必然性がない閾値の設定に煩わされることがなくなる方がすっきりしている。

そして、統計学がお墨付きを与える道具でないことも信頼区間無しの方が明瞭になる。 pic.twitter.com/wC9hPaTlLq

タグ：統計

posted at 22:15:50

#統計閾値として5%が使われることが多いのですが、閾値としてそれを使う必然性はない。そこは要注意。

このスレッドで信頼区間が書き込まれていないP値函数だけのグラフを沢山見た人達の多くは「P値函数のグラフがあれば信頼区間はいらないんじゃないか？」と思うだろうし、私はそう思っています。 twitter.com/genkuroki/stat...

タグ：統計

posted at 22:12:49

#超算数非日常的な概念を関連づける法則なので、自然な理解が得られにくいという可能性はあります。でも、アンペアとかボルトとかオームという単位を無視すれば、かなり自然な理解が可能ですよね。抵抗とは単位量の電流を流すのに必要な電圧のことであるとか。

タグ：超算数

posted at 22:09:23

#超算数さらに補足。みはじくもわなどを円の中に丁字を配したようなOT図に書き込む技法は、おそらくオームの法則の学習に関連して開発されました。最初期の資料(1922)が既にtwitter.com/temmusu_n/stat...、オームの法則の三形態が一つの図に表されることを誇っていました。電流、電圧、抵抗のような

タグ：超算数

posted at 22:09:23

むむむ、画像が不鮮明になった。

ノートブック

github.com/genkuroki/publ...

の方では鮮明なのでそちらも見て下さい。

タグ：

posted at 22:02:56

#超算数補足。3用法がくもわはじきと表裏一体なことを端的に示す画像はこちらtwitter.com/temmusu_n/stat...。

タグ：超算数

posted at 22:00:18

#統計 95%(B)CIは、データとの整合性の指標であるP値が5%以上になるパラメータ値の範囲です。

「パラメータ値とデータの数値の整合性が無さすぎる」と閾値5%を使って決めれば、95%信頼区間が得られるわけです。

信頼区間についてはこのように理解して使えばよいです。 pic.twitter.com/ZSBUnzmk5q

タグ：統計

posted at 21:58:41

#統計添付画像は2つのP値函数と2つの95%(B)CIのプロットです。P値はモデルのパラメータ値(横軸)とデータの数値の整合性の指標です。

例えば、添付画像は、p/q=0.5はデータとの整合性がゼロに近く、p/q=1の整合性はひどく小さくはない、のような情報を読み取れます。続く pic.twitter.com/zIaXxfmo2b

タグ：統計

posted at 21:54:24

#超算数センス（先天的かつ選択的な技能・概念のことか）がないと割合や速さが分からないと思い込まされるほどに、分かり難い指導法（三用法）が当たり前化しているという可能性の方が高いと思います。
例）算数で1や2を取る子供が生み出したのが比をうまく使った方法だった8254.teacup.com/kakezannojunjo...。 twitter.com/koharunya/stat...

タグ：超算数

posted at 21:51:59

#統計ただし、モデルが複雑になった場合には注意が必要です。モデルが複雑だと、ベイズ法とそれ以外で結果のずれが大きくなるかもしれない。

しかし、そのときにも、「主義」の違いのようなくだらないことに煩わされる必要はないという知識が役に立つはずです。

タグ：統計

posted at 21:47:17

#統計 2つの二項分布モデルの場合の通常の信頼区間とベイズ信用区間の(近似的な)一致は、すぐに役に立つ知識。

例えば、ベイズ統計の方法でリスク比の区間推定をしている論文をP値の使い方のみに習熟した人が読むときには、その区間推定を通常に信頼区間とほぼ同じだろうと予想できるようになります。

タグ：統計

posted at 21:45:09

#統計そのように数学的に(ほぼ)一致するものの解釈を完全に別々にしても無意味です。

数学的に(ほぼ)一致するものについても実践的な場面で解釈を別にすることにこだわることは、「かけ算順序が違えば意味も変わる」と同レベルで間違っています。

タグ：統計

posted at 21:40:36

#統計事前事後分布と現実世界の事柄の関係は非自明なので、ベイズ信用区間の実践的に有効な解釈は簡単ではありません。

しかし、2つの二項分布モデル+おとなしめの事前分布のような場合には、数値的にベイズ信用区間と普通の信用区間は近似的に一致します。続く

タグ：統計

posted at 21:40:35

#統計このスレッドでクズ扱いしている「頻度論はダメなのでベイズを使おう」と言うような人達は、「信頼区間の解釈は難しいが、ベイズ信用区間の解釈は易しい」のように、ミスリーディングなことをよく言います。

しかし、このスレッドで使った2つの二項分布モデルではCIとBCIはほぼ一致。 pic.twitter.com/5NyCwcC34m

タグ：統計

posted at 21:40:34

#統計添付画像右下の95%BCI(ベイズ信用区間)と95%CI(信用区間)を比較すれば、この場合にはほぼ一致していることが分かります。

2つのP値関数がほぼ一致しているので、当然そうなります。 pic.twitter.com/UfGmMaypjv

タグ：統計

posted at 21:31:53

ごまふあざらし(GomahuAzaras @MathSorcerer

#統計「信頼区間わからん」という声はよく聞こえて来ますが、添付画像下段のようにP値函数をプロットできれば、

信頼区間=有意水準の高さでのP値函数のグラフの切断

で理解できます。

添付画像右下に、p/qの信頼区間とベイズ信用区間をプロットしておきました。 pic.twitter.com/bhKO1HAaBR

タグ：統計

posted at 21:30:04

飼い主のN年前に書いたQiita記事が参考文献に使われてるでキュ。
飼い主役に立ってるでキュ。

zenn.dev/kb_satou/artic...

タグ：

posted at 21:27:48

#統計宣伝

パラメータの事後分布とP値函数のグラフを並べて比較できるようにプロットしてある図は自分で作ったもの以外に見たことがないので、結構貴重かも。

ソースコード #Julia言語
↓
github.com/genkuroki/publ... twitter.com/genkuroki/stat... pic.twitter.com/YRihVvgyp1

タグ： Julia言語統計

posted at 20:32:52

非公開

タグ：

posted at xx:xx:xx

K.B.砂糖 @KB_satou

PDFを読むときにDeepL使うためにJuliaで改行消すGUIツール作った｜KB砂糖 zenn.dev/kb_satou/artic... #zenn

タグ： zenn

posted at 20:01:32

#統計つまらない広告の宣伝文句に付き合うのは時間の無駄なので、適当にありそうな状況を想定して、適切に強さの指標パラメータを自分で定義して、その強さの指標をどのようなモデルでは推定すると良さそうか、のような問題をいろいろ考えて勉強してしまった方が生産的だと思いました。

タグ：統計

posted at 19:56:30

#統計こういう理由で、いきなりFisher検定やら、2つの二項分布モデルのベイズ統計やらを適用して計算してしまった人達は、

　目的に合わせて妥当そうな統計モデルを選択する

というステップをとばしてしまっており、かなりまずい感じがしました。

(他にも気になることが多すぎたのだが)

タグ：統計

posted at 19:44:57

#統計同じ母集団の相手にa勝b敗とc勝d敗なのと、戦っているクラスが違っていて対戦相手の母集団のレベルが違っているときのa勝b敗とc勝d敗では話が全然違って来ます。

続く

タグ：統計

posted at 19:44:56

#統計続き

a b
c d

という分割表のデータにFisher検定やらχ²検定やら、二項分布×2のモデルのベイズ統計を適用して、「どちらが強いか」という問題に意味のある推測をできるためには、ものすごく特別な条件が成立していなければいけません。続く

タグ：統計

posted at 19:44:55

ずかし♡手作りツイート @ZukashiT

#統計

「Aさんはa勝b敗で、Bさんはc勝d敗のとき、どちらが強いのか？」のスタイルの問題を聞いたとき、囲碁や将棋のレーティングの話を思い出す人もいるはず。

弱い相手だけではなく、強い相手にも勝つ人が強いということを組み入れたモデルではレーティングを推定する必要があります。続く

タグ：統計

posted at 19:37:08

"本結果はHPVワクチン副反応のネガティブキャンペーンにより積極的なワクチン接種勧奨の差し控えが続き、ワクチン接種率が1％未満（2002 年度以降生まれの女性）という日本がいかに世界の潮流からかけ離れた危機的な状況にあるかを、改めて浮き彫りにする内容"

www.carenet.com/news/general/c...

タグ：

posted at 18:59:35

渡邊恵太 / Keita Watana @100kw

ARグラス行く前に、スマホショルダーというウェアラブルデバイスになる進化を辿っている？笑

news.yahoo.co.jp/articles/f67fd...

タグ：

posted at 18:56:57

TaKu @takusansu

#超算数興味深い内容もあったので紹介しておきます。
第５学年の正式な割合指導前における児童の倍・割合の捉え方
山田篤史
aue.repo.nii.ac.jp/?action=pages_...

タグ：超算数

posted at 17:55:04

しっかりした専門家による慎重な解説はクリアで分かりやすいことが多いと思う。

そういう解説の努力の逆側に、妙な説を広める人達がいるという感じ。

タグ：

posted at 15:22:34

#統計統計学のイロハのイの部分については、伝統的におかしな解説をする側が多数派で力を持っているせいで、騙された状態で数年～数十年(❗️)経った後に自分の考え方を訂正しなければいけないというパターンが多いと思う。

統計学は苦手だと思っている人の方が信用できる可能性さえある。

タグ：統計

posted at 14:03:29

Gabriel Peyré @gabrielpeyre

QR algorithm is a gem of numerical algebra: iterative QR decomposition converges to a triangular matrix. Converges to a diagonal matrix for symmetric inputs. en.wikipedia.org/wiki/QR_algori... pic.twitter.com/BidTW60uf0

タグ：

posted at 14:00:00

#統計 P値に関するASA声明 www.jstage.jst.go.jp/article/jjb/38... の説明の仕方にはちょっとだけよくない部分がありますが、次の動画を見ればクリアに理解できると思います。P値と信頼区間の両方が開設されています。

youtu.be/vz9cZnB1d1c

タグ：統計

posted at 13:59:28

#統計このスレッドに書いたことは、イロハのイくらいにあたる基礎的な話なのですが、そう簡単に理解できる話にはなっていないと私は感じています。どうすればよいかは今後の重要な問題。

タグ：統計

posted at 13:45:32

#統計しかし、通常のFisher検定の導出の仕方を知っていれば、任意のオッズ比パラメータ値に関するFisher検定の導出はほぼ自明です。

Fisher検定についての理解度は

「オッズ比パラメータはωである」という仮説のFisher検定を適切に定義せよ

という問題を解かせればわかる。

タグ：統計

posted at 13:43:23

#統計以下のリンク先の添付画像では、通常のFisher検定に対応する仮説「オッズ比パラメータは1である」のP値だけではなく、仮説「オッズ比パラメータはωである」のP値をωを動かしてプロットしています。

「オッズ比パラメータはωである」という仮説のFisher検定について普通の教科書に説明はない。 twitter.com/genkuroki/stat...

タグ：統計

posted at 13:40:46

#統計最初の方の話に戻るが、

問題：Fisher検定を与える統計モデルについて説明せよ。どのようなモデルから、どのようにしてFisher検定が導出されるか？

という問題は結構難しい問題かもしれません。

大雑把に答えることもそう簡単じゃないかも。

入門的教科書でもまともに説明されていない。 twitter.com/genkuroki/stat...

タグ：統計

posted at 13:32:40

椹野道流 @MichiruF

靴下のびよんびよん遊び、可愛すぎて時間が溶けるから、みんなも巻き添えになって。 pic.twitter.com/kGSeirbnT2

タグ：

posted at 13:28:29

#統計すでにP値を使う統計学ユーザーとして立派な仕事をしている人たちに対して、「頻度論はダメだ」などと馬鹿なことを言って喧嘩を売ることなく、私が上でやって見せたように、P値に関する既習の事柄はベイズ統計でもそのまま役に立つという事実について解説した方が建設的で良いと思います。

タグ：統計

posted at 13:20:20

@kankichi57301 @kankichi57301

２着と３着の回数が問題ｗ twitter.com/sakatokuyt_tg/...

タグ：

posted at 13:16:40

#統計 P値について深く考察した人であれば、P値に関するASA声明を読み、ロスマンさん達の有名な疫学の教科書におけるP値函数に関する解説もすでに学んでおり、ツイッターでも活躍しているロスマンさんの発言に注目していると思う。

そこまで来ればベイズ統計の事後分布との関係もすぐに理解できます。

タグ：統計

posted at 13:14:03

#統計以上のグラフはJeffreys事前分布Beta(0.5,0.5)の場合です。一様事前分布にすると「5戦4勝」側のデータが小さいせいで、そちらではずれが大きくなりますが、傾向は同じです。

添付画像①はJefreys事前分布で②は一様事前分布Beta(1,1)の場合。 pic.twitter.com/y7ZXh7187n

タグ：統計

posted at 13:10:28

#統計下段のグラフを見れば、事後分布をP値函数に変換すれば、通常のP値函数とほぼ一致していることがわかります。

逆にロスマンさん達の疫学の教科書を読んでP値函数の使い方をマスターした人はこのグラフを見れば事後分布の使い方もすでに理解していたことに気付くことになる。 pic.twitter.com/RN3xq0qzL9

タグ：統計

posted at 13:06:12

#統計この場合には、事後分布のプロットと通常のP値函数のプロットから同じ結論が得られることを示すグラフを作りました。

上段がJeffreys事前分布から得られる事後分布のグラフ。

下段が事後分布に対応するP値函数(実線)の類似物と通常のP値(破線)の同時プロット。

nbviewer.org/github/genkuro... twitter.com/genkuroki/stat... pic.twitter.com/VjVAJgBacI

タグ：統計

posted at 13:01:59

#統計個人的な意見では、この手のことを勉強するときには、既存のパッケージにある検定の函数を使わずに、自分でP値函数のコードを書いてプロットしてみるのがよいと思います。

任意のプログラミング言語で可。(私は #Julia言語と #R言語を使うことが多い)

タグ： Julia言語 R言語統計

posted at 12:09:25

#統計二項分布モデルではlogit変換してから正規分布近似をするといいよということを示すグラフの例。

通常のWald検定のP値函数の台は0未満にはみ出している。

Wilsonのスコア検定のP値とlogit変換WaldのP値はほぼぴったり一致しています。

github.com/genkuroki/publ... twitter.com/genkuroki/stat... pic.twitter.com/3HdvPf93PP

タグ：統計

posted at 12:06:48

Mうら @tchaikovsky1026

「勝つ確率を比べる」という分析をしたいとして、最も重要な直感は

「5回挑戦して3回勝った」という世界も十分あり得たのではないか

ということだと思う。 twitter.com/genkuroki/stat...

タグ：

posted at 12:03:52

キャルちゃん @tweetnakasho

ロッシュローブ中のテスト粒子の運動を計算してみました。Juliaで綺麗な軌跡を描くのにこだわっています。どうしてこのような軌道を描くのかは下のリンクからどうぞ↓
github-nakasho.github.io/compact/roche pic.twitter.com/tMZTTY3Wh6

タグ：

posted at 11:55:48

Daichi Mochihashi @daiti_m

@Idesan "Pathology"というのは、引用されているMinka(1999)の論文 "Pathologies of Orthodox statistics" tminka.github.io/papers/minka-p... を踏まえた表現かも知れないと思いました。頻度主義にも良いところがあるので、検定はともかく、もし全員ベイズだと逆に一面的すぎて怖い気がしますね。

タグ：

posted at 11:54:12

#統計 P値の使い方をマスターした人達は、P値に対して頭の悪そうな攻撃的態度を取っている人たちを無視して、渡辺澄夫『ベイズ統計の理論と方法』のような、ベイズ統計だけではなく、最尤法でのAICの使い方などについても書いてある合理的な内容の本でベイズ統計を学ぶとよいと思います。

タグ：統計

posted at 11:53:14

#統計「頻度論(もしくはP値)はダメなのでベイズ統計を使おう」的な頭の悪そうな人が言いそうな攻撃的態度を取ることをきちんと恥じて、ASA声明やらロスマンさん達の教科書を読んで、それを参考にしながらベイズ統計の普及の仕方について考える穏健で合理的な態度が必要でしょう。

タグ：統計

posted at 11:49:18

#統計「頻度論」という用語を使って「ベイズ推し」をする人達の特徴は、『P値に関するASA声明』やロスマンさん達の超有名な疫学の教科書に書いてあるようなP値函数の使い方について完全に無知であるように見えること。

無知丸出しで妙なことを言いまくっている。

影響を受けないように注意が必要。

タグ：統計

posted at 11:46:32

#統計このように、事後分布を読むようにすると、この場合にはP値を使った場合とほぼ同じ判断結果が得られることになります。

P値を使う場合もP値の値を1つだけ計算するのではなく、パラメータ値をオールオーバーで動かしてグラフを描くべきです(ロスマンさん達の疫学の有名教科書の教え)。

タグ：統計

posted at 11:42:34

#統計例えば、右側のグラフからは、一様事前分布の下で、

* p/q=1 すなわち p=q という仮説とデータの数値の整合性は結構ある。

のような情報を読み取れます。 pic.twitter.com/eDjN5HOjOo

タグ：統計

posted at 11:40:05

#統計例えば、左側のグラフからは、一様事前分布の下では、

* p=0.4という仮説と「5戦4勝」というデータの数値に整合性は全然ゼロではない。

* q=0.4という仮説と「100戦60勝」というデータの数値の整合性はほぼゼロである。

のような情報を読み取れる。続く pic.twitter.com/pO6RhBhYOn

タグ：統計

posted at 11:38:05

#統計例えば、添付画像の事後分布のグラフは、

一様事前分布の下での
p, qの値は～であるという仮説とデータの数値の整合性、
p/qの値は～であるという仮説とデータの数値の整合性

を表すグラフだとみなせます。 pic.twitter.com/XHvgZYx4hh

タグ：統計

posted at 11:35:10

#統計 P値に関するそういう経験を事後分布の場合に活かせば、事後分布もまた整合性の指標だとみなせば無難だろうというアイデアが得られます。続く

タグ：統計

posted at 11:35:07

#統計 P値は、モデル(およびその背後にあるあらゆる前提)と観測データの数値の整合性の指標でしかないと考えれば、P値の行き過ぎた利用を防ぎ易くなります。

詳しくは
↓
www.biometrics.gr.jp/news/all/ASA.pdf

タグ：統計

posted at 11:29:40

#統計 P値の無難な解釈の仕方は「P値に関するASA声明」www.biometrics.gr.jp/news/all/ASA.pdf に書いてあります。P値は

モデル(+パラメータ値+背景にあるすべての仮定)と
データの数値の整合性の指標

だとされている。モデルもデータもどちらも怪しいものであっても、それらの間の整合性の指標は計算できる。

タグ：統計

posted at 11:27:01

#統計似たようなことがP値にもあって、P値は数学的フィクションであるモデル内で測った確率に過ぎず、現実における可能性の高さを意味すると思ってしまうと、P値に関する典型的な誤解になってしまいます。

続く

タグ：統計

posted at 11:22:42

#統計この場合の事後分布の慎重な解釈法について

「事後分布で測るとp>qとなる確率は76.2%である」と言われると「p>qの確率が76.2%もあるのか！」という印象を受けがちになると思う。

何の確率を意味するかが不明の事後分布で測った確率に過ぎないのにそういう判断の仕方をするのは非常にまずい。 pic.twitter.com/FIAKkvPjAa

タグ：統計

posted at 11:20:52

#統計「事後分布を見ると～の方が優れているように見える」のようなことをいきなり言いたくなった人達も同様に非科学的な思考法の持ち主に分類されると思います。

いやあ、これはすごい。

高学歴者っぽい人達が寄り集まって、自分自身が非科学的であることを告白する会が開催されているかのようだ。

タグ：統計

posted at 11:10:21

#統計いきなり最初に「統計学的に有意で{ある,ない}！」と言いたくなった人は自分が非科学的な思考法をしていることの自覚が必要。

そして、そういうとてもまずい行為を行った人の発言に感心して拡散してしまった人達も同様だと思います。

この件では非科学的な人達が視覚化されたとみなせます。

タグ：統計

posted at 11:04:52

#統計すべてのステップで致命的な誤りを犯す可能性があるので、誤りを犯すこと自体は仕方がないと思います。

しかし、慎重にステップを踏まずに、いきなり計算して、安易な判断を下すことは避けるべき。

タグ：統計

posted at 11:04:51

#統計

データの取得の仕方とその目的を設定
↓
それに合わせて妥当そうな統計モデルを設定する
↓
データの取得
↓
モデルにデータの数値を与えて色々計算する
↓
誤りを犯している可能性が残っている部分を気にしつつ
計算結果を慎重に利用する。

いきなり計算して安易に利用するのは非常にまずい。

タグ：統計

posted at 10:56:33

#統計こういう知識があれば、

❌頻度論ではp=p₀という仮説を扱うが、ベイズ統計的にはp=p₀となる確率はゼロなので、頻度論はおかしい。

のような主張の持ち主が、批判している先の頻度論とやらについての何も理解していないことが明瞭になります。

考えが足りない人達が敷設した地雷は実に多い。

タグ：統計

posted at 10:40:53

#統計ただし、両側検定のP値と比較する対象になるベイズ統計の事後分布で測った確率は

❌p=p₀となる確率

ではなく、

⭕️p≥p₀となる確率とp≤p₀となる確率の小さい方の2倍

になります。両側検定のP値は片側検定のP値の2倍もしくはその近似値になっているので、こう考えるのが自然です。

タグ：統計

posted at 10:35:42

#統計続き。二項分布モデルで、両側検定のP値とベイズ統計を比較する場合には、近似の精度を上げるには片側検定の場合の2つの事前分布の中間のJeffreys事前分布Beta(0.5, 0.5)を採用するとうまく行きます。

タグ：統計

posted at 10:35:38

#統計二項分布モデルの場合には、

仮説p≥p₀片側検定のP値
=事前分布Beta(1,0)の事後分布で測ったp≥p₀となる確率

仮説p≤p₀片側検定のP値
=事前分布Beta(0,1)の事後分布で測ったp≤p₀となる確率

がぴったり成立しています。片側検定の方向によって事前分布を変える必要がある。続く pic.twitter.com/3Px1nQNuXF

タグ：統計

posted at 10:35:37

#統計統計学がらみの話題でいつも思うことは、非科学的な判断をしている人達が自分はまともだという態度を取っているように見えること。

多分、統計学を「科学的なお墨付きを得るための道具」だと誤解しているのだと思う。

曖昧な結論しか出せないことが明瞭な道具なのになぜかそうなっている。

タグ：統計

posted at 10:18:15

#統計あと、これもいつも酷いと思って見ているのですが、必然性皆無の5%の閾値を境目にして有意だとか有意でないとか偉そうに語ることを止めるべき。

さすがにそういう非科学的な判断をする癖を身に付けたとみなされるのはまずいと思った方がよいです。

タグ：統計

posted at 10:14:03

#統計

安易な判断をやめて、まずがモデルの妥当性を疑う癖をつけて、仮にモデルが妥当そうであってもデータが何らかの理由で偏っている可能性を気にすることを当然とすることが、標準的な教養になるべきだと思います。

陳腐でつまらない常識的な結論ですが、結構逸脱している人が多い。

タグ：統計

posted at 10:11:17

#統計「たったの76.2%しかない」という判断の仕方を、χ²検定の場合の「たったの81.5%しかない」(対応するP値は37.1%)という判断の仕方経由で学ぶことができれば、視界を広げ易くなると思います。

タグ：統計

posted at 10:11:16

#統計 χ²検定と同程度のベイズ統計の使い方をすれば、事後分布で測ったp>qの確率は__たったの76.2%しかない__ないので、ベイズ統計の方法でモデルにノイズを学習させてしまったリスクがかなりあると判断することになる。

所詮はモデルにデータを食わせているだけの計算なので判断は慎重であるべき。

タグ：統計

posted at 10:02:47

#統計

連続性補正無しのχ²検定における仮説p=qのP値は37.1%になります。

添付画像中にある事後分布で測ったp>qの確率の76.2%と比較されるべき値は

1 - P値/2 = 81.5%

です。これはベイズ版の76.2%に結構近い。 pic.twitter.com/4xIZd1P6hf

タグ：統計

posted at 10:02:46

#統計本当は、事前分布も含めてモデルの妥当性について最初に何も言及しようとしていない(していればまずいと気付くはず)時点で完全にアウトなのですが、その点を「これは遊び」という理由で見逃してあげても相当におかしなことになっている。続く pic.twitter.com/7HZEsKQsEe

タグ：統計

posted at 09:53:58

#統計「ベイズ」とか言っている人達のどこがひどいか

添付画像の左側のグラフを見せて、「5戦4勝」の側の勝率の事後分布が右寄りなので、「5戦4勝」の側が優れていると判断できる、とあっさり言えてしまうところがひどい。

もしかして、主義思想イデオロギーにハマり込んでも恥じない習慣がある？ pic.twitter.com/24vCTcw1MZ

タグ：統計

posted at 09:51:15

非公開

タグ：

posted at xx:xx:xx

#統計二項分布モデルで対数オッズ比の正規分布近似を使った方法ではlogit, logistic変換を使うことになり、二次方程式を解くだけで計算できるWilsonの信頼区間と比較して使うメリットはないと思います。

しかし、どの正規分布近似の精度が高いかをある程度理解しておくことは有用。

タグ：統計

posted at 08:24:21

#統計比率の差に正規分布近似を直接適用すると0～1をはみ出す事件が発生し易い。

そこで、対数オッズ比 log((p̂/(1-p̂))/(p/(1-p)))に正規分布近似

log((p̂/(1-p̂))/(p/(1-p)))√(np̂(1-p̂)) ～ Normal(0,1) (近似的に)

を適用して信頼区間を構成すると、Wilsonの信頼区間をよく近似してくれます。

タグ：統計

posted at 08:20:27

#統計 Waldの信頼区間は比率の信頼区間のはずなのに0～1の範囲をはみ出すことがあります(笑)

そうなる理由は、「n人中k人」というデータから作られるp̂=k/nについて、直接的に

(p̂-p)/√(p̂(1-p̂)/n) ～ Normal(0,1) (近似的に)

という正規分布近似を使うからです。(分母のp̂をpにすればWilson版)

タグ：統計

posted at 08:16:17

#統計二項分布モデルでも似たような近似が成立しています。

「比率は0.2である」という仮説の二項分布モデルで正規分布近似を使って計算するP値で有名なのは、Wald検定のP値とWilson版のスコア検定のP値。

後者に対応する信頼区間の計算では二次方程式を解く必要がある。

前者の近似は粗い。続く

タグ：統計

posted at 08:12:06

#統計 χ²検定版の(=スコア検定版の)オッズ比の信頼区間は、対数オッズ比に関するWald版の信頼区間のexpでよく近似されます。だから、実用的には対数オッズ比に関するWald版の信頼区間のexpが実装されていれば十分。

そういう理由でχ²検定版の信頼区間の実装を見つけ難いのかなと思いました。

タグ：統計

posted at 08:05:35

#統計

教えて！

2×2の分割表でのχ²検定版の信頼区間を表示してくれるRのパッケージがあれば教えてください！

Jerome Cornfield (1956)
projecteuclid.org/ebooks/berkele...

に連続補正入りのχ²検定版の信頼区間の計算の仕方が書いてあります。

私はそれを知らずに再発見しました(再発見は易しい演習問題)。

タグ：統計

posted at 08:02:49

#統計色々あるFisher検定のP値と信頼区間とP値函数のグラフをRで見たい人は、exact2x2パッケージを入れるとよいです。これ、P値函数をプロットしてくれるところが、fisher.testよりもずっと便利です。

添付画像は #Julia言語から #R言語のexact2x2を使ってP値函数のグラフを表示させている様子。 pic.twitter.com/V5gwzmINhU

タグ： Julia言語 R言語統計

posted at 07:57:11

#統計だから、デフォルトでchisq.testが表示する連続補正入りのP値が、Clopper-Pearson型のFisher検定のP値(fisher.testは表示しない)を近似することに気付けないし、χ²検定版の信頼区間とFisher検定版の信頼区間を比較することもできない。

うまくできている(笑)

タグ：統計

posted at 07:45:48

#統計その辺の事情は、多分、Rユーザーにとっては分かり難い。

Rのchisq.testはデフォルトで連続補正を入れてかつオッズ比やリスク比の信頼区間を表示しない。

Rのfisher.testが表示するP値はSterne型(tsmethod="minlik")のP値で、表示する信頼区間はClopper-Pearson型です。

続く

タグ：統計

posted at 07:45:48