黒木玄 Gen Kuroki(@genkuroki)/2022年04月05日

#統計件の論文のようにベイズ信用区間を主道具の1つとして使っている論文は現実にあります。

しかもそのベイズ信用区間は、数学的に、通常のP値を使って定義された通常の信頼区間にほぼ同じになることが分かっている。

P値について注意するべきことはその場合にもすべて注意する必要があります。

タグ：統計

posted at 23:58:06

#統計「ベイズ統計は通常の統計学とは主義思想哲学が異なる」という言説を広め、それをベイズ統計学習者に叩き込みたい人達の中には、ベイズ統計ならデータ取得のタイミングを自由に決めて良いと言う人達がいます。

このスレッドを読めばそれは研究不正をすすめる行為に近いことが分かるはずです。

タグ：統計

posted at 23:54:36

ベルティア;バーチャル言語の悪魔 @arbazard

#統計「都合の良い結果が出るまでデータを取り続ける」のような行為もP値や信頼区間を使うときにはやってはいけない(再現性がない研究が生産される)ことは有名だと思います。

ベイズ信用区間についても「都合の良い結果が出るまでデータを取り続ける」ことをやると非常にまずいことになります。続く

タグ：統計

posted at 23:54:34

23対22で勝利しました。 #ぷよ碁 puyogo.app/rp?kf=REV3JBc0...

タグ：ぷよ碁

posted at 23:51:15

ʇɥƃıluooɯ ǝıʇɐs @tsatie

（Googleの9歳から12歳程の算数を解するAIは当然 #超算数は否定するやろと決めつけてたけど其れって甘いのかも。だって今流行りのAIってビッグデータからそれらしいモノを見繕ったり拵えたりする超高級人工無脳から未だそんなに抜けてない気もするからなぁ。どないやろかなぁ。でも訊いてみたいなぁ）

タグ：超算数

posted at 23:45:44

ʇɥƃıluooɯ ǝıʇɐs @tsatie

（いよいよ人工知能に #超算数の是非に関して意見を訊く事ができるようになったのか！それはなかなか興味深い） twitter.com/jaguring1/stat...

タグ：超算数

posted at 23:37:21

非公開

タグ：

posted at xx:xx:xx

高橋カヲル @kaoru6

@athteacherm @genkuroki 赤無: www.wolframalpha.com/input?i=choose...

赤3枚: www.wolframalpha.com/input?i=choose...

赤4枚: www.wolframalpha.com/input?i=choose...
いずれもドラ3(ドラ3以上ではなく)

タグ：

posted at 22:22:03

非公開

タグ：

posted at xx:xx:xx

0.5%は麻雀で言えば配牌でドラ3の確率の2倍程度ですか？

タグ：

posted at 22:06:49

Re: RTs

麻雀でも四暗刻と国士無双は数え切れないくらい上がれるという印象がある。

四暗刻+国士無双程度の事故は覚悟しておかないと怖い。

海底摸月の類と同程度の確率ならもっと怖い。

タグ：

posted at 21:52:39

アカスネ @acasune

jupyterってjulia python Rの略だった記憶だけどなんか魔改造されていろいろな言語のインターフェースになっちゃってるわね

タグ：

posted at 21:29:51

@Tanuk_Ichi ですよねｗ

タグ：

posted at 21:18:53

非公開

タグ：

posted at xx:xx:xx

@koud0429 まあでもそれは概算でそう近似しても問題ない程度ですし、そもそもこの人と議論する気はこれっぽっちもないのでw

タグ：

posted at 20:34:13

@Tanuk_Ichi 主張の内容よりも、0、5％は全く起こらないものだと思い込んでる感覚のズレを感じたのでw

タグ：

posted at 20:32:02

エスエス @kabushi_ss

@Tanuk_Ichi ちゃんと確率分かってる人が最強説。

タグ：

posted at 20:21:01

非公開

タグ：

posted at xx:xx:xx

コウ @koud0429

@key_poker 主旨と違ってすみませんが、元ツイートのレスでも言ってますが、分母にする数字がおかしいので死亡率0.5%じゃなさそうですね。これだと「女性の年間死亡者のうち子宮頸癌で死亡する女性の割合」となりそうです。

タグ：

posted at 19:50:10

前も書いたけど、20%と30%の差って言われてもピンと来ない人が多いと思います。でも、KKを持っている時に、相手が55なのかA5なのかの違いです。
確率を実感できる、これがポーカーをやり込むメリットじゃないかなと思うのです。

タグ：

posted at 19:21:11

#統計 P値に限らず、尤度や事後確率を使っても、データを見てから作ったモデルや仮説をあたかもデータを得る前に考えていたかのような態度を取ると、再現性のない大迷惑な研究がいっちょ上がりになります。

統計学入門でP値を学ぶ段階で基礎をおさえておくことは非常に大事。

タグ：統計

posted at 19:18:12

#統計データを見てから後付けでモデルを調節すればそのデータにぴったりフィットするモデルを容易に作れるのですが、P値の悪用の文脈ではそういう行為をしているのに偽って発表することは研究不正(に近い行為)だと教えられています。

P値の勉強で後付けでモデルを作るのはまずいことを学べます。

タグ：統計

posted at 19:14:54

#統計統計モデルとパラメータの値の組み合わせと観測データの整合性が高いだけで、その統計モデルとパラメータの値の組み合わせが現実においてもっともらしいと考えては__いけない__ことも理解しておく必要があります。 twitter.com/genkuroki/stat...

タグ：統計

posted at 19:14:52

0、5％って、ポーカーでAAが配られるくらいの確率。１ハンドしかポーカーしないとして、AA配られたら死ぬとしたらめちゃくちゃ高い確率ですよね。
しかもAK、QQ+だったら大変な手術をしないといけない。
これ、ポーカーやってたらどれだけ高い確率か実感できると思います。 twitter.com/torutoridamari...

タグ：

posted at 19:13:46

#統計これは、「単価×数量」の順序でも「数量×単価」の順序でもどちらでもよいことは当たり前なのに、片方の順序を子供に押し付けようとする大人の問題に似ています。

「完全に等しい」を「近似的に等しく、トレードオフがある」に置き換えると、主義に基く統計学の問題になります。

タグ：統計

posted at 18:29:34

#統計同一目的に使われるP値や信頼区間の構成の仕方は多彩です。単純なモデルであっても非常にたくさんある。

どれかが一方的に他より優れているということはなくて、トレードオフで理解する必要があります。

これについても色々困ったことがある。自分の主義の押し付けが普通に観察される。

タグ：統計

posted at 18:24:41

#統計【最尤法の漸近論を使ったP値函数の普遍的な構成法】とは、Wilks' theoremを基礎とする「対数尤度比検定」「Wald検定」「スコア検定」のことです。

例えば、2×2の分割表におけるオッズ比やリスク比のP値をスコア検定の方法で定義することはよく使われていると思います。(所謂χ²検定が得られる) twitter.com/genkuroki/stat...

タグ：統計

posted at 18:20:51

#統計 P値函数と尤度函数や事後分布の定義は全然違うのですが、すべてが密接に関係しています。

それらのどれかが他より一方的に優れているというような考え方をしようとする人達は非常におかしな考え方に陥っています。

単にトレードオフがあるに過ぎません。どれにも長所と短所がある。

タグ：統計

posted at 18:15:21

#統計統計モデルのパラメータと観測データの整合性の指標としてよく使われているのは

* P値函数
* 尤度函数
* 事後分布

尤度函数と事後分布は事前分布と規格化定数の違いしかない(「しかない」を強調)。

最尤法の漸近論を使ったP値函数の普遍的な構成法によって、尤度函数とP値函数も繋がる。 twitter.com/genkuroki/stat...

タグ：統計

posted at 18:10:34

一乃† @enjotk

@TH4TDRE4M 実は今触ってるのjuliaなんだよね。
Goは現状で触るメリットないかなって感じ。結局は土木言語なので

タグ：

posted at 17:54:55

一乃† @enjotk

Julia強すぎる。今までの言語の強いところ全部乗せって感じ。

タグ：

posted at 17:10:26

一乃† @enjotk

最初にCやって、軽い言語としてRubyやって、オブジェクト指向としてC#やって、PHPとJSも書けるようになった訳で、そろそろ関数型やろうかなとF#やったけど地獄見てるんだけど、ふと調べたJuliaって奴が記述美しすぎてびっくりしてる

タグ：

posted at 17:09:19

@zerota00000

ぷよ碁うちゅういち下手 pic.twitter.com/UMmiZX4XvW

タグ：

posted at 16:01:39

#統計少し上に戻る。

統計モデルは現実をぴったり記述しているとは考えてはいけない理由をもっと具体的にP値の誤用をネタに解説してくれているのが、このスレッドのトップで紹介した佐藤俊哉さんの解説動画です。

ベイズ統計でもそのまま通用する普遍的な考え方が解説されています。

タグ：統計

posted at 15:43:30

#統計例えば、ある統計モデルを使って得られたベイズ信用区間が論文に掲載されていてかつその計算に十分なデータの数値も掲載されているならば、その数値と同じ統計モデルを使って通常の信頼区間を計算して比較してみることができます。

ベイズ統計の使用に疑問を表明するのはその後で十分です。

タグ：統計

posted at 15:41:06

#統計ただし、異なる方法ごとに別々のモデルとデータの整合性の指標を作って利用しているので、整合性の評価の質や強さが方法ごとに違ってしまう可能性がある。

しかし、このスレッドで示したように、モデルがシンプルならばフェアな方法で比較できます。

タグ：統計

posted at 15:37:47

#統計このような考え方をするときのポイントは、統計モデルは現実をぴったり記述しているとは考えてはいけないこと。

しかし、統計モデルと観測データの整合性の程度は適当な指標を作って評価できる。この視点に立てば、通常のP値を使う統計学とベイズ統計は似たようなものに見えるはずなのです。

タグ：統計

posted at 15:35:07

#統計もしも、その比較の結果、通常のP値函数とベイズ統計版の事後分布から作ったP値函数の類似が、互いに相手をよく近似しているなら、実践的には通常のP値函数とベイズ統計のどちらを使っても統計分析の結果はほぼ同じなります。

そういう場合に主義思想哲学の違いを説いても意味がないです。

タグ：統計

posted at 15:30:32

#統計統計モデルと観測データから計算される通常のP値函数とベイズ統計の事後分布はどちらも、モデルのパラメータ値と観測データの整合性の指標になっています。

それらP値函数と事後分布の定義はまったく異なるのですが、事後分布からP値函数の類似物を作ることができて、それらを比較できます。

タグ：統計

posted at 15:30:31

#統計ベイズ統計の方法を使っているだけで要注意であるかのような発言を平気でしてもよい世界が広がってしまった理由は、伝統的なベイズ統計の宣伝家達が「ベイズ統計は異なる主義思想哲学に基く」という言説を広めることに成功したからだと思う。

科学の発展にダメージを与えているように見える。

タグ：統計

posted at 15:14:17

#統計ベイズ統計の方法を使っているだけで要注意であるかのような発言を平気でしてもよい世界が広がっているようだ。

そんなに要注意だと思うなら、自分が使っている統計ソフト(例えば上で示したようにRでよい)でリスク比の通常の信頼区間を計算してみればよいのに。10分もかからないはず。

タグ：統計

posted at 15:09:57

#統計図的には、事後分布全体またはP値函数全体のグラフを論文に添付した法が読者にとってはありがたい。(どちらも同じような情報を持つ。)

P値函数のグラフの見方はRothmanさん達の超有名な疫学の教科書に書いてあります。

この場合にはシンプルにプロットできるのは事後分布の方です。

タグ：統計

posted at 14:40:51

#統計相対リスク(リスク比)の信頼区間の私による実装を信用できない人は以下のリンク先のRのlibrary(epiR)のepi.2x2が表示してくれるリスク比の信頼区間と件の論文のベイズ信用区間を比較してみてください。

実践的には無視できる程度の違いしかない。

github.com/genkuroki/publ... twitter.com/genkuroki/stat... pic.twitter.com/UWC0jKn1JK

タグ：統計

posted at 14:35:28

非公開

タグ：

posted at xx:xx:xx

igotti @igotti

まだ #ヒカルの碁の面白さを知らん人が一億人はいてはるんやろな(≧▽≦)
囲碁ファンが一億人増える可能性はあんな！(๑•̀ㅂ•́)و✧

#ぷよ碁
 puyogo.app

とりあえずぷよ碁からやってみて下さい(^^)/ twitter.com/slick7319/stat...

タグ：ぷよ碁ヒカルの碁

posted at 01:56:16

かめ @kamesen

動画の30分位で検定に限らず統計解析の全ての手法はデータの取り方にバイアスがない、ランダムサンプリングが実施されているという2つの仮定が守られていなければ意味がないと述べていて気持ちが良かった。 twitter.com/genkuroki/stat...

タグ：

posted at 01:32:06

訂正

❌n=40なので結構一致しています。
⭕️n=40なのに結構一致しています。

意味が逆。😭

#統計 n=1000でkが小さい場合の動画
↓ twitter.com/genkuroki/stat... pic.twitter.com/ZJtyVokUNl

タグ：統計

posted at 01:11:33

#統計通常のP値函数を正規分布で作ったものだけにした場合の動画。 pic.twitter.com/CQMc9rW9AX

タグ：統計

posted at 00:35:11

#統計 #Julia言語

せっかく作った動画なので放流。

二項分布モデルの場合の、3つの通常のP値函数と3つのベイズ統計でのP値函数の類似物を同時プロット。

n=40なので結構一致しています。

github.com/genkuroki/publ... pic.twitter.com/1Z7zQTtPvm

タグ： Julia言語統計

posted at 00:34:03

#統計件のイベルメクチン論文の事後分布のグラフFigure S6のRothmanさん達の疫学の教科書ですすめているP値函数版に変換したものが添付画像のグラフです(既出)。

現論文のベイズ版を変換したものと私が実装したP値函数を同時プロットしている。ほぼぴったり重なっている。

github.com/genkuroki/publ... pic.twitter.com/CdzIzGGP3G

タグ：統計

posted at 00:26:11

#統計 P値についての誤解の解説は他にもたくさんありますが、佐藤俊哉さんの解説動画と違って、単なる初歩的な誤解を扱っているだけで、統計学の使用において普遍的に重要な事柄から大きくずれているものが多いと思う。

佐藤俊哉さんの解説はP値だけではなくベイズ統計でも役に立ちます。

タグ：統計

posted at 00:18:50

#統計このスレッドのトップで紹介した佐藤俊哉さんの解説動画(リンクをたどれば佐藤俊哉さんの別の動画も視聴できる)は、データは確実に偏っていると思った方がよいことと、その事実と統計モデルの取り扱いの関係を強調した説明になっており、その手のことはそのままベイズ統計でも重要になります。

タグ：統計

posted at 00:15:07

#統計この手の現実のデータは確実に偏っている点に注意が必要です。

データがどのように偏っている可能性があるかは、データの数値を見ただけでは絶対にわからない。当該分野特有の専門知識が決定的に重要。

タグ：統計

posted at 00:06:20

#統計論文のSupple. Appendixにある以下の図に、intention-to-treat, modified intention-to-treat, per-protocolの3つのグラフが載っていることは、モデルがぴったり現実のデータ生成の仕方を記述していないことが原因の失敗の可能性を減らすための処方箋の1つだとみなされると思います。 pic.twitter.com/eaGROnIFWs

タグ：統計

posted at 00:03:43