黒木玄 Gen Kuroki(@genkuroki)/2022年10月29日

通報お願いします。卑怯です。 twitter.com/4tdeganbaru/st...

タグ：

posted at 23:52:21

#統計この件の結末がどうなるとしても、結構教育的な事例になっているとは思います。

タグ：統計

posted at 23:50:22

#統計遊びでやるゲームであればそういうのも楽しいのですが、このスレッドで扱っていることでは、そういう楽しみ方をできてしまうのは非常にまずいです。

研究計画の段階で、採用した効果の指標の区間推定と検定法のあいだの整合性を確保しておくべきでした。

タグ：統計

posted at 23:42:47

#統計こういう流れは、確率的に勝負が決まるゲームをたくさんやったことがある人なら体感しているはずの、「自分の側への運の良さの偏りが、ゲームの繰り返しによってひっくり返って、自分が負け組に転落する途中の様子」にそっくりです。

タグ：統計

posted at 23:37:30

#統計こういう流れは、効き目があることを期待している人達を不安のどん底に落とし入れるに十分だと思われます。

それなのにプレスリリース www.shionogi.com/jp/ja/news/202... や www.shionogi.com/content/dam/sh... では肯定的な結果が得られたと宣伝しているのは非常に不可解です。

タグ：統計

posted at 23:28:36

#統計その上、Phase 2bの結果を見て定めた必要な標本サイズを見積もるための中央値に関する仮定は「11.1日から8.3日に短縮」だったのに、Phase 3でのデータでは「8.0日から7.0日に短縮」にかなり弱まっており、中央値の差の95%信頼区間も0日を含んでいます！

タグ：統計

posted at 23:28:36

#統計注目する症状の種類を5つに減らせば良さそうだとした理由はPhase 2bでのデータに数値がそうなっていたからです。そのような観察で得た仮説は信用できない場合が多いと思います。 pic.twitter.com/JAVCM2xQ58

タグ：統計

posted at 23:28:34

#統計いやあ、こういうのは、誰も得しない状況になっているわけで、一体どうなってしまうんですかね？

最初に必要な標本サイズを見積もるときに、適当な保守的な仮定の下で中央値の差の検定の検出力も80%以上になるようにしておけば、結果がどうなったとしても納得できたと思われます。

タグ：統計

posted at 22:54:02

#統計添付画像は上と同じ。

しかも、中央値はそれぞれ8.3日、11.1日だと仮定して必要な標本サイズを見積もったのですが、実際のPhase 3の結果ではそれぞれ7.0日、8.0日で差が大幅に小さくなってしまった！

結果的に中央値の差の95%信頼区間が0日を含むことになってしまった！😱 pic.twitter.com/Z8doIKZmye

タグ：統計

posted at 22:47:40

#統計添付画像は上のSept. 23, 2022 (ver.2)より。

5症状解消までの日数の中央値の改善をテストしたいなら、Peto-Prentice版の一般化Wilcoxonでの検出力80%の標本サイズではなく、中央値の差の検定の検出力80%の標本サイズを見積もるべきでした。

戦いの準備の段階で敗北しているように見えました。 pic.twitter.com/lacRCxXY3P

タグ：統計

posted at 22:43:24

#統計 primary endpointがver.1からver.2にかけて変更されています。

添付画像①は上のSept. 23, 2022 (ver.2)の検出力80%の実現のための標本サイズの見積もりの部分より。

中央値の差の検定の検出力80%の実現を目指していない！

添付画像②は www.shionogi.com/content/dam/sh... の10/12のやつ(既出)。 pic.twitter.com/QRiqSvpM9c

タグ：統計

posted at 22:39:33

#統計他に見ておくべき資料は

www.medrxiv.org/content/10.110...
September 23, 2022 (ver.2)

と

www.medrxiv.org/content/10.110...
July 17, 2022 (ver.1)

の2つ。バージョンの違いで、内容に違いがあるので両方に目を通した方がよいです。

タグ：統計

posted at 21:38:15

④の参考文献
pubmed.ncbi.nlm.nih.gov/17727746/

タグ：

posted at 21:04:09

④保護者の「いつもと違う」は要注意

保護者が「いつもと違う」と感じたとき、そうでないときと比べて重症感染症のリスク(陽性尤度比)が14.4倍にもなるとの報告があるんじゃ

「なにかおかしい」と感じたら受診してもろてええし、それを笑う小児科医はおらんのじゃ

タグ：

posted at 20:46:51

#統計こういう「誰得」な状況を生じさせてしまった理由は、

「指標○○で測った効果は～だけありそう」と言いたければ、そこで使った効果の指標○○にマッチした検定法を使わなければいけない

という当たり前の話を理解していないから。

同じような失敗は他にも見つかるんじゃないか？

タグ：統計

posted at 20:46:49

#統計本当に我々が興味あることは「ゾコーバには意味にある効き目があるのか？」についてであり、統計学の初歩的な誤用は単に迷惑なノイズに過ぎません。

しかし、こんなにひどい「誰得」な状況が生じているのはちょっとすごいな。

タグ：統計

posted at 20:46:48

#統計続き。5症状消失までの時間の中央値が約1日短くなることを主張したいのであれば、最悪でも、中央値の差の95%信頼区間が0を含まないことを示す必要があるのに、中央値の差の検定になっていない別の検定のP値を示して「統計的に有意」とか言うのは統計学の誤用だと思う。

www.shionogi.com/content/dam/sh... pic.twitter.com/1PUp8xHUiJ

タグ：統計

posted at 20:46:47

③熱の高さと重症度は一致しないことがある

よく、熱が高くて心配される親御さんがおるんじゃ

熱の高さも重症度の参考にはなるが、今回の例のように38℃前後でも重症なことはあるんじゃ

大事なのは、呼吸の仕方やぐったりしているかなどの子ども自身の元気さ、医学用語で言う「全身状態」じゃ

タグ：

posted at 20:42:08

②細菌性髄膜炎はワクチンで予防できる

生後3ヶ月以降の髄膜炎の原因は、肺炎球菌とHibが多くを占めるんじゃ

そして、この２つにはワクチンが定期接種となっておる

細菌性髄膜炎は、Hibと肺炎球菌のワクチンの普及で大きく減った疾患なんじゃ
www.niid.go.jp/niid/ja/kansen... pic.twitter.com/hhLdxPkouZ

タグ：

posted at 20:39:05

①生後3ヶ月未満の発熱は要注意

生後3ヶ月未満の発熱には、約10%に重症な感染症(髄膜炎など)が隠れているんじゃ

3ヶ月未満のお子さんが発熱したら、「すぐに」医療機関を受診することが大事じゃ
www.ped-doctor-blog.com/fever/#index_id2

タグ：

posted at 20:35:47

投稿主の方のお子さん、大事に至らなかったようで何よりじゃ

この投稿に関連して、いくつか話してみるんじゃ

①生後3ヶ月未満の発熱は要注意
②細菌性髄膜炎はワクチンで予防できる
③熱の高さと重症度は一致しないこともある
④保護者の「いつもと違う」は要注意 twitter.com/soar0129/statu...

タグ：

posted at 20:33:25

#統計添付画像は

www.shionogi.com/jp/ja/investor...
↓
www.shionogi.com/content/dam/sh...
2022年10月12日 Transcript

より。

中央値の差の点推定値

と

中央値の差の検定にはなっていないカプラン・マイヤー法のP値

の組合せでは、中央値が24時間程度改善することの証拠には全然ならないことをわかっていない。 pic.twitter.com/9BtF1QVHOt

タグ：統計

posted at 20:28:06

@tomoak1n 言い方が雑ですいません、「症状」はゾコーバの主要評価項目とされていたようなもののこと(生死に直結することではない)を指しており、重症化は別個の評価軸として言ったものです(パキロビッドやモルヌピラビル等はそちらは示せている)

タグ：

posted at 17:04:20

まあこれ↓よね
症状改善効果はパキロビッドも示せてないしそこだけで見ようとするのはそもそも苦しいのよね　重症化を観測しづらくなった今となっては

一方ウイルス量をン十分の一に減らしているのは間違いなさそうなので、それで長期的な悪さが減るかどうかとかに注目したほうが筋がいいと思う twitter.com/genkuroki/stat...

タグ：

posted at 16:28:15

ま〜 p-hacking による研究不正とまで言うのはきついかな　元々カプランマイヤーのほうも検定するとは書いてある twitter.com/consultnt_a/st...

タグ：

posted at 16:22:36

#Julia言語この手抜きのコードを書いても動く点が非常に便利なのですが、手抜き過ぎたらコンパイル時にエラーが出るようにできるとありがたいかも。

函数に引数を与えたときのJITコンパイル時に型安定性をチェックしてダメすぎるならそこでエラーを出して止まってくれるようにできると嬉しい。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 15:27:23

#Julia言語

 docs.julialang.org/en/v1/manual/p...

の存在を初めて知ったときには、

もっと早く教えてくれよ！😭

と泣きが入りました。

学習の最初の段階における基本の理解は非常に大事。

タグ： Julia言語

posted at 15:18:43

#Julia言語

引数の具象型の伝搬

や

無駄なメモリアロケーションの削減の重要性

の重要性と対策については

docs.julialang.org/en/v1/manual/p...

で詳しく解説されています。

このページの内容を理解すると、Juliaでコードを書くことが一挙に楽になります。

考え方をどう変えれば良いかがわかる！

タグ： Julia言語

posted at 15:18:42

#Julia言語そうやって「とにかく動く！」とすることによって生じるトレードオフを理解していると便利なのですが、理解していないと、動いてしまうがゆえにどこで失敗しているかを気付きにくいということはあるかもしれません。

@ code_warntyoe や @ time による確認は重要。

タグ： Julia言語

posted at 15:13:07

#Julia言語

引数の具象型の伝搬を気にせずにコードを書いても動く！

とか

無駄なメモリ割り当ての発生を気にせずに書いても動く！

のような特徴があります。

タグ： Julia言語

posted at 15:13:06

#Julia言語多重ディスパッチやら計算が速いというような解説がよくあるのですが、

　手を抜ける所では徹底して手を抜けるようになっている。
　ただしそのときパフォーマンスは劣化する。

という特徴が顕著な点は結構重要だと思います。

引数の具象型の伝搬を気にせずにコードを書いても動く！www twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 15:13:05

#Julia言語同様のことは、RationalとRational{Int}の違いについても言えます。

普通は、具象型ではないRationalを成分の型(eltype)とする配列などを函数の引数に与えたりしません。

引数の具象型の伝搬という発想でコードを書くことを理解することが本質的。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 14:58:08

#Julia言語型についてよく理解することは重要で、例えば、Array{Float64}のような型をstructのフィールドの型に指定すると、Array{Float64}は具象型ではないので、計算速度の劣化の原因になります。Vector{Float64}, Matrix{Float64}, Array{Float64, 3}なら大丈夫。

docs.julialang.org/en/v1/manual/p...

タグ： Julia言語

posted at 14:58:07

#Julia言語実際には、常にそのように頭を使いまくるのは大変なので、パフォーマンスが重要でない部分では気を抜いてテキトーに書くことになります。(手を抜きたい場面で手を抜けることのメリットは非常に大きい！)

その代わりにパフォーマンスが重要な場面では型の正常な伝搬の記述は徹底します。

タグ： Julia言語

posted at 14:58:07

#Julia言語 Juliaでコードを書くときには、抽象型の類の型ではなく、Int64, Float64, Matrix{ComplexF64}などの具象型をイメージすることになります。

値が持つ具体的な型が場合によっては適切に変換されながら流れて行く様子をイメージします。

タグ： Julia言語

posted at 14:58:06

#Julia言語そういう異なる型を持つ数値間の演算で必要になる型変換のルールは、異なる型を持つ数値を成分として持つベクトルや行列の演算にも遺伝するようになっています。

ここで重要な点は、「型」は具象型を意味することです。

抽象型をイメージするとひどく誤解することになります。

タグ： Julia言語

posted at 14:58:05

#Julia言語異なる型を持つ数値間の +, -, *, /, =, < のような演算がJuliaのコードで記述されており、型変換のルールは promote 系の函数のメソッドとして記述されています。

詳しくは公式ドキュメントを参照
↓
docs.julialang.org/en/v1/manual/c...

多重ディスパッチの応用例として非常に面白いです。

タグ： Julia言語

posted at 14:58:04

#Julia言語

Juliaには引数の具象型から戻り値の具象型が一意に決めるための慣習化されたパターンが幾つかあります。

例えば、Int64の1とFloat64の2.0に関する 1 + 2.0 の値の型(具象型)はFloat64になります。そういうルールがJuliaのコードで記述されており、それをユーザー側も利用できます。続く

タグ： Julia言語

posted at 14:58:04

#Julia言語 JuliaはC/C++やFortranと同じ程度の速さで計算できるようになっています。

それを可能にするためには、コンパイル時に型情報を徹底して利用せざるを得ないはずで、実際にJuliaもそうしています。計算速度が重要ならそこを理解することが基本になります。

タグ： Julia言語

posted at 14:58:02

#Julia言語難しくない場合から順番に @ code_warntype や @ code_typed マクロで確認して行けば、実践的にコードを書くときにはそう困りません。

しかしJuliaについては「型情報をどのように伝搬させるか」の理解が最も基本的だと気付けないと非常に苦しくなるでしょう。続く

タグ： Julia言語

posted at 14:58:01

#Julia言語ただし、戻り値の型が引数の値の型から一意に決まるようにコードを書く必要があります。

そのためには、Juliaがコンパイル時に、引数の値の具象型(抽象型ではなく、具体的な値の型であることに注意！)を他の変数の型にどのように伝搬させて行くかを理解する必要があります。続く

タグ： Julia言語

posted at 14:58:00

#Julia言語函数を

　f : 指定された型 → 指定された型

のような定義域と値域が決まっている写像のイメージで定義するという発想でJuliaを使いこなすのは無理で、

　f : 引数の値の型 → 引数の値の型から決まる値の型

のように引数の値の型が函数によって伝播して行くと考える必要があります。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 14:57:58

@tomoak1n @genkuroki 実データでカプランマイヤーをログランクで検定するとどうなったのかは気になりますね
カーブの後ろのほうを見るに例えば low dose のほうはログランクだと微妙で high dose のほうはログランクでもウィルコクソンでも大丈夫だった的な

当局側と取り決めた時点の情報は欲しいですね

タグ：

posted at 14:57:25

TN @tomoak1n

@inferist @genkuroki 最新版(9/23)はそう書いてあるけど
Version 1 (July 17, 2022 - 08:48)
というのもあって、違うことが書いてあるような。

するっていうと、治験開始(beginning in February 2022)前に決まっていた方法とは言い難いのではないかしら。 pic.twitter.com/mGiqNdsc5v

タグ：

posted at 14:42:17

#統計 P値であろうが、尤度であろうが、ベイズ統計の事後分布であろうと、どれを使っても、過信をせずに、それらを見ただけでは分からないことが科学的に重要であることを認識しながら使えば、おかしなことにならないと思う。

統計学に御墨付きを求めることを捨てることが大事。

タグ：統計

posted at 14:05:59

TN @tomoak1n

@inferist @genkuroki 塩野義の解析の一番詳しい公開情報はこの原稿ですかね。
www.medrxiv.org/content/10.110...

タグ：

posted at 14:04:21

#統計そう認識できていれば、さらにベイズ統計での事後分布も

　データの数値(ひどいバイアスに塗れていてもよい)

と

　統計モデル(ひどく不適切なモデルであってもよい)&
　そのパラメータ値
　(事前分布は統計モデルに含まれる)

の間の相性の良さの様子を表しているだけだということも分かる。

タグ：統計

posted at 14:02:20

#統計「有意差決戦主義」からの離脱には、P値が

　データの数値(ひどいバイアスに塗れていてもよい)

と

　統計モデル(ひどく不適切なモデルであってもよい)&
　そのパラメータ値

の間の相性の良さの指標でしかないことと、

　有意水準5%と配牌ドラ2以上の関係www

の認識が役に立つと思う！ twitter.com/genkuroki/stat...

タグ：統計

posted at 13:58:54

この類の解析でカプランマイヤーで有意差を見るのはどのくらい使われてるんだろう

タグ：

posted at 13:04:34

これは確かにカプランマイヤーでは有意だけど中央値では有意水準満たせずと言ったほうが誠実でしたな、、 twitter.com/genkuroki/stat... pic.twitter.com/DBOnOVbXAQ

タグ：

posted at 13:02:01

Togetter（トゥギャッター） @togetter_jp

白石の皮をはがして作ったカーディガンを着てお出かけする女性のイメージ写真www

よりにもよって白石かよ！www

【普段遣いしやすい】www

↓

『ゴールデンカムイ』とearthJLのコラボで「普段遣いしやすいデザインの刺青人皮カーディガン」爆誕 togetter.com/li/1964960 #Togetter @togetter_jpより

タグ： Togetter

posted at 12:23:49

わかる、わかるけど文字面が強すぎる。 / 他8件のコメント b.hatena.ne.jp/entry/s/togett... “『ゴールデンカムイ』とearthJLのコラボで「普段遣いしやすいデザインの刺青人皮カーディガン」爆誕” htn.to/3EdbNZUacr #Togetter

タグ： Togetter

posted at 12:16:07

#統計解説w

赤無しドラ4枚ルールの麻雀で配牌13枚中にドラが2枚以上ある確率は4.56%で、有意水準としてよく使われている5%に近い。配牌ドラ2は体感的にそう厳しい条件ではない。w

だから、有意水準5%の閾値を使って得た結果を我々は過信してはいけないことも体感で分かる。w

タグ：統計

posted at 12:13:20

みなみぞうあざらし @Brother_chang

#統計解説

null P値、点推定値、信頼区間の3点セットは、データの数値と統計モデル+パラメータ値の相性の良さの様子を表すP値函数の要約とみなされる。

null P値、点推定値、信頼区間の3点セットは通常数値で報告されるが、人間にはP値函数のグラフの方が直観的に分かり易い。 pic.twitter.com/z1NsyfPS5I

タグ：統計

posted at 12:13:19

このスレッドかな。 twitter.com/genkuroki/stat...

タグ：

posted at 11:19:21

シオノギは phase 2 trial でも (p-hacking とは比較にならない程どぎつい) 主要評価項目を途中で変更して解析するという横車押しをして厚労省審議会でも強く批判されています。既に失われている信頼を取り戻すべく、シオノギ @SHIONOGI_JP がこの疑念に誠意を持って向き合うよう望みます。 (5/5)

タグ：

posted at 11:07:14

これは主要評価項目の解析で有意差が出なかった時に後から有意差が出る検定を探して再検定をする p-hacking という古典的な研究不正が疑われる事案であり、この結果をもって ensitrelvir が承認されるようなことがあってはならないと思います。(4/5)

タグ：

posted at 11:06:49

95% 信頼区間が p 値が5%を超える点推定の集合であることを考えると、これで p=0.04 になるわけがありません。さらによくよく見てみると、なんと、主要評価項目である症状消失までの時間の検定とは別に、わざわざ有意差が出るように別に検定をしているようです。 (3/5)

タグ：

posted at 11:06:12

シオノギ @SHIONOGI_JP のプレスリリースでは「p=0.04 で被験薬が対照群と比較して有意に主要評価項目を達成した」としていますが、そのあとをよく見てみると症状消失までの時間の 95% 信頼区間は [-78.7, 11.7] と0をまたいでおり、どう見ても対照群と比較して有意な改善を示していません。 (2/5)

タグ：

posted at 11:05:21

既に黒木先生 @genkuroki が指摘されていますが、シオノギ @SHIONOGI_JP の新型コロナウイルス感染治療薬 ensitrelvir (ゾコーバ) の phase 3 trial のプレスリリースで研究不正になりうる p-hacking が疑われています。(1/5) www.shionogi.com/jp/ja/news/202...

タグ：

posted at 11:04:26