黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年10月23日(日)
マルチンゲール＠データサイエンス×生産技 @industrial_ds
「現代数理統計学の基礎（久保川）」
✅8章 統計的区間推定
信頼区間の構成方法に、検定の棄却域を反転させる方法が載っていて、検定の裏返しだな～と再確認できた。
簡単な計算でも、一度手計算していると、納得感UPするな。
タグ：
posted at 23:33:20
#統計 95%信頼区間は、P値が5%以上になるパラメータ値全体の集合になる(信頼区間と検定の双対性より、これを信頼区間の定義だと思ってよい)。
すなわち、95%信頼区間は、P値函数のグラフを高さ5%で切断して得られる線分になる。 pic.twitter.com/UwjgcBWOFg
タグ： 統計
posted at 22:40:44
#統計 例えば、以下のP値函数のグラフを見れば、二項分布モデルの下で、「n=20回中6回成功」というデータの数値と、p=0.05やp=0.65のようなパラメータ値の相性は極めて悪いことが見て取れる。 pic.twitter.com/cOilcZEC6n
タグ： 統計
posted at 22:40:42
#統計 P値函数の立場では、データの数値との相性が最高のパラメータ値が点推定値になる。
以下のグラフから、「n=20回中k=6回成功」というデータの数値と最も相性が良いパラメータ値はp=k/n=0.3になっており、最尤推定値と一致する。 pic.twitter.com/cDmWTbJbS3
タグ： 統計
posted at 22:40:40
#統計 P値は、二項分布モデルの下で、
データの数値「n=20回中k=6回成功」と
仮説「成功確率はpである」の相性の良さ(compatibility)
と解釈。
二項分布モデルが妥当であれば、相性が悪すぎる仮説は正しくないだろうと考えることができる。ただし、過信せずに、結論の曖昧さは許容する。続く pic.twitter.com/EIEBCMszGw
タグ： 統計
posted at 22:40:38
#統計 二項分布モデルの場合のP値函数について解説。
添付画像は「n=20回中k回成功」というデータの数値から得られるP値函数のグラフ。
横軸は仮説上の成功確率pの値で縦軸は仮説のP値です。
例えば、仮説p=0.14のP値は0.05程度。
例えば、仮説p=0.30のP値は最大の1になっている。
続く pic.twitter.com/PbxIUSUXEn
タグ： 統計
posted at 22:40:35
#統計
添付画像①は信頼区間の「実装の詳細」。
添付画像②はP値函数に抽象化された信頼区間の「普遍的な理解」。
どちらも重要ですが、統計ソフトも②のグラフを容易にアウトプットしてくれるなら(この前提が大問題)、②の考え方ができれば実践的な信頼区間の解釈には十分だと思う。 twitter.com/genkuroki/stat... pic.twitter.com/1DqxJFFR5t
タグ： 統計
posted at 22:14:37
#統計 P値函数入門として秀逸なのが journals.sagepub.com/doi/10.1177/02...
P値函数という普通の教科書に解説がないものに手を出すことによって得られる予想外の御利益は、ベイズ統計の事後分布との類似によってベイズ統計にも自然に接続できるようになること。
添付画像
①P値函数
②ベイズ統計での事後分布 twitter.com/genkuroki/stat... pic.twitter.com/mZuX2ThAzD
タグ： 統計
posted at 22:05:15
#統計 色々試行錯誤した結果、実践的に役に立つ信頼区間の解釈を直観的に得るためには、次のようにした方が楽だと気付きました。
(1)P値函数のグラフの形と解釈の仕方を理解する。
(2)P値函数に帰着して信頼区間を理解する。
github.com/genkuroki/publ...
journals.sagepub.com/doi/10.1177/02... pic.twitter.com/eJvq7STBSf
タグ： 統計
posted at 22:00:17
#統計
Wilsonの信頼区間(入門書には書かれていないことが多い)とWaldの信頼区間の構成で使われる二項分布の正規分布近似の違いを確認するための動画。
github.com/genkuroki/publ... twitter.com/i/web/status/1... pic.twitter.com/18oL6DUvaE
タグ： 統計
posted at 21:44:51
#統計 私が作った「比率の信頼区間」の図の詰め合わせセット
添付画像
①Clopper-Pearsonの信頼区間
②Sterneの信頼区間
③Wilsonの信頼区間
④Waldの信頼区間
③④の正規分布近似の仕方の違いに注目！
これ作るのは非常に面倒だった。
コードの汚さマックスで公開し難い。 twitter.com/iznaiy_emjawak... pic.twitter.com/trJVeTOdrs
タグ： 統計
posted at 21:37:15
@kankichi57301 @sekibunnteisuu めちゃくちゃうけた！🤣
【3人に5個ずつ配る を 3×5】だとかけ算順序強制指導先生に、バツにされたり、「かけ算の意味をわかっていない」と言われる！🤣
かけ算順序強制指導のアホらしさが非常によくわかる。 pic.twitter.com/3Mt4tJvzvR
タグ：
posted at 21:19:07
Re: RTs 個人的には、ああいう人物に自分が書いたものを、津川さんやsekkaiさんへの不当な攻撃に利用されることは恥になると感じる人が大部分だと思いたい。
タグ：
posted at 21:10:11
#Julia言語 シンプルな10⁹～10¹⁰回程度のループで済む問題であればアルゴリズムの工夫抜きにそのまま試しに実行してみる感じ。 twitter.com/genkuroki/stat...
タグ： Julia言語
posted at 21:05:31
Buitengebieden @buitengebieden
Sunday mood.. 😂
Sound on pic.twitter.com/5xnOplgUAI
タグ：
posted at 18:25:02
#統計 しかし、そういうイデオロギーに汚染されていない考え方をしている渡辺澄夫さんの『ベイズ統計の理論と方法』のような本の第3章を見ると、P値とベイズファクターの間に成立する漸近的な関係式が本質的に書いてあるとみなせます。
その応用例
↓ twitter.com/genkuroki/stat...
タグ： 統計
posted at 17:05:12
#Julia言語 使い方は簡単。
julialang.org/downloads/
からcurrent stable releaseをダウンロードしてインストールするだけ！
詳しい解説
↓twitter.com/genkuroki/stat...
タグ： Julia言語
posted at 16:51:31
#Julia言語 あと、この手のパズルでは
1000カ+100キ+10ク+ケ
のような計算が必要になるのですが、Juliaならこれをそのまま書けば合法的なコードになってくれます。
Juliaはこの手の数学パズル専用の汎用プログラミング言語(汎用です！(笑))のような感じ。 pic.twitter.com/9QxaOdceob
タグ： Julia言語
posted at 16:49:53
#Julia言語 1から9の順列ではなく、重複を許した場合も同様にシンプルでかつコンパイル時間も含めて一瞬です。
github.com/genkuroki/publ... pic.twitter.com/lW1ftLVKuV
タグ： Julia言語
posted at 16:44:49
私も #Julia言語 が非常にお勧め。
公式バイナリ(current stable release)を julialang.org/downloads/ からダウンロードして、添付画像のように使うだけ。
アイウエオカキクケを変数として使えており、順列全体もこんなに簡単に生成できる。
github.com/genkuroki/publ... twitter.com/884_96/status/... pic.twitter.com/0YnRc25R7c
タグ： Julia言語
posted at 16:39:15
金利差で上手く説明出来る時もあれば、MBの比率で上手く説明出来る時もあるとは思います。
しかし、いずれも「金融政策スタンスの差異」のサブセット
先物のレート予想には、このスタンスの違いを折り込みますよね、身銭切っている市場関係者なら
金融引締したい「私情関係者」は別ですが💦 twitter.com/shinchanchi/st...
タグ：
posted at 15:57:03
ありしゅの正式譲渡書類作成中。
10/29に約1ヶ月ぶりに会うけどどんな顔するかな…
保護した日からの写真を見返して、病気もせず無事に大きくなってくれて本当に可愛くて、ありしゅの家族と出会えて幸せそうで、胸がぎゅーっとするね。 pic.twitter.com/rrtYavZfja
タグ：
posted at 15:24:30
#統計 以上の話と密接に関係している「信頼区間と検定の双対性」については以下のリンク先スレッドを参照。
入門的な教科書での検定の解説に問題があることと、入門的な教科書で区間推定と検定を全然別の話であるかのように説明しているという問題は「勉強不足」という点で密接に関係していると思う。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 14:48:16
子宮頸がんワクチン｢9年空白｣が招いた重い代償 #東洋経済オンライン @Toyokeizai toyokeizai.net/articles/-/626...
タグ： 東洋経済オンライン
posted at 14:40:53
非公開
タグ：
posted at xx:xx:xx
Yuichiro Minato @MinatoYuichiro
正直量子アルゴリズム開発も幼稚園レベルだよな。。。まだよちよち歩きの段階でとても実用化できない。
タグ：
posted at 14:14:34
#統計 P値の使用については、記事「統計的有意性に立ち向かう[800人以上の]科学者たち」#の3人の共著者のうちの2人が書いた論文 journals.sagepub.com/doi/10.1177/02... では、「効果ゼロ」という帰無仮説以外にも「効果は数値aである」の型のすべての仮説のP値も計算して利用するべきだという話になっています。
タグ： 統計
posted at 14:12:35
#統計 natureに出た「統計的有意性に立ち向かう[800人以上の]科学者たち」という記事 www.nature.com/articles/d4158... で否定されているのは、ある特定の単独の帰無仮説に関する統計的有意性の有無だけで科学的な結論を出すことです。
P値や検定の使用自体が否定されているわけではないです。続く twitter.com/genkuroki/stat...
タグ： 統計
posted at 14:12:34
#統計 今までの教科書の説明のまずさについてどこまではっきり言うべきかについては人によって意見が違ってよいと思います。しかし、京大の佐藤俊哉さんが講義動画で
【統計の教科書を見たら必ずこう書いてありますよね。でもこれ誤解なんです。】
と言ってくれています！
ocwcentral.com/subjects/01GB4... pic.twitter.com/X7A6sLpGEG
タグ： 統計
posted at 13:25:54
#統計 P値をデータの数値と統計モデル+パラメータ値の相性の良さ(compatibility)の指標の1つとみなし、信頼区間をcompatibility intervalと改名するというような話は、最近の論文
journals.sagepub.com/doi/10.1177/02...
でさらにクリアに解説されています。
タグ： 統計
posted at 13:12:03
#統計 【科学的プロセスを著しく損ねている】行為については、natureに出た次の記事も読む価値があります。
www.nature.com/articles/d4158...
この記事では、信頼区間(confidence interval)を互換区間(compatible interval)に改名して、過信を防ぐことを提案しています。続く
タグ： 統計
posted at 13:11:59
ごまふあざらし(GomahuAzaras @MathSorcerer
最近の一週間あたりの #Julia言語 を書く時間はPythonに比べて圧倒的に増えたので実質 Julian.
タグ： Julia言語
posted at 13:03:39
#統計 ASA声明の原則3【科学的な結論や、ビジネス、政策におけ る決定は、P 値がある値(訳注: 有意水準) を超えたかどうかにのみ基づくべきではな い】
つまり、仮説検定で統計的に有意な結果が出たか否かだけで、科学的な結論を出すなどの重要な意思決定を行ってはいけないということです。 pic.twitter.com/GslkrQbevd
タグ： 統計
posted at 12:38:15
林先生，#julia言語 使ってみませんか？
数学の考え方，そのままコード化できますよ！
（林先生が使ってくれれば，juliaも広がる予感。） twitter.com/884_96/status/... pic.twitter.com/kOVWOS5ziS
タグ：
posted at 12:38:12
#統計 添付画像は
統計的有意性とP値に関するASA声明
www.biometrics.gr.jp/news/all/ASA.pdf
の原則1です。
【P 値はデータと特定の統計モデルが矛 盾する程度をしめす指標のひとつ】です。
統計モデルは例えばパラメータに関する帰無仮説も含むと考えます。 pic.twitter.com/YvD3OJoabT
タグ： 統計
posted at 12:30:57
#統計 通常使われている仮説θ=aの両側検定は、そういう類のものではなく、
⭕️データの数値と仮説θ=aの下での統計モデルの相性の良さを確認すること
だと説明した方がよいです。この説明は
統計的有意性とP値に関するASA声明
www.biometrics.gr.jp/news/all/ASA.pdf
に準拠した説明になっています。続く
タグ： 統計
posted at 12:30:54
#統計 補足。
帰無仮説: θ=a
対立仮説: θ≠a
では、帰無仮説は単独の仮説θ=aなので分かり易い。
対立仮説の側ではθ≠aという単独の仮説を扱うのではなく
a以外の値bに関する仮説θ=b全体の集合
を扱うことを正直に説してもらっていないせいで、基本的なことを理解不能になるパターンが多いと思う。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 12:30:51
#統計
github.com/genkuroki/publ... で紹介した事例では、テストデータをランダムに100個の生成したとき、致命的な計算ミスが発生するのはそのうちの4個だけになっています。
いくつかの例で正しく計算していることを確認できていても実際には致命的にバグってしまうこともあるので本当に要注意です。 pic.twitter.com/ohVSudega9
タグ： 統計
posted at 11:25:02
#統計 #Julia言語
qiita.com/WolfMoon/items... の実装では fisher(11, 6, 1, 6)の結果が正しくないので要注意です。
修正方法を含む詳しい情報についてはこのスレッド全体を参照。 twitter.com/kamikudakun/st...
posted at 03:04:10
Re: RTs 論争的な事柄について何かを発表するときには、「後でこっそり改竄した」と言われることはダメージになるので、変更履歴も同時に公開する仕組みにしておいて、そう言えなくしておきたいと思う。
タグ：
posted at 02:58:12
#統計 これは
データの数値xから得られるパラメータθの信頼区間S(x)
と
検定法における値θ₀に関する仮説θ=θ₀の受容域A(θ₀)
が
S(x)={θ₀|x∈A(θ₀)}
A(θ₀)={x|θ₀∈S(x)}
θ₀∈S(x)⇔x∈A(θ₀)
によって一対一に対応しているというシンプルな話です。
図で見ればが分かり易い。
↓ pic.twitter.com/CB0xlXKC7r
タグ： 統計
posted at 02:41:46
#統計 区間推定としての信頼区間と検定の間の双対性については、日本語で書かれた有名な複数の教科書でも解説されています。
竹内啓『数理統計学』p.103
竹村彰通『現代数理統計学』p.202
久保川達也『現代数理統計学の基礎』p.169
小針晛宏『確率・統計入門』p.197 twitter.com/genkuroki/stat... pic.twitter.com/EWcelpgAGF
タグ： 統計
posted at 02:41:43
#統計 Lehmann, Testing Statistical Hypotheses, 1959 (初版)のような仮説検定に関する有名な教科書で、
区間推定としての信頼区間と検定の族(family of tests)の間の双対性
がしっかり解説されています。
区間推定と検定は表裏一体なのです！ pic.twitter.com/NN76hbe2jk
タグ： 統計
posted at 02:41:38
#統計 有害な「検定警察行為」を大雑把に定義しておきましょう。
実際には有害でも何でもない行為について、検定という用語が出てきたことに機械的に反応して、ルール違反だと騒ぎ立てる行為。
かなり目立つ。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 02:41:33
A series of videos published by photographer Xavier Hubert-Brierre in 2012 ("le miroir en forêt") shows the footages of jungle creatures seeing their own reflections in a mirror for the first time
[full video, read more: buff.ly/3mOOZ30-]
pic.twitter.com/fh4X2Gl3B6
タグ：
posted at 00:30:00
