黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年06月11日(土)
@hikari_SMN #統計 本当に設定についてそれしか書かれていないなら、確率に関する典型的な誤りです。その設定だけだと、袋1を選んだ確率を計算する手段がない。
「最初に袋1,2を同確率で選んだ」という設定があれば、赤8青4になったという条件の下での袋1を選んだ条件付き確率が約97%だと分かります。
タグ： 統計
posted at 05:08:07
@hikari_SMN #統計 よくある誤りは、「勝手に袋1,2を最初に同確率で選んだことを前提にしてしまうこと」です。
ベイズの定理経由で問題を解かずに、同時確率分布を最初に記述し切ってしまう方がよいと思いました。そうすればよくある誤りを防げる。
条件付き確率を理解していれば、ベイズの定理は無用です。
タグ： 統計
posted at 05:15:26
@hikari_SMN #統計 この手の話題の説明では、最初に袋1,2をどう選んだかの前提を述べずに、よくある誤りをおかしてもらい(97%と答えさせる)、その後に最初に袋1,2を等確率で選ばない場合をベイズの定理を使って計算して、ベイズの定理が本当は自明でつまらない定理であることを分からなくする解説が定番です。
タグ： 統計
posted at 05:33:03
@hikari_SMN #統計 そういう説明の仕方は、ベイズの定理のようなつまらない結果をすごい話のように見せるために、最初に確率の設定を地道に行なっていれば、よくある誤りをおかさずに済んだかもしれない読者を誤りをおかすように誤誘導しているのでちょっと酷いと思っています。
タグ： 統計
posted at 05:36:14
@hikari_SMN #統計 お勧めの解法
⓪ベイズの定理は無用である。
①最初に、袋の選択の仕方も含めて「袋i赤a青b」となる確率(同時確率)を完全に記述し切る。袋に関する確率の記述をここで確定させる。
②赤8青4になる確率を計算する。
③(袋1赤8青4の確率)/(赤8青4の確率)を計算する。
タグ： 統計
posted at 05:58:30
【ベイズの定理のようなつまらない結果をすごい話のように見せるために、最初に確率の設定を地道に行なっていれば、よくある誤りをおかさずに済んだかもしれない読者を誤りをおかすように誤誘導】するやり方は本当にありがちで、よろしくないと思う。 twitter.com/genkuroki/stat...
タグ：
posted at 06:00:46
最初に読者を誤誘導することによって、○○の定理を凄そうに見せるような解説は、数学教育的にかなり問題がありすぎ。
ベイズの定理の解説がそうなってしまいがちな理由は、歴史的な不幸が原因で、「条件付き確率を使った推論」全般を「ベイズ統計」と呼ぶ杜撰な傾向が確定してしまったことだと思う。
タグ：
posted at 06:04:30
ベイズの定理について解説する側が「あの有名なベイズ統計に使われる凄い定理である」という印象を読者に植え付けたいという邪な感情に支配されているのではないか？
実際には、条件付き確率の概念を理解できていれば、ベイズの定理について知っている必要はないのに、邪な感情が酷い解説を生産する。
タグ：
posted at 06:07:18
歴史的な不幸が原因で、自明でつまらない定理であるベイズの定理が過剰な「権威」を持つようになってしまった。
そういう状況を緩和するためには、ベイズの定理についても解説することは必要かもしれません。
タグ：
posted at 06:09:18
不幸にもベイズ統計と呼ばれることになってしまった方法も、条件付き確率分布について理解できていれば、ベイズの定理を知らなくても、理解できます。
そうした方が、事後分布だけではなく、予測分布の概念も一つの統一された方法で理解できます。ベイズの定理を使うと予測分布を理解し難いと思う。
タグ：
posted at 06:13:04
#統計 二項分布モデルのP値函数の例
「n=20回中k=6回成功」というデータが得られたときの、二項分布モデルの成功確率パラメータのP値達のグラフ。適当に見繕って4種類の信頼区間を与えるP値を別々にプロットしました。
nが増えるとP値函数のグラフの幅は狭くなります(次のツイートの例を参照)。 pic.twitter.com/6rjZu1VTtE
タグ： 統計
posted at 06:48:26
#統計
「n=100回中k=30回成功」というデータが得られたときの、二項分布モデルの成功確率パラメータのP値達のグラフ。
n=20, k=6の場合よりも、P値函数のグラフの幅が狭くなっている。
P値函数は信頼度を固定して得られる信頼区間よりもずっと豊富な情報を持っている。 pic.twitter.com/UhhnLF9ujq
タグ： 統計
posted at 06:50:36
#統計 P値函数と95%信頼区間の関係
P値函数経由での信頼区間の視覚的把握は極めて易しい。
これを理解した人が信頼区間について誤解することは難しいように思われる。
信頼区間の上には「とんがり帽子」がのっかっています(笑)
Rothmanさん達の教科書経由で普及すると良いと思う。 pic.twitter.com/Q7c4ClpxLC
タグ： 統計
posted at 06:53:48
Togetter（トゥギャッター） @togetter_jp
「お酒がテーマの大人向けプ○キュアを考えてみた→クオリティ高すぎでこれは見てみたい…「天才だ」「毎週リアタイする」」togetter.com/li/1899265
がきてるみたいっ。なんだか気になってきたよ！ 作成者:@kasajimajima
タグ：
posted at 06:54:05
#統計
この図は、データ「n=100回中k=30回成功」から得られる仮説p=p₀達のP値達をプロットしたもので、その高さ=有意水準での切断が信頼区間になっていることを示しています。
この図から、逆にすべての有意水準での信頼区間が与えられれば、そこから逆にP値函数を作れることも分かります。続く pic.twitter.com/0JUhHKMixP
タグ： 統計
posted at 09:35:37
#統計 データから決まる仮説p=p₀のP値は、
⭕️データの数値とパラメータ値をp=p₀に設定した統計モデル(図の場合は二項分布モデル)の整合性の指標
です。
❌仮説の正しさの指標
ではありません。この辺についてはP値に関するASA声明にも書いてあります。 pic.twitter.com/NSXqPgrH3O
タグ： 統計
posted at 09:52:54
#統計 P.D.Hoffさんの本(なぜか『標準ベイズ統計学』という挑発的な題で翻訳された)からの非ベイズ的方法との比較の節の引用。赤字は私によるコメント。
この部分はひどくミスリーディングなので、この本を読む人は騙されないように注意した方がよいと思いました。
よりにもよってWaldの信頼区間！😱 twitter.com/genkuroki/stat... pic.twitter.com/sPjzpn3uxY
タグ： 統計
posted at 12:59:36
#統計 n人中0人というデータから、割合パラメータθの推定値を0/n=0とすることの解釈。これは最尤推定値。
⭕️正しい解釈：n人中0人というデータに最もモデルがフィットする割合パラメータ値は0である。
❌現実の割合を0だと推定した。
モデルと現実を混同することは典型的に非科学的です。 pic.twitter.com/6iio7ZkTAG
タグ： 統計
posted at 13:04:04
#統計 尤度は単にモデルのデータへのフィッティングの度合いの指標に過ぎなかったことを思い出しましょう。
n人中感染者は0人というデータから尤度最大化で求めた割合の推定値0/n=0は、単にモデルがデータに最も適合するパラメータ値を求めただけで、現実の感染者の割合を求めているのではないです。 pic.twitter.com/q1WArHs2EA
タグ： 統計
posted at 13:07:53
あ～ごめんなさい文字数の関係上その前提をはしょりました。袋は同確率で選ぶものとするが前提です。 twitter.com/genkuroki/stat...
タグ：
posted at 13:09:40
#統計 こういう尤度の定義と意味に戻れば当たり前の話を蔑ろにするから、添付画像に引用した部分のようなおかしな説明になってしまうのです。
尤度は決して「もっともらしさ」ではありません。
モデルのデータの数値への適合度の指標の1つでしかない。 pic.twitter.com/kskkMeloG1
タグ： 統計
posted at 13:10:37
#統計 非ベイズの代表例としてWaldの信頼区間を出して来たのもかなり酷い。その理由：
* Waldの信頼区間は二項分布モデルでの信頼区間の中では特に性質が悪い(有名)。
* Agresti-Coull(1998)ではWilsonのスコア信頼区間を勧めている。添付画像②
* Wilsonの信頼区間とBayes信用区間は非常に近い。 pic.twitter.com/dZsp89aRCi
タグ： 統計
posted at 13:46:30
#統計 非ベイズ的方法との比較で、引用しているAgresti-Coull(1998)でお勧めになっているWilsonのスコア信頼区間を扱わずに、誤差の大きなWaldの信頼区間の誰も使っていない補正を取り上げていることが不可解に見える理由は添付画像を見れば一目でわかります！続く
github.com/genkuroki/publ... pic.twitter.com/vmRLK1azf2
タグ： 統計
posted at 13:50:42
#統計 添付画像は二項分布モデルでのP値函数のプロットです。
ベイズ信用区間も区間推定の一種なので、対応するP値函数を定義できます。それがグラフ中の橙色のdashdot line.
WilsonとBayesianがほぼぴったり一致しています！
補正されたWaldとの違いは非常に大きい。
github.com/genkuroki/publ... pic.twitter.com/r3HpZDJfY9
タグ： 統計
posted at 13:53:43
#統計 このように、ベイズ統計との一致について印象的で、参照している文献も勧めているWilsonのスコア信頼区間を取り上げずに、誤差が大きいことが知られているWaldの信頼区間を取り上げ、さらに全然普及していないその補正を取り上げて、ベイズ統計と関連付けている。
物凄いバイアスを感じます。 pic.twitter.com/Adk4hFpUxm
タグ： 統計
posted at 13:56:28
#統計 しかし、R言語のprop.testで採用されているWilsonのスコア信頼区間(ただしcorrest=Fで連続性補正はオフにすること！)が、ベイズ的な信用区間に非常によく一致しており、これがダメなら、ベイズ統計もダメだということになります。
方法の選択はトレーフォオフの問題でしかない。 pic.twitter.com/2TEDmBxWa6
タグ： 統計
posted at 14:04:27
#統計 こういうクォリティの「非ベイズ的方法との比較」が翻訳されて普及してしまうことは、我々の社会にとって損失になるのではないかと思いました。
妙なバイアスをかけずに、比較すれば面白い話になるし、実用的な知識にもなるのに困ったことだと思います。 pic.twitter.com/xvjufgEr01
タグ： 統計
posted at 14:07:42
@hikari_SMN #数楽 約97%という値は、ベイズの定理をいきなり使うお勧めでない方法では、以下のようにして求まります。
www.wolframalpha.com/input?i=%28bin... twitter.com/hikari_SMN/sta... pic.twitter.com/PRrG7ONXZy
タグ： 数楽
posted at 14:14:47
#統計
各種P値函数の実装は添付画像の通り。
WaldよりもWilson (score)の方がシンプルまたは同じ程度。
信頼区間を計算する函数の実装では、Wilsonの側は二次方程式を解く必要が生じるので、Waldよりも少しだけ面倒になる。
github.com/genkuroki/publ... twitter.com/genkuroki/stat... pic.twitter.com/GPLeNfMXqt
タグ： 統計
posted at 14:57:12
非公開
タグ：
posted at xx:xx:xx
@takehikom すみません、
当該ブログには、掛け算の順序に関するアレイの提示についてQ＆Aを作成したとあります。
QはわかるのですがAはどこにあるのでしょうか？
もしかして
算数教育においてアレイがダメなのは
算数教育においてアレイが認められていないから
という同義反復部分がAなのでしょうか？
#超算数 pic.twitter.com/55fDAIp1fQ
タグ： 超算数
posted at 15:52:22
#統計 Waldの信頼区間は「n人中y人」についてy/nが0と1から離れている場合にのみ有効な近似法を使っていることはよく知られているのに、y=0だとWaldの信頼区間が0の一点になってしまうことをわざわざ述べている。
狙って誤誘導している、または、入門レベルの知識が足りないのどちらかに見える。続く pic.twitter.com/5A6Mdp6RM7
タグ： 統計
posted at 17:38:51
#統計 添付画像は「n=20人中0人」というデータに対応するP値函数のプロット。Wilsonのスコア信頼区間を与えるP値函数の台はθ=0の一点に縮まっていない。Waldの信頼区間を与えるP値函数はθ=0で1になり、0<θ≤1で0になる。
本で引用されているAgresti-Coull 1998もWilsonの信頼区間を勧めている。 pic.twitter.com/JJjzERmNd9
タグ： 統計
posted at 17:42:29
【同義反復】
やはりそう思うか。
和大の猛彦さん、10年くらい前までは面白かったのですが、情報が増えるに従って、つまらないことしか言わないことが目立つようになってしまった感じ。 twitter.com/taifu21/status...
タグ：
posted at 18:00:50
#統計 最小二乗法でのP値函数にあたるものをプロットしてみました。ヒートマップにした。
github.com/genkuroki/publ... pic.twitter.com/RNPfiLkcAE
タグ： 統計
posted at 19:46:26
#julia言語 #julialang
Flux.jlでGPUを使えるようにした(そのためのRTX 3060)
dataloaderやFlux.train!を使うとCPUより遅くなるのでミニバッチの作成や誤差逆伝播は別個に書くことにした
グラフは100000epochs回したloss(横軸✕100)
順位を予測するとそれっぽい結果が出てきた
やはりepochs数は正義 pic.twitter.com/aFgnhJokpC
posted at 21:42:04
ごまふあざらし(GomahuAzaras @MathSorcerer
I've found a cool #JuliaLang package:
docs.juliahub.com/TerminalCalend... pic.twitter.com/IfXZC9gMTg
タグ： JuliaLang
posted at 22:18:35
うん、バイクは本当に危ない……
私が三次救急で見たなかでは、交通事故で亡くなった人の半分ぐらいはバイクの事故でした。 twitter.com/mph_for_doctor...
タグ：
posted at 22:59:45
非公開
タグ：
posted at xx:xx:xx
