黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2019年11月13日(水)
まあ、それはそうとして、2×2の分割表の独立性検定についてちょっと調べてみたら、びっくりするような内容の論文が出て来てびっくりする。
数学的にややこしい事柄が絡んでいることについてはみんなが言及している論文を引用しても正しいことの証拠として使えそうもない。
タグ：
posted at 00:00:47
tdual(ティーデュアル)@Matri @tdualdir
雑魚過ぎて炎上芸も出来ない奴〜wwwww twitter.com/Ohsaworks/stat...
タグ：
posted at 00:02:06
Ninja DAO | CryptoNi @CryptoNlnjaNFT
親から受け継いだ選挙区や財産の上に胡座をかいている人には、自分の才覚ひとつで生きている人の気持ちはわかるまい。親から受け継いだものなど、全て失ったからと言って、それで他の人と同じスタートラインにようやく着いただけの話である。
タグ：
posted at 00:03:22
ArviZ (@ArviZ@bayes. @arviz_devs
Julia users! ArviZ is now available in Julia. Big thanks to @sethaxen for making this possible! github.com/sethaxen/Arviz...
タグ：
posted at 00:07:03
tdual(ティーデュアル)@Matri @tdualdir
炎上芸は、いけすかないと叩く者も居れば、ある意味正論と擁護する者もいて賛否両論になるから火が広がるわけで、ここまで無知を晒してしまうと「こいつバカじゃん」で終わってしまうのであまり燃えない。5年くらいROMってろよ。
タグ：
posted at 00:13:23
加藤公一, 가토우 기미카즈（はむかず） @hamukazu
本を売るための炎上マーケティングだとしたら雑魚感を前面に出すと逆効果だし、この人はナチュラルにこうなんだと思う。
タグ：
posted at 00:22:30
#統計 #Julia言語
nbviewer.jupyter.org/gist/genkuroki...
2×2の分割表の独立性において、Fisher検定のP値がx以下になる確率がxより小さくなることが多いことに関するよくある__誤解__は、「離散的な検定なので当然そうなる」です。
具体的には添付画像のような状況を誤解によって想定している。 pic.twitter.com/IXiFqoIuBr
posted at 00:48:03
#統計 添付画像は、縦横の合計がすべて10に固定されている2×2の分割表に関する超幾何分布でサンプルを生成するときの、P値がx以下になる確率のプロットです。
Fisher検定のP値がx以下になる確率は常にx以下になり、離散的にP値がx以下になる確率がぴったりxになる。続く pic.twitter.com/bC8I6tqSn6
タグ： 統計
posted at 00:48:08
#統計 続き。Fisher検定は超幾何分布における正確な確率計算であり、縦横の合計がどれも10の分割表は
0 10
10 0
1 9
9 1
から
10 0
0 10
の11通りしかなく、可能なP値は6通りしかない。その結果が添付画像の左下のプロットです。正確な二項検定でも同じようなグラフが描かれます。続く pic.twitter.com/yp5RwaL3Zy
タグ： 統計
posted at 00:48:12
#統計 それに対して、(補正無しの)χ²検定のP値は、超幾何分布のもとでは、小さくなり易く、P値がx以下の確率がxより大幅に大きくなってしまい易い(添付画像左上)。
誤解している人達は、これを理由に小サンプルではχ²検定は使ってはいけないと信じているわけです。続く pic.twitter.com/75Q8KDTpg7
タグ： 統計
posted at 00:48:14
#統計 一般に、離散的な分布で正確に確率を求める検定に於いては、P値がx以下になる確率のグラフは45度線に下から離散的な点で接する階段状になる(添付画像左下)。
グラフの形状がそうであれば、P値がx以下になる確率はほとんどのxでxより小さくなり、離散性が強ければひどく小さくなる区間が増える。 pic.twitter.com/s2YT6IqkVG
タグ： 統計
posted at 00:52:23
#統計 分割表
a c
b d
縦方向の合計a+b,c+dのみが固定される二項分布×2(独立性の帰無仮説によってパラメーターpが1つ残る)のもとでの「P値がx以下になる確率」を求めると添付画像のようになる。こちらは現実に応用可能な確率です。 pic.twitter.com/o1u6BBIx6j
タグ： 統計
posted at 01:05:51
#統計 Fisher検定のP値がx以下になる確率のプロットはもはや45度線に接しなくなってしまっています(左下)。当たり前の話ですが、Fisher検定の計算はもはや全然正確ではない。
そして、離散性は緩和され、χ²検定のP値がx以下になる確率がxより大幅に大きくなりにくくなっている(左上)。 pic.twitter.com/siMx9U8QcD
タグ： 統計
posted at 01:05:55
#統計 添付画像右上のグラフは何か。
この場合の「正確なP値」を「パラメーターpの二項分布×2のもとで、ピアソンのχ²統計量がサンプル以上になる確率」と定義し、pを動かしたときの「正確なP値」の最大値がx以下になる確率をプロットしています。グラフは45度線に下から接する。 pic.twitter.com/0zTHvtnNxr
タグ： 統計
posted at 01:10:54
#統計 「正確なP値」の最大値がx以下になる確率のプロットは、Fisher検定のP値がx以下になる確率のプロットより、45度線にずっと近くなっていてかつ、45度線以下になるという性質も持っています。
Fisher検定より、「正確なP値」の最大値を使う検定の方が優れているわけです。 pic.twitter.com/ifZUrNqY5L
タグ： 統計
posted at 01:14:13
#統計 以上では、超幾何分布、二項分布×2の場合のプロットを示しました。サンプルサイズ20のみが固定されて縦横の合計はどれも固定されない多項分布(帰無仮説によって2つのパラメーターp,qが残る)の場合のプロットは以下の通りです。
離散性は大幅に緩和されています。 pic.twitter.com/O3SQgfZ1v3
タグ： 統計
posted at 01:20:13
#統計 χ²検定のP値がx以下になる確率がほぼxになっており、サンプルサイズは20しかないのに、χ²検定は非常に正確な検定になっていることがわかります。
45度線超えが嫌なら、多項分布における「正確なP値」の最大値を使う検定を使用する選択肢があり、Fisher検定より優れています。 pic.twitter.com/QZt7ITIvvt
タグ： 統計
posted at 01:20:17
くずし字認識AIをなんで作ったのか、私はあまりちゃんと言っていないのですが、簡単に言うと、歴史資料をアクセスしやすくするのです。古典文学を守るために一般の人々から協力をもらえないといけない。でも、現状では文学研究者何をやっているのかもわからない。
タグ：
posted at 01:31:08
資料が読めないから、読まれていないし、勝手に多く捨てられている。資料の面白さが一般の人々が分かってもらえたら、みんなが大事にしてくれるんじゃないかと思ったので、くずし字AIを作りました。日本人だけではなくて、くずし字資料の素晴らしさと面白さを海外にも知ってもらいたいから頑張りました
タグ：
posted at 01:32:08
#Julia言語
nbviewer.jupyter.org/gist/genkuroki...
Plots.jl によるプロットにおいて、デフォルトで使用される色達は
c = palette(:default)
で取得でき、
plot(sin; color=c[5])
のように使用できる。
上で紹介したプロットでもこの方法を使っている。
タグ： Julia言語
posted at 01:46:12
非公開
タグ：
posted at xx:xx:xx
Check out this package I wrote to bring some of ArviZ's awesome Bayesian analysis tools to #julialang's probabilistic programming languages, especially @TuringLang. twitter.com/arviz_devs/sta...
タグ： julialang
posted at 02:42:37
It also directly supports outputs of @mcmc_stan's Julia wrappers CmdStan.jl and StanSample.jl by @goedman
タグ：
posted at 02:57:23
Documentation, examples, and converters for outputs of other Julia PPLs like Soss.jl coming soon!
タグ：
posted at 03:22:55
Turing (https://baye @TuringLang
@sethaxen Thanks again for supporting the probabilistic programming landscape in #JuliaLang !
タグ： JuliaLang
posted at 03:24:22
Turing (https://baye @TuringLang
@arviz_devs @torfjelde @sethaxen Thanks to @sethaxen you can now analyse your inference results from @TuringLang directly in ArviZ. The power of Julia (Turing.jl) and Python (ArviZ) combined!
タグ：
posted at 04:38:19
非公開
タグ：
posted at xx:xx:xx
ニセ医学を否定するときに「それを施術あるいは主張している人は専門家ではない」という権威主義を根拠にして説得するのは危険。がん免疫療法(怪しい方)は悪魔に魂を売った元ガチの専門家がやってるんだから。
タグ：
posted at 08:37:14
ニセ医学に言及することによって情報が広まり、かえってニセ医学側に有利に働くという面もあります。無視するという選択肢もありましたが、朝日新聞の広告としてすでに広まっていますし、対抗言論も必要ではないかと考えました。
タグ：
posted at 08:52:45
血液クレンジングのときもそうでしたが、騙す側を批判するならともかく、騙された側を強い言葉（「義務教育を受けていないのか」等）で批判するのは控えていただけるとありがたいです。大病のときは動転して判断力が落ちますし、笑われるのをおそれて被害者が声を上げにくくなります。悪いのは騙す側。
タグ：
posted at 08:53:08
山田太郎 ⋈（参議院議員・全国比例） @yamadataro43
GAFAであろうと、どんな既得権益団体相手であろうと自ら正しいと思った事は公式の場や与党内で怯む事なく発言し、提案や改善の要望を強くしていってます。これができるのも、私が選挙において特定の団体や献金集めをせず、ネットだけで選挙を行い、幅広い方々に支えられているからだと感謝しています。 twitter.com/KenAkamatsu/st...
タグ：
posted at 08:56:40
まさに受け取り方は人によるので、それを「こう受け取らなくてはおかしい」と主張したってしかたないんですよね。僕もあれは「内容と無関係に女性性を強調したもの」と受け取りましたが、だからといってそういう表現が悪いとも思わないわけです。あれを「女性性を強調した」と受け取るのは自然でしょう twitter.com/apj/status/119...
タグ：
posted at 09:12:38
非公開
タグ：
posted at xx:xx:xx
#統計 添付画像1：Fisher検定のP値は縦横の合計をすべて固定する超幾何分布のもとでの正確な確率になっている(階段状の45度線に下から接するグラフになる)。強い離散性が大きな特徴。
しかし、Fisher検定は縦横の合計を固定しない場合にはひどく不正確(添付画像2,3)。
twitter.com/genkuroki/stat... pic.twitter.com/oUGsEO09It
タグ： 統計
posted at 09:45:07
#統計 χ²検定のプロット。
縦横の合計がすべて固定されてしまうことが原因で可能な分割表の種類の個数が非常に小さくなる場合にはχ²検定の誤差はx<0.1でも結構目立ちます。
しかし、その傾向は可能な分割表の種類の個数が増える縦横の合計が固定されていない分布では緩和される。 pic.twitter.com/3DK3xDsZh8
タグ： 統計
posted at 09:59:26
#統計 添付画像は二項分布×2(パラメータはpの1個)と多項分布(パラメータはp,qの2個)で「ピアソンのχ²統計量がサンプル以上になる確率」=「正確なP値」の最大値がx以下になる確率のプロット。P値が余計にかなり大きくなり易いのですが、Fisher検定より誤差(45度線との差)がかなり小さくなっています。 pic.twitter.com/z7fqq73EMi
タグ： 統計
posted at 10:04:40
@kafukanoochan @hottaqu @UFOprofessor どこまで正確な引用なのか不明の引用でコメントを大量にされても困ります。
写真を撮って必要な部分を切り取って出典を明記して引用してコメントしてくれるのであれば、信頼できる正確な情報扱いできるので個人的にはありがたいです。
沢山書いたスレッドにリンクを貼るのであればさらにありがたい。
タグ：
posted at 10:10:20
#統計 Fisher検定の不正確さについて語るときには、以下のリンク先に添付画像1(縦横の合計を固定する場合)を想定するのは誤りで、添付画像2,3(縦横の合計を固定しない場合)を想定する必要があります。
Fisher検定のP値がα以下になる確率はαより小さくなる。
twitter.com/genkuroki/stat...
タグ： 統計
posted at 10:13:58
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
#統計 高校での微積分や大学1年での微積分の授業がつまらなくなったら、ガンマ函数について学んでおくと色々効率が良いと思います(ガウス積分、ガンマ函数、ベータ函数はワンセットで)。
genkuroki.github.io/documents/Calc...
数学のようなテクニカルな部分が本質的な分野を学ぶのは非常に大変だと思う。
タグ： 統計
posted at 11:25:53
算数の段階ですでに「どうしてそれで正しいのですか？」という質問に「模範解答にそう書いてあったからです」と答えたら笑われちゃいますよね。
算数よりずっと難しい統計学でもそれをやったら笑われて当然であってほしいと思います。正しい理由が分からなかったら「わかりません」と言うべき。
タグ：
posted at 11:40:37
#統計
drmagician.exblog.jp/22086293/
で引用されている
[5] Hitchcock DB. Yates and Contingency Tables: 75 Years Later～2009
には以下のリンク先で触れた。致命的な誤りを指摘されてもノーダメージな世界。
twitter.com/genkuroki/stat...
タグ： 統計
posted at 11:48:23
「みんな何かについてひどく間違ったことを信じている」「間違いに気付いたらゲラゲラ笑って訂正するとよい」「私はど素人なので間違っているかもしれない」などと述べることを私は好きなので、すでに致命的な誤りが指摘されていても業界全体で訂正されないように見える状況を見ると、気になる。
タグ：
posted at 12:02:01
@genkuroki そもそも「有意水準5%で有意」の「5%」になんの根拠もない(1%でも)から、過剰に保守的でtype2 errorが増えていても気にされない説。
タグ：
posted at 12:16:52
非公開
タグ：
posted at xx:xx:xx
掛け算の順序。掛ける数と掛けられる数。
多分僕も小学校でそういう教師に教わったんだな。
大人になっても、そう思ってたもの。
くだらない考え方だと気付くまで、随分とかかったぞ。
クソみたいなこだわりを押し付ける教師、滅べば良いのに。
タグ：
posted at 12:47:33
夏に続き、#消しゴムはんこ 画家の田口奈津子先生（@naco_hinata）に、環境と秋をテーマに、#Daigas_group を表現していただきました！ 秋の草花のなかに現れる、とっても可愛らしい動物は何でしょう？ ぜひお楽しみください！bit.ly/32F7dK4 pic.twitter.com/t2j4TCmJTd
タグ： Daigas_group 消しゴムはんこ
posted at 13:19:28
「消費者法ニュース」121号の記事が公開されています。
執筆陣は山本一郎，片瀬久美子，天羽優子，横田明美他。ジャーナリスト，科学者，法学者などがそれぞれの立場で。私も『消費者から大企業まで被害が広がる「謎水」装置』でNMRパイプテクターについて書きました。
clnn.net/?fbclid=IwAR2y...
タグ：
posted at 13:28:26
東京大学大学院 大澤昇平特任准教授が「信頼できるサイト」の見分け方を解説 → 間違いが多すぎて、エンジニアが逆に注意喚起する事態に・・・。 - Togetter togetter.com/li/1428161 @togetter_jpさんから
タグ：
posted at 13:28:30
非公開
タグ：
posted at xx:xx:xx
近所の中学生が、y=…で表現された2つの直線の方程式を連立で解いて交点求めるのは知ってるけど、この形の連立方程式の計算法が分からんと言うので、どっちもy=だから右辺と右辺をイコールで結べば？と言ったら、そんな計算習ってないから先生が認めないと思う、だってwこれ、誰のせいなん？（笑）
タグ：
posted at 15:58:20
＼㊗️発売2週間で3万部突破！／
そろそろお疲れの週末…
デスクワーカー必見！
仕事の合間に効果絶大の1分ストレッチ！
Twitterフォロワー15万人超えのストレッチトレーナー、なぁさん(@nst_nakata) による初書籍『1分極伸びストレッチ』 #極伸び
詳細はこちら↓
www.amazon.co.jp/dp/447978487X pic.twitter.com/U5DzCeZP6E
タグ： 極伸び
posted at 18:20:24
Integrable Systems, @integrablesys
Bilinear Formalism in Soliton Theory, a survey of the Hirota bilinear approach to #integrablesystems by J. Satsuma, is free to read at rdcu.be/bWIZM @SpringerMath
cc @b8eansatz @emulenews @genkuroki @physicsturtle @unaoya
Link 🔼 made using HT ▶️ twitter.com/OpenScienceR/s... pic.twitter.com/34I7i5POwY
posted at 19:30:21
岩永さんの言われることはわかるが、食っていかねばならぬから、ニセ科学家電を作る、ニセ医療を行うってのと、地続きだとも思う。 twitter.com/nonbeepanda/st...
タグ：
posted at 19:38:27
新井氏は問題を混乱させるだけなので発言を控えて欲しい．政府案に反対するので手一杯なところ，第三極として良いこと言った風に場をかき乱すだけの発言に対応する余力ないので．近い分野の研究者でなんとかして頂きたいのだが．
タグ：
posted at 20:12:09
共通テストへの記述問題導入は，
１ まず物理的に不可能
２ 無理に実施しても公平性・公正性が保てない
３ 問題漏洩の危険が高い
４ 情報漏洩の危険も高い
５ 利益相反行為の危惧もある
６ 結局は破綻する可能性が高い
７ 問題自体も大学入試としては無意味
他になにがあったかた？
タグ：
posted at 20:15:33
そう言えば職場でJuliaの勉強してた時にふとラマヌジャンの円周率の公式作ってみようと思って作ったのですよ。
出来た関数の引数(末項数)に100代入したら限りなく円周率に近似して鳥肌たった pic.twitter.com/dVep7WRbHR
タグ：
posted at 20:39:36
Making a plasma coil bottle launcher [source and full video: buff.ly/2Hd7jhf] pic.twitter.com/QBIJB5Gmoi
タグ：
posted at 21:22:04
掛け算の順序問題。
長方形の面積を求める公式が縦×横だからその順で書かないと✕なんだそうだけど、東西南北で縦が南北っていうのは決まりごとなのか？
クラスで６×８と『正解』を書いたのは一人だけ。 pic.twitter.com/S9Kv3YFMCt
タグ：
posted at 21:24:32
@temmusu_n #超算数
8254.teacup.com/kakezannojunjo...
小学校学習指導要領解説 総則
【学校においては，学校の教育目標との関連を図りながら，指導計画の作成者相互で必要な連絡を適宜行い，学校全体として組織的に進めることが大切である。】
これを思い出しました。
【校長のリーダーシップのもと】も重要なキーワード
タグ： 超算数
posted at 21:33:26
@rinsan_t @nA7892NciUCPULr 新井先生はあまり教育について語られない方がよろしいかと思う。失礼ながら、教育についての底の浅さが露呈するだけだし、読解があまりお得意でないらしく、議論が微妙にかみ合わないことが多い（Twitter上での話だが）。
タグ：
posted at 22:00:29
新井紀子氏が共通テスト 記述式問題の採点を大学側に行わせる案を再度主張している。新井氏の手法には設計思想から人員面、技術面まで極めて多くの問題がある。設計思想の面の根幹は、作問と採点が完全に分離できるという考え方で、私はこれは実態としてもまずいし、作問態勢としてもまずいと思う。 pic.twitter.com/l9Y0n7vGqn
タグ：
posted at 22:15:39
@5CYFefPH2mCAHRt ＞（一部に、７×4 を誤りとするような頑なさがありますが、意味を押さえることさえできればいいのです）
銀林浩は掛け算どころか足し算にも順序があると言っていますが、twitter.com/genkuroki/stat...
これについてどう思われますか？
タグ：
posted at 22:25:44
おいおい、だね。設置審が却下することを願いますよ /
幸福の科学大設置、認可を諮問 文科相、21年度開学予定 | 2019/11/13 - 共同通信 this.kiji.is/56730701795041...
タグ：
posted at 22:39:14
@ThisIsKiyomi いえそういうことではなく、単純に入試システムが様々な微妙なバランスの上に成り立っているということを十分把握されていないことと、国語教育に関しては新井氏のRSTに絡んだ独自見解のために議論の方向性が大きく違ってしまっているのだと思います。
タグ：
posted at 22:55:36
@RochejacMonmo ありがとうございます。状況は今北ながら把握できました。
前者についてはご自身が理解不足なのをお分かりでないご様子なので、病んでいらっしゃるのかと。
国語についてはご指摘の通りだと思います。
ツイートへのいいねやRTが低調なのが幸いです。
タグ：
posted at 23:01:37
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
