Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2019年11月04日(月)

ごまふあざらし(GomahuAzaras @MathSorcerer

19年11月4日

PILでよくあるのが () いるんだっけ?問題があるけれど
#Julia言語 だと multi dispatch でよしなにしてくれる.

```
function goma(xs)
return sum(x for x in xs)
end

function goma(x::T, y::T...) where {T<:Integer}
return goma((x, y...)) # 上のゴマを呼ぶ
end
``` pic.twitter.com/E3CU9PQ2Z6

タグ: Julia言語

posted at 23:57:15

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計

nbviewer.jupyter.org/github/genkuro...
r×cの分割表におけるPearsonのχ²統計量

も更新。期待度数が

1.0 2.0 3.0 4.0
1.5 3.0 4.5 6.0
2.5 5.0 7.5 10.0

と5未満のセルが8個もあるのに、ピアソンのχ²統計量の分布はχ²分布で非常によく近似されています。もちろん周辺度数の全固定はしていない。 pic.twitter.com/miIZzJsBGD

タグ: 統計

posted at 23:46:58

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 添付画像は

nbviewer.jupyter.org/gist/genkuroki...

より。すべてのセルの期待値が等しい場合(離散性の問題が最も緩和される場合)

無印Fisher検定さん曰く「Poisson, multinomial, 2 binomialsで45度線に近付かないのはワイだけ」www

n=4×{50,100}ではhypergeometricでχ²,G,mid-p Fisherがほぼ一致。 pic.twitter.com/2yKaxqdNv1

タグ: 統計

posted at 23:35:29

吉田弘幸 @y__hiroyuki

19年11月4日

明日の資料として平成30年度試行調査の記述問題部分を整理したファイルを作ったので掲示しておきます。ヒアリングの予習用にお使いください。
www.dropbox.com/s/2xva5fqbsez4...
www.dropbox.com/s/bt0967sxgs0o...

タグ:

posted at 23:30:30

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 そして、そのYatesさんの誤解はFisher vs. Pearson論争におけるFisherさんの間違った議論が由来になっているものと思われます。

現代の数学科のセミナーだとFisherさんはフルボッコにされていたと思う。もとの確率分布を勝手に変えて証明しても無意味。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 23:20:01

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 上の方で指摘したことですが、Yatesさんの致命的な誤解の数々は、おそらく、分割表では、Fisher検定やFisher検定の近似になっているYates補正入りのχ²検定だけではなく、無印の補正無しのχ²検定でも全周辺度数固定を前提にしなければいけないと数学的に誤解していたことが原因で生じています。

タグ: 統計

posted at 23:15:58

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計

nbviewer.jupyter.org/gist/genkuroki...
2×2の分割表の独立性検定

を更新した。そこにあるプロット群を見れば、Fisher検定が採用している超幾何分布モデルが離散性の問題をひどく悪化させることも見えます。2×2の右下の部分がサンプルを超幾何分布で生成した場合。 pic.twitter.com/JxWzrM8tso

タグ: 統計

posted at 23:10:28

天むす名古屋 Temmus @temmusu_n

19年11月4日

@kale_aojiru #超算数 2005年のある調査では、千人の3年生が学年末に、掛順2割正解、割り算の文章題8割という成績を残していますtwitter.com/temmusu_n/stat...。学年が上がるにつれ、掛順はバラツキが出、割り算は習熟すると仮定すれば、相関は逆相関であると予想できます。

タグ: 超算数

posted at 23:07:32

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Yatesさんの論文(1984)からの引用

mathfaculty.fullerton.edu/sbehseta/Yates...

多項分布や2つの二項分布でも離散性の問題があるのに、それを勝手に超幾何分布で置き換えて離散性の問題を大きく悪化させることによって誤差を大きくしたP値の値を報告することにどういう意味があるのやら。 pic.twitter.com/1MB847IEaw

タグ: 統計

posted at 23:05:37

ごまふあざらし(GomahuAzaras @MathSorcerer

19年11月4日

Flux が Julia 1.4 で動かない問題がJulia slackで認知されたようなので将来的に解決するでしょう. pic.twitter.com/lH4dediKvC

タグ:

posted at 23:02:45

TaKu @takusansu

19年11月4日

twitter.com/LimgTW/status/...
正方形を長方形の一種と捉えてはいけないという事ですか?

タグ:

posted at 22:51:59

羽藤 由美 @KITspeakee

19年11月4日

だから、その経緯がわかる議事録はどこにありますか?

タグ:

posted at 22:51:54

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 小サンプルでFisher検定を他人に勧めることによって、離散性の問題をわざわざ悪化させた上で、「離散性の問題があるので、有意水準を5%に固定せずに、P値を報告するだけにすればよい」などと言う奴らは、典型的なマッチポンプを数学が弱い人達に仕掛けているわけで、論外だと思います。

タグ: 統計

posted at 22:44:00

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 もとの「4つのPoisson分布の直積」「多項分布(4項分布)」「2つの二項分布の直積」(サンプルからパラメーターが一意に決まらない)での確率を計算したいのに、代わりに「超幾何分布」での確率を求めるのがFisher検定です。

その結果は離散性の問題を悪化させて誤差が大きくなることです。

タグ: 統計

posted at 22:41:26

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 多項分布や2つの二項分布の直積や超幾何分布のような値が有限個しかない分布では可能なP値の値がとびとびになる離散性の問題が生じます。その問題の深刻さは

多項分布(4項分布) < 2つの二項分布の直積 < 超幾何分布

の順に大きくなり、特に超幾何分布は小サンプルではひどくなります。続く

タグ: 統計

posted at 22:36:47

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 「有意水準を5%などに固定するとFisher検定での強い離散性の問題が生じるので、有意水準を固定したりせずにP値を報告するだけにすればよい」(Yatesさんも言っている)などと言うのは、まともな議論ではありません。

結果的に大きな誤差を含むFisher検定のP値を報告して何の意味があるのやら。

タグ: 統計

posted at 22:32:56

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#数楽 エミー・ネーターさんは20世紀数学における抽象代数化の大きな流れを作った人。めちゃくちゃすごい。

タグ: 数楽

posted at 22:22:22

積分定数 @sekibunnteisuu

19年11月4日

一応言っておくと、遠山啓自身は「かけ算の順序でバツ」を批判していた。遠山啓自身はそれほど露骨な超算数ではない。

しかし、彼の薫陶を受けた銀林浩など数教協の面々は完全なトンデモ算数に陥っている。

タグ:

posted at 22:20:45

積分定数 @sekibunnteisuu

19年11月4日

超算数の起源の1人である遠山啓は、「氷が溶けたら何になる?」で「春になる」と答えたらバツになったという真偽不明のエピソードに「ケシカラン採点だ」とdisっていた。

 彼らの中では矛盾はないのだろう。彼らには、4人に3個ずつを4×3とするのは、1+1を3とするのと同様の「間違い」なんだろう。 twitter.com/devilGod510/st...

タグ:

posted at 22:19:02

RochejacMonmo @RochejacMonmo

19年11月4日

マスメディアの報道だけではない。
文部科学大臣補佐官だった鈴木寛氏ですら、そうした言説を無批判に提示していることは見逃せない。
twitter.com/RochejacMonmo/...

タグ:

posted at 22:12:58

RochejacMonmo @RochejacMonmo

19年11月4日

あたかも今の大学入試が記述式を十分に実施していないかのようなミスリードが行われていたことは繰り返し指摘しなければならない。個別二次試験での数理社の記述式問題を丸ごと無視する議論。
英語民間試験導入推進側の「今の大学入試は実質1.5技能」というミスリードと相通じる酷い印象操作だ。 twitter.com/RochejacMonmo/...

タグ:

posted at 22:09:18

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 ポイントは、分割表のχ²検定は周辺度数を固定しなくても通用する漸近論を基礎にしているという数学的事実です。

この点に触れていない議論はどれも不完全な(もしくは潜在的にひどく誤解している可能性のある)議論です。

そういう数学的無知に基く議論が現代でも横行している。

タグ: 統計

posted at 21:57:59

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

Rui Ueyama @rui314

19年11月4日

IPv6がなかなか普及しない理由について考察してみました。 note.mu/ruiu/n/n1676c1...

タグ:

posted at 21:25:39

Shuhei Kadowaki @kdwkshh

19年11月4日

`@test_broken` で broken test cases 作っておくと、直した時こんな感じで教えてくれてちょっと嬉しくなるのでオススメです。これとかcodecovとか、ある種のgamificationがあるとまだテスト書く気になる。

#julialang pic.twitter.com/C7i148278c

タグ: julialang

posted at 21:20:16

解答略 @kaitou_ryaku

19年11月4日

名著「CPUの創りかた」のTD4のバグが取れて、ようやく完成した。動画は
1. リセットボタン押す
2. 手動クロック(ボタン連打)
3. 自動クロック(1Hz)
4. 自動クロック(10Hz)
の順に実行したところ

* 左の縦4黄LEDがAレジスタ
* 左の縦4白LEDがプログラムカウンタ
* 右の縦白8LEDが機械語
* 下の畑がROM pic.twitter.com/8aoUJ51Wej

タグ:

posted at 20:09:41

宝(能天リーチ) @TakadaK5

19年11月4日

中原中也、はっきりいって詩よりも暴言シリーズの方がエモくて好き pic.twitter.com/CLmfLw7mrO

タグ:

posted at 20:08:42

片瀬久美子 @kumikokatase

19年11月4日

ニセ科学商売が巧妙に法的規制から逃れて、野放しとなっている状況について経験をもとに書きました。
消費者が勉強して賢くなることで自衛しなければなりませんが、このままで良いのか…。 twitter.com/kumikokatase/s...

タグ:

posted at 19:41:12

片瀬久美子 @kumikokatase

19年11月4日

『消費者法ニュース』に寄稿しました。
行政の対応が難しいニセ科学商品の問題…片瀬久美子(サイエンスライター)
www.clnn.net/number/news121...

タグ:

posted at 17:00:16

Massimo @Rainmaker1973

19年11月4日

Non-Newtonian fluids turn into solids when pressure is applied. It's called the process of impact-activated solidification that occurs when compressive forces are applied to fluid-grain suspensions buff.ly/2NB5r7r pic.twitter.com/HbdRhygqXm

タグ:

posted at 16:53:26

ごまふあざらし(GomahuAzaras @MathSorcerer

19年11月4日

#Julia言語

プロットなんだけれど

julia -e 'using Makie; plot([1,2,3]) |> display; sleep(10)'

のようにすればREPLを明示的に起動する必要ないことを知った.
display と sleep がいるけれど.

タグ: Julia言語

posted at 16:18:36

dc1394 @dc1394

19年11月4日

@sshojiro_jp Makefileも添付してありますので、Linux環境でのビルドも可能です(Boost C++ Librariesと、Eigenは必要です)。

タグ:

posted at 15:54:32

dc1394 @dc1394

19年11月4日

@sshojiro_jp 動きます。ただしビルドには、Boost C++ Libraries ( www.boost.org )と、Eigen ( eigen.tuxfamily.org/index.php?titl... )が必要です。

タグ:

posted at 15:52:51

非公開

タグ:

posted at xx:xx:xx

dc1394 @dc1394

19年11月4日

水素原子に対するシュレーディンガー方程式のFEMのプログラムが完成しました。以下URLでソースコードを公開しています。下の画像の通り、厳密な波動関数と、極めて近い結果が得られました。基底状態のエネルギー固有値も、厳密な値の99.997%を与えることが分かりました。
github.com/dc1394/hydroge... pic.twitter.com/TMNB7o5GNg

タグ:

posted at 15:46:15

Double Pendulum @pendulum_bot

19年11月4日

Initial conditions:
Pendulum 1: position: (0.43, 1.50), mass: 3.24
Pendulum 2: position: (-0.85, 2.69), mass: 1.44 pic.twitter.com/Mc619a2zrY

タグ:

posted at 15:20:21

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 しまった。上で紹介したFisherさんの間違った議論については以下のリンク先のYatesさんの誤解の指摘の続きとして書いたつもりだった。投稿するスレッドを間違えました。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 14:02:32

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 しまった。以下のリンク先以降のスレッドはこちらに書いたつもりだったものです。間違ってしまった。

Yatesさんの誤りが、Fisherさんの誤りに由来していることの確認です。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 14:00:57

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 科学において大事なことは、「権威が何を言っていたか」の類のことはくだらないことだとみなし、「教科書に書いてあるから正しい」のようには考えないことです。

過去100年程度のあいだ、統計学教育においてはこれらの科学的原則が世界的に蔑ろにされて来たという疑いを私は持っています。

タグ: 統計

posted at 13:47:55

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Fisherの論文が1922年なので、もう少しで100年か。

100年分のコストを積分するといくらくらいになりますかね?

タグ: 統計

posted at 13:44:10

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 さらに「セルの度数が5以下のときFisher検定を使う」という類の根拠不明の事柄について学ぶコストも発生している。

そして、Fisher検定やχ²検定のYates補正によって有意差が出難くなることによって、科学的判断に無用なコストが発生している。

これらをFisher以来の数十年間積分するべし。

タグ: 統計

posted at 13:42:34

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Fisherさん由来のχ²検定におけるχ²分布の自由度に関する間違った考え方の社会的コストはどの程度か?

まず、Fisher検定やχ²検定のYates補正のソフトウェアでの実装という無駄なコストが発生していると思う。

次に、Fisher検定やχ²検定のYates補正について学ぶ無駄な時間も発生している。

タグ: 統計

posted at 13:42:31

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 現代はコンピューターが安価に使えるのだから、自分でモンテカルロ・シミュレーションをやってみれば、Fisherさんが間違った議論で正しい結論を得ていたことや、Yatesさんが誤解していたこと(しかもその誤解はFisherさんの権威に頼ることによって生じていた)についてよく理解できると思う。

タグ: 統計

posted at 13:31:15

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 論文を検索して読んでみると、何十年も前から、Fisher検定(とそれに近付けるためのχ²検定のYates補正の結果)の誤差が非常に大きいことや、補正無しのχ²検定が相当に頑健なことが指摘されていました。

ところが、論理ではなく、権威に従う人が多いせいで、標準的な解説はずっと間違ったまま。

タグ: 統計

posted at 13:26:03

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 分割表について

* χ²検定は、周辺度数を固定しなくても通用する漸近論による近似。

* Fisher検定は、実際には周辺度数が固定されていない状況の全周辺度数固定の場合による近似。

どちらも近似なので精度を比較して優劣を付ける必要があります。

Fisher検定の誤差は非常に大きい。

タグ: 統計

posted at 13:23:06

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 「分割表のχ²検定は全周辺度数固定の条件を課す検定である」というFisherさんに由来するひどい誤解は、「分割表のFisher検定は正確である」というこれもまたかなりひどい誤解に直結しています。

Fisher検定は原理的に不正確であり、よくてもせいぜい「近似の一手法」に過ぎません。

タグ: 統計

posted at 13:19:01

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 実際にFisherさんが間違った議論(勝手に全周辺度数を固定する議論)をしている証拠を論文

zenodo.org/record/1449484

から引用しておきます(添付画像)。

r×cの分割表の独立性検定のχ²統計量が漸近的に自由度(r-1)(c-1)のχ²分布に従うことを証明するためには、全周辺度数固定は必要ありません。 pic.twitter.com/iPhdw69fxy

タグ: 統計

posted at 13:15:14

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Fisherさんが1922年の論文で示したことを2×2の分割表に制限すると、

* (1),(2),(3)のような現実にあり得る状況で証明するべきことを、(4)の非現実的な場合について証明した。

とまとめられます。

(4)の場合に限れば示したいことの証明が特別に易しくなることにFisherさんは騙された。

タグ: 統計

posted at 13:07:19

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 (4) 前もってすべての周辺度数 a+b, c+d, a+c, b+d が固定されているような分割表

a b
c d

のデータが得られる状況は通常の調査ではありません。非常に特殊な状況を考える必要がある。この非現実的な場合の自然な分布はFisherのnoncentral超幾何分布(独立性を満たす場合は超幾何分布)。

タグ: 統計

posted at 13:03:16

歩行者は右側通行 @JikanBae

19年11月4日

動的に統計グラフを作りたいという用途には良いのかも。Hans RoslingのTEDトークを思い出した。 www.ted.com/talks/hans_ros...

タグ:

posted at 12:57:37

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 (3) 条件Aとそれを満たさない人をそれぞれ前もって決めておいた人数のm₁, m₂人だけ無作為に選んで、そのm₁,m₂人中のBを満たす人数をそれぞれa,cとし、b=m₁-a, d=m₂-cとおくことよって分割表

a b
c d

を作るとき、a,cがそれぞれ二項分布に従っているというモデルで分析することは自然。

タグ: 統計

posted at 12:56:50

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 (2) 例えば、前もって決めておいたサンプルサイズnのデータを母集団から無作為抽出した場合には、そのデータから作った分割表

a b
c d

がサンプルサイズnの多項分布(4項分布)に従うというモデルで分析することは自然です。

タグ: 統計

posted at 12:47:31

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 (1) 例えば、データがある期間に得られた事例を集めたものであれば、そのデータから作った分割表

a b
c d

の各成分a,b,c,dが独立なポアソン分布に従っているというモデルで分析することは自然です。

タグ: 統計

posted at 12:44:26

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 現代における分割表の「自由度」の説明を見ると、どうもFisherさんは件の論争で「完全勝利」するという大迷惑なことをやらかしたらしいwww

現代の統計学の教科書でも、分割表の独立性検定でのχ²分布の自由度を「全周辺度数固定」で説明するという定期試験ならバツになるスタイルが「標準的」www

タグ: 統計

posted at 12:39:43

歩行者は右側通行 @JikanBae

19年11月4日

ProcessingをRで書けるモードがあったとは。

タグ:

posted at 12:38:03

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 そういう低レベルな論理的誤りを含むFisherさんの議論に納得しない人達が出て来るのは当然だし、出て来なかったら非常にまずい。

しかし、結論だけはFisherさんが正しかった。

Fisherさんは苛烈な論争を好み、しかも強かったことで有名です。

続く

タグ: 統計

posted at 12:34:11

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 確率分布Aについて証明したいことを、それとは異なる確率分布Bについて証明しても、証明になりません。これは高校の定期試験での確率の試験問題でもバツになって当然のデタラメです。

1922年の論文でFisherさんは試験なら瞬時にバツがつけられて当然の議論をしているのです!

タグ: 統計

posted at 12:30:45

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Fisherさん(1922)による「証明」では、議論の途中で分割表の周辺度数を固定した条件付き確率分布に勝手に引っ越してしまうという明らかに非論理的な議論を行っています。

確率分布Aについて証明したいことを、それとは異なる確率分布Bについて証明しても、証明になりません。

タグ: 統計

posted at 12:27:59

ごまふあざらし(GomahuAzaras @MathSorcerer

19年11月4日

RT元うちのあざらし多めでワラッタ twitter.com/u_ribo/status/...

タグ:

posted at 12:26:24

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Pearsonさんは2×2の分割表の独立性検定でχ²分布の自由度は3になると誤解していました。

Fisherさんは1922年に上で紹介した議論で「χ²分布の正しい自由度は1である」と主張し、その結論は正しい。しかし、その「証明」は間違っていました。

その後Yatesさんは数十年間誤解し続けた。

タグ: 統計

posted at 12:24:03

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計

a b
c d

の縦と横方向の和をすべて固定すれば、a,b,c,dのうち自由に動けるのは1つだけになるので、その正規分布による近似は、1次元の正規分布による近似になるわけです。このようにして得られるχ²統計量は自由度1のχ²分布に従います。

タグ: 統計

posted at 12:17:24

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Fisherさんが1922年の論文で指摘した数学的事実は、分割表

a b
c d

の独立性検定で使われるχ²統計量

(ad-bc)²(a+b+c+d)/((a+b)(c+d)(a+c)(b+d))

は分割表の周辺度数

a+b, c+d, a+c, b+d

をすべて固定した場合の1次元正規分布による近似から出て来るχ²統計量になっていることです。続く

タグ: 統計

posted at 12:14:12

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 サンプルサイズa+b+c+d=nが固定された分割表

a b
c d

は漸近的に3次元の正規分布に従います。3次元の正規分布から単純に出て来るχ²分布の自由度は3なのですが、この経路で出て来るχ²統計量は分割表の独立性検定で使われるχ²統計量とは異なる。

この「異なる」という事実の認識がまず重要。

タグ: 統計

posted at 12:10:08

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 続き~、d次元部分空間に制限された正規分布のもとで

Σ_{i,j} b_{ij} x_i x_j (のd次元部分空間への制限)

が自由度dのχ²分布に従うことが自明に出る。

Fisherさんが1922年の論文で使ったのはこの考え方です。これとは別の形で(Wilksの定理)χ²分布が出て来ることを知らなかったのでしょう。

タグ: 統計

posted at 12:05:46

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 上の一般化された自由度dのχ²分布の定義を使えることを知っていれば、n次元の正規分布

const. exp(-(1/2)Σ_{i,j} b_{ij} x_i x_j)

をd次元の任意の線形部分空間に制限した確率分布もまたd次元の正規分布になるので、続く

タグ: 統計

posted at 12:05:40

左巻健男(サマキタケオ) @samakikaku

19年11月4日

学校に入り込むニセ科学 (925) (平凡社新書) 左巻 健男 www.amazon.co.jp/dp/4582859259/... @amazonJPさんから
↑「ただいま予約受付中です。」

*ぜひ、次も一緒に。
暮らしのなかのニセ科学 (平凡社新書) 左巻 健男 www.amazon.co.jp/dp/4582858473/...

タグ:

posted at 12:00:24

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 よくある自由度dのχ²分布の定義は「独立なd個の標準正規分布に従う確率変数達の2乗和が従う分布」なのですが、これはd次元の正規分布が

const. exp(-(1/2)Σ_{i=1}^d x_i^2)

の特別な場合の上の定義に含まれています。

この特別な場合でχ²分布を認識すると苦しくなるので、一般化は重要。続く

タグ: 統計

posted at 11:58:27

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 自由度dのχ²分布の定義は、

const. exp(-(1/2)Σ_{i,j=1}^d a_{ij} x_i x_j)

の形のd次元正規分布の

Σ_{i,j=1}^d a_{ij} x_i x_j

の部分に対応する統計量(確率変数)が満たす分布だとみなせます。

a_{ij}が違っていても Σ_{i,j=1}^d a_{ij} x_i x_j が従う分布は同じになることがポイント。

タグ: 統計

posted at 11:58:23

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 せっかくなので、Fisher vs. Pearson の有名な論争に関するFisherの1922年の論文も確認してみました。

zenodo.org/record/1449484

からダウンロードできます。案の定、Fisherさんも全周辺度数固定という不適切な方法で分割表のχ²検定のχ²分布の自由度を求めていました。

タグ: 統計

posted at 11:51:18

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 Yatesさんが分割表のχ²検定について致命的な誤解をしていたという事実は教科書に書かれるべきことだと思います。分割表のχ²検定のYates補正に対する批判へのYatesさんによる反論はもろに「分割表のχ²検定は全周辺度数固定の条件を課す検定である」という誤解に基いていたことを確認できました。

タグ: 統計

posted at 11:47:12

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 このスレッドの上の方で、Yatesさんは、「分割表のχ²検定は全周辺度数固定の条件を課す検定である」という致命的な誤解をしているせいで、Fisher検定とχ²検定のYates補正の結果がひどく不正確になる理由を理解できなかったことを、Yatesの論文を引用することよって示しました。続く

タグ: 統計

posted at 11:44:44

片瀬久美子 @kumikokatase

19年11月4日

編み物をしていて、「一段前の編み間違いに気づいてほどく」を何度も繰り返しながら、プルーフリーディングしているDNAポリメラーゼの気分になった。。。

タグ:

posted at 08:50:02

津田和俊/急激に進行した網膜剥離と闘って @kaztsuda

19年11月4日

そういや、おれのところにも風疹の抗体検査とワクチン接種のクーポン届いたな。いや、頑張ってる感は伝わっては来るのだけど、風疹が流行れば風疹だけ、麻疹が流行れば麻疹だけ、それも毎回特定の年代や性別に限って、と場当たり的な政策を続けていても、モグラ叩きなんじゃないかなぁ。。。

タグ:

posted at 07:50:16

あ〜る菊池誠(反緊縮)公式 @kikumaco

19年11月4日

下村が文科大臣じゃなくなって、民間英語試験導入に積極的な人はもう文科省にいないんじゃないの?このままなし崩しに中止で。次は記述式試験の阻止

タグ:

posted at 01:15:23

Massimo @Rainmaker1973

19年11月4日

When you mix a top with a yoyo you get a spin top and when you launch a spin top you are a spin top sniper, a trick shot expert who plays with angular momentum buff.ly/2IDJ8dK pic.twitter.com/cyqF6raGKr

タグ:

posted at 01:00:25

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 ぶっちゃけた話として、根拠を理解していないことを講義で説明せざるを得ないことはあると思うし、ある程度仕方がないことだと思います。

そういう場合には、講義の資料の中に、根拠の解説が書いてある文献およびその文献のどのページに書いてあるかを記載しておくべきだと思いました。

タグ: 統計

posted at 00:15:35

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 仮に根拠があったとしても、私の計算結果を見れば分かるように、その根拠は間違っていると思われます。

nbviewer.jupyter.org/gist/genkuroki...
2×2の分割表の独立性検定

独立性の帰無仮説を満たす乱数でサンプルを10万個生成して、各検定でP値がx以下になる割合(確率)をx=0~0.05でプロット。 pic.twitter.com/R3Xxzt3NeV

タグ: 統計

posted at 00:12:42

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 謎なのは大学で統計学を頻繁に教えているように見える人たちが、根拠不明のままで「度数が5以下のセルがあれば補正無しのχ²検定ではなく、Fisher検定を使う」と言っていること。

根拠を示さないとまずいと思うのだが。

教える側も根拠を知らない疑いが強いと思った。

タグ: 統計

posted at 00:08:11

黒木玄 Gen Kuroki @genkuroki

19年11月4日

#統計 #Julia言語

期待値が

a 10-a
2a 20-2a

の場合。

G-test → G検定(対数尤度比検定)
Fisher → Fisher検定
mid-p F → mid-p版Fisher検定

全般的にχ²検定がrobustでいい感じだと思う。

度数が5以下のセルがあってもこの程度の誤差ならいいんじゃないかな。Fisher検定よりはずっとよい。 pic.twitter.com/EqPgGhmeun

タグ: Julia言語 統計

posted at 00:05:17

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました