Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
Favolog ホーム » @genkuroki » 2022年06月26日
並び順 : 新→古 | 古→新

2022年06月26日(日)

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 ロジスティック回帰のP値函数のヒートマップの例

github.com/genkuroki/publ...

各xごとに最尤法でデータの数値にベストフィットする確率パラメータ値pが決められているのですが、各xごとに各pにP値を対応させてヒートマップでプロット。

点線はサンプルの生成に使われたpの値です。 pic.twitter.com/zQqROROvzN

タグ: 統計

posted at 00:48:33

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数

これは非常によいコメント!
自由に図を描くことで経験を積むことは非常に大事。
twitter.com/takusansu/stat...

タグ: 超算数

posted at 00:57:47

黒木玄 Gen Kuroki @genkuroki

22年6月26日

@uKi2wQXyG7rx3gL いえ、3つの公式を使って問題を解くことを教えている先生は全員アウトです。

それだと、算数が苦手で小数の割り算をできない子は困る場合が増える。

そして、算数がそう苦手でない子も理解から遠ざけることになります。公式を習っていない小3の子が解ける問題に公式を使うようじゃ全然ダメです。

タグ:

posted at 01:00:49

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 これ、3つの公式に数を当てはめさせて式を作って問題を解くように教えていること自体が問題で、「きはじ」「くもわ」のようなダメな教え方が出て来る原因になっています。

公式に数を当てはめて問題を解くようでは、小3レベルの理解度にも達していないことになります。 twitter.com/genkuroki/stat...

タグ: 超算数

posted at 01:03:50

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 「きはじ」「くもわ」の件は多くの人が深刻な問題である理由を理解していません。

❌どうせ3つの公式を使うのだから、公式の覚え方として「きはじ」「くもわ」は有用である。

のような考え方をしている人達は算数の理解度が相当に低いです。これは

⭕️公式いらないよね。

という話です。

タグ: 超算数

posted at 01:08:22

河合祐介 @tkawai18_tkawai

22年6月26日

よく分からないけど,分数や少数の計算をするよりもきちんと概念を理解して比を使って整数の計算をする方が楽だと思うけどなぁ.
常識として速さが2倍になると同じ時間で進む距離が2倍だから時間は半分みたいな感覚の方がいいと思う.
こういうのも具体的な数字を変えて色々理解したいところ twitter.com/genkuroki/stat...

タグ:

posted at 01:10:43

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 実際、計算が整数の範囲ですみ、容易な場合について、割り算を既習の小3の子に、「時速」のような言い方をせずに「1時間で3キロメートル進むとき、12キロメートル進むには何時間かかりますか?」のような言い方で質問すれば正解できたりする。

習ってなくても常識と計算力だけで正解できる。

タグ: 超算数

posted at 01:11:30

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 これはWald型の信頼区間を与えるP値函数のプロットです。正規分布近似を使っている。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:15:57

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 割り算を既習の小3くらいになれば、速さの定義も時速の定義も知らないけど、速さと距離と時間の関係に関する簡単に計算できる問題を常識的な考え方を使って解くことができるようになっていたりします。

そこに、割り算による速さの定義を覚えるべき公式として導入するから酷いことになる。

タグ: 超算数

posted at 01:22:09

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 常識に沿って考えている小3の子は、「2時間で5キロメートル進むとき、倍の4時間なら10キロメートル進む」という考え方もできます。

これを「時速2.5キロメートル」を経由して4時間で何キロメートル進むかを求めさせようとするから、子供の理解が潰されるわけです。

タグ: 超算数

posted at 01:25:09

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 3つの公式に数を当てはめることを子供に教え込んだ人は、子供自身の理解を潰しに行っていることを自覚して反省しないと非常にまずいです。

子供が最初からできることを調べて、それに合わせて(ゆえに教科書通りではなく)教えている先生だけが、教育的にまともなことをしている。

タグ: 超算数

posted at 01:29:21

河合祐介 @tkawai18_tkawai

22年6月26日

比例の関係をきちんと身につけたい単元ですよねぇ.
3mで500円のものを6m買うといくらか?みたいに身近に比例の関係は多く存在する.
どれも比例の関係だなと分かれば同じこと twitter.com/genkuroki/stat...

タグ:

posted at 01:38:00

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 正規分布近似を使ったP値函数の計算では、Fisher情報量行列の逆行列を使っています。

コードを見ればわかることですが、素朴に実装しています。

自動微分を使えばもっと楽をできたかも。

github.com/genkuroki/publ... pic.twitter.com/7B5yftNbi5

タグ: 統計

posted at 01:40:15

uɐʎuɐʎuɐq @banyanyanmi

22年6月26日

@genkuroki すごい時代になりましたねえ。昔の仕事でそれまで手作業と勘でやっていたことをなんとかしろと言われ、どうしてもロジスティック回帰が必要で統計ソフトの購入とWinPCへのインストールの申請をしたらどちらも却下されて仕方なく泣く泣く、その当時は丹後先生の本しかなくて(クラインバウム本は高くて

タグ:

posted at 01:40:18

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 logistic regression confidence interval (およびその日本語版)を検索しても、2×2の分割表版の信頼区間の解説しか発見できなかったので、上の連続独立変数の場合については適当に自分で実装した。

タグ: 統計

posted at 01:42:39

uɐʎuɐʎuɐq @banyanyanmi

22年6月26日

@genkuroki 買えず)、丹後本を読みながらエクセルに実装した記憶があります。(そのときはニュートン法だったと思う)

タグ:

posted at 01:43:30

黒木玄 Gen Kuroki @genkuroki

22年6月26日

@banyanyanmi 大変そうだけど、面白そうな話です!

各時代ごとに、あり合わせの道具だけでやりたいことをできてしまうのが、本物の力だと思いました。

話題のあの高校教科書のやり方だとそういう人は育ちそうもない感じ。

タグ:

posted at 02:02:47

uɐʎuɐʎuɐq @banyanyanmi

22年6月26日

@genkuroki その後Rが出てきて「Rもあーるよ」とか言ってみたけどだめだったな。とりあえずケチで臆病な会社だった。でも一から実装できたのは自分の勉強になったのでよかった。最初は機械学習自体わかってなかったからww。

タグ:

posted at 02:03:27

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#Julia言語

エフェクト解析による動的言語最適化 Part.1 atl.recruit.co.jp/blog/5455/ @rtech-atlより

タグ: Julia言語

posted at 02:05:19

黒木玄 Gen Kuroki @genkuroki

22年6月26日

やばい。眠れなくなりそうなので今は読まないことにした。

タグ:

posted at 02:09:03

Massimo @Rainmaker1973

22年6月26日

This chart shows the distances of the nearest stars from 20,000 years ago until 80,000 years in the future. Bonus: the distance of Voyager 1, whose closest approach to Gliese 445 system will be in 40,000 years [source, read more: buff.ly/3NggWOx] pic.twitter.com/HxFLIxTkqg

タグ:

posted at 04:50:06

手を洗う救急医Taka @mph_for_doctors

22年6月26日

元ツイートはこれですね。

日本で中絶の際に必要なのは「配偶者同意」であって、未婚のパートナーの同意は関係ありません。

病院で父親の意思を尋ねられることはあるかも知れませんが、法的拘束力はありません。

中絶できないと勘違いして、出産後に子供を遺棄した女性もいます。

正しい知識を。 twitter.com/corgen1212/sta...

タグ:

posted at 10:23:45

コンドリア水戸 @mitoconcon

22年6月26日

豪快なあくびショットが撮れたと思ったのに突き出された拳にピント全部持っていかれてた。 pic.twitter.com/VzbWb3K7ih

タグ:

posted at 10:31:44

手を洗う救急医Taka @mph_for_doctors

22年6月26日

当時のニュースのソースが見つかりました。

2件のクリニックで相談し、「パートナー同意」を求められたとのことですが、本来これは同意があれば望ましいぐらいのレベルで、なくても中絶できるはずです。

なので、このクリニックの対応はひどいです。本当に。
www.yomiuri.co.jp/national/20210...

タグ:

posted at 10:34:03

黒木玄 Gen Kuroki @genkuroki

22年6月26日

うげげ。

数学Iのデータの分析をΣ記号さえ使わずにやっているのか。

高校のカリキュラムの現状を無視していてかつ大学生向けの解説だとしてもひどすぎる例の情報2の教科書の立場は? twitter.com/f_sei/status/1...

タグ:

posted at 10:55:35

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#数楽 taro-nishinoの日記: ミハイル・グロモフへのインタビュー taro-nishino.blogspot.com/2019/03/blog-p...

タグ: 数楽

posted at 11:56:43

黒木玄 Gen Kuroki @genkuroki

22年6月26日

多分、機械学習系の教育で統計モデルを使うようになった人達の中には、P値の概念を全く理解していない人達がいて、そういう人達は、医療統計の分野でyだけではなく、xの値も1,0のみになる場合のロジスティック回帰が昔からよく使われていることも知らないと思う。

勿体ないことだと思います。 twitter.com/genkuroki/stat...

タグ:

posted at 12:18:56

黒木玄 Gen Kuroki @genkuroki

22年6月26日

1つの数学的道具について、本質的に異なる複数の応用の仕方を知っていることは、考え方の幅を広げるために役に立ちます。

機械学習の道具だと思って統計モデルを使っている人達も、医療統計の道具としてロジスティック回帰がどのように使われているかを知れば、新しいアイデアを出せる可能性がある。

タグ:

posted at 12:21:29

黒木玄 Gen Kuroki @genkuroki

22年6月26日

医療統計では交絡の問題への対処が特に重要で(実際には伝統的な統計学の利用では常に交絡が問題になる)、そういうことは機械学習系の教科書では勉強し難いことの一つだと思います。

タグ:

posted at 12:26:19

黒木玄 Gen Kuroki @genkuroki

22年6月26日

あと、P値について健全な理解(主義に基く統計学を排除するような理解)があると、交絡への対処のような伝統的な統計学の知見にアクセスし易くなります。

P値函数と尤度函数と事後分布の使用法の類似を理解していれば特にそうなり易いと思います。

タグ:

posted at 12:26:21

黒木玄 Gen Kuroki @genkuroki

22年6月26日

以下のリンク先のグラフは、ロジスティック回帰のP値函数(伝統的な統計学での基本パターンである中心極限定理による近似を使ってP値函数は実装されている)なのですが、似たようなグラフをベイズ統計の方法で作ることもできます。 twitter.com/genkuroki/stat...

タグ:

posted at 12:28:55

黒木玄 Gen Kuroki @genkuroki

22年6月26日

勉強中の人達に偏見を持たせることによって、有能な人になることを妨げる言説は「この周辺」には大量に流れています。典型的なのは

❌P値を使うことは有害
❌頻度論とは異なるベイズ的な確率概念が必要

のような馬鹿げたことを言う人たちが困るものです。

これ、焼石に水でどうにもならない感じ。

タグ:

posted at 12:33:59

黒木玄 Gen Kuroki @genkuroki

22年6月26日

参考動画

youtu.be/ybdkQFEdCPM
京都大学 大学院医学研究科 聴講コース
臨床研究者のための生物統計学
「交絡とその調整」佐藤 俊哉(医学研究科教授)

3つ連続講義の2番目です。

伝統的な統計学では常識的な話題。

タグ:

posted at 12:38:44

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 どうして対数をとるか?

これは非常に良い質問で、複数の正しい解答があります。

* 浮動小数点数では微小な正の実数や巨大な正の実数を扱いにくい。だから、正の実数をたくさんかけて得られる数値を浮動小数点数で扱う場合には対数をとった値を扱わざるを得ない。

続く

タグ: 統計

posted at 13:10:41

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 続き

* 確率論では、確率の対数をとった量の主要項が系の性質を決定している場合が多い。キーワードは大偏差原理、エントロピー、情報量、Kullback-Leibler、Sanovの定理、Cramerの定理。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 13:10:42

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 尤度=統計モデル内でデータの数値と同じ数値が生じる確率もしくはその密度は、データサイズの個数の分だけ正の実数を掛け合わせた形になることが多く、対数を取らないとコンピュータでの数値計算が容易に破綻します。

タグ: 統計

posted at 13:14:43

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 典型的にはNaNが出まくる(笑)

i.i.d.データの場合には対数尤度のn分の1倍をn→∞とすると大数の法則を使えて、対数尤度とKL情報量の関係が得られます。これは、赤池情報量規準AICの基礎になります。

尤度の対数をとるだけの話1つだけで非常に面白い話になっています。

タグ: 統計

posted at 13:18:57

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 [4]のように、確率の積を計算させると0にならないはずに量が容易に0になってしまいます。

[5]のように対数をとって計算すれば-950程度の「普通の数」になってくれます。

ロジスティック回帰モデルでの確率の計算では、確率の対数の方を使わないと容易に破綻する。
pic.twitter.com/sRkG4wZeL5

タグ: 統計

posted at 13:43:59

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 尤度の対数の重要性に関する最高の解説は、20世紀の統計学における偉大な開拓者の1人である赤池弘次さん自身による1980年の2つの論説だと思います。数え切れないくらい紹介して来た。

その後の日本語圏での統計学入門の解説がこれらの影響を受けなかったことは日本語圏の黒歴史だと思う。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 14:03:25

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 こういう紹介の仕方をすると、私が「深淵で難解な事柄」について紹介しているかのような最悪の誤解が生まれるのではないかとちょっと不安になることがある。

内容的には「シンプルでクリアな理解の関わること」について紹介しているつもりです。

タグ: 統計

posted at 14:06:57

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 確率のn→∞での漸近挙動が

(確率1) = exp(nS₁+o(n))

(確率2) = exp(nS₂+o(n))

であるとき、ほんの少しでも S₁ > S₂ となっていれば、n→大で、確率1の方が確率2よりも指数函数的な速さで圧倒的に大きくなります。

これが、確率の対数が理論的に重要な意味を持つシンプルな理由です。

タグ: 統計

posted at 14:20:06

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 上のS₁やS₂のような量はよくエントロピーと呼ばれています。

この意味でのエントロピーには概念的な深淵さは何もなくて、シンプルでクリアです。

その意味でのエントロピーの-1倍はよく情報量と呼ばれています。

だから、エントロピーと情報量はいつも似たような話として扱われている。

タグ: 統計

posted at 14:21:01

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 しかも上の意味でのエントロピーに関連した練習問題は高校数学IIIの教科書に載っていたりします(笑)

おそらく、多くの秀才高校生がその重要性に気付かずに「対数を取れば区分求積法に帰着するだけの問題」として消費してしまっている。貴重な努力と才能がもったいない感じ。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 14:23:03

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 P値の話に戻る。

P値は統計モデルとデータの数値の整合性の指標の1つです(P値に関するASA声明)。

そのとき、「帰無仮説」は統計モデルのパラメータの値に関する仮説になり、現実に関する仮説にはなりません。

この点を不明瞭にするせいで、多くの不毛な誤解と議論を発生させています。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 14:36:40

黒木玄 Gen Kuroki @genkuroki

22年6月26日

あなたは、「オッズがどの程度であれば次の対局で藤井聡太竜王が勝つことにあなたは1万円賭けるか?」のような話では、ベイズ主義の主観確率の考え方は有用です。

P値を絶対視することは単なる誤用です。

P値云々と無関係に「誤用をするのはまずい」というシンプルな話。主観確率についても同様。 twitter.com/tsatie/status/...

タグ:

posted at 14:40:45

黒木玄 Gen Kuroki @genkuroki

22年6月26日

まずは統計学の教科書を、教科書の内容が正しいことを前提にせずに、普通の読み方をすることが必要です。

大学で習う普通の本の読み方では、どの分野であっても批判的に読むことを要求され、書かれている内容を合理的に再構成することになっていると思います。

まずは勉強しないとダメ。 twitter.com/tsatie/status/...

タグ:

posted at 14:43:33

黒木玄 Gen Kuroki @genkuroki

22年6月26日

あ、そのリンク先のような俗な解説についてきちんとダメ出しできるような普通の勉強の仕方が必要だと思います。

おそらく、満足に勉強するためには5年くらいはかかる。 twitter.com/tsatie/status/...

タグ:

posted at 14:46:09

黒木玄 Gen Kuroki @genkuroki

22年6月26日

まともな頭の使い方をできているかどうかは、相対的に信頼度が高い資料を上手に判別できているかを見れば分かることが多いと思います。特に専門分野以外でそれをやるときに総合力が分かる。

私のツイートを見ていれば、私が信頼度が相対的に高いとみなしている文献や動画が何であるかは明らか。 twitter.com/tsatie/status/...

タグ:

posted at 14:54:41

黒木玄 Gen Kuroki @genkuroki

22年6月26日

あと、統計学の数学的な定式化部分については、普通に数学なので、普通に数学として読めば概念的に誤解することはないです。

概念的に酷いことが書いてある本であっても、それで学んだ数学の部分は価値ある知識として必ず残る。

そして数学に部分の理解抜きに概念の正しい位置付けの考察は不可能。 twitter.com/tsatie/status/...

タグ:

posted at 14:57:38

黒木玄 Gen Kuroki @genkuroki

22年6月26日

実際に幾らでもよい勉強の仕方はできます。

勉強しない理由を探すのは不毛。 twitter.com/tsatie/status/...

タグ:

posted at 14:59:35

黒木玄 Gen Kuroki @genkuroki

22年6月26日

自分で勉強して再構成して噛み砕いて教えることが仕事。

資料は自分で作って公開して万人の批判を仰ぐのが正解だと思います。 twitter.com/tsatie/status/...

タグ:

posted at 15:01:50

黒木玄 Gen Kuroki @genkuroki

22年6月26日

教師の側が現実にず〜っと統計学について真剣に勉強していないように見えることこそ大問題。

自分で勉強して理解していれば、自分の言葉で高校一年生に伝えられる。勉強しないと無理。

若い人相手に教える仕事は、人類を代表して猛勉強して、噛み砕いてそれを次世代に伝えること。 twitter.com/tsatie/status/...

タグ:

posted at 15:05:55

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 多くの人が戸惑うのは、以下の区別。

①標本を無作為抽出した現実の母集団の未知の平均μ₀∈ℝ
②そこで得た標本の数値x_1,…,x_nの平均x̅=(x_1+…+x_n)/n∈ℝ
③確率変数Xの平均E[X]=μ∈ℝ
④Xが従う分布の標本分布に従う確率変数達X_1,…,X_nの平均X̅=(X_1+…+X_n)/n (これは確率変数)

タグ: 統計

posted at 16:19:07

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 統計学入門の内容は、①②③④の4つの平均達を完璧に区別できないと、何にも分からなくなる仕組みになっています。ほんのすこしでも混同しているとアウト。

この点が厳しいと感じた人は結構いるはず。

タグ: 統計

posted at 16:21:19

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 任意に与えた平均μを持つ分布Dを取り、サイズnの標本分布Dⁿに従う確率変数(X_1,…,X_n)の値が、現実での母集団からの無策抽出で得た標本の数値(x_1,…,x_n)以上に(ある適切な意味で)極端な値を取る確率の近似値をP値としてうまく定義して、「平均はμである」という仮説を扱いたい。

タグ: 統計

posted at 16:28:44

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 このとき困ることは、確率分布Dは平均μを持つという条件を除けば任意の分布であり、分布Dに関わる計算結果は分布Dごとに異なるので、P値を適切に定義する方法が一見無さそうに見えることです。

しかし、中心極限定理がこの困難な状況を救ってくれます。

タグ: 統計

posted at 16:31:48

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 分布Dが平均μと分散σ²を持つとき、サイズnを十分に大きくすれば、中心極限定理より、(X̅-μ)/√(σ²/n) は近似的に標準正規分布に従います。

さらに、S²=((X_1-X̅)²+…+(X_n-X̅)²)/(n-1)とおくと、nを十分に大きくすると、大数の法則よりS²でσ²は近似される。

タグ: 統計

posted at 16:37:49

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 以上を2つ合わせると、分布Dごとにnが十分大きくすれば、(X̅-μ)/√(S²/n) は近似的に標準正規分布に従うことになります。

分布Dが何であっても、nが十分大きいなら、(X̅-μ)/√(S²/n) に関する確率は標準正規分布を使って近似計算できる。

タグ: 統計

posted at 16:37:50

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 標本の数値についてもs²をs²=((x_1-x̅)²+…+(x_n-x̅)²)/(n-1)と定める。

モデルの分布Dごとに、nを十分に大きくして、「平均はμである」という仮説のP値を、モデル内確率変数(X̅-μ)/√(S²/n)の値がデータの数値から得られる(x̅-μ)/√(s²/n)の値以上に0から離れる確率だと定義します。

タグ: 統計

posted at 16:42:14

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 モデルに関する仮定の主要部分は、X̅に関する中心極限定理による正規分布近似がうまく行っていることと、S²に関する大数の法則によるσ²の近似がうまく行っていることの2つです。

この条件のもとで、上で定義したP値は、平均μのモデルとデータの数値の整合性の指標として使えます。

タグ: 統計

posted at 16:45:38

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 さらに、そういうモデルに関する仮定が現実の母集団分布の様子にも適用できるならば(これは成立していない場合もあるので要注意)、上で定義したP値は「母集団の平均はμである」という仮説とデータの数値の整合性の指標としても使えることになるわけです。

タグ: 統計

posted at 16:48:06

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 実際に伝統的に使われているのは、上で私が定義したP値ではなく、そこで使っていた標準正規分布を自由度n-1のt分布で置き換えて同様に定義したP値の方です。

nが十分に大きい場合に自由度n-1のt分布がほぼ標準正規分布に一致するので、実践的には多くの場合に「小さな補正」とみなされます。

タグ: 統計

posted at 16:51:00

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 本当によく使われているのは2つの母集団の平均の差を扱うWelchのt検定の方なのですが、ストーリーは上の場合とほぼ同じです。

Welchもt検定でも中心極限定理と大数の法則による近似の有効性が最も重要なモデルの仮定になる。t分布を使った部分は多くの場合に「小さな補正」にしかならない。

タグ: 統計

posted at 16:53:45

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 t分布を使った「小さな補正」を除けば、平均もしくは平均の差に関する仮説の検定では、正規母集団の仮定は使われません。中心極限定理と大数の法則による近似の有効性に条件が大幅に緩められます。

こういうことを教科書に書かないから、「正規分布を仮定していいの?」という疑問が生まれる。

タグ: 統計

posted at 16:56:23

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 実際には中心極限定理による近似の有効性さえ成立していれば実践的には十分な場合が多いように思えます。根拠はさまざまな分布での数値的な確認。

タグ: 統計

posted at 16:59:42

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 中心極限定理による近似は、元の分布が左右対称ならばn=10程度でもどんぶり勘定的に十分な近似になる場合が多いです。

しかし、左右非対称だとn=100以上のようなサイズが必要になる場合が多数ある。

左右非対称で外れ値が出易い分布だとさらに状況は悪くなります。

タグ: 統計

posted at 17:02:20

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 だから、普及しているWelchのt検定を使用する場合には、データを見て左右非対称でかつ外れ値が含まれている場合には十分に警戒する必要があります。

しかし、そういう危険信号が観察されなければ、正規母集団の仮定抜きにWelchのt検定は使用可能です。

タグ: 統計

posted at 17:05:20

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 少し上の続き。P値の定義の直後からの続き。

「平均はμである」という仮説のP値が定義されたなら、μに関する信頼度1-αの信頼区間をP値がα以上になるμ全体の集合と定義できます。

閾値αはよく有意水準と呼ばれていますが、どう呼ぶかは重要ではありません。閾値を設定しているだけ。

タグ: 統計

posted at 17:10:12

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 「平均はμである」という仮説のP値はその仮説+モデル全体とデータの数値の整合性の指標です。

だから、μを動かしてP値の値をグラフにプロットすれば、「平均はμである」という仮説の全体とデータの数値の整合性を一目で確認できるようになります。このグラフをP値函数のグラフと呼ぶ。

タグ: 統計

posted at 17:13:05

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 Welchのt検定では「平均の差はΔμである」という仮説のP値が定愚されます。Δμが効果の大きさを意味する場合には、P値函数のグラフを見れば、「効果の大きさはΔμである」という仮説の全体(Δμを動かす)とデータの数値の整合性を一目で確認できるわけです。

タグ: 統計

posted at 17:17:18

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 ロスマンさん達の疫学の教科書でP値函数のグラフの見方が詳しく解説されています。

タグ: 統計

posted at 17:18:22

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 「P値を見ても効果の大きさは分からない」という誤解が広まってしまった原因は、P値ユーザーの多くが「効果の大きさは0である」という仮説のP値しか使っていなかったことです。

「効果の大きさはΔμである」という仮説全体のP値をまとめて全部考えれば、P値から効果の大きさの情報も得られます。

タグ: 統計

posted at 17:21:52

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 以上のように統計学入門でよく扱われている平均(もしくは平均の差)に関する仮説のP値について、

❌正規母集団の仮定は必須
❌P値を見ても効果の大きさは分からない

というありがちな説明は間違っています。

少なくともひどくミスリーディングでP値の学習をひどく阻害しています。

タグ: 統計

posted at 17:28:31

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 しかし、P値の概念に慣れ親しんだ人達にとっては、以上で私が説明したことは「よいニュース」です。

タグ: 統計

posted at 17:37:03

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 母集団分布の左右非対称性が緩くて外れ値を含んでいないように見えて標本サイズもそれなりの大きさの場合には、正規母集団の前提抜きにWelchのt検定が使えて、さらにP値函数のグラフを描くだけで効果の大きさまでも分かる。(もっと色々わかる。)

タグ: 統計

posted at 17:37:05

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 さらに、P値さえ理解していれば信頼区間は「P値について単に閾値を設定しただけ」だと理解できる。

タグ: 統計

posted at 17:38:58

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 「P値は時代遅れ」「P値を使うことは有害」のような言説を恐れる必要もなくなります。

なぜならば、「P値は時代遅れ」「P値を使うことは有害」のようなことを言う人達がこのスレッドに書いたようなことに無知であることは明瞭だからです。

無知な人達の言葉に耳を傾ける必要はないです。

タグ: 統計

posted at 17:42:06

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 「効果の大きさは0である」という単独の仮説のP値を一個だけ計算するにではなく、「効果の大きさはΔμである」という無数の仮説の各々についてP値(=その仮説+モデルの前提とデータの数値の整合性の指標)を計算するようにすれば、色々良いことがあるのは明らかだと思います。

タグ: 統計

posted at 17:50:40

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 訂正

❌この10倍くらいのページを使って順番に

⭕️一冊の本を著す勢いで順番に

その1ページ分の解説を膨らませるだけで軽く1冊以上の本ができそう。😊 twitter.com/genkuroki/stat...

タグ: 統計

posted at 17:58:13

@kankichi57301 @kankichi57301

22年6月26日

しかも式:5+5で算出したら☓食らいかねない
#超算数 twitter.com/genkuroki/stat...

タグ: 超算数

posted at 18:03:39

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 「無数のパラメータ値ごとにP値を計算して利用する」というP値の利用の仕方(ロスマンさん達の疫学の教科書にある)には、ベイズ統計での事後分布の利用に抵抗がなくなるというボーナス特典がついて来ると思います。

シンプルなモデルでは、P値と事後分布からほぼ同じ結果が得られます。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 18:47:57

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 「効果は0である」という仮説のP値を1つだけしか計算していないと、P値函数とベイズ統計の事後分布の類似性に気づくことはないだろうし、シンプルなモデルでは多くの場合に数値的にほぼ同じ結果を与えることにも気づかないと思う。

タグ: 統計

posted at 18:50:03

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 しかし、P値函数のグラフを見慣れた人にとって、事後分布のグラフとの類似は明らかで、事後分布からP値函数の類似物を作って通常のP値函数と比較すると、ほぼぴったり一致して驚くことも出て来るはずです。

そういう経験はベイズ統計への抵抗感を確実に減らすものと思われます。

タグ: 統計

posted at 19:59:04

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 Wald型の正規分布近似に基くどんぶり勘定なP値や信頼区間を使っている人達が、別のどんぶり勘定の手段であるベイズ統計の使用を拒否する理由は全くないと思われます。

そのとき大事なことは「頻度主義vs.ベイズ主義」という考え方を完全に無視することです。

タグ: 統計

posted at 20:02:00

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 Wald型の正規分布近似に基くP値や信頼区間が有効な場合は、ほぼ間違いなく、ベイズ統計の方法でも数値的に同じ結果が得られるはずです。同じ結果が得られる道具を拒否するのはおかしい。

ベイズ統計の方が使い易いケースが珍しくないので、P値とベイズ統計の両方を普通に使って問題なし。

タグ: 統計

posted at 20:05:32

JuliaPackages @JuliaPackages

22年6月26日

New package: FiniteSizeScaling v1.0.0 announced #JuliaLang

FiniteSizeScaling: FiniteSizeScaling.jl: A Julia package for finding optimized values of phase transition parameters and critical exponents.

Registration: github.com/JuliaRegistrie...
Repository: github.com/owenpb/FiniteS...

タグ: JuliaLang

posted at 21:10:00

どーん_なう @dawn_now

22年6月26日

#ぷよ碁 だけに集中して再度対局した結果、
「 0対12で敗北しました。」 0勝83敗。

終盤、黒石消失。アタリに全く気付かなかった。 😖

#囲碁

puyogo.app/rp?kf=M0M0IzJC...

タグ: ぷよ碁 囲碁

posted at 21:12:42

JuliaPackages @JuliaPackages

22年6月26日

New package: TriangularIndices v0.1.0 announced #JuliaLang

Registration: github.com/JuliaRegistrie...
Repository: github.com/perrutquist/Tr...

タグ: JuliaLang

posted at 21:21:46

積分定数 @sekibunnteisuu

22年6月26日

@golgo_sardine @R0M6Dx78PSWYAFW twitter.com/R0M6Dx78PSWYAF...

かけ算の順序でバツをもらう子は、交換法則を理解していて、かけ算の順序はどっちでもいいと正しく理解しています。

〇をもらう子は、教員の噓出鱈目の説明を信じてしまっていて、掛け算を理解していない可能性があります。

噓出鱈目を教える授業を聞いてはいけない。 pic.twitter.com/Fj9C1fL5vp

タグ:

posted at 21:41:54

積分定数 @sekibunnteisuu

22年6月26日

@toro24f 失礼します。なぜ正解ではないのでしょうか?この答案を見れば理解していることは明らかですが。 pic.twitter.com/POqZuMNylY

タグ:

posted at 21:48:21

積分定数 @sekibunnteisuu

22年6月26日

このツイートこそ気持ち悪い twitter.com/iwgpokada0619/...

タグ:

posted at 21:52:01

積分定数 @sekibunnteisuu

22年6月26日

@KsnGaz かけ算に順序があると思ったいるなら、掛け算を理解していないことになります。 pic.twitter.com/NjyWwliHiQ

タグ:

posted at 22:02:57

積分定数 @sekibunnteisuu

22年6月26日

@golgo_sardine @R0M6Dx78PSWYAFW twitter.com/R0M6Dx78PSWYAF...
>あったら交換法則を理解していて✕をもらうなんて、ほとんどないことが分かると思いますよ。

いいえ、教員の想定と逆にしてバツになっているのにちゃんと理解しているケースはいくらでもありますよ。

タグ:

posted at 22:04:15

積分定数 @sekibunnteisuu

22年6月26日

@golgo_sardine @R0M6Dx78PSWYAFW >ざわざ✕もらいにいく

別にわざとバツになる訳じゃないですよ。教員の想定する順序と同じになることもあるでしょう。逆になることもある。

タグ:

posted at 22:05:07

積分定数 @sekibunnteisuu

22年6月26日

噓出鱈目を教えているのだから授業を聞かなくなくなるのは正しいこと。 twitter.com/R0M6Dx78PSWYAF...

タグ:

posted at 22:06:15

積分定数 @sekibunnteisuu

22年6月26日

@golgo_sardine @R0M6Dx78PSWYAFW megalodon.jp/ref/2012-0930-...
式が教員の想定としてバツになった子のほとんど(おそらく全員)が正しく理解できている。 pic.twitter.com/2hgILGBgGL

タグ:

posted at 22:11:08

積分定数 @sekibunnteisuu

22年6月26日

@golgo_sardine @R0M6Dx78PSWYAFW まあ、「長いものに巻かれろ」は、主義主張だけど

「交換法則を理解していて✕をもらうなんて、ほとんどない」は、客観的事実認識。

前者には「俺はそう思わない」となるけど、

後者は、「そもそも事実として誤り」となる。

タグ:

posted at 22:16:44

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 #R言語 にプロットさせたP値函数のグラフの例。 twitter.com/genkuroki/stat...

タグ: R言語 統計

posted at 22:19:36

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 rate ratio に関するベイズ統計での事後分布のグラフ(上段)と対応する場合のP値函数のグラフ(下段)。これを見ればどのように対応しているかが何となく分かると思います。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:22:11

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 線形回帰の回帰直線のP値函数のヒートマップ。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:23:33

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 回帰直線のP値函数の3次元プロット。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:24:22

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 ロスマンさん達の疫学の教科書にあるP値函数の使い方の解説の例。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:25:38

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#統計 ロジスティック回帰のP値函数のヒートマップ。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:26:34

黒木玄 Gen Kuroki @genkuroki

22年6月26日

教育困難校にいる子をさらなる地獄に突き落とす教え方であると、社会全体から非難されるようにならないといけないと思います。

子供を殴る大人と同じ扱いが必要。

ところが、子供を殴っているのと同じ側をまるで殴る以外の教え方を知らない人達が庇う地獄がよく発生している。 twitter.com/xufd6g7akfvcal...

タグ:

posted at 22:46:37

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#超算数 「1時間で3キロメートル進むとき、12キロメートル進むには何時間かかりますか?」という問題を出したら、きはじ図を描き出すようだと日常生活でも不便だろうし、小学3年生レベルにも達していないことになる。 twitter.com/genkuroki/stat...

タグ: 超算数

posted at 22:52:10

Shoko Egawa @amneris84

22年6月26日

@sage_darts @genkuroki はなまるを3つくらいつけたい。

タグ:

posted at 23:15:18

黒木玄 Gen Kuroki @genkuroki

22年6月26日

なにこれ、かしこすぎて、かわいすぎ!😊

ふつうははなまるだと思う。🌸💯🌸 twitter.com/sage_darts/sta...

タグ:

posted at 23:19:41

黒木玄 Gen Kuroki @genkuroki

22年6月26日

#Julia言語 これは見逃していた。後で読みたい。

www.matecdev.com/posts/julia-py...
Julia vs Numba and Cython: Looking Beyond Microbenchmarks

タグ: Julia言語

posted at 23:37:51

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました