黒木玄 Gen Kuroki(@genkuroki)/2022年02月/Page 2

PyPlotlyってのを作るか。

タグ：

posted at 00:46:25

闇のapj @apj

法的措置を前提にしたやりとりで信用を毀損て言われると真っ先に刑法の信用毀損が思い浮かぶのだけど、この信用は経済的信用限定。悪口言う学者を雇ってると大学まで仲間に見られて評判下がるよ、て言いたかったのなら、名誉を毀損、て書くべきところでは？ twitter.com/ganrim_/status...

タグ：

posted at 01:31:02

50万人分の端末関連 twitter.com/rochejacmonmo/...

タグ：

posted at 02:10:24

Julia日本語記事まとめ @julia_kizi

笑っちゃいけない話題のような気がするが、笑ってしまった！

今までのあちこちでされていた関連の話の内容が整合しないように見えた理由はこれだったのか！ twitter.com/ganrim_/status...

タグ：

posted at 02:15:01

新しい記事がZennにアップされました！#Julia言語　 #Julia日本語記事
 zenn.dev/hctaw_srp/arti...👈

タグ： Julia日本語記事 Julia言語

posted at 02:51:02

sekkai @sekkai

クリスマスローズ　戦争反対 @educationmama3

ｵﾜｰ!!よく使われる医薬品が軒並み回収されている！！😭😭😭国の薬価引き下げで昔からある必須医薬品の単価が異常に下がり限られたジェネリックメーカーに生産を依存することになったせいで、サプライチェーンに綻びが出た瞬間薬が全く入ってこないという安物買いの銭失い状態になっている😭😭😭😭😭 twitter.com/mcollection9/s...

タグ：

posted at 08:52:04

もう一度言うけど、息子の大学のプログラミングの授業は人気がありすぎで抽選です。

学ぶ意欲のある学生に十分な教育ができなくて、「共テに情報を課さないと若者の未来が悲惨になる」なんてよく言えたものだよ。

英語の時も思ったけどまずは大学で十分に教育してよ！話はそれから。

タグ：

posted at 11:36:15

Kazunori Sato @kazunori_279

これは厳しい… qiita.com/ykami/items/d4...

タグ：

posted at 11:37:12

黒まてぃ @Salvare036

英国人の同僚から「それ何？」と聞かれたので、遂にこのフレーズを使う時が来たか、と感無量で放った返答

"This is a pen." pic.twitter.com/adGESmIX3K

タグ：

posted at 12:33:36

Prof. Leão @Prof_Leao

Popcorn function with @MakiePlots. #vis #plotting #animations #JuliaLang pic.twitter.com/1e8b72BEyk

タグ： animations JuliaLang plotting vis

posted at 12:48:41

岸本佐知子 @karyobinga

私と同世代の人ならば、小学生のころ石原慎太郎の『スパルタ教育』が大ベストセラーになったあおりで親に突然意味もなく厳しくされた経験をもつ人も多いでしょう。ところが何年か前、石原良純が父親について「一度も怒られたことがない優しい父親だった」と語っているのを見て「マジぶっ◯す」と文字数 pic.twitter.com/INiBlNb1Jh

タグ：

posted at 14:20:05

わくわく @09waku09

フォローされた！！ pic.twitter.com/KT1JBVo5oi

タグ：

posted at 15:20:40

#統計 Welchのt検定(2群の平均の比較の基本)を「正規分布を仮定したパラメトリック検定」に分類することが多いようですが、中心極限定理が効いている状況で十分に使える検定だし、正規分布モデルを精密に使わずに、t分布の使い方が結構大胆な近似になっているので、その分類の仕方には違和感がある。

タグ：統計

posted at 16:27:40

#統計少なくとも、

❌Welchのt検定は主に正規母集団に使うべき検定である

は明瞭に誤り。そのような印象を与える説明は非常にまずい。

Welchのt検定でのt分布の使い方(非整数の自由度の出し方)について概略さえ説明せずに、使い方だけ説明している場合が多いようだ。

タグ：統計

posted at 16:30:49

#統計中心極限定理による標本平均の分布の正規分布による近似が十分有効な状況で、Welchのt検定でのデータから計算される自由度の値が十分大きくて(30程度以上)t分布の代わりに標準正規分布を使える場合には、Welchのt検定は中心極限定理による正規分布近似のみを使う素朴な検定と同じとみなせる。

タグ：統計

posted at 16:37:23

#統計 Welchのt検定は中心極限定理のみを使った素朴な方法の精度を上げた場合になっています。

中心極限定理のみを使った素朴な方法によって既にどんぶり勘定がすんでいる状況で、標準正規分布をt分布で置き換えて、分散の推定の確率的揺らぎが原因で生じる誤差を小さくする試みがWelchのt検定。

タグ：統計

posted at 16:40:41

#統計

❌Welchのt検定は、正規分布モデルでの正確な計算で導出されたt分布を使う検定

これ↑は間違った認識。

⭕️Welchのt検定は、母集団分布が正規分布でなくても使える中心極限定理による近似を使う検定における標準正規分布をt分布で置き換えることによって精度を上げた検定

タグ：統計

posted at 16:46:00

#統計 1群の場合や2群で等分散を仮定した場合のStudentのt検定での使うt分布は正規分布モデルにおける正確な計算で導出されたt分布を使っているように見せる解説をするのが普通です。

しかし、1群のt検定も(Welchのt検定と同様に)正規母集団でなくても中心極限定理が効いていればかなり使えます。

タグ：統計

posted at 16:54:32

#統計一方、2群で等分散を仮定した場合のStudentのt検定は「等分散の仮定」が余りにも強過ぎて危ない。

昔は「等分散の検定をして、Studentのt検定とWelchのt検定の使い分ける」というよろしくないことが普通に行われていたらしい。

最初から頑健なWelchのt検定を使えば良かったのに。

タグ：統計

posted at 16:54:33

#統計このスレッドの話題は、昔からある「平均に差がないという仮説の検定をするために、正規分布を仮定しちゃっていいの？」という疑問への回答になっていると思います。

もちろん、正規母集団の仮定は特殊な場合を除けば

⭕️仮定してはいけない

が正解です。

⭕️仮定せずにWelchのt検定を使う。

タグ：統計

posted at 16:57:52

#統計正規母集団を仮定しなくても、そこそこ緩いある程度の条件が揃っていれば、1群のStudentのt検定や2群のWelchのt検定は使用できます。

データの分布の左右の対称性が極めて大きく崩れているなどの理由で、中心極限定理による近似の誤差が大きそうな場合には危ない。

タグ：統計

posted at 17:02:46

#統計まとめ

❌Welchのt検定は正規母集団の仮定のもとで使われる。

⭕️Welchのt検定の使用に正規母集団の仮定は不要。ただし誤差が大きくなる場合への注意が必要。

❌2群が等分散かどうかを検定した後にStudentのt検定とWelchのt検定を使い分ける。

⭕️最初からWelchのt検定を使う。

タグ：統計

posted at 17:11:44

#統計 1群の標本平均の分布もしくは2群の標本平均の差の分布が中心極限定理によって正規分布で十分よく近似できるとみなせる状況であっても、その分散は未知なので、データから分散を推定して代入することになります。

データは無作為抽出のたびに確率的に変わり、分散の推定値も変わる。続く

タグ：統計

posted at 17:20:22

#統計だから、そのような状況を数学的に扱うためには、

* 「分散の値が確率的に揺らいでいるときの正規分布」の形で定義される確率分布

を扱う必要があります。その典型例がt分布になっています。

t分布は「分散が確率的に揺らいでいる正規分布」の一種です。

タグ：統計

posted at 17:20:24

Mうら @tchaikovsky1026

Welchのt検定を、「分散が同一でない場合に使う検定」と説明する記事が結構あるかも。

正しくは、「分散が同一でなくても使える検定」
導出を見れば明らか。 twitter.com/genkuroki/stat...

タグ：

posted at 17:30:18

#統計例えばよく見る有名な例題の中には「7人の科学者の測定技術に違いがあること」のモデル化としてt分布モデルを使えるものがあります。

The Seven Scientistsの例題：A氏だけが極端に違う値を得ている(笑)。

これを7つの異なる分散でモデル化する話。最尤法でもベイズ法でも行ける。 twitter.com/genkuroki/stat... pic.twitter.com/fFBa3a34nH

タグ：統計

posted at 17:36:30

#統計分散の確率分布として何を採用するかによって、「分散が確率的に揺らいでいる場合の正規分布」はt分布以外にも無数にあります。

だから、一般にはt分布によるモデル化は正確にはなりようがないのですが、そこそこ実用的に使える場合が多いことはわかっている。ダメなら別の分布を使えばよい。

タグ：統計

posted at 17:40:04

#統計「測定誤差の大きさが科学者ごとに大きく違っている」というように「個人差」があると予想される場合は多い。

そのような場合についてのシンプルな確率分布モデルの例を知っていると、どういうことが起きそうかについて数学的な予想をやり易くなる。

t分布について知ることはそういうこと。

タグ：統計

posted at 17:44:36

Katret @Katret13

おすすめと並べたらあかんやんｗ pic.twitter.com/CjTdanv0vi

タグ：

posted at 17:45:11

#統計「分散が確率的に揺らいでいる正規分布」のt分布の裾野は「分散が固定されている正規分布」よりも太くなっており、全体の分散も大きくなっています。

t分布だと分散が固定された通常の正規分布の場合よりも外れ値が出易くなる。

個人差が外れ値の原因になり得ることがt分布を学べば分かる。

タグ：統計

posted at 17:47:26

#統計中心極限定理を使った検定でも同様で、正規分布の中に含まれる未知の分散の部分にデータから作った分散の推定値を代入した場合には、データごとに異なる分散の値が代入されることになり、「個人差」が生じ、分布の裾野は大きくなるかもしれない。

続く

タグ：統計

posted at 17:50:26

多根清史 @bigburn

いま母が倒れたので大阪に向かっでます。電話に出られない状態で、Webカメラ越しに部屋の異変に気づいて救急隊に来てもらったという…。アマゾンのEcho Showを家のあちこちに配置しておいて本当によかった。

タグ：

posted at 17:55:37

#統計その「個人差」が原因で生じる誤差の補正をt分布モデルで処理する方針を採用しているのが、Welchのt検定。標準正規分布の補正版として使われるt分布の自由度は母集団分布が正規分布の場合に使えそうな近似的な値として導出されます。補正の仕方は相当にどんぶり勘定な感じで、結構面白いです。

タグ：統計

posted at 17:57:31

#統計「個人差」のモデル化の例

* 個人ごとに分散の値が確率的に変わる正規分布の例→ t分布

* 個人ごとに期待値が確率的に変わるPoisson分布→負の二項分布

* 個人ごとに成功確率が確率的に変わる二項分布→ベータ二項分布 (負の二項分布はこれの時間連続極限になっている)

タグ：統計

posted at 18:07:31

#統計確率分布については「確率分布曼荼羅」の類を見ても理解の助けにはならず、1つひとつ丁寧に、各々の確率分布がどのようなものになっているかを確認して、さらに、広く通用する見方と結びつけて行くことが正解だと思います。

タグ：統計

posted at 18:10:32

杉野アキユキ @sugino_akiyuki

将棋が好きな彼女の元カレっぽい奴 pic.twitter.com/74K8kVADSN

タグ：

posted at 18:12:30

#統計まとめ

2群間の平均の差に関するWelchのt検定の大雑把な理解のためには

* 中心極限定理

が基本的で、さらに、

* t分布は「分散の確率的に揺らいでいる場合の正規分布」の基本統計モデルになっている

という予備知識が必要である。

タグ：統計

posted at 18:14:22

遠藤乃亜 @endo_noah

小泉純一郎氏や鳩山由紀夫氏など総理大臣経験者５人が、ＥＵに送った書簡の内容をめぐり、福島県の内堀知事が「科学的知見に基づき発信」するよう求めました。
www.tuf.co.jp/newsdata/NS_pl...

タグ：

posted at 19:19:46

便利 @BenriBot_ccbs

@8oka8 (よく言われるのは3Dグラフィックスだけど、こんな話も
twitter.com/genkuroki/stat...)

タグ：

posted at 19:35:04

バックアップ。これ大事。

タグ：

posted at 22:11:01

Akinori Ito @akinori_ito

Byteの語は1956年に Werner Buchholz によって考え出されたとあるけど en.wikipedia.org/wiki/Byte#Etym...
そもそも最初は1byte=8bitではなかった

タグ：

posted at 22:21:34

Masa Yamamoto予測誤差が大き @mshero_y

@mshero_y #数楽

より新しいバージョン

genkuroki.github.io/documents/2016...
Kullback-Leibler情報量とSanovの定理
2017-06-24 Ver.0.26b pic.twitter.com/jihAcw0h4z

タグ：数楽

posted at 22:23:40

@genkuroki 先生、ありがとうございます。
すみませんでした。

タグ：

posted at 22:30:09

ぎょぎょ！githubへのpushがエラーで終わっていた。

再度push!

タグ：

posted at 22:31:37

@mshero_y どういたしまして！
どうせ微小な違いしかないです。
宣伝して頂き感謝！

タグ：

posted at 22:32:44

これを見て「ち○ち○！」とつぶやいた人が沢山いるに違いない。 twitter.com/karyobinga/sta...

タグ：

posted at 22:34:15

Masa Yamamoto予測誤差が大き @mshero_y

#統計 t分布を使ったWelchのt検定と動揺の補正を行う有名な検定にBrunner-Munzel検定があります。

原論文 (2000年) これは結構読み易いと思いました。
↓
scholar.google.com/scholar?cluste...

タグ：統計

posted at 22:42:02

@genkuroki 眼から鱗が落ちると言いましょうか、おかげさまで解釈に新しい道が。
これは絶対みんなにも読んで欲しいなあと。
(そもそも先生の解説ありきのアイデアなので出典紹介は当然ではありますが…)

タグ：

posted at 22:45:06

#統計 2群の場合に等分散を仮定するStudentのt検定はいかにも使わない方が良さそうな検定なのですが、それと同様に使わない方が良さそうな感じがする検定にWilcoxon-Mann-Whitney検定があります。

タグ：統計

posted at 22:48:50

#統計サイズがm,nの2群の標本について、使うと危なそうなWMW検定で使う

Mann-WhitneyのU統計量

と

Brunner-Munzelのp̂統計量

は

p̂ = U/(mn)

という関係で結ばれているので、検定で使う統計量は、WMWとBMで完全に同じだと言ってよいです。

それではどこが違うのか？続く

タグ：統計

posted at 22:48:50

#統計 BMのp̂統計量は X < Y となる確率の不偏推定量になっています。Mann-WhitneyのU統計量はそのmn倍に過ぎない。

WMWとBMでは帰無仮説のモデル化が全然違っています。

WMWの方では、XとYの分布が同じになる場合を統計モデルとして考えて、U統計量の確率分布を正確に計算できるようにします。続く

タグ：統計

posted at 22:56:07

#統計 BM=Brunner-Munzelの方では、m個のX_iとn個のY_jがそれぞれiidになっていると仮定するだけで、Welchのt検定の場合と本質的に同じ方法を使います。すなわち中心極限定理とt分布による補正を使う。

検定統計量は同じ形でも背景のモデルの設定の緩さが全然違う。

タグ：統計

posted at 22:56:08

#統計以下のような類似関係になっています。

等分散を仮定するStudentのt検定 : Welchのt検定
= 等分布を仮定するWilcoxon-Mann-Whitney検定 : Brunner-Munzel検定

A : B のAの側は使うと危なそうな検定で、Bの方がrobustです。

タグ：統計

posted at 22:59:28

#統計信頼区間を計算するときには、Welchのt検定では

XとYの平均の差 = μ_Y - μ_X = Δμ₀

という仮説達を扱い、Brunner-Munzel検定では

X<Yとなる確率 = p₀

という仮説達を扱う。

平均の差が大事ならWelchのt検定とその信頼区間を、X<Yとなる確率が大事ならBM検定とその信頼区間を使う。

タグ：統計

posted at 23:07:13

@genkuroki 黒木先生、こんばんはm(_ _)m　その後、おかわりはございませんでしょうか？

レスが少なさそうなツイを狙ってですが、＝（等号）に関して、質問させていただいてもよろしいでしょうか？
（過日のなべきちさんのツイを起点してでございます…）

タグ：

posted at 23:09:41

@othman_yamamoto 質問に答えるとは限らないですが、このスレに質問を書けば、私も可能性として答えられるし、私以外の人も興味を持つかもしれません。

タグ：

posted at 23:14:57

@genkuroki 最大限のご配慮のご回答、深謝申し上げますm(_ _)m　
数学の神様が微笑んでくださることを期待しつつ、後ほど、つぶやかせていただきます！！

タグ：

posted at 23:16:54

#統計信頼区間の実践的に使い易い解釈に直接繋がる定義については以下のリンク先スレッドを参照。

信頼係数1-α信頼区間
= P値がα以上になる統計モデルのパラメータの範囲
= 検定で棄却されないパラメータの範囲

「検定で棄却されないこと」が極めて弱い含意しか持たないことを分かっていればOK! twitter.com/genkuroki/stat...

タグ：統計

posted at 23:20:46

#統計試しにツイッターで「ノンパラメトリック正規分布」を検索してみた。

Welchのt検定は母集団分布が正規分布でない場合も十分に使えるのに、おかしなことになっているような気がする。その結果Wilcoxon-Mann-Whitney検定という危なそうな検定に誘導する所までが基本パターンになっている疑いが！

タグ：統計

posted at 23:36:13

@genkuroki 下のような問題（予備校のテキスト）がありました。
記号は、
A: 左辺を右辺で決める
A-1　数の定義
A-2　文字と文字の関係
B 文字規定（方程式）
C 関数として等しい
D 整式（多項式）として等しい
を表しています。 pic.twitter.com/AMd0Wa7MbN

タグ：

posted at 23:39:08

@genkuroki このように等号には意味が分かれるものでございますでしょうか？それとも、大学受験向けの高校数学特有のものでしょうか？

ちなみに、手許にある大学生向けのテキスト（？）では、＝（下に put）と、＝（下にdef.) の2つがある、と説明がございました。

タグ：

posted at 23:43:00

@genkuroki www.amazon.co.jp/%E7%B7%9A%E5%B...

タグ：

posted at 23:45:22

@othman_yamamoto 以下のリンク先の添付画像に引用されているプリントの内容は数学ではないと思っておけば問題ないと思います。

高校数学でも大学数学でも受験数学でもない。

単なる空瓶及使用済紙及腐敗食物的被廃棄物扱いで問題無し。

罵倒して良いレベルの酷さだと思いました。 twitter.com/othman_yamamot...

タグ：

posted at 23:46:05

@genkuroki (((；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ
一刀両断でございますね…

タグ：

posted at 23:48:18