黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2022年08月10日(水)
#統計
「n=10回中5回p以下になった」
「n=20回中10回p以下になった」
とAさんが報告して来たときの結果は添付図の通り。
Wilsonの95%信頼区間にpが含まれる確率はそれぞれ
94.1%
93.5%
です。 pic.twitter.com/rbCssDms9O
タグ： 統計
posted at 00:00:13
#統計
「n=40回中20回p以下になった」
「n=80回中40回p以下になった」
とAさんが報告して来たときの結果は添付図の通り。
Wilsonの95%信頼区間にpが含まれる確率はそれぞれ
93.7%
94.1%
です。 pic.twitter.com/UUeamTKIxe
タグ： 統計
posted at 00:01:52
#統計
「n=160回中80回p以下になった」
「n=320回中160回p以下になった」
とAさんが報告して来たときの結果は添付図の通り。
Wilsonの95%信頼区間にpが含まれる確率はそれぞれ
94.5%
94.7%
です。Wilsonの95%信頼区間はベイズ法で求めた区間に相当に近くなって来ています。 pic.twitter.com/e4peoGhgtK
タグ： 統計
posted at 00:04:05
#統計 pが含まれる確率が94.5%程度になっているのであれば、「95%信頼区間にpが含まれる確率は約95%である」と言って良いでしょう。
グラフの右半分を見ると、通常のWilsonのスコア検定のP値による結果がベイズ統計の結果とどれだけ近くなっているかが分かります。 pic.twitter.com/lHBY5HRZmk
タグ： 統計
posted at 00:07:35
#統計 n=320, k=160のときには、Wilsonの95%信頼区間は
[0.446, 0.554]
で、ベイズ法で求めた区間は
[0.437, 0.586]
です。これらの幅を0.1未満にしたければもっとnを大きくする必要があります。精度を高めるのは結構大変。
Aさん自身ではなく、コンピュータに数えさせないとかわいそう！(笑) pic.twitter.com/2VvWdzrN5e
タグ： 統計
posted at 00:12:25
#統計
以上のストーリーで「この事前分布は正しい」と仮定しました。
その仮定を「この事前分布は大きく的を外していなさそうな証拠がある」に弱めたとしましょう。
そういう証拠があるなら、ベイズ統計を嫌いな人であっても、モデルにこの情報を組み込んで推測するでしょう。続く pic.twitter.com/4RqDP0S3nq
タグ： 統計
posted at 00:16:02
#統計 Wilsonの95%信頼区間を用いた人はAさんの数の選び方の癖に関する信頼できる情報を使っておらず、アンフェアな比較になっている。
それにもかかわらず、推測精度を高めるためにnを大きくすると結果はほぼ同じになる。
添付画像はWilsonの95%信頼区間にpが含まれる確率で、n→大で95%に近付く。 pic.twitter.com/49IqdZR3XM
タグ： 統計
posted at 00:22:31
#統計 ここまで理解できた人は私が
【違うもの達を、「ぴったり等しいかどうか」という発想で、しかも実践的にはあり得ないくらい小さな標本で比較するのは、ダメな考え方】
と述べた理由も理解できたと思います。
違うものを比較する場合には適切に比較しないとダメです。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 00:27:32
What do you see?
This is Wonder, a meditative moving sculpture whose aim is to show how everything is interconnected created by designer & inventor @tomlawton.
beuplifted.co.uk pic.twitter.com/0p0AFHM3Sg
タグ：
posted at 01:53:05
RT
オリビアを聴きながら〜六本木・芋洗坂での一人暮らしから生まれた珠玉のメロディー www.tapthepop.net/machinouta/47656 @TAPthePOPより
タグ：
posted at 01:56:14
@UFOprofessor @sekibunnteisuu プロフィールが微妙な書き方で、数学科を出たとは断定できないんですね。学位ではなく学歴と書いてあって、それなのに修了とは書いていないので、数学分野を学ぶ修士課程に学生として在籍したことがあるとしか読み取れません。
タグ：
posted at 02:08:50
@kamo_hiroyasu 慶應に限らず、「○○大学院」っていう言い方ってほとんど見ないんですよね。たいてい「○○大学大学院」。本来の名称なんだから当然でしょうけど。
「東京大学院」っていうのがあったと思ったら「首都大学東京大学院」でした（笑）。
タグ：
posted at 02:24:30
#超算数
これに同調する意見が主に教員からなされていて、闇の深さを感じる。
「守破離」だの、「形無し」「型破り」だの、いつもの言葉もちりばめられている。 twitter.com/17vyl/status/1...
タグ： 超算数
posted at 09:17:16
日本の論文ランク12位が話題だけど、国立大学法人化の目的が「行政改革」であったことを思えば、今まさにそれが成就しているといえる。当時どういう説明をしていたにせよ、最終目標は国の支出の節約であり、お金が来なければ活動は低下するに決まっている
タグ：
posted at 09:31:50
Highly recommend the Julia package MixedModels.
7.5 million rows, including 4 million level two, 1000's of level three, fixed residual variance, no problem..
Barely putting a dent in my memory (and no crashing, as in R), and so far no convergence issues
juliastats.org/MixedModels.jl...
タグ：
posted at 10:41:22
オカルトの「EM菌、親学、江戸しぐさ」
江戸しぐさも科学技術振興機構に科学技術として認められるかもしれませんね
ニセ科学EM菌はスーパーサイエンスハイスクールとユネスコスクールに入り込んでいます
＞文部科学省は「世界最大の江戸しぐさ普及団体」という指摘があります
twitter.com/breathingpower...
タグ：
posted at 10:58:06
#統計 注意・警告
以下のリンク先以降のストーリーでは、Aさんの数の選び方の癖が確率分布として分かっている(真の事前分布が分かっている)と仮定しているので、事後分布はパラメータpに関する真の分布になっています。
しかし、現実にはほぼあり得ない仮定になっていることに注意！
続く twitter.com/genkuroki/stat...
タグ： 統計
posted at 10:59:28
夏休みに入ったのでMATLABやろう
休み中に2記事程度書きたいと思います
ボストン界隈ではPythonよりもJuliaが流行ってるらしいです
ただ、結果の可視化（グラフ作成）ではMATLABが使いやすいんですよね
タグ：
posted at 12:45:39
#統計 平坦事前分布の場合
各グラフの右半分を見れば、通常のP値・信頼区間とベイズ的な結果の違いのずれの大きさがわかります。
P値函数のグラフの高さ0.05での切断で得られる線分が95%信頼区間です。ベイズ版は信用区間と呼ばれている。
平坦事前分布ではn=10で信頼区間と信用区間はよく一致。 pic.twitter.com/cVj32W0CH1
タグ： 統計
posted at 13:07:56
#統計 平坦事前分布から作った事後分布で測った「pが95%信頼区間に含まれる確率」のプロット。速やかに95%に収束しています。
実践的には平坦事前分布を使うケースが多いので、この場合の方が通常の信頼区間とベイズ的な信用区間の関係の実態をよく表していると考えられます。 pic.twitter.com/30NwtVakhG
タグ： 統計
posted at 13:10:28
#統計 そしてそういう知識は、○○によって新型コロナウイルスの重症化をどれだけ防げるかに関する論文の解釈で必要になります。
以下のリンク先スレッドで紹介した論文はベイズ統計の事後分布を使ってリスク比の区間推定を行っています。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 13:34:25
#統計 こういう我々の命に関わる具体的な研究事例について、通常の信頼区間とベイズ的な信用区間の正しい解釈が異なることの強調が意味があるかを論じる必要があります。
この場合には数学的必然によってそれらはほぼ一致するので、その手の解釈論にこだわることは無意味です。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 13:34:26
#統計 この特定のケースでは「この論文は通常の信頼区間ではなく、ベイズ的な信用区間を使っているので、ベイズ主義的な解釈をしなければいけない」と発言する人が出て来るたびに、研究結果の情報の健全な伝播が阻害されることになります。
そういう害を積み重ねることは我々の社会にとって有害です。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 13:38:12
新しい記事がQiitaにアップされました！#Julia言語 #Julia日本語記事
qiita.com/WolfMoon/items...👈
タグ： Julia日本語記事 Julia言語
posted at 14:53:52
#統計 あと、比較するときには、フェアな比較をするか、フェアでない比較をするならそのことを述べることが必要。
例えば、Aさんによる数の選び方のクセが確率分布(事前分布)としてかなり分かっているという設定では、頻度論者であってもその事前分布を当然使うことにしないとアンフェアになります。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 15:13:59
どれが本当でどれが嘘か、テレビや新聞で何か言ってる偉い肩書きの人の言うことに違和感あっても10年くらい前までは「よくわからないけどそうじゃないとおもう」程度しか言えなかったけど、「この人放射能デマで出鱈目言ってたから信じない」と決断できるようになったのは大きいな。
タグ：
posted at 15:31:39
#Julia言語 このスレッド内では分位点函数を使って信用区間を計算していますが、hdiを使いたい人はこちらを参照。
↓ twitter.com/genkuroki/stat...
タグ： Julia言語
posted at 15:57:57
新しい記事がQiitaにアップされました！#Julia言語 #Julia日本語記事
qiita.com/WolfMoon/items...👈
タグ： Julia日本語記事 Julia言語
posted at 15:58:01
日経Linux | ラズパイマガジン @nikkei_Linux
シャープの電子辞書「Brain」では、ラズパイのようにmicroSDカードからLinuxを起動できます。その方法は、日経Linux9月号の特集1で詳しく紹介しています。Brainは中古品が格安に出回っています。夏休みは日経Linux9月号を参考にして、BrainのLinux化に挑戦してみてください！
www.amazon.co.jp/dp/B0B7PQ54SG/ pic.twitter.com/PAhqWMXWpb
タグ：
posted at 16:27:00
#Julia言語
Juliaでは函数の引数の型注釈の有無は計算速度に影響しない。
そのお陰で、計算速度を犠牲にせずに、函数の引数の型注釈を一切書かずに(もしくはディスパッチのために必要最小限で)済ませられる。
これは結構便利で、Int64用に書いたつもりの函数がBigIntやFloat64でも使えたりする。 twitter.com/ari23ant/statu...
タグ： Julia言語
posted at 16:40:54
#Julia言語 Int64で使う予定だったコードが、そのままBigIntやFloat64でも使えている場合。型注釈無しでもCやC++並の速さで計算してくれる。
↓ twitter.com/genkuroki/stat...
タグ： Julia言語
posted at 16:55:29
#Julia言語
基本的に函数の引数の型注釈無しで書いたBrunner-Munzel検定のpermutation版のJuliaによるお手軽実装が、FORTRAN並に速かったという話
↓ twitter.com/genkuroki/stat...
タグ： Julia言語
posted at 16:58:09
#Julia言語
structの定義の頻繁な変更が必要な試行錯誤時には
module O
struct Foo{A,B,C}
a::A
b::B
c::C
end
end
として、O. Foo を使うようにして、Fooの定義を変更するためにはモジュールOごと上書きするという手が使えます。
これはstructに限らず、使えて結構便利。 twitter.com/genkuroki/stat...
タグ： Julia言語
posted at 17:59:46
#Julia言語 その辺が面倒だと感じるなら、
discourse.julialang.org/t/ann-concrete...
を使うとよいかもしれません。
struct Foo{Ta, Tb, Tc}
a::Ta
b::Tb
c::Tc
end
の代わりに
using ConcreteStructs
@ concrete struct Foo
a
b
c
end
と書けます。 twitter.com/tsatie/status/...
タグ： Julia言語
posted at 18:09:53
彼女は夫のJerry Hicks氏と共に夥しい数の自己啓発本を出版していますが、この夫妻は元々何をやっていたか。実はアムウェイのハイレベルディストリビューターでした。二人は会員向けに自己啓発商材を売っていました。自己啓発で稼ぐのはマルチ商法でよくあるパターンです。
abrahamhicksfraud.blogspot.com/p/whats-so-bad...
タグ：
posted at 20:25:10
久々に某教育系動画を見た。
まあ、その動画の感想は書かないけれど、たぶん「答が出るのまでの手順を『覚える』ことが数学の学習」と思う人が日本の中で、相当数いるのだと思う。
答が出るまでの手順をわかりやすく説明して、「どうだすごくわかりやすいだろう」と言わんばかりのものも見かけるが、
タグ：
posted at 20:40:57
その程度の説明ならば、私の周りの数学の先生(予備校関係・フォローしている人)は全員できると思う。ただ、それをやると数学の先生ではなくなるので、やらないだけ。
手順の説明だけならば、プロのアナウンサーに頼んだ方がもっとわかりやすいものができると思う。
タグ：
posted at 20:40:57
「2次不等式x^2+bx+c<0を解くにはね、まず、2次方程式を解くんだ。その解をα、βとでたら、不等号が『<』なら、αとβの間と覚えよう。どうだい簡単だろ。わかりやすいだろ」
と理由のない手順のみの説明をしている人が国立大学の入試を解説している動画を見てみたい。
タグ：
posted at 20:44:55
非公開
タグ：
posted at xx:xx:xx
数学Bの確率分布と統計的な推測
『n個のサイコロを同時に投げるとき，出る目の和をXとする。確率変数$X$の確率分布を求めよ。』
教科書の例題はn=2。nを大きくして，どうなるか調べたい時はコーディング
#julia言語 pic.twitter.com/t79C43bmPk
タグ： julia言語
posted at 21:14:48
#Julia言語 函数の引数に余計な型注釈を付ける必要はないです。つけても計算速度は改善されない。
これ、Juliaを理解するときの最初の関門かも。
添付画像の2つの函数はaからbまでの和を計算します。
f_annotatedの方は引数にIntの型注釈をつけています。
続く
github.com/genkuroki/publ... pic.twitter.com/0dtIHsfl2D
タグ： Julia言語
posted at 21:16:30
#Julia言語 添付画像を見れば分かるように、引数に型注釈をつけていないプレーンなf(10, 20)と型注釈をつけたf_annotated(10, 20)は完全に同じネイティブコードにコンパイルされてから実行されます。
函数の引数に型注釈をつけても計算速度は改善されません。
github.com/genkuroki/publ... pic.twitter.com/Itnpid4eNh
タグ： Julia言語
posted at 21:16:33
対局についてはブログに書きました。
こんな解説、本人しか出来ないから、それだけで認証して欲しいですｗ
blog.goo.ne.jp/kishi-akira/e/...
↓RT、明日夜のオンライントークショー、お申し込みは本日23時までです！
タグ：
posted at 21:21:44
#Julia言語 f_annotatedの側で引数に型注釈をつけた効果は、単にf_annotated(10.0, 20.0)などがエラーになることだけです。
引数にへたに型注釈を付けると単に損をするだけになってしまいがちなので要注意。
型注釈の代わりに、doc stringに函数の仕様をメモっておくと便利です。 pic.twitter.com/vendnKRNuD
タグ： Julia言語
posted at 21:23:02
#Julia言語 f(a,b)の定義中の s = zero(a+b) は何か？
zero(a+b) は a+b と同じ型のゼロという意味です。
無駄なa+bの計算はコンパイラが除去。
s = 0 だとsがIntに決め打ちされ、引数の型と合わない可能性が出て来る。
本当は s = zero(eltype(a:b)) とするべきかも。
github.com/genkuroki/publ... pic.twitter.com/HwKXDQ6mMn
タグ： Julia言語
posted at 21:29:23
@wdonald_1985 @marcpabst @BatesDmbates is the author of lme4 and MixedModels.jl as well.
タグ：
posted at 21:35:21
@ManabuShakai 企業と国の支出の各国比較はこちらを参照
www.nistep.go.jp/sti_indicator/...
今問題なのは、研究費が競争的資金化されているのもありますが、もっと重大なのは人件費がないことです。多くの大学は現状の人員を維持する人件費をもらっていない。
タグ：
posted at 21:35:43
#Julia言語 xと同じ型の0はzero(x)、xの型へのスカラー倍の意味での次元を持たない1はone(x)、xと同じ型の1はoneunit(x)です。添付画像を参照。
函数の引数の型情報の適切な伝搬のためにこれらは必要になる。
抽象代数学の素養があれば自然に使えるようになりやすい。 pic.twitter.com/kxzbLuzHh8
タグ： Julia言語
posted at 21:38:15
#Julia言語 以上の話と全然関係ない話になるが、
rand()^2 + rand()^2 ≤ 1 ならば s に 1 を足すというコードを書くときには、if も ifelse もいらない。
s += rand()^2 + rand()^2 ≤ 1
だけでよいです。 pic.twitter.com/NFV4QNPCuW
タグ： Julia言語
posted at 21:48:21
数学Bの確率分布と統計的な推測
『白玉k個，黒玉N-k個が入っている袋の中から，同時にn個を取り出す。白玉の個数をXとする。平均，分散，標準偏差を求めよ。』
教科書の例題はk=7，N=10，n=2。
k=20,N=100,n=10で調べたい時はコーディング
#julia言語 pic.twitter.com/Vs0NR563BL
タグ： julia言語
posted at 22:05:52
#統計 そういう泥臭い面倒な試行錯誤をしておけば、理解が深まる。そのためには、コンピュータでの計算法を含めて色々マスターする必要がある。個人的には次の本が好きです。
松浦健太郎『StanとRでベイズ統計モデリング』
www.amazon.co.jp/dp/4320112423
タグ： 統計
posted at 22:45:50
#統計 どういう試行錯誤をやればすんごい人になれるかについて知りたい人は、松浦さんのブログを見ればよいと思います。
非常に面白いです。
statmodeling.hatenablog.com/archive
タグ： 統計
posted at 22:48:42
#Julia言語 私もやってみた。
私はずるをして確率分布のパッケージを使ってしまいました。
そのパッケージのドキュメントは
確率分布のギャラリー
になっていて勉強になります。
juliastats.org/Distributions....
github.com/genkuroki/publ... twitter.com/dannchu/status... pic.twitter.com/yH5rn0NAoo
タグ： Julia言語
posted at 23:06:45
数学Bの確率分布と統計的な推測
『二項分布B(n,p)$の平均，分散，標準偏差を求めよ。』
教科書の例題はn=10，p=1/6。
n=50,p=1/5の分布をグラフで見たい時はコーディング
#julia言語 pic.twitter.com/zT3hmAhOoJ
タグ： julia言語
posted at 23:11:08
#統計 超幾何分布、二項分布、ベータ二項分布(負の超幾何分布、ポリアの壺での二項分布の類似物)の3種の離散分布は「仲間」とみなして、共通の方法で期待値を求めておくとスッキリします。
分散なども同様の方法で求まります。 twitter.com/genkuroki/stat... pic.twitter.com/qLhdIFNpsa
タグ： 統計
posted at 23:31:55
