黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2021年08月05日(木)
I was curious what this would look like in #JuliaLang; not as short/magical as Jupyter, but also no need for Jupyter! This only uses Base functionality!
```
julia> a = split(read(`ls`, String))
148-element Vector{SubString{String}}:
"02_validated_output.csv"
"Arrays"
...
``` twitter.com/jeremyphoward/...
タグ： JuliaLang
posted at 00:04:36
#RStats 添付画像は以下の4種のP値と有意水準αについて、第一種の過誤が起こる確率をプロットしたものです。
* fisher = fisher.testのP値
* fisher_dos = fisher.testの信頼区間に対応するP値
* chisq = chisq.testでcorrect=falseとした場合のP値
* chisq_yates = chisq.testのデフォルト pic.twitter.com/MBceZ3sPzS
タグ： RStats
posted at 00:06:14
#RStats
第一種の過誤が生じる確率は理想的には有意水準αに一致して欲しい。
しかし、chisq.testのデフォルト(Yates補正入り)とfisher.testの信頼区間に対応するP値の誤差は非常に大きく、fisher.testのP値の誤差もかなり大きいです。
この場合に最も優れているのは補正無しのchisq.testです。 pic.twitter.com/ftYs6dG7fz
タグ： RStats
posted at 00:10:27
JuliaにメリットがあるというよりC++でふぁい(パッケージを利用するだけでひたすら大変)ということに価値がありそうな気もする
まあPythonとか使ってるとさあ結局FFIでC++呼び出していてパッケージ管理に失敗してるからfork作ってGitHubのリポジトリ参照して…ってやるんだが
タグ：
posted at 00:15:46
#RStats chisq.testのデフォルト(Yates補正入り)とfisher.testの信頼区間の対応するP値での第一の過誤の確率が非常に小さくなっていることと、fisher.testでのP値での第一の過誤の確率がかなり小さくなっていることは、それらを使った検定の検出力が低いことを示唆し、実際に低くなっています。 pic.twitter.com/JKuCA4didU
タグ： RStats
posted at 00:16:07
#RStats このグラフを見て印象的なのは、Yatesの連続性補正を入れていないchisq.test correct=falseの正確さです。第一種の過誤の確率が45度線に非常によく乗っかっているように見える。
このようなよい性質を持つカイ二乗検定にYates補正を適用するのは合理的ではありません。 pic.twitter.com/r0pKRBppak
タグ： RStats
posted at 00:19:24
#RStats fisher.testのP値による第一種の過誤の確率は青線。このプロットは、Fisher's exact testが実際には非常に不正確で、特に小サンプルで検出力が小さくなることを示唆。
しかし、Fisher検定には「第一の過誤の確率が確実にα以下になる」というよい性質があるので使い道があります。 pic.twitter.com/kJtv278dBy
タグ： RStats
posted at 00:24:29
#RStats このプロットを見て、全く使う気になれなくなったのは、デフォルトのchisq.test(Yates補正入り、chisq_yates)とfisher.testの信頼区間に対応するP値(fisher_dos)です。
fisher.testのP値(fisher)を使った検定よりもさらに検出力が下がることをプロットは示唆し、実際にそうなっています。 pic.twitter.com/YpuUe0gHqp
タグ： RStats
posted at 00:27:39
外部パッケージの追加が容易な点？c++やFortranで誰かが作ったパッケージを使おうとするとそのインストールのためのコンパイルが大変で、複数あると整合性を保ってインストールするのが難しい。格子QCDのc++コードとかそもそもコンパイル成功しないで力尽きる場合があるけどJuliaならそれはない twitter.com/yujitach/statu...
タグ：
posted at 00:28:41
@lunaticlives やっぱPythonはクソ遅いしその手の用途はJuliaとかC++とかRustとかみたいな言語を使うか、あとPythonに拘るならうまい具合にCythonを組み合わせるみたいなことをしないとつらそう
タグ：
posted at 00:36:15
M1 macでjuliaをVSCodeで使いたい。できればJupyterで。｜清水団 zenn.dev/dannchu/articl... #zenn
最近，safariで開くjupyternotebookが固まってしまうので，VSCodeで設定してみました。いい感じです！#julia #vscode
posted at 00:55:15
#統計 添付画像は
www.snap-tck.com/room04/c01/sta...
我楽多頓陳館
統計学入門
1.6 統計的仮説検定の考え方
注3
より。「帰無仮説下でP値が[0, 1]区間上の一様分布になって欲しい」とか、「同一の有意水準で検出力が高い方が良い」というような基本を忘れて分割表のP値についておかしなことを述べている。 pic.twitter.com/D9ziavP4XB
タグ： 統計
posted at 01:05:32
#統計 添付画像は、fisher.testのP値(fisher)や片側確率に2倍で定義されるfisher.testの信頼区間に対応するP値(fisher_dos)やデフォルトのYates補正が適用されたchisq.testのP値(chisq_yates)の帰無仮説下での分布が一様分布からほど遠いことを示し、検出力の弱さを示唆。
github.com/genkuroki/publ... pic.twitter.com/ZHsgb8Dxnq
タグ： 統計
posted at 01:10:19
#統計 片側確率に2倍で定義されるfisher.testの信頼区間に対応するP値(fisher_dos)は、確率の2倍なのでもはや確率ではなくなっています。そのようなものが、数学的に良い性質を維持することは難しい。
その結果が添付画像の様子だと考えられます。 pic.twitter.com/bJc7p4j2ZV
タグ： 統計
posted at 01:13:46
#統計 fisher.testのP値(fisher)は確率として意味を持ちます。より正確に言えば、fisher.testのP値は帰無仮説下での確率ではなく、帰無仮説のモデル化である確率分布を制限して得られる条件付き確率分布で測った確率になっています。続く pic.twitter.com/uj9LArFzvN
タグ： 統計
posted at 01:16:44
#統計 しかし、fisher.testのP値は条件付き確率という数学的に素性がはっきりしたものになっているお陰で、良い性質を持つことを示せます。片側確率の2倍で定義したP値とは性能が段違いです。 pic.twitter.com/blSagf1FN6
タグ： 統計
posted at 01:21:55
#統計 何をやりたいのかよく分からないのが、デフォルトのchisq.testのYates補正(chisq_yates)です。
補正無しで良い性質を持つカイ二乗検定のP値を補正して、全くダメな性能を持つ片側確率の2倍で定義したP値に近付けています。
Yatesの連続性補正は使うべきでない。
github.com/genkuroki/publ... pic.twitter.com/GFAtOPR1t2
タグ： 統計
posted at 01:25:11
#Julia言語 おまけ
それぞれのP値函数のプロットも作ったのでスクショを載せておきます。
横軸は分割表の確率分布モデルのパラメータから得られるオッズ比ωです。
独立性の帰無仮説はω=1に対応しています。
縦軸はオッズ比ωのモデルのP値です。
github.com/genkuroki/publ... pic.twitter.com/w0XFvNvqBQ
タグ： Julia言語
posted at 01:31:26
#Julia言語 #統計
github.com/genkuroki/publ...
では分割表の独立性のカイ二乗検定の信頼区間も実装しています。そのためには独立性の帰無仮説に対応するオッズ比が1以外の場合にカイ二乗統計量を拡張する必要があります。その詳しい説明が
nbviewer.jupyter.org/gist/genkuroki...
にあります。
posted at 01:41:17
#統計 2×2の分割表の独立性のカイ二乗検定と整合的な信頼区間の構成法の解説は珍しいし、その実装も珍しいので、このスレッドの内容はそういう意味でも希少価値があります。
短い実装は繰り返し紹介している
github.com/genkuroki/publ...
にあります。
タグ： 統計
posted at 01:43:47
新しい記事がZennにアップされました！#Julia言語 #Julia日本語記事
zenn.dev/dannchu/articl...👈
タグ： Julia日本語記事 Julia言語
posted at 02:06:55
JuliaHub - The best way to run large scale computing in the #cloud. #JuliaHub empowers scientists, engineers, and innovators with all the high-performance computing power they need to realize path-breaking ideas at any scale they want. youtu.be/38Ob5_Yx8RE
#julialang #ML
タグ： cloud JuliaHub julialang ML
posted at 02:39:46
Nice to see #julialang back in the 20s on the #Tiobe index. "Both Rust and Julia are strong candidates for a permanent top 20 position", says Paul Jansen, CEO TIOBE Software. www.tiobe.com/tiobe-index/ pic.twitter.com/Rwko4VKrO4
posted at 05:34:46
Michael P.H. Stumpf @theosysbio
Both #julialang and #Rust are such sophisticated and powerful languages. For scientific computing and infrastructure (down to kernel) programming, respectively, you could hardly think of better languages. twitter.com/viral_b_shah/s...
posted at 05:43:02
20年以上前だが、酒の席で一緒になったことがある。民主党の国会議員だったころだね。喧嘩になったけどｗ
理屈云々じゃなく、「そんなんどーでもええんや」みたいなあの口調が好きな人もいるんだろうな。
政治家なら、政策や主義主張で評価されるべきだと思うが、そうなっていないんだろうな。 twitter.com/kale_aojiru/st...
タグ：
posted at 06:45:03
twitter.com/kale_aojiru/st...
以前の、年末掛け算順序炎上祭りを思い出した。
元小学校教員の漫画家が順序でバツを擁護して炎上。「みんなに慕われていたいい先生だった。批判している人はこんな先生に出会ったことがあるのか？」という謎の擁護論が出てきた。
タグ：
posted at 06:50:38
動画見たけど、笑い声が聞こえる。あれ選手があの場で猛然と抗議したら、どういうことになるのかな？選手の方が「空気読めないやつ」とか言われそう。
セクハラやヘイト発言も、あのような一同の笑いの中で発せられると、抗議しずらい雰囲気があるよね。
タグ：
posted at 07:15:14
Some more fine-tuning today with @BayesWatch on the "Cholesky precision" parameterization in MeasureTheory.jl . In Float32 for a 40x40 we get to more than 130x faster than the Distributions.jl default. Hope to have it into a release soon! pic.twitter.com/d02HsrQCt8
タグ：
posted at 07:24:00
訂正：黄土色の線で繋がっている
❌信頼区間の数値が通常の丸め誤差よりもかなり大きい。
⭕️信頼区間の数値の違いが通常の丸め誤差で生じる計算結果の違いよりもかなり大きい。
これ、悩みだすと結構悩む。ソースコードを追跡しないと原因が分からない。 twitter.com/genkuroki/stat... pic.twitter.com/vcAp5rUE9i
タグ：
posted at 08:21:51
富谷(助教);監修 シン仮面ライダー @TomiyaAkio
Julia のネイティブm1 サポート、まだぽいや
（それでも十分はやいが）
github.com/JuliaLang/juli...
タグ：
posted at 08:35:10
…うわぁぁぁぁ
「火はつけるけど、消すのは火をつけられた奴がやれ」
って、ガチで言うとは思わんかったわ(-_-;)。
twitter.com/imaicn21/statu...
タグ：
posted at 09:08:37
非公開
タグ：
posted at xx:xx:xx
須山敦志 Suyama Atsushi @sammy_suyama
知恵を振り絞ってtrade offを打破しよう、っていう取り組みが好き。速さと書きやすさを両立するJuliaとか、予測能力と解釈性を両立するベイズ統計とか。
タグ：
posted at 11:10:52
あまりにも腹が立ちすぎてうまく言葉にできませんが、無知で無責任かつ当事者意識がないとここまで醜悪な発言ができてしまうんですね。信頼が失墜したから自分で取り戻せ？そもそもHPVワクチンを打たずに命を落とすのは、医療従事者じゃなくて、報道を信じた10代の女性ってことをわかっているのか。
タグ：
posted at 11:21:02
自分たちが間違った情報でHPVワクチンの信頼を毀損し、それにより多くの女性が命を落としている現状があるにもかかわらず
『俺たちは知りません。医者とかが頑張れば？』
っていうことですか？
よくぞそこまで卑怯で恥知らずなことが言えますね。 twitter.com/imaicn21/statu...
タグ：
posted at 13:38:00
@323O65281 joe.bayesnet.org/?p=4895
少しは頭を使ったらどうか: 分割表の適合度検定の証明
↓
joe.bayesnet.org/wp-content/upl...
の「分割表の場合」の節には、分割表について、適合度検定の場合の自由度が独立性検定の場合と同じになるという結果が証明されており、ひどく間違っています。
詳しくは↓ twitter.com/genkuroki/stat...
タグ：
posted at 13:46:44
@323O65281 分割表の検定と言えば通常「独立性検定」を意味します。
件のブログ記事のタイトルが「少しは頭を使ったらどうか: 分割表の適合度検定の証明。」となっていることを見て察するべきでした。
タグ：
posted at 13:50:54
@323O65281 そのブログ記事を書いた本人宛の @ マークを付けて間違ってますよと1年以上前に知らせたのですが、反応は無かったです。 twitter.com/genkuroki/stat...
タグ：
posted at 14:06:45
@323O65281 分割表の独立性検定は【質問しに来ると「それくらい自分で考えろ」】(ブログ記事にそう書いてある)とあっさり言えるレベルの話題ではないと思います。
そのことを件のブログ主自身が証明して下さった、と考えて気楽に考えればよいと思いました。
タグ：
posted at 14:10:33
@323O65281 ぱっと見た感じ、その講義をした人もよく分かっていないことは確実だと思います。
しかし、そこで使われている検定統計量Uは正しいです。
適合度検定の場合との違いは、p_{i,j}が観測量O_{i,j}から
p_{i,j} = (Σ_a p_{a,j})(Σ_b p_{i,b})/n², n = Σ_{a,b} p_{a,b}
で決定されていることです。 pic.twitter.com/gTgempBxcB
タグ：
posted at 14:19:48
@323O65281 観測量 O_{i,j} から決定される p_{i,j} は本質的に「独立性の帰無仮説のモデル化の最尤法の解」です。
「独立性を仮定しない場合のモデルの最尤法の解」は O_{i,j}/n になります。
独立性を仮定した場合と仮定しない場合の最尤法の解から、独立性検定の検定統計量が作られます。
タグ：
posted at 14:24:15
@323O65281 分割表の独立性検定の理論的にすっきりした理解には最尤法の漸近論が必要になるので、質問して来た人に「それくらい自分で考えろ」とあっさり言ってしまうのはちょっと無慈悲過ぎると思いました。
タグ：
posted at 14:27:44
@323O65281 数学的証明ではなく、コンピュータで分割表をランダムに沢山生成させて分割表の独立性検定のカイ二乗検定統計量が確かに近似的に教科書に書いてある自由度のカイ二乗分布に近似的に従うことを確認することはそう難しくないです。
タグ：
posted at 14:29:10
@323O65281 2×2の分割表の場合については以下のリンク先スレッドが詳しいです。
伝統的にかつ権威的に非科学的な態度で小サンプルでYates補正やFisher検定を勧める高等教育が普通にされている現状には問題があると思っています。
大学で教えている側の理解度が低過ぎるという問題。 twitter.com/genkuroki/stat...
タグ：
posted at 14:33:06
訂正：第一種の過誤の確率のグラフを以下に訂正します。
ntrialsと書くべきところをncategoriesと書いてしまっていた！
独立性の帰無仮説のモデル化をn=30で確率が
4/9 2/9
2/9 1/9
の多項分布とし、このモデルに従う擬似乱数でモンテカルロ計算しています。
github.com/genkuroki/publ... pic.twitter.com/HjoA6cvMf8
タグ：
posted at 14:47:09
2×2の分割表のモデルとして、上で使った多項分布モデルの他に、4つのポアソン分布モデルや2つの二項分布モデルも考えられます。
この辺はコンピュータで色々な場合を自分で計算すると納得できることが増えます。
タグ：
posted at 14:50:20
関連：適合度検定と独立性検定の違い
適合度検定では、帰無仮説として具体的に与えた確率パラメータ値の検定になるので、確率パラメータ値は与えられた数値になります。
独立性検定では、帰無仮説は独立性であり、モデルの確率パラメータ値は観測値から最尤法で推定することになります。 twitter.com/genkuroki/stat...
タグ：
posted at 14:54:35
例えばr×cの分割表のサンプルサイズnの多項分布モデルを考え、そのモデルに従うデータをO_{ij}と書いたとします。
独立性を仮定しない多項分布モデルの最尤法の解における各セルの期待値はO_{ij}になります。
続く
タグ：
posted at 15:05:33
独立性の条件でパラメータを制限した多項分布モデルの最尤法の解における各セルの期待値 E_{ij} は
E_{ij} = (Σ_a O_{aj})(Σ_b O_{ib})/n
になります。最尤法の計算ではラグランジュの未定乗数法を使えば楽です。続く
タグ：
posted at 15:05:34
データO_{ij}のみから計算される
X² = Σ_{i,j} (O_{ij} - E_{ij})²/E_{ij}
が独立性検定の(ピアソンの)カイ二乗検定量になります。
E_{ij}が独立性の条件でパラメータの動ける範囲が制限されたモデルの最尤法から出て来ることが重要なポイントになります。
タグ：
posted at 15:05:36
一般に、帰無仮説は、n次元分のパラメータを持つ統計モデルにおいて、パラメータの動ける範囲をより低次元の部分集合に制限するというスタイルで言い換えられることが多いです。
その場合にモデルの正則性を仮定して最尤法を使えるようにすれば、最尤法の漸近論が使えて、漸近論で検定を作れます。
タグ：
posted at 15:13:33
2×2の分割表では、モデル中の各セルの期待値を
A B
C D
と書くとき、独立性の帰無仮説は
AD/(BC) = 1
という「オッズ比=1」という条件で言い換えられます。
独立性の帰無仮説でパラメータ空間の次元は1減ります。その1が独立性のカイ二乗検定での自由度になります。
タグ：
posted at 15:16:29
もっと一般の場合であっても同様で、Wilks' theoremを使える状況であれば、帰無仮説によってパラメータ空間の次元がd下がるとき、その帰無仮説のカイ二乗検定で使うカイ二乗分布の自由度はdになります。
これがカイ二乗検定の自由度の最もスッキリした理解の仕方です。
タグ：
posted at 15:19:01
#超算数
#数教協
「数教協で信じられるのは遠山だけで、銀林以下は邪道だ」と主張する人がいるらしい。
それに対して「遠山の真意を研究せよ」と反論。
凄い世界だねｗ pic.twitter.com/pDCZq5GKiC
posted at 15:36:27
#超算数
#数教協
「天皇の真意は我々の側にある。」と言って、テロやクーデターを起こした幕末志士や青年将校を連想しちゃう。
より良い算数教育とは何か？の議論において、「遠山啓の真意」は全く関係ない。a×bか？b×aか？並みにどーでもいい話。 pic.twitter.com/7TRNkFJWdB
posted at 15:50:59
#超算数
#数教協
東海地区数教協の渡辺靖敏の日記
www5b.biglobe.ne.jp/~nabe2051/chit...
数教協ってこういう雰囲気なんだろうね。 pic.twitter.com/cWR1BYKIaX
posted at 15:55:42
Frames Catherine Whi @oxinabox_frames
Post-1.0, short-term priorities for ChainRules project
(#julialang)
1) take some more time off.
2) docs PRs for what types should pullbacks accept, ProjectTo, nondiff points.
3) anything to do with helping get ecosystem on to CRC 1.0
4) PR backlog of adding more rules to CR.
1/2
タグ：
posted at 16:21:16
Frames Catherine Whi @oxinabox_frames
5) any PRs to do with taking rough edges off CRC.
6) thinking about longer term priorities.
Not full time on this anymore, but I am not going away either.
Expect things to slow from the break-neck pace, that was us getting 1.0 finalized.
I am around, ping me if I can help.
2/2
タグ：
posted at 16:21:17
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
#超算数
#数教協
私の場合「遠山啓自身はかけ算の順序でバツにすることには反対していたが、銀林浩は明確に順序拘り。今の数教協はトンデモ」という言い方をするが、
それを「遠山は正しかったのに、後継者が駄目にした」という主張だと思っちゃうのかな？ pic.twitter.com/GwkiwjommN
posted at 17:35:32
#超算数
#数教協
彼ら同士では話が通じ合うようだが、部外者にはさっぱり分からない。 pic.twitter.com/jiCxMgM9ua
posted at 17:58:53
今井翔太 / Shota Imai@える @ImAI_Eruel
ものすごくいい資料でした
特にAI・機械学習系の研究に関連することが中心ですが、情報・コンピュータサイエンスに関わる研究者（またはエンジニアも）であれば、かなり役に立つ知見が多く含まれています
speakerdeck.com/butsugiri/incr...
タグ：
posted at 19:08:17
Juliaで作られたSpace missionのシミュレータカッコいい。To the Moon and Beyond with Julia | Helge Eichhorn | JuliaCon2021 youtu.be/wDRphj69eh0 @YouTubeより
タグ：
posted at 19:49:11
裏で #Julia言語 が使われているらしい。すんげえ、カッコいい！
youtu.be/wDRphj69eh0
To the Moon and Beyond with Julia | Helge Eichhorn | JuliaCon2021 twitter.com/atsushi_twi/st... pic.twitter.com/3APLhis4Vo
タグ： Julia言語
posted at 21:23:27
非公開
タグ：
posted at xx:xx:xx
Python で作ったレポートをしれっと上司に出してみた。
「どうやって作ったんだ！」から始まり、お褒めをいただいたので、
今度はしれっと Julia でレポート作って出してみようかな。(´∀｀*)ｳﾌﾌ
タグ：
posted at 23:00:04
Most loved, dreaded, and wanted insights.stackoverflow.com/survey/2021/#t... via @stackoverflow
#JuliaLang overcome #python in most loved languages
posted at 23:06:00
New post: GeoStats.jl FOSS4G workshop - www.juliabloggers.com/geostats-jl-fo... #julialang
タグ： julialang
posted at 23:32:31
#JuliaLang
Who is Mr. Jeff Benzanos? 😝
State of Julia: the future looks modular, generic, and fast devclass.com/2021/08/05/sta... @DEVCLASSより
タグ： JuliaLang
posted at 23:43:45
#JuliaLang
youtu.be/IlFVwabDh6Q
State Of Julia
Stefan Karpinksi
Viral Shah
Jeff Bezanson ←←← not Jeff Benzanos
Keno Fischer
An overview of the state of Julia in 2021.
タグ： JuliaLang
posted at 23:49:21
