黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2020年04月01日(水)
Juliaのcatとhcatで実行速度が大違い問題、このあたりが関係してるのかな？hcatはLazyArrayというものに相当するらしい。
#JuliaLang
github.com/JuliaArrays/La...
twitter.com/triwave33/stat...
タグ： JuliaLang
posted at 23:12:19
買っちゃったけど、この本は信用できる？
瀕死の統計学を救え! ―有意性検定から「仮説が正しい確率」へ― 豊田 秀樹 www.amazon.co.jp/dp/4254122551/...
タグ：
posted at 23:00:52
非公開
タグ：
posted at xx:xx:xx
よくわかってないんだけれど、Juliaの実行速度は2回目（一度コンパイルした後）の方が圧倒的に早いですよね。
バッチ（not REPL）で例えば100万iterationの処理をしたい場合って、最初に短いiter.でコンパイルさせる処理書いといて、2回目に本番のiter.回すんですか？
タグ：
posted at 22:12:54
ラッパーかける？事であたかも #Julialang がって形にしてくれると助かるのやけど... twitter.com/tsatie/status/...
タグ： Julialang
posted at 22:04:50
やっと気がついた。#Julialang やのうて #python な #SymPy で因数分解してたのやな。ふむ。たまにしか使わないと色々直ぐには分からない。
posted at 22:04:01
お陰さまで科研・基盤(C)「Julia言語を用いた新しい計算機数論システムの開発とその応用」が採択されました。
今年35歳なので、採択率の高い若手研究にも出せたのですが、背水の陣で基盤に通ったことに感謝。5年間 Julia 漬け（and 布教活動）になると思いますので、皆様のご協力をお願い致します。
タグ：
posted at 21:58:04
日本には一律現金支給できる余裕がある（低インフレ〜デフレという物価と長期国債の利回りの低さ）
やる理由もある(消費増税の失敗とコロナショック）
全国民に配るノウハウもある（マスク二枚）
やれないんじゃなくて、やらないんです。
なぜかは分かりません。
タグ：
posted at 21:39:08
ロジスティック回帰分析でSASが叩き出すc統計量（たぶん普通のAUROC）と自分で #julialang で計算した値とが合わずにイライラする。
タグ： julialang
posted at 20:26:44
さらに概念的整理: 「必要なのは仕事ではない，お金だ」("What they need, instead, is money.") www.nytimes.com/2020/04/01/opi...
タグ：
posted at 20:07:51
#Julia言語 では
open(filepath) do f
base64 = base64encode(f)
display("text/html", """<$(tag) src="data:image/gif;base64,$(base64)"/>""")
end
のように書けます。do構文を使う。解説↓
giordano.github.io/blog/2019-02-2...
Julia do-block vs Python with statement
docs.julialang.org/en/v1/manual/f... twitter.com/voo_glb/status...
タグ： Julia言語
posted at 19:56:04
非公開
タグ：
posted at xx:xx:xx
#統計 注意：以下のリンク先の動画は、サンプルサイズを大きくしながら推定が収束する様子をプロットしたもの__ではない__です。
最尤法の解を探索する途中の様子を動画にしたものです。尤度を最大化するパラメータを探す過程で、新たな構造が「発見」されるごとに汎化誤差がポコっと大きくなる。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 19:25:04
#統計 得られたデータのサイズに応じた「解像度」でしか真っ当な推定結果は得られないのです。
その辺の事柄もモデルの種類を適当に制限すれば数学的に証明できます。
以下のリンク先は多項式回帰で多項式の次数を無駄に上げて推定に失敗している場合。
twitter.com/genkuroki/stat... twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:57:39
#統計 最小二乗法は実質的に正規分布モデルなので、残差が正規分布に従っていないように見える場合には不適切な推定法になります。
モデルを使った推定の基本は「サンプルサイズ→大でモデルの範囲内でベストの結果に近付く。モデルが不適切だとベストの結果に近付くのも遅くなる」だと思う。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:46:32
#統計 モデル自体がダメだと、そのモデルの範囲内でのベストの推定結果が現実の予測として大外ししていたり、サンプルサイズ→大での推定の収束が遅くなったりします。
以下のリンク先は、モデルの範囲内でのベストの推定結果が大外ししている場合です。予測分布(predictive distribution)が大外れ。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:36:56
#統計 ベイズ統計でのモデルのデータによる制限は「条件付き確率分布」として定義されます。
モデル内で可能な事象を「現実で得たものと同じデータが(モデル内で)生成された場合」に制限して得られる条件付き確率分布を考える。
ベイズ統計の肝は「ベイズの定理」ではなく、条件付き確率分布の方。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:27:35
今の今まで知らなかったんだけど、nbextensionsのVariable Inspectorめっちゃ便利じゃん RStudioみあるensekitt.hatenablog.com/entry/2017/11/...
タグ：
posted at 17:55:20
@kamo_hiroyasu Snを与えてanを求める問題をいくつかやらせると気づくとは思うのですが、敢えてそうはしませんでした。
ちなみに今はy=x^2のグラフの面積をやらせています。
「正確な値が無理なら、それに近い値を」と言ってある。
細かく刻んで小数の計算をしている。なかなかいい感じ^^
タグ：
posted at 17:48:28
非公開
タグ：
posted at xx:xx:xx
#統計 3通りの予測分布を見ると似たり寄ったりです。不確定要素が沢山ある中での丼勘定でこの3つを区別するのは時間の無駄でしょう。WHOも14日間様子を見ると言っていて、それとも推定結果は一致しているように見える。
もしかしたら、以上の解説は実践的なベイズ統計の良い解説になっていないか？ twitter.com/genkuroki/stat...
タグ： 統計
posted at 17:47:16
#統計 件の論文では、潜伏期間の分布として、ガンマ、対数正規、Weibullの3通りの分布のどれがもっともらしいかをlooパッケージで判定しているのですが、私の理解では論文のその部分は間違っています。
間違っていることに気付くと不安になります。
そこで3通りの予測分布をプロットしてみた。続く pic.twitter.com/myMP84bH8z
タグ： 統計
posted at 17:42:22
@sekibunnteisuu 数学的帰納法を直観的に理解している人なら、三乗和が高々四次の多項式Pで表せると仮定する。P(n)−P(n−1)とn^3を比較して係数を決定する。という手を思いつくかもしれません。
タグ：
posted at 17:34:30
#統計 パラメータzでyが
p(y|z) = ∫ p₁(y|w)p₂(w|z) dw
で確率的に決まるモデルは
z～p₃(z)
Y_k～p(Y_k|z)
と書けるのですが、p(y|z)を直接扱えなくても、観測されない内部パラメータw_kを含むモデル
z ～ p₃(z)
w_k ～ p₂(w_k|z)
Y_k ～ p₁(Y_k|w_k)
で代用できます。続く twitter.com/genkuroki/stat...
タグ： 統計
posted at 17:08:57
#統計 解説
#R言語 のlooパッケージ
www.rdocumentation.org/packages/loo/v...
はベイズ統計における予測分布の誤差の大きさの指標(一個抜き出し交差検証LOOCVと広く使える情報量基準WAIC)を計算してくれます。
これによって異なるモデルの予測誤差を比較できます(ただし確率的に間違うのでギャンブルになる)。 twitter.com/genkuroki/stat...
posted at 16:45:28
#統計
www.mhlw.go.jp/stf/seisakunit...
【ＷＨＯの知見によれば、現時点で潜伏期間は1-14日（一般的には約５日）とされており、また、これまでのコロナウイルスの情報などから、未感染者については14日間にわたり健康状態を観察することが推奨されています。】
添付画像は私によるプロット。 pic.twitter.com/q8hFuPGlq4
タグ： 統計
posted at 16:20:46
#統計 #Julia言語
添付画像は論文
www.ncbi.nlm.nih.gov/pubmed/32046819
と同じデータと本質的に同じ方法で推定した潜伏期間の予測分布のグラフです。予測分布のプロットは自前で行いました。ソースコード↓
nbviewer.jupyter.org/gist/genkuroki... twitter.com/genkuroki/stat... pic.twitter.com/h1HVpzWPVv
posted at 16:03:55
3/21は「仙台で聖火見物5万人」の日で、その前後で宮城県外から大量の人が仙台に来て去って行った。
潜伏期間的にそのときの影響が見えて来る頃だと予想していました。宮城県内だけではなく、県外でも実際に影響が観測されている。 twitter.com/asahi_sendai/s...
タグ：
posted at 15:56:26
ポーランドの女性射手。騎射の妙義、特に騎乗で弓を左手から右手に持ち替えて、右側の的を射てるのがすごい。一見の価値がありますよ。
かつての中東の弓騎兵は、これができるのが当たり前だった、と言う話もあります。いくら弓が小型で取り回しがいいと言っても、こんな連中と騎射戦はできませんね。 twitter.com/kerpanen/statu...
タグ：
posted at 15:54:05
Anna Sokolska horseback archer - AMM Archery Team youtu.be/SMJTejZJHwk @YouTubeさんから
タグ：
posted at 15:50:01
『コンピュータは数学者になれるのか？』といかにも啓蒙書っぽい題名で、実際、啓蒙書です。断じて教科書ではありません。ただし、啓蒙書は教科書よりも易しいとは限りません。#こんな時こそ本を読もう www.seidosha.co.jp/book/index.php...
タグ： こんな時こそ本を読もう
posted at 15:27:50
コロナ経済対策が「ベーシックインカム的」であるべき理由
山崎元
diamond.jp/articles/amp/2...
【対象者を絞って」、「ピンポイントで必要な人に」等と言って議論に時間を掛けようとする政治家は、与野党を問わず、自らが有害な役割を果たしていることに気づいてほしい。】
まったくその通りだと思う。
タグ：
posted at 15:27:04
@phasetrbot #数楽 1次元での波動方程式の差分化を、c=1, Δt=Δx=hの場合の
u(t-h, x) + u(t+h, x) = u(t, x-h) + u(t, x-h)
で与えると、波動方程式のexact解
u(t, x) = f(x+t) + g(x-t)
が差分化のexact解にもなっています。
折角なので、この辺も数値的に確認すると楽しいと思います。
タグ： 数楽
posted at 15:21:15
お肉券だお魚券だという議論をしている与党の面々に聞かせたい話。 / 2件のコメント b.hatena.ne.jp/entry/s/diamon... htn.to/3FWPzWLGfH
タグ：
posted at 15:19:14
どうしても瀕死の学問を救いたかったら、ジャンプに統計が活躍するマンガを新連載するか、深夜アニメで統計得意な女の子が無双する話を流してもらうのが良いのではないか（冗談です）。
タグ：
posted at 14:38:30
統計学が瀕死かどうかは誰が判断したのだろう。もし仮に統計学が瀕死なのであれば、その原因はp値でもなければベイズでもないと思う。そう、統計学者の多くが営業下手で、高校生に「こんなに楽しい学問なんだよ！こっち来なよ！」と言ってこなかったことにあると思う。
タグ：
posted at 14:36:32
仙台市内のパブ「HUB仙台一番町四丁目店」を利用した男女4人が、新型コロナウイルスに感染したことが分かりました。県内の感染確認はこれで11人目になります。
郡市長は定例会見で、パブについて「クラスターの可能性が濃厚」と話しました。16:30から改めて臨時の会見を開きます。
タグ：
posted at 14:28:33
計算と確認は #julialang で作図は #pgfplots で、が基本スタイルになってきたな。
posted at 13:14:55
朝からブラウザでgmail、google calendar、MS Outlook、LaTeX用にVS Code、Julialang用にatomを立ち上げる。いつもの流れ。
タグ：
posted at 08:55:51
COVID-19への対策の概念 クラスター対策班
東北大学・押谷仁 (2020年3月29日暫定版)
www.jsph.jp/covid/files/ga...
このスライドを見て、現在多数の院内感染が発生している東京都台東区の永寿総合病院のクラスターが屋形船クラスターから繋がっていたことを知りました。クラスター班の執念すごいですね
タグ：
posted at 08:40:48
非公開
タグ：
posted at xx:xx:xx
Confirmed coronavirus cases by selected countries(Julialang)
pgi-jcns.fz-juelich.de/pub/doc/covid-... twitter.com/ceptree/status...
タグ：
posted at 06:28:00
奥村先生のサイトを参考にプロットしてみた
COVID-19 番外編1
oku.edu.mie-u.ac.jp/~okumura/pytho...
2019 Novel Coronavirus COVID-19 (2019-nCoV) Data Repository by Johns Hopkins CSSE
github.com/CSSEGISandData... pic.twitter.com/dnizGzd15w
タグ：
posted at 06:21:00
Julia Programming Language Tutorials: bit.ly/1lPyO5Q
——————
#abdsc #BigData #DataScience #JuliaLang #AI #MachineLearning #Coding #DataScientists pic.twitter.com/N0JOqoYIUr
タグ： abdsc AI BigData Coding DataScience DataScientists JuliaLang MachineLearning
posted at 05:39:40
確かに東京都での受け答えの受け取られ方の話は、発信側が十分でなかったとも理解すべきと思いました。皆さんの力を必要とする場合も視野に入れて今後の対応を検討していますので是非必要時にお力を下さい。3/3
タグ：
posted at 05:38:12
対応についてもクラスタ対策に頼らず様々なオプションを想定することが必要になっており、ご指摘の行動が制限される事態も実際に検討されています。こちらも発表資料に入る予定です 2/3
タグ：
posted at 05:38:11
読みましたー。いま、残念ながら「持ちこたえている」という表現はできず、楽観視もできる状況になく、それについては本日付け予定の発表をお待ちください。1/3 twitter.com/katu196911/sta...
タグ：
posted at 05:38:11
Good starting point to learn about the Julia Language in #MachineLearning — #Algorithms, Applications, Open Issues: arxiv.org/abs/2003.10146
——————
#BigData #DataScience #AI #Coding #DataScientists
————
+Learn more #JuliaLang and do more using this book: amzn.to/3bDpEDZ pic.twitter.com/fABiFqQ8gp
タグ： AI Algorithms BigData Coding DataScience DataScientists JuliaLang MachineLearning
posted at 05:37:20
読んだ↓
www.jsph.jp/covid/files/ga...
COVID-19への対策の概念
新型コロナウイルスに関連した感染症対策に関する厚生労働省対策推進本部クラスター対策班
東北大学大学院医学系研究科・押谷仁
（2020年3月29日暫定版）
タグ：
posted at 05:34:34
#統計 P値を使う【「伝統的な」統計学】と豊田秀樹さんの「仮説が正しい確率」(phc)の関係については、このツイートがぶら下がっているスレッドで詳しく説明されています。
豊田さんはP値を攻撃していますが、彼のphcは対応するP値の近似値になっています。
twitter.com/RakT1a869LnEHn...
タグ： 統計
posted at 05:21:39
#Julia言語
Julia言語 何はともあれ add してみた。
これは面白そうです。
階層ベイズでWAICやLOOCVを計算するときに数値積分が必要になるので使うことがありそうな気がします。
github.com/machakann/Doub...
twitter.com/machakann/stat...
タグ： Julia言語
posted at 05:04:26
#Julia言語 現代においてはこの程度の数値計算は、「プログラミング」ではなく「高級電卓の延長」のような感覚で行えるわけです。
nbviewer.jupyter.org/gist/genkuroki...
のコードは計算の効率化のために複雑になっている部分が少しだけあって、それもやめればさらに楽になる。
タグ： Julia言語
posted at 04:46:26
#Julia言語
nbviewer.jupyter.org/gist/genkuroki...
中央で三角波での強制振動、両端でDirichlet境界条件
中央での強制的な動きと両端での境界条件は函数で与える実装になっているので、同じコードを使って異なる条件の数値解を容易に得られます。 pic.twitter.com/feVOSuFxm0
タグ： Julia言語
posted at 04:40:58
#Julia言語
nbviewer.jupyter.org/gist/genkuroki...
中央で正弦波での強制振動、両端でNeumann境界条件 pic.twitter.com/lBM4dRLk23
タグ： Julia言語
posted at 04:40:57
#Julia言語
nbviewer.jupyter.org/gist/genkuroki...
中央で正弦波での強制振動、両端でDirichlet境界条件 pic.twitter.com/ODRItvSS1h
タグ： Julia言語
posted at 04:40:57
#Julia言語 で似たようなことをやってみました。
nbviewer.jupyter.org/gist/genkuroki...
1D wave equation with forced vibration
気楽にアニメーションを作る所まで行けます。
あと現代的なプログラミング言語では「数値」ではなく、「函数」をパラメータとみなす発想がお得。続く
twitter.com/phasetrbot/sta... pic.twitter.com/3aPElUNEiX
タグ： Julia言語
posted at 04:40:56
仮にリーマンショック級止まりの経済的落ち込みだったとして年間1万人自殺者が増え10年続く。死者は10万人。
倍なら20万人。ひょっとしてこのまま経済の底が抜ければ、街に浮浪児が溢れてる世の中になっても不思議じゃない。
新型コロナウイルスで亡くなる人の数がそこに何割かプラスされる。
タグ：
posted at 02:31:42
自動生成、ほんとよくできているよな。
まさにろくでもないオレそのものだ。
----以下は自動生成----
ベイズ云々と言うのをやめた方が安全なようです。
markov.cordx.net/genkuroki
タグ：
posted at 02:25:08
たとえば昨年に失業して既に所得が少なかった人は「所得・収入の大幅な減少」の要件を満たせないから給付は貰えないけど、新型コロナの影響で、失業期間が予想以上に長期化して困窮化する可能性は高いよね。 / “現金給付「所得・収入の大幅減が要件」 自公が経済対策提言 …” htn.to/3k5cyfD9xj
タグ：
posted at 02:08:01
極端にサンプルサイズが小さい場合も。phcはp値と比べて中間的？中立的？な感じかと思ったけどよくわからんな…。 pic.twitter.com/1iXOJWGNQw
タグ：
posted at 01:17:05
サンプルサイズが小さい場合の"PHC（仮説が正しい確率）"とそれに対応するp値。とりあえずphcは「意図１」と「意図２」が一致するというのは確認できたと思うけどこれで合ってるかどうかわからない。 pic.twitter.com/6nE5gO6vRB
タグ：
posted at 01:17:04
現役の財務省が真犯人と思ってはいけない。官僚と付き合ったことがある人は官僚世界の隠然とした先輩後輩関係に気づく
財務省の力は元財務省の人たち、公的機関や、銀行や、マスコミなどに天下りした人たちによる仕事ですよ。 twitter.com/smith796000/st...
タグ：
posted at 00:56:17
条件付確率（）だのベイズの定理（）だの学んでなくても、その意味するところは全く難しくないので、感度や特異度と偽陰性・偽陽性あたりの話が数字付きで理解できる程度には数学の素養積んでおいたほうがいいよね
タグ：
posted at 00:51:12
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
