黒木玄 Gen Kuroki(@genkuroki)/2020年03月03日

Julia software packages which could help in the fight agains Corona virus.

#JuliaLang #Corona twitter.com/genkuroki/stat...

タグ： Corona JuliaLang

posted at 23:05:30

RochejacMonmo @RochejacMonmo

私個人は、今回の新井氏の公明党WTでの発言を批判している議論のなかにも、もう少し新井氏の案の実態を汲み取って批判した方が良いのではないかと思うものもある。しかし、新井氏は上のような議論の仕方をすることがあって、そういう気力を著しく減退させるという側面もあるから困ったものだ。

タグ：

posted at 20:22:22

RochejacMonmo @RochejacMonmo

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

新井紀子氏が提案している数学における「式を書かせる」問題（短答式）は、記述式問題のごく一部分の出題形式である。大学生数学基本調査では、短答式と計算や導出過程のすべてを記述させる全面的な記述式とを区別していない。新井氏が受験したという記述式も短答式ではない。これは論点のすり替えだ。 pic.twitter.com/dAFKeCJN7c

タグ：

posted at 20:22:22

誰かJuliaユーザのためのR言語って本書いて。

タグ：

posted at 20:11:27

平岡拓也 @HiraokaTakuya

牛乳が余ってるらしいですが、カルピスの原液を牛乳で割ると、めちゃんこ美味しいですよ！(´･_･`)

タグ：

posted at 20:07:13

matheca @paulerdosh

また荒い粗い新井さんかぁ。 twitter.com/hamukazu/statu...

タグ：

posted at 20:06:25

drumst @drumst7

@genkuroki もっとnを〜！焦らされ感で胸一杯

タグ：

posted at 19:25:26

Astellon @astellon_music

ノード間はMPIでノード内はスレッド並列するやつ、Juliaなら簡単に書けてよい

タグ：

posted at 19:10:58

#数楽 #Julia言語

MH法のMCMCで2次元の混合正規分布の乱数の列を生成

色付けはその時点での密度の高さを表現している。最初のうちは色付けが不安定で変わって行くが、段々安定してくる。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/YRKoduK3aM

タグ： Julia言語数楽

posted at 19:09:10

こんな感じですべてを単純な部品に分解して、それぞれがどのような特徴を持っていて、何をやってくれて、どのように役に立つかを理解していれば、複雑な仕事を単純な部品を組み合わせるだけでやっつけることができるようになる。

これが基本中の基本。

タグ：

posted at 19:06:25

#統計 MCMC法(Markov chain Monte Carlo method)は、ベイズ統計とは無関係に役に立つ乱数発生法です。

確率分布に従う乱数の列を使って何をできるか知っていれば、MCMC法をベイズ統計と無関係に便利に使えます。ベイズ統計への応用は応用先の1つに過ぎません。

MCMC法自体はベイズ統計ではない。

タグ：統計

posted at 19:04:10

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#統計 1次元の分布の例(符号訂正版)

* f(x) = (x-μ)²/(2σ²) → 正規分布

* f(x) = |x-a|/b → ラプラス分布

* f(x) = log(1+x²) → コーシー分布

* f(x) = x/θ - (α-1)log x (x>0) → ガンマ分布

* f(x) = - (a-1)log x - (b-1)log(1-x) → ベータ分布

タグ：統計

posted at 18:28:47

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

まぁ2.0といいつつそんなに変わってない気がする。

タグ：

posted at 18:22:39

JupyterLab 2.0来とるやん(´・ω・｀)
jupyterlab.readthedocs.io/en/stable/gett...

タグ：

posted at 18:15:24

#統計続き。MCMC法は、そういう一般にはものすごく大変な問題を避けて、f(x)の形だけがわかっているときに、exp(-f(x))の定数倍で作れる確率密度函数を持つ分布に従う乱数の列を作る方法。

タグ：統計

posted at 17:30:15

#統計例えば

f(x) = x^2/2

だけがわかっているときに、

exp(-f(x))

の定数倍で確率密度函数を作ると、標準正規分布の確率密度函数ができます。この場合にはその定数倍部分の 1/√(2π) を求めるのは容易なのですが、f(x) が複雑だとものすごく大変な問題になります。

twitter.com/genkuroki/stat...

タグ：統計

posted at 17:30:15

#統計 MCMC法を役に立てるためには、

分布 φ*(w) 自体は分かっていなくても、
それに従う乱数列が得られているならば何ができるか

については理解しておく必要があります。

大数の法則がネ申！

タグ：統計

posted at 17:18:31

#統計ベイズ統計で使われている近似計算法(ベイズ統計に限らず利用できる近似計算法)として、MCMC法はよく説明されているのですが、その技術的詳細を理解できなくても、

事後分布のサンプル(乱数の列)を作るために使われる方法

だということさえ認識してさえいれば実用的に利用可能になります。

タグ：統計

posted at 17:15:48

#統計分布 φ*(w) の乱数の十分に長い列(分布 φ*(w) のサンプルで十分にサイズが大きなもの)が得られれば、分布 φ*(w) に関する多くのことが分かるという仕組みになっているわけです。

タグ：統計

posted at 17:13:21

#統計確率密度函数φ*(w)の乱数の列 W₁,…,W_Lが得られれば、大数の法則より、分布 φ*(w) に関する g(w) の平均(期待値)を

(1/L)Σ_{i=1}^L g(W_i)

で近似計算できるし、分布 φ*(w) において w が区間 I に含まれる確率も

W₁,…,W_L の中でIに含まれるものの割合

として近似計算できます。

タグ：統計

posted at 17:13:21

#統計確率密度函数 φ*(w) 自体は分かっていないが、その定数倍が尤度函数

p(X_1|w)…p(X_n|w)

と事前分布φ(w)の積の形でわかっているときには、MCMC法によって φ*(w) (事後分布と呼ばれる)に従う乱数の列を作れます。

私はその列を事後分布のサンプルとよく呼んでいます。

タグ：統計

posted at 17:13:21

#数楽 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
Metropolis-Hastings法 pic.twitter.com/puXNeS2QO8

タグ： Julia言語数楽

posted at 17:13:20

あ〜る菊池誠(反緊縮)公式 @kikumaco

#数楽 #Julia言語

確率密度函数 p(x) 自体は分かっていないが、その定数倍の式が分かっているときに、 p(x) に従う乱数の列 X₁, X₂, … を作りたいことがよくあります。その方法の1つがMetropolis-Hastings法(MCMC法の1つ)です。

nbviewer.jupyter.org/gist/genkuroki...
Metropolis-Hastings法 pic.twitter.com/rYcrgC2JcB

タグ： Julia言語数楽

posted at 17:13:20

あ〜る菊池誠(反緊縮)公式 @kikumaco

僕の講義にはEMから抗議が来たから一回で終わりになったと理解しています。それについて僕はなんの説明も受けていません。

タグ：

posted at 16:15:25

大学に抗議があったのは左巻さんの前に僕が担当した時のはずで、僕はそれ一回でお役御免になっただけでなく、大学からはそれに関して謝罪もしてもらってない。これははっきり言っとく twitter.com/samakikaku/sta...

タグ：

posted at 16:12:37

Yuki Nagai @cometscome_phys

juliaで環境にあるパッケージがインストールされているか判断して、trueとかfalseとか返すにはどうすればいいんだろ

タグ：

posted at 15:29:21

Moritz Schauer @MoritzSchauer

Marcin Mider, Moritz Schauer, Frank van der Meulen: Continuous-discrete smoothing of diffusions. arxiv.org/abs/1712.03807 The theory for #julialang package github.com/mmider/BridgeS... #DataAssimilation pic.twitter.com/DuWnbYoX2o

タグ： DataAssimilation julialang

posted at 15:24:09

中崎　実 @nakazaki_m

それにしても当時これをまとめた内務省衛生局の人、医学雑誌もちゃんと参考にしてたんですね。p.412 にはJAMA vol. 71からとして「粗製並製の「ガーゼ」は防禦の効なし（十枚にて尚然り）」とありますし。

タグ：

posted at 13:15:00

増田の准教授 @ProfMasuda

われわれの業界で言えば、大学改革がまさにこれ。 twitter.com/tsysoba/status...

タグ：

posted at 13:08:19

中崎　実 @nakazaki_m

〈 Berger | Dillon 〉 @InertialObservr

ガーゼはマスクに使えるか？という点については、以前ご紹介した「流行性感冒　「スペイン風邪」大流行の記録」のp. 411に記載があるんですよね。

『外科用「ガーゼ」は「マスク」の材料としては不完全なり』

だそうです。もとはLancet , March 8, 1919, p. 392 にあるものとして紹介されています。

タグ：

posted at 13:06:43

非公開

タグ：

posted at xx:xx:xx

左巻健男（サマキタケオ） @samakikaku

@bobbielf2 @JasonHise64 Just because i don't walk you through every baby step doesn't mean i don't know what i'm talking about

twitter.com/genkuroki/stat...

タグ：

posted at 09:52:28

学校に入り込むニセ科学 (925) (平凡社新書) 左巻健男
www.amazon.co.jp/dp/4582859259/... @amazonJPさんから
実際には科学的な根拠はなく、教員や生徒の「善意」を利用して勢力拡大を目論むニセ科学。そのオカルトまがいの言説はいま、学校教育の土台を揺るがすところまで来ている

タグ：

posted at 09:14:10

k @musicisthebest_

数学において記述式でテストを行う目的の一つとして論理的思考力を評価することが挙げられるが(あくまで一つ)、記述式テストと呼べさえすりゃマークと同じ学力しか測れなくてもかまわん、という論理の破綻は何なんでしょうね。某所から何かもらってる工作員なのかしら。

タグ：

posted at 09:02:06

#統計検定の話との関係は、渡辺澄夫『ベイズ統計の理論と方法』pp.80-82の例9にも書いてあります。

そこではAIC, BICと仮説検定を比較していますが、WAICやLOOCVや自由エネルギーやWBICなどについても同様に考えることができます。

仮説検定とベイズ統計は水と油だと思っている人は理解していない！

タグ：統計

posted at 08:52:00

#統計仮説検定では、モデルMのパラメータ空間を制限したモデルM₀側を帰無仮説側のモデルとみなすことが多い。

AIC, WAIC, LOOCVなどによるモデル選択ではそうなってなくてもよい。しかし、モデルMとそのパラメータ空間を制限したモデルM₀を比較する場合には、もろに仮説検定の設定とかぶります。

タグ：統計

posted at 08:44:56

#統計仮説検定では、比較するモデルの片方(帰無仮説側のモデル)をえこひいきして、第1種の過誤が起こりにくくするのですが、AIC, WAIC, LOOCVの単純比較でのモデル選択では特定のモデルをえこひいきしません。こういう違いはあるのですが、やっていることはかなり似ています。

タグ：統計

posted at 08:41:08

#統計サンプルkが偏り過ぎると、AIC, WAIC, LOOCV(からある値を引いた結果)は0未満になり、真の分布の選択に失敗するようになります。

仮説検定での第1種の過誤と同じような感じで(実際にはそれより容易に)、サンプルが運悪く偏っているとAIC, WAIC, LOOCVによるモデル選択には失敗します。

タグ：統計

posted at 08:38:07

#統計成功確率0.4の二項分布(n=100)でサンプルkを生成したとき、k=40で(予測分布の)予測誤差は最小になり、AIC, WAIC, LOOCV(からある値を引いた結果)は最小になり、サンプルkの偏りが大きくなると、予測誤差は大きくなり(これは当然！)、AIC, WAIC, LOOCV(からある値を引いた結果)は小さくなる。 pic.twitter.com/rlukUtYId1

タグ：統計

posted at 08:35:01

#統計最も簡単な例

ベルヌイ分布モデルの場合
nbviewer.jupyter.org/gist/genkuroki...

青線と橙および緑の破線を上下方向に足すとほぼ定数函数2になる。これは渡辺澄夫『ベイズ統計の理論と方法』のp.80, p.119, p.180に書いてあることが成立していることの確認になっている。 pic.twitter.com/BLRPYcLLId

タグ：統計

posted at 08:27:09

#統計確率モデルp(x|w)と事前分布φ(w)について、

(1) モデルp(x|w₀)のサンプルを生成
(2) 汎化誤差を計算
(3) WAICを計算
(4) p.119の定理15の左辺の2n倍を計算

これを繰り返すと、(4)で計算した結果が毎回ほぼ同じ値になる。

これはコンピュータで非常時きれいに検証できます。

タグ：統計

posted at 08:20:31

#統計

* p.80の12行目の式の両辺に2nをかけた結果

* p.119の定理15のβ=1で両辺に2nをかけた結果

* p.180の6行目の式の両辺に2nをかけた結果

およびその一般化を確認できれば、AIC, WAIC, LOOCVの実装に失敗していないと判断してよいと思う。偶然そうなるように失敗するのは難しい。

タグ：統計

posted at 08:16:19

nisai @n1saaai

Masa Yamamoto予測誤差が大き @mshero_y

@genkuroki ありがとうございます！早速遊んでみます！🙇‍♂️

タグ：

posted at 08:15:21

ここは重要ですね twitter.com/genkuroki/stat...

タグ：

posted at 08:14:08

#統計統計学では、推定・推測・推論に使ったサンプルがどれだけ偏っていると推定・推測・推論に失敗するかを見極めておくことが大事。

WAICなどについてもそれをやっておかないと、実用的にならない。

以上の作業はまさにそれをやることとほぼ同じ。

タグ：統計

posted at 08:13:17

#統計さらに、AIC, WAIC, LOOCV(=C_n)によるモデル選択がどのように失敗するかが見えて来る。

あと、パラメータ空間を部分空間に制限したモデルのAIC, WAIC, LOOCVと制限する前のモデルのそれら差の分布(サンプルを動かして得られる分布)の話に一般化して、同じことをしてみるべき。

タグ：統計

posted at 08:10:45

#統計 2nをかけると三つの式の右辺はo_p(1)の項を除けば定数になり、数値実験用に用意したサンプルによらなくなります。

あと、2nをかけると伝統的な対数尤度比検定のスケールになり、左辺に出て来る量をχ²分布と比較できるようになります。

タグ：統計

posted at 08:07:01

#統計 AICについては

p.80の12行目の式の両辺に2nをかけた結果、

WAICについては

p.119の定理15のβ=1で両辺に2nをかけた結果、

クロスバリデーションについては

p.180の6行目の式の両辺に2nをかけた結果

をコンピュータで数値的に検証すると印象的だと思います。非常にきれいに出ます！ twitter.com/seibibibi/stat...

タグ：統計

posted at 08:02:47

k @musicisthebest_

しかしこの発言、逆に言えばせいぜい多項式を書かせる問題ぐらいしか「自己採点システム」(って何?)が使えない、三角関数とか多少表記の幅がでたらもう無理です、っていう正直すぎる告白でもありますね。

タグ：

posted at 07:57:23

k @musicisthebest_

〈 Berger | Dillon 〉 @InertialObservr

これはさすがに丸こまれるやつが頭悪すぎる。『多項式など「式を書かせる問題」に出題内容を限定すれば、「汎用性の高い自己採点システムが使える」』←マーク黒塗りじゃなくて数字書かせても読み取れますよ、というのとほぼ同レベルで、そんなの記述式というな。
www.komei.or.jp/komeinews/p557...

タグ：

posted at 05:25:22

〈 Berger | Dillon 〉 @InertialObservr

In case you missed it

twitter.com/pringles/statu... twitter.com/pringles/statu...

タグ：

posted at 03:49:07

Thanks @Pringles, for sending me some of these delicious Hyperbolic Paraboloids! pic.twitter.com/L3WMgqObPM

タグ：

posted at 03:45:14

#数楽「ゼータ函数の極の情報から◯◯の漸近挙動の様子を知る方法」については、まじめに数学的な議論を追うと(それはそれで面白い)、それなりの予備知識が要求されてしまいますが、難しい話だと思わずに、 #Julia言語などで気軽に数値計算して確認することを先にやった方が納得し易いと思います。

タグ： Julia言語数楽

posted at 03:39:51

#数楽 #Julia言語既出の

nbviewer.jupyter.org/gist/genkuroki...

で使った方法の詳しい説明は

nbviewer.jupyter.org/github/genkuro...

にある。この話は渡辺澄夫『ベイズ統計の理論と方法』の第4章で使っている「分配函数のゼータ函数から分配函数の漸近挙動を得る方法」とも関係があります。

nbviewer.jupyter.org/github/genkuro... pic.twitter.com/1zFpmLHnwW

タグ： Julia言語数楽

posted at 03:37:23

#数楽私の計算によれば

Q(√D), D=-1, -2, -3

のデデキントのゼータ函数の s=1 での留数はそれぞれ

π/4, π/(2√2), π/(3√3).

これらの値はカットオフを入れたディリクレ級数の漸近挙動が s=1 での留数の値で記述できることを使って計算しました。(実は公式があってexactな値がわかっている。)

タグ：数楽

posted at 03:05:03

#数楽 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
Dedekindのゼータ函数の非自明な零点プロット

を大幅に拡充した. Q(√D), D=-1,-2,-3 のデデキントのゼータ函数の s=1 での留数を求めて、近似計算での発散項を引き去って、手抜きではない計算をしてみた。 pic.twitter.com/FPB5jMoR5P

タグ： Julia言語数楽

posted at 03:02:14

#数楽訂正: Q[√D] は括弧の記号の間違った使い方でした。Q(√D) に訂正します。アホすぎ。

タグ：数楽

posted at 02:58:11

匿本名太郎 @kaisekigakumoyo

Masahiro Ono 小野　昌弘 @masahirono

Julia，このタイミングでpublic health界隈におけるJulia押してきた．商魂たくましい．

Pumas: pumas.ai

Infectious Disease Transmission Network Modelling with Julia: arxiv.org/abs/2002.05850 pic.twitter.com/uRHkmkepZQ

タグ：

posted at 02:42:52

Masahiro Ono 小野　昌弘 @masahirono

この論文くだいていうと、コロナはうつりやすいしクルーズ船は人の密度高いし感染広がるよ。そんな難しい状況でも隔離やら介入したので、何もしないで皆が船にいるより感染は減ったね。でも、そもそも船からすぐ全員降りてたら一番感染しなかったねという数理モデルの論文。直観とは合致しますね

タグ：

posted at 02:33:39

うーん、これ、上先生・E先生両者とも、自説補強のために論文を切り取って、どちらも論文の内容から乖離していますよ...しかも元の論文のエビデンスが強いともいえないし...ちょっと地獄感が溢れてきているので、みなさん落ち着きましょう。あと、引用は正確にしましょう。 twitter.com/EARL_Med_Tw/st...

タグ：

posted at 02:17:55

ところで，新井紀子は数学の専門家を代表する資格はあるの？

タグ：

posted at 01:40:23

加藤公一, 가토우 기미카즈（はむかず） @hamukazu

新井紀子とは話をつける必要がある。
記述式、数学は導入可能 | ニュース | 公明党 www.komei.or.jp/komeinews/p557...

タグ：

posted at 01:36:44

はあ？数学なめてんのか？
www.komei.or.jp/komeinews/p557...

タグ：

posted at 01:32:06

英語民間試験の批判は２年以上前からしていて（その頃はベネッセがこんなに深く関わっているとは知らなかった）けど，去年はベネッセから仕事の依頼が来た。
でも，今年は事情が変わったらしい。

タグ：

posted at 01:05:45

ヤギュウハジメ @hayagyu

コロナのどさくさに紛れて共通テスト記述式の復活を目論む動きがあるようです。
共通テストでの記述式導入に選抜上の意味はほとんどないと思いますが、それを差し置いて、導入の技術的な可能性に論点がすり替えられていますね。

記述式、数学は導入可能 | ニュース | 公明党 www.komei.or.jp/komeinews/p557...

タグ：

posted at 00:51:54

いま確認したらベネッセの仕事は2010年から引き受けていた。毎年40校くらいの入試分析を行ってきた。かなり貢献したと思うけど，何の挨拶もなくクビになったのだから文句の一つも言う権利はあると思う。

タグ：

posted at 00:46:59

おばけ @triwave33

Juno入れる/ Julia のIDE Juno を使って快適なJuliaとの生活をする手引き(前半） qiita.com/SatoshiTerasak... #Qiita

タグ： Qiita

posted at 00:26:41

ごまふあざらし(GomahuAzaras @MathSorcerer

僕はベネッセの商品であるか否かに関係なく，英語民間試験も記述式問題も批判しました，いずれも大学入試としてはクズです。
その結果として，ベネッセから仕事の依頼が来なくなった実と，そこからの論理的な帰結として共通テスト破壊の黒幕がベネッセであることを述べただけです。 twitter.com/gets_it_over/s...

タグ：

posted at 00:24:02

ごまふあざらし(GomahuAzaras @MathSorcerer

@triwave33 Junoに限って言えば，
- Atom画面の下側に表示されるREPL
- コンテナ内で起動するJulia REPL
- ホストのターミナルからJuliaのREPLを開いてそれとやり取りする
の３つは動くことを確認しています．
Cmd＋Shift＋Pでコマンドパレットを開いてJuliaClientを見るといろいろできることがわかります．

タグ：

posted at 00:22:36

@triwave33 JunoはDockerのコンテナ内のJuliaプロセスにアタッチできるの面白いですね．

タグ：

posted at 00:17:40