黒木玄 Gen Kuroki(@genkuroki)/2020年05月

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2020年05月

«< 前のページ12 3 4 5 6 7 次のページ >»

並び順 : 新→古 | 古→新

2020年05月01日(金)

express @crzexpress

20年5月1日

渡辺ベイズ本は難しいが渡辺先生HPのスライド解説とともに進めばとても楽しい。スライド解説だけでも充分楽しい。数ヶ月くらい前までは渡辺先生HPと須山さん本（緑と青）を行ったり来たりしながら学ぶのが楽しかった。今はTRI仕事に放り込まれて心の余裕がなく全然読めてない。TRI。

タグ：

posted at 00:31:48

Logan.GPT @OfficialLoganK

20年5月1日

@vmwopensource It was Swift I think but should have been #JuliaLang @JuliaLanguage

タグ： JuliaLang

posted at 01:18:19

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語以下、Meta. の後のスペースを削除

expr = :(sum((k^2 for k in 1:10)))
→ :(sum((k ^ 2 for k = 1:10)))

↑以上の2つは等価。show_sexprが結構見易い。

Meta. show_sexpr(expr)
→ (:call, :sum, (:generator, (:call, :^, :k, 2), (:(=), :k, (:call, :(:), 1, 10))))

タグ： Julia言語

posted at 02:32:01

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語 (k ^ 2 for k = 1:10) はgenerator

Meta. show_sexpr(:(k^2 for k in 1:10))
→ (:generator, (:call, :^, :k, 2), (:(=), :k, (:call, :(:), 1, 10)))

タグ： Julia言語

posted at 02:32:01

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語 [k ^ 2 for k = 1:10] との違いに注意

Meta. show_sexpr(:([k^2 for k in 1:10]))
→ (:comprehension, (:generator, (:call, :^, :k, 2), (:(=), :k, (:call, :(:), 1, 10))))

タグ： Julia言語

posted at 02:32:01

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計 R言語のbinom.test, fisher.testのP値と信頼区間のあいだに整合性がない件

「データDとモデルM(θ)のP値函数 θ↦pvalue(M(θ), D) が5%以上になるθの範囲が95%信頼区間になる」というP値と信頼区間の基本対応に忠実でない実装になっているから、整合性が無くなる。

twitter.com/i/status/12539...

タグ：統計

posted at 02:38:05

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計最も易しい統計モデルであるBernoulli分布モデル(成功確率に関する確率モデル)について、AIC, WAIC, LOOCV, BIC, WBIC, ベイズ自由エネルギーや各種のP値とその事後分布における対応物などを全部計算すれば、簡単なモデルで頻度論とベイズ統計を区別しても実践的に無意味に近いことが分かる。

タグ：統計

posted at 02:43:32

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計ベルヌイ分布モデル p(x|w) = w^x (1-w)^{1-x} (x=0,1) についてなら、手計算で大抵の量は計算できます。これは非常に良い微積分の計算問題。

ただし、digamma函数 ψ(x) = Γ'(x)/Γ(x) がコンピュータの基本特殊函数のライブラリにも含まれる基本特殊函数だと知っておく必要がある。

タグ：統計

posted at 02:43:32

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語 cond ? a : b は if cond a else b end (←セミコロンが無くても適切にパースされる！)と等価

:(cond ? a : b)
↓
:(if cond
a
else
b
end)

:(if cond a else b end)
↓
:(if cond
#= In[28]:1 =#
a
else
#= In[28]:1 =#
b
end)

タグ： Julia言語

posted at 02:47:49

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計最も簡単な統計モデルのベルヌイ分布モデルに関する各種の量の手計算(添付画像)とそのコンピューターでの実装(#Julia言語)とその計算結果のプロットについては

nbviewer.jupyter.org/gist/genkuroki...

にある。これを自力でやり抜けば「頻度論vs.ベイズ」のような妄執から解放されるはず。 pic.twitter.com/cOD4kR6YOs

タグ：統計

posted at 02:51:56

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計頻度論とベイズで実践的な違いが出ないベルヌイ分布モデルでベイズ統計の解説をすることは違いが出ないので不適切なのですが、その代わりにモデルがシンプルであるおかげで、真の予測誤差とAIC, WAIC, LOOCVの逆相関をきれいにプロットでき、それらを使ったモデル選択のリスクを理解できます。

タグ：統計

posted at 02:54:34

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計モデルM(w,z)とzをz₀に固定したモデルM(w,z₀)について、サンプルを生成した真のモデルがM(w₀,z₀)の形をしているとする。

AIC, WAIC, LOOCVによるモデル選択が失敗するのは、サンプルがひどく偏っていて、M(w,z)による予測が悪化しているときで、その悪化した方の予測分布が選択されます。

タグ：統計

posted at 03:02:43

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計モデルM(w,z)とモデルM(w,z₀)の比較において、真のモデルがM(w₀,z₀)ならば、AIC, WAIC, LOOCVによるモデル選択は、M(w,z)の側の予測誤差がある閾値を超えるとその予測誤差が悪化しているM(w,z)の側が選択されてしまうのだ。

大きな予測誤差が現実での大きな危険に対応する場合には要注意。

タグ：統計

posted at 03:05:13

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計 AIC, WAIC, LOOCVによるモデル選択におけるこのようなリスクが(特殊な場合ではあるが)わかるような数学定理が渡辺澄夫『ベイズ統計の理論と方法』には書いてあります。その本のp.80, p.119, p.180を参照。

タグ：統計

posted at 03:08:49

Josef Heinen @josef_heinen

20年5月1日

GR v0.49.0 can render LaTeX equations using high resolution vector graphics – very useful in #JuliaLang notebooks on #Jupyter hubs like mybinder.org – also much faster than with a local TeX installation pic.twitter.com/LucbOsNYUt

タグ： JuliaLang Jupyter

posted at 05:10:15

goropikari @goropikari_

20年5月1日

2018年に出したPRがようやくマージされた
github.com/JuliaLang/juli...

タグ：

posted at 06:44:25

ntakemata @pombe_archaea

20年5月1日

動物のお医者さんが無料公開されてるとのことで一話から読み始めたのですが、界隈の間で有名なこのコマまで来ました pic.twitter.com/iTxfl73KdD

タグ：

posted at 08:13:04

ntakemata @pombe_archaea

20年5月1日

「だいじょうぶ　細菌とアイスクリームは冷蔵庫の中で何年も共存してきた」で吹いた

タグ：

posted at 08:20:35

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計渡辺澄夫『ベイズ統計の理論と方法』が提供する「目玉商品」の1つがWAICです。読者はWAICを自分でコンピュータに計算させることができるようになれば、自信を持って「この本を読んだ」と言って良いと思う。

自分の実装が正しいかどうかはp.119の定理15を数値的に再現できるかを確認すればよい。

タグ：統計

posted at 11:10:35

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計以上のスレッドを読み直したのですが、ブロックされなければいけないようなことは言ってないよね。

渡辺澄夫『ベイズ統計の理論と方法』の1つの読み方を提案しており、それに従えば、数学的予備知識が十分でなくても「目玉商品」を手に入れられるかもしれない。

タグ：統計

posted at 11:15:35

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計添付画像は【統計にはウソが入る余地がありすぎる。これは数学じゃない】と教えるためではなく、

* 最小二乗法は残差を正規分布でモデル化した場合の最尤法に一致するので、残差の分布がどうなっているか確認するべき

と教えるために使いたいです。数学が弱いと最小二乗法を誤用する。 pic.twitter.com/7c6rEYdUxP

タグ：統計

posted at 11:40:05

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計繰り返し私が強調しているのは「統計学入門の教科書がことごとく信用できない」という問題。

ガウス・マルコフの定理で最小二乗法の使用を正当化できるかのような印象を与える書き方をしている教科書はアウト。

添付画像はそういうダメな教科書のダメ出しにも使えるかも。 pic.twitter.com/SV28qizUrs

タグ：統計

posted at 11:43:16

非公開

タグ：

posted at xx:xx:xx

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年5月1日

O氏は僕なんぞ足もとにも及ばない超優秀で有名な理論物理学者で、僕はとっくにブロックしているのだけど、画像で流れてきたO氏のツイートが目に入ってしまった。うん、物理学者がみんなこんなレベルだと思わないで下さいと謝りたくなる酷さなので、O氏は物理学の研究に専念されるべきだと思います

タグ：

posted at 11:49:44

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年5月1日

放射能問題でも酷かったし、基本的に危機に弱い性格なのだと思います。内面のパニックを外に出し過ぎ

タグ：

posted at 11:56:17

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

20年5月1日

Julia言語 30講

タグ：

posted at 11:58:38

黒木玄 Gen Kuroki @genkuroki

20年5月1日

Re:RTs 子供のときに、ばあちゃんちでの食事中に、三毛の飼い猫がネズミをくわえてやって来たときのことを思い出した。

そういうのも含めてかわいいと思ってしまう人類なのでした。

ネコは人類の弱点をピンポイントで突いているような気がする。

タグ：

posted at 12:00:53

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語

IEEE 754 浮動小数点入門 - ushiostarfish’s diary
ushiostarfish.hatenablog.com/entry/2019/08/...

でlog1p(x)=log(1+x)を使って誤差を減らす方法が紹介されいますが、logsumexpの実装でも同様の注意が必要なことが

discourse.julialang.org/t/fast-logsume...

で解説されています。MITでの自身の講義にリンクを張っている。

タグ： Julia言語

posted at 12:36:02

非公開

タグ：

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計 BICの導出や周辺尤度(ベイズ分配函数)関係の説明で「基本的なことを理解していない」と判断できるものは比較的容易に発見できる。

それは、モデル選択で真に知りたい量は周辺尤度そのものではなく、真の分布に関する対数周辺尤度の期待値の方であることが考慮外になっているものである。続く

タグ：統計

posted at 14:08:04

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計次のような考え方は誤りである。

❌AICはKullback-Leibler情報量を基礎に据えているが、BICは対数周辺尤度(ベイズ自由エネルギー)を基礎に据えており、BICはKL情報量と無関係である

BICや対数周辺尤度(ベイズ自由エネルギー)のKL情報量的な意味を無視するのはさすがにダメ過ぎる。続く

タグ：統計

posted at 14:11:17

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計 BICは対数周辺尤度の-2倍のサンプルサイズn→∞での漸近挙動の最初の2つの主要項の和に等しい。この意味で、BICが対数周辺尤度を基礎に据えているという認識は正しい。

しかし、対数周辺尤度とKL情報量(のSanovの定理)の関係を認識していないと、対数周辺尤度によるモデル選択の～続く

タグ：統計

posted at 14:14:25

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計続き～意味を理解できなくなってしまう。

対数周辺尤度の-1倍はサンプルに依存して決まる量なので、真の分布に従ってサンプルが確率的に揺らぐと考えて、その期待値を考えることができる。その期待値は定数差を除いて、ある種のKL情報量になっているのだ！続く

タグ：統計

posted at 14:18:03

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計真の分布の密度函数がq(x)のとき、そのi.i.d.の意味でのサンプルの密度函数はq(x_1)…q(x_n)になる。

一方、事前分布φ(w)と確率モデルp(x|w)から作られるモデル内でのサンプルの密度函数は「周辺尤度」

Z(x_1,…,x_n)=∫p(x_1|w)…p(x_n|w)φ(w)dw

になる。続く

タグ：統計

posted at 14:22:05

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計ゆえに、「周辺尤度」の対数の-1倍の真の標本分布に関する期待値(平均)は

-∫…∫q(x_1)…q(x_n) log Z(x_1,…,x_n) dx_1…dx_n

と書けます。これは真の標本分布q(x_1)…q(x_n)とモデル内標本分布Z(x_1,…,x_n)のKL情報量D(q^n|Z)と定数差の違いしかありません。続く

タグ：統計

posted at 14:26:25

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計ここで、

D(q^n|Z)
= ∫…∫q(x_1)…q(x_n) log(q(x_1)…q(x_n)/Z(x_1,…,x_n))dx_1…dx_n.

この「真の標本分布とモデル内標本分布のKL情報量」は、Sanovの定理より、真の標本分布のモデル内標本分布によるシミュレーションの予測誤差を意味しています。続く

タグ：統計

posted at 14:29:26

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計だから、もしも

-∫…∫q(x_1)…q(x_n) log Z(x_1,…,x_n) dx_1…dx_n

が小さなモデルを選ぶことができるなら、真の標本分布をより小さな誤差でシミュレートできるモデル内標本分布が得られるわけです。続く

タグ：統計

posted at 14:31:03

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計しかし、

-∫…∫q(x_1)…q(x_n) log Z(x_1,…,x_n) dx_1…dx_n

の計算は、未知の分布q(x)を使うので、実践的な状況では不可能！

そこで、これを、値が確定しているサンプルX_1,…,X_nに関する対数周辺尤度の-1倍

-log Z(X_1,…,X_n)

で代用してモデル選択することが考えられる。

タグ：統計

posted at 14:37:44

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計このように、対数周辺尤度(自由エネルギー)によるモデル選択では、本当は知りたいが知ることができない対数周辺尤度の真の標本分布に関する期待値をその実現値で推定するという結構ラフなことをやっていることになります。

こういうことはKL情報量との関係を認識しないと理解できない。

タグ：統計

posted at 14:38:35

nyan @nyanko05154144

20年5月1日

@genkuroki 渡辺ベイズでこれ初めて知ったわ
他の本には書いてなかったのでめっちゃモヤモヤしてたよ

タグ：

posted at 14:41:00

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計普通の状況では、期待値の推定値として実現値を採用することは大雑把過ぎる推定になってしまうのですが、対数周辺尤度(ベイズ自由エネルギー)はn→∞でよい漸近挙動を持つので、そのような雑な推定をしても十分に実用的なモデル選択が可能になります。

タグ：統計

posted at 14:41:01

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計要するに、AICだけではなく、BICや対数周辺尤度(ベイズ自由エネルギー)についても、Kullback-Leibler情報量に関するSanovの定理を知らないと何をやっているのか理解不可能になるということです。

タグ：統計

posted at 14:43:18

歩行者は右側通行 @JikanBae

20年5月1日

#Julia言語でSampledSignalsとTuringの相性が悪い。同時にインストールできないっぽい。パッケージの互換性でぶつかってしまい、SampledSignalsをインストールするとTuringは0.11.0ではなく0.7.1に戻されてしまう（そしてAbstractMCMCの何かが悪さをしてTuringが使えない）。

タグ： Julia言語

posted at 16:22:51

歩行者は右側通行 @JikanBae

20年5月1日

富豪なのでTuring専用機を用意することにする。
そして普段使いのマシンにはTuringを入れず、信号処理ができるようにしておく。

タグ：

posted at 16:29:34

JuliaCon 2023 @JuliaConOrg

20年5月1日

"Computational topology and Boolean operations with Juliasparse arrays"
Prsented by Alberto Paoluzzi
Livestream: www.youtube.com/watch?v=N7YHAc...
Abstract: pretalx.com/juliacon2019/t...
#JuliaLang #JuliaCon

タグ： JuliaCon JuliaLang

posted at 17:14:00

積分定数 @sekibunnteisuu

20年5月1日

「詰め込みの方法と教材がまずいだけです。」

どーとでもいえるよね。 twitter.com/Kageyama_hideo...

タグ：

posted at 17:42:36

ながぴい @Nagapiii

20年5月1日

図画工作のスキルじゃね？ twitter.com/Kageyama_hideo...

タグ：

posted at 17:55:07

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#統計さすがに豊田『瀕死本』を「大学院の指定参考書」に指定されていると誤解されるとまずそう(詳しくはスレッド参照)。

しかし、誤りを訂正することによって、統計学入門における俗説の否定を確認するためには利用可能だと思う。

私も頻度論で同じグラフを再現できることを結構楽しんで確認した。 twitter.com/fujimoto_marty...

タグ：統計

posted at 18:19:15

まぁてぃ｜ヘルスケア特化のエンジェル投資 @Fujimoto_Marty

20年5月1日

@genkuroki 私もそう思い、断り書きにしました笑笑

タグ：

posted at 18:37:06

Yuta Kashino @yutakashino

20年5月1日

（´-`）.｡oO( PyMC3でいい加減に計算してましたが，少しちゃんとやろうと思ってPyStanに代えようとStanの復習を松浦さんの「StanとRでベイズ統計モデリング」www.kyoritsu-pub.co.jp/bookdetail/978...でやりはじめましたが，この本は本当に良い本．痒いところに手が届く感じで本当に素晴らしい… )

タグ：

posted at 19:02:55

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語私は同時に使えないパッケージがある場合には、julia --project=～で環境を分けて切り抜けています。Jupyter にも --project=～を変えたものを登録しておく。

詳しくは↓
nbviewer.jupyter.org/gist/genkuroki...

twitter.com/JikanBae/statu...

タグ： Julia言語

posted at 19:34:48

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語

(1) 任意のディレクトリで julia --project=@. を実行して、]add IJulia を実行する。

(2) c:\Users\genkuroki\AppData\Roaming\jupyter\kernels のようなフォルダにあるJulia-1.4をJulia-1.4-fooにコピー

(3) Julia-1.4-fooの中のkernel.jsonの中の--project=の記述を変える。

タグ： Julia言語

posted at 19:34:48

黒木玄 Gen Kuroki @genkuroki

20年5月1日

#Julia言語 (3)続き: display_name も Julia 1.4.1 foo などに変える。

(4) Jupyter側で Julia 1.4.1 foo カーネルのノートブックを立ち上げることができるかどうか確認する。

(5) うまく行っていたら、]add で必要なパッケージを入れる。

詳しくは↓
nbviewer.jupyter.org/gist/genkuroki...

タグ： Julia言語

posted at 19:34:48

黒木玄 Gen Kuroki @genkuroki

20年5月1日

富豪、うらやましす(笑)

twitter.com/JikanBae/statu...

タグ：

posted at 19:35:45

NHKニュース @nhk_news

20年5月1日

奈良公園で、ことし初めてとなる鹿の赤ちゃんが生まれました。
ことしは感染拡大を防ぐため、例年６月に行われている赤ちゃんの一般公開が中止となっています。
「奈良の鹿愛護会」では「会のサイトやツイッターで発信するので、それで見守ってほしい」と話しています。
www3.nhk.or.jp/lnews/nara/202... pic.twitter.com/Foe9v9KlsM

タグ：

posted at 20:10:56

非公開

タグ：

posted at xx:xx:xx