黒木玄 Gen Kuroki(@genkuroki)/2017年10月/Page 26

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2017年10月 » Page26

«< 前のページ 20 21 22 23 24 2526次のページ >»

並び順 : 新→古 | 古→新

2017年10月01日(日)

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽 #JuliaLang

外れ値が含まれるように見えるが、もしかしたら単なる見かけだけかもしれないなら、

Y～Normal(μ,σ)

を

Y～μ + σ TDist(ν)

に一般化しておくとちょっと安心かもしれませんね。ν→∞で後者は前者に一致。

タグ： JuliaLang 数楽

posted at 23:59:31

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽 #JuliaLang サンプルサイズは256です。

同じサンプル達を正規分布モデルに食わせると、推定結果は

Y～Normal(385,6172)

YY～Normal(-0.041, 0.48)

後者の推定結果はt分布のモデルでの推定結果と同じ。前者は悲惨。 pic.twitter.com/ywPC5WUizG

タグ： JuliaLang 数楽

posted at 23:55:28

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽 #JuliaLang std=0.5の正規分布のサンプルの推定結果は

YY～-0.041+0.48 TDist(5.1e7).

TDist(5.1e7)は標準正規分布と等しいとみなせるで、実質的に

YY～Normal(-0.041, 0.48)

でよく合ってる。

タグ： JuliaLang 数楽

posted at 23:50:11

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽 #JuliaLang

Y～0.0+0.5 TDist(1.0)

と

YY～Normal(0.0,0.5)

で生成したサンプルをt分布を使ったモデル食わせた。前者のサンプルからの予測分布は

Y～-0.0032+0.49 TDist(0.92)

でよく合っている。 pic.twitter.com/UbvnFdsABW

タグ： JuliaLang 数楽

posted at 23:45:13

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽 #JuliaLang

nbviewer.jupyter.org/gist/genkuroki...

更新。1.8節追加。正規分布のモデルとt分布を使ったモデルに正規分布とt分布で生成されたサンプルを食わせてみた。

タグ： JuliaLang 数楽

posted at 23:38:16

Cottoncolo @Cottoncolo

17年10月1日

@Kageyama_hideo こんばんは。
8+6=(8+2)+(6-2)
より
(5+3)+(5+1)=(5+5)+(3+1)=10+4
のほうが私は楽なのですがさくらんぼ計算でないといけないのでしょうか。

タグ：

posted at 23:00:43

じゃがりきん @jagarikin

17年10月1日

pic.twitter.com/AsgbVyszXE

タグ：

posted at 21:47:33

田村亮太 Ryota Tamura @peanutTamura

17年10月1日

子供向け絵本の進化は凄いよw

大きいお兄さんが遊ぶとこうなる pic.twitter.com/VbrsdNwFbP

タグ：

posted at 21:40:03

三乗根 @cubic_root3

17年10月1日

@sekibunnteisuu @golgo_sardine 「お前らみたいに掛け算なんかに必死にならないから」もよく見る。

タグ：

posted at 21:36:23

あたりめ @atarimae_400

17年10月1日

【TAKUMI 匠 (松谷卓) 】
(大改造！劇的ビフォーアフター挿入曲)

を短調にしてみました。

なんということをしてくれたんでしょう

リフォームが失敗したではありませんか pic.twitter.com/QvdmbZMQdR

タグ：

posted at 20:38:40

OokuboTact　大久保中二病中年 @OokuboTact

17年10月1日

マスコミがまともな報道していれば、デフレが２０年以上も続くこともなかったし、豊洲の馬鹿騒ぎもなかったはず。今度のチョーくだらない選挙もマスコミの馬鹿なモリカケ報道のせい。

タグ：

posted at 20:07:10

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計手堅い数学的議論による統計学の基礎付けと「頻度主義 vs. ベイズ主義」のような「社会的に構成された」基礎付けのお話では信頼性が論外なほど違います。後者については統計学の黒歴史に過ぎないのでまじめに受け取らないようにし、面倒であってもまじめに数学的議論をした方がいいです。

タグ：統計

posted at 17:57:28

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽 MCMCの普及によってベイズ統計の計算を気軽にできるようになったのですが、「パラメーターだけに注目するダメな思考法」と「MCMCのアウトプットはパラメーターの確率分布に関する情報だけだという事実」が合わさって、おかしな誤解が強化されることを危惧しています。

タグ：数楽

posted at 17:36:32

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽非正則モデルのケースで広中の特異点解消定理の使用は必須なのは仕方がない。しかし、積分の漸近挙動の評価で

− log Z_n = λ log n − (m − 1) log log n + O(1)

を出す部分は大学1年レベルの方法で可能です。

タグ：数楽

posted at 17:33:25

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#数楽非正則モデルのベイズ統計に関する同書の渡辺澄夫著『ベイズ統計の理論と方法』の第4章の内容はとても難しいです。しかし、少し証明を初等化できる部分は残っていると思う。私の提案の素描は次のリンク先に。
genkuroki.github.io/documents/2016...

タグ：数楽

posted at 17:30:28

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計最尤法とベイズ推定法の正則モデルの場合での基礎づけについては、渡辺澄夫著『ベイズ統計の理論と方法』の第3章が私が知る限り最も整理したわかりやすい説明になっていると思います。非正則モデルのベイズ統計については同書の第4章。続く

タグ：統計

posted at 17:28:04

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計「尤度を最大化するとどうしてうまく行くの？」とか「事後分布で確率モデルを平均して作った予測分布はどうして真の分布を近似していると思っていいの？」のような疑問は当然持つべきで、疑問を持ち続けるべきなのですが、おかしな解説が疑問を持ち続けることを阻害していると思う。

タグ：統計

posted at 17:24:07

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計似たような問題は最尤法の段階ですでにあって、尤度を「もっともらしさ」と言い換えても、最尤法で作った予測分布が真の分布を近似していると思ってよい理由は決してわかりません。自明なベイズの定理について説明してもベイズ推定法がうまく行く理由が決してわからないことと似ています。

タグ：統計

posted at 17:21:42

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計学生の側の要チェック事項。以下にあてはまる授業はかなりまずい。

(1)ベイズの定理でベイズ統計を理解できるかのような解説をしていないか？

(2)「主義」の話を延々としていたりしないか？

最尤法もベイズ推定法もその基礎付けはガチ数学なので大変です。

タグ：統計

posted at 17:19:32

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計最尤法やベイズ推定法の方法で作った予測分布が真の分布を近似している理由はガチの数学なので難しいです。

ベイズ推定法で作った予測分布が真の分布を近似することは、ベイズの定理のような自明な定理を習っても決して理解できません。近似の証明にベイズの定理は使用されません。

タグ：統計

posted at 17:17:15

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計データを生成した真の確率分布の推定分布としての予測分布が確率分布になるのは不思議でも何でもないので、予測分布まで行って「はい、確率分布になりました」と言う分には説明に困るところがない。

難しいのは、最尤法やベイズ推定法の方法で作った予測分布が真の分布を近似している理由。

タグ：統計

posted at 17:14:27

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計そして、

パラメーターの推定結果が確率分布になることには大した意味はない。パラメーターという中途半端な数学的対象だけに注目せずに、予測分布をきちんと考えて、予測分布のレベルでモデルの優劣を比較すればよい

とはっきり言えば、怪しげな「主義」に関する話はすべて排除可能。

タグ：統計

posted at 17:07:55

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計他の見方で統一することもできて、「パラメーターの推定値が一点に決まる」のか「パラメーターの推定結果が確率分布になる」の違いは、前者を「パラメーターの推定結果がデルタ分布になる」と言い直せば解消され、前者は後者の特別な場合になります。

タグ：統計

posted at 17:04:50

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計パラメーターだけしか視界に入らないから、ベイズ統計ではパラメーターの推定結果が確率分布になることの「意味」に異様にこだわらなければいけなくなってしまうわけです。最尤法とベイズ推定法は予測分布で比較すればどちらも「同じような道具」にしか見えなくなります。

タグ：統計

posted at 17:02:19

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計余談：「母数」が parameter の訳語だと知ったときにはびっくりしました。この訳し方は大失敗で「母数」＝「分母に来る数」という「誤解」の方が日本語圏で普通の意味になってしまった。これは誤解している一般人の側が悪いのではなく、訳した専門家の側が悪かったのだと思います。

タグ：統計

posted at 16:52:33

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計問題にしている2×2の表では「求めるもの」は母数＝モデルのパラメーターだけになってしまっています。何度も繰り返しているように、本当に欲しいのはパラメーターではなく、真の分布の推定分布としての予測分布の方だと思う。パラメーター(=母数)しか見ないと誤解すると思う。

タグ：統計

posted at 16:50:02

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計最尤法であろうがベイズ推定法であろうが、インプットとして与える現実世界から得たサンプルはサンプルを取り直すごとに揺らぐので(すなわち確率変数なので)、得られる解も揺らぎます(すなわち解も確率変数になる)。最尤法とベイズ推定法を異なる主義の産物だとみなすのは単なるトンデモ。

タグ：統計

posted at 16:46:35

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計統計の授業ではデータ＝サンプルの数学的モデルとして独立同分布確率変数列i.i.d.について習うと思うのですが、ベイズ統計でもサンプルはi.i.d.です。すなわち、確率変数です。そして、モデルへのインプットであるサンプルが確率変数なので、その解も確率変数になります。続く

タグ：統計

posted at 16:44:44

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計パラメーターだけに注目する発想による誤解はすでに広まっているという危惧があります。例えば、大変ためになった資料集である

drive.google.com/drive/folders/...

でも添付画像のようなおかしなスライドが！
「主義」という言葉が登場する統計の話は大抵トンデモ。 pic.twitter.com/PgIiwbfXgp

タグ：統計

posted at 16:42:10

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計 MCMCのパッケージを使えば誰でもパラメーターに関する情報(事後分布)は簡単に得られますが、一般の階層モデルの予測分布に関わる情報を得ることは簡単ではないので、パラメーターの情報だけに注目して誤解する人が増えるかもしれない。「何を簡単に計算できるか」で理解が捻じ曲がる。

タグ：統計

posted at 16:39:05

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計

 nbviewer.jupyter.org/gist/genkuroki...

では、尤度函数だけではなく、予測分布もプロットしているし、予測分布の予測精度の指標の推定値であるAICやLOOCVも計算してあります。

あらゆる計算が瞬時に終わると仮定できればどんなに楽なことか。

タグ：統計

posted at 16:29:00

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計尤度函数

L(w)=Π_i ∫p(Y_i|z)q(z|w)dz

内の積分結果がt分布の確率密度函数で書けるケースでの最尤法については

nbviewer.jupyter.org/gist/genkuroki...

にこれ以上ないほどシンプルな具体例があり、1.6節に数学的な解説があります。

タグ：統計

posted at 16:26:26

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計「階層モデルを最尤法で解く」という発想をすれば数値積分の必要性にすぐに気付きます。

モデル：y～p(y|z)、z～q(z|w)
サンプル：Y_1,…,Y_n

を最尤法で解くには尤度函数

L(w)=Π_i ∫p(Y_i|z)q(z|w)dz

を最大化することになる。

タグ：統計

posted at 16:24:15

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計何かよい方法があればよいと思います。

よい方法があるなら、それを普及させれば、私の危惧は解消します。

タグ：統計

posted at 16:18:10

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計予測分布の計算は数値積分した結果得られるP(y|w)をたくさんのw(k)について足し上げる計算をすることになるので、実際にやってみると結構重めの計算になったりします。数値積分の仕方をうまく決めないと滅茶苦茶時間がかかることになる。

全然気軽な計算にならないのだ。

タグ：統計

posted at 16:17:29

佐々木俊尚 @sasakitoshinao

17年10月1日

（承前）左派でもリベラルでもいいので、改憲反対・反原発・反安保法制じゃなく、不平等の是正と経済成長の維持を主眼にした勢力（英コービンとか米サンダースみたいな）が出てこれば一定の支持は得られるんじゃないかと思うんだけど、なぜかそっちが現れない日本の不思議。

タグ：

posted at 16:15:55

黒木玄 Gen Kuroki @genkuroki

17年10月1日

タグ：統計

posted at 16:14:08

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計統計の素人の私的には、パラメーターの話をするだけではなく、もとめたパラメーターの事後分布がどのような予測分布を与えるのかをはっきり示して欲しいのですが、一般の階層モデルのケースでそれらを他人に見せるためにはMCMCのパッケージを機械的に利用するだけでは不可能なのだ。

タグ：統計

posted at 16:10:02

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計 MCMCは事後分布のサンプルを作る手法なので、それだけでパラメーターの事後分布だけはすぐにわかる。しかし、パラメーターで記述される予測分布を一般の階層モデルの場合に計算するためには数値積分が必要になります。MCMCが出力するチェインだけでは計算できない。

タグ：統計

posted at 16:07:33

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計要注意事項続き

(2) MCMCが収束したか否か*だけ*でモデルのまともさを判定していたりしないか？

(3) 予測分布がどういう感じになっているかを一切確認しない癖がついていないか？

(4) 予測分布の精度の指標の推定値を計算するという発想がゼロになっていないか？

タグ：統計

posted at 16:05:22

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計要注意事項

(1) モデル y～p(y|z)、z～q(z|w)、w～r(w) の「サンプルサイズ1」の事後分布のサンプル

w(1),…,w(N)
z_1(1),…,z_1(N)
　　………
z_n(1),…,z_n(N)

を一所懸命眺めていたりしないか？

タグ：統計

posted at 16:01:21

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。もっともらしいがどこまで信用できるかどうか不明の階層モデルを作って既存のパッケージだけで簡単に計算できる量だけを計算しているだけだと、予測分布や予測分布の精度の指標の推定値(WAICなど)を計算せずに終わってしまいます。様々な誤解が広まることになると思う。

タグ：統計

posted at 15:58:14

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。MCMCは欲しい分布に従う乱数発生の強力な道具なのですが、それだけでは欲しい量(予測分布や予測分布の精度の指標の推定値)を簡単に計算できるわけではありません。階層化されていない例外的な場合に限ってそれらの計算は簡単になる。一般の階層モデルでは非常に大変です。続く

タグ：統計

posted at 15:55:28

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。以上の危惧が外れていれば何も問題ないのですが、私自身も試しにMCMCを使ってみて、「あまりの面白さ」に以上で述べたような危惧は現実のものとなりそうだと思いました。だから、このようにオープンな場所に書くことにしました。

タグ：統計

posted at 15:52:33

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き～、MCMCが収束したか否かでそのモデルがまともであるかどうかを判断するようになり、結果的に得られた予測がどのようなものであるかを見ようとせず(予測分布を計算しない)、モデルの優劣を客観的な指標(WAICなど)で判断しようとしません。これはとてもよくないことです。続く

タグ：統計

posted at 15:50:59

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。階層モデルも扱えることで便利だという理由でMCMCを積極的に使いながら、以上の事実に気付いていない人達は、MCMCのパッケージが出力してくれる「事後分布」の情報(私が「サンプルサイズ1」での事後分布と呼んだものを含む)を見て、何かわかったかのような気分になり、～続く

タグ：統計

posted at 15:48:46

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。以上の事実については、例えば、次のリンク先およびさらにそのリンク先を見て下さい。

statmodeling.hatenablog.com/entry/waic-wit...

しかし、予測分布の形を見ようとしたり、モデルの予測精度の推定値(WAIC)の比較をしたりしようとしない人達は気付いていないかも。

タグ：統計

posted at 15:46:29

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。MCMCの方法は階層モデルを解くときにとても便利なのですが、計算の結果得られた事後予測分布を計算するためには、階層モデルを積分して非階層モデルの形にしてしまわなければいけません。これは事後予測分布だけではなく、WAICの計算でも同様です。続く

タグ：統計

posted at 15:43:40

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。そのとき、「サンプルサイズ1」での事後分布のサンプルz_i(k)は捨てられることになります。そして、和を取る函数は階層モデルから

P(y|w)=∫p(y|z)q(z|w)dz

と積分で定義されているので、重い数値積分が必要になってしまいます！これ重要！😤 続く

タグ：統計

posted at 15:41:33

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。そして、サイズnのサンプルY={Y_1,…,Y_n}から得られる予測分布P_*(y)は

P_*(y) ≒ (1/N) Σ P(y|w(k))、kに関するN個の和

とMCMCから得たチェイン w(k) から計算できるわけです。続く

タグ：統計

posted at 15:38:27

黒木玄 Gen Kuroki @genkuroki

17年10月1日

タグ：統計

posted at 15:35:31

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。サンプルサイズ1での推定は信頼性が低いので要注意です。

n+1次元空間中の(w,z_1,…,z_n)の事後分布をwに射影して得られる事後分布はサイズnのサンプル Y={Y_1,…,Y_n} から推定したパラメーターwの事後分布になります。続く

タグ：統計

posted at 15:31:23

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き。ただしz_i達も含めた(w,z_1,…,z_n)の事後分布はベクトルを要素に持つサイズ1サンプル

{Y=(Y_1,…,Y_n)}

から推定した事後分布です。サンプルサイズ1なのでサンプルサイズ→∞での漸近論はもちろん通用しません！続く

タグ：統計

posted at 15:27:46

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計続き、n+1個の数列が得られます(nはサンプルサイズ)：

w(1),…,w(N)
z_1(1),…,z_1(N)
　　………
z_n(1),…,z_n(N)

この点列の分布はパラメーター w, z_1,…,z_n の事後分布のサンプルになっていると考えられる。続く

タグ：統計

posted at 15:21:27

黒木玄 Gen Kuroki @genkuroki

17年10月1日

#統計階層モデルと積分と真のサンプルサイズ

y～p(y|z), z～q(z|w), w～r(w) (p,q,rはそれぞれy,z,wの確率密度函数)

という階層モデルについて考えます。rは事前分布です。yのサンプル

Y=(Y_1,…,Y_n)

を与えてMCMCすると～続く

タグ：統計

posted at 15:18:10

三乗根 @cubic_root3

17年10月1日

全て財務省の責任。
敵を正しく認識しないといつまで経っても勝てない。
財務省を潰して歳入庁を導入することや、政府紙幣の発行に対する国民全体の理解度を上げていかないと。何年かかろうと。 twitter.com/nhk_news/statu...

タグ：

posted at 14:12:44

go matsuba @gmatsuba

17年10月1日

@SciCafeShizuoka リーマンショックの直後に研究室を立ち上げて、初期の学生さんがムチャクチャ苦労しているのを見て、教員も学生さんに対してアレくらい色々しないとダメなんだと認識してしまい、その意識が景気が良くなっても抜けないです。

タグ：

posted at 13:16:05

モト@PPMMPP @29silicon

17年10月1日

@gmatsuba まさに。思い出したくもないです。

タグ：

posted at 13:07:43

go matsuba @gmatsuba

17年10月1日

@SciCafeShizuoka 景気が良くなっていないとかいいますが、すくなくとも就職活動の面においては圧倒的に良くなっていますよね。一番ひどかったのは、ここ15年では、どう考えてもリーマンショックのとき。

タグ：

posted at 13:03:53

モト@PPMMPP @29silicon

17年10月1日

就職難時代、化学科の修士でようやく取れた内定先が養豚場。飼料分析の仕事なんかじゃなくて現場の肥育担当だった。当人はどんな職でも就職できるだけで有難いと言ってたが、親御さんからは苦情が来て大変だった。なんとか一般企業に決まってホッとしたなぁ。2010年のこと。 twitter.com/scicafeshizuok...

タグ：

posted at 12:52:44

@kuri_kurita

17年10月1日

これが社会の常識になるべき。義務教育で教えるべき。（教えてなかった？）→「必要ならば金を刷る」

もちろん、どれだけ刷ってもいいわけではない。しかし長年のデフレでどこもかしこも完全に干上がってるので、今は全然そんな心配する必要なし。どんどんやる（=国債を出して日銀が買う）べき。 twitter.com/kobonona/statu...

タグ：

posted at 12:09:32