黒木玄 Gen Kuroki(@genkuroki)/2017年11月/Page 18

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2017年11月 » Page18

«< 前のページ 15 16 171819 20 21 次のページ >»

並び順 : 新→古 | 古→新

2017年11月22日(水)

ゴルゴ・サーディーン @golgo_sardine

17年11月22日

@LimgTW 【その事実を呟いているだけ】
それはその通りです。

で、逆順であることを「咎めて」いますか？
（純粋に、疑問です。
　咎めているようでもあるし、
　咎めていないとも見える、という事です。）　#掛算

タグ：掛算

posted at 00:10:48

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計ベイズ統計ではサンプル(乱数列)X_1,…,X_nからハミルトニアンH(w)を対数尤度函数の-1倍で定義します：

H(w) = Σ_{k=1}^n(-log p(X_k|w)).

ここで、p(x|w)はサンプルを生成した未知の分布q(x)を近似する分布を含むと期待しているパラメーターwを含むxの確率密度函数です。

タグ：統計

posted at 00:16:42

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計ハミルトニアンH(w)を最小化するパラメーターwを解とするのが最尤法で、ハミルトニアンH(w)に関する事前分布φ(w)の統計力学をやるのがベイズ推定法です。古典力学と統計力学の関係を知っていれば、最尤法とベイズ推定法の関係は明らかで、絶対温度0のベイズ推定法が最尤法に一致します。

タグ：統計

posted at 00:21:34

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計こういう理学部の学部生レベルの話でベイズ推定法と最尤法の話はほぼ全部できる感じ。

タグ：統計

posted at 00:22:42

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計等確率の原理を仮定しなくても数学的に意味のある話をいくらでもできることを知っていれば、出発点が等確率の原理の一様事前分布だけではなく、任意の事前分布から出発することになるので、必然的にベイズ統計っぽい話になります。

タグ：統計

posted at 00:26:41

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計サイズnのサンプルX_1,…,X_nに対応するハミルトニアンをH_n(w)と書き、事前分布をφ(w)と書くとき、ベイズ統計の分配函数は

Z_n(β)=∫exp(-βH_n(w))φ(w)dw

と定義されます。サンプルサイズn→∞での推定がうまく行くことは最低限確保しておかないと統計学としてお話になりません。続く

タグ：統計

posted at 00:31:17

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計続き。だから、最初に知りたいことは、n→∞での分配函数の漸近挙動についてです。統計力学をちょっとでも知っていれば学部レベルの知識で誰でもこのように考えるはず。そのとき、事前分布φ(w)は超函数論におけるテスト函数の役目を果たして問題を易しくしてくれます。

タグ：統計

posted at 00:33:04

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計事前分布φ(w)として超函数論におけるテスト函数のようなものを取ることにしておけば、exp(-βH_n(w))がn→∞で暴れても、

Z_n(β)=∫exp(-βH_n(w))φ(w)dw

の挙動はコントロール可能になるかもしれない。実際そうであることを一般的に証明したのが、渡辺澄夫さんです。色々納得できる話。

タグ：統計

posted at 00:36:37

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計例えば、函数sin(nx)はn→∞で収束しそうに思えない人が結構多いと思うのですが、テスト函数φ(x)を書けて積分した結果

∫_{-∞}^∞ sin(nx)φ(x)dx

は0に収束します。これを理由にsin(nx)はn→∞で0に収束するとみなすことができます。これを超函数の位相と呼びます。

タグ：統計

posted at 00:41:02

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計ベイズ統計で事前分布を考えることは、超函数の位相で考えることであるとみなすこともできます。超函数の位相では収束がしやすくなる。ベイズ推定法では収束し易くなるのはこういうことと関係があるのでしょう。

タグ：統計

posted at 00:42:25

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計添付画像は
nbviewer.jupyter.org/gist/genkuroki...
より。

FET = FreeEnergy - T_true
WBT = WBIC - T_true

共通の大きな揺らぎを取り除いて本質的揺らぎを比較。FreeEnergyよりもWBICの方の本質的揺らぎの方が大きいことがわかる。 pic.twitter.com/CB19auBJfH

タグ：統計

posted at 00:53:45

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計訂正：正しくはo(1/n)ではなくo(1)です。スケールの変換の失敗。正しくは

真の予測誤差 = KL情報量KL = 2λ + ε +o(1) ≧ 0,
その推定値−定数 = WAIC - T_true = 2λ - ε+o(1),

∴ これらの和 = 4λ+o(1).

ここでεはサンプルの取り方による揺らぎ(O(1)のオーダー).

twitter.com/genkuroki/stat...

タグ：統計

posted at 07:52:49

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計 2λは正則モデル(例えば単純な正規分布モデルなどは常に正則モデル)ではパラメーター数に一致します。非正則モデル(指数型分布族の混合分布モデルではよく近似的に非正則モデルになる)では2λはパラメーター数より小さくなる。λは実対数閾値と呼ばれる実代数幾何における双有理不変量。

タグ：統計

posted at 08:00:46

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計

KL＝真の予測誤差＝KL情報量＝2λ + ε +o(1) ≧ 0,
WT＝その推定値ー定数＝WAICーT_true＝2λ - ε+o(1),

の揺らぎεの項の符号が逆になっていることは、添付画像のように数値的なシミュレーションでもきれいに再現できる。

twitter.com/genkuroki/stat...

pic.twitter.com/ShNBFs2LfV

タグ：統計

posted at 08:03:57

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計

KL+WT=4λ+o(1) と添付画像から、2λの値を推定できる。

サンプルを生成してい標準正規分布について、normal1(分散1の正規分布モデル)とnormal(通常の正規分布モデル)は正則であり、2λはそれぞれのパラメーター数1,2に等しい。プロット結果を見てもそのことがわかる。

pic.twitter.com/ShNBFs2LfV

タグ：統計

posted at 08:06:29

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計 mixnormal(分散1の山が2つの混合正規分布モデル)のパラメーター数は3なのだが、標準正規分布について非正則モデルになっている。実際、プロット結果からKL+WTの値の半分(2λの推定値)は3よりずっと小さな値になっている。

タグ：統計

posted at 08:08:50

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計以上においては、KL情報量も含めて、AICの伝統的なスケールに合わせてある。KL情報量の元来のスケールに戻すには2nで割ればよい。KL情報量の元来のスケールでは

真の予測誤差＝(λ+ε)/n+o(1/n)≧0
その推定値－定数＝(λ-ε)/n+o(1/n)

となる。真の予測誤差はO(1/n)のオーダーで減少し～続く

タグ：統計

posted at 08:12:02

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計続き～、予測誤差の平均値はλに比例する。λが小さなモデルの方が予測誤差が小さくなる。正則モデルで2λはパラメーター数に一致するが、非正則モデルでは2λはパラメーター数より小さくなる。正則モデルではパラメーター数を増やすと収束が遅くなる。非正則モデルでは正則モデルより収束が速い。

タグ：統計

posted at 08:15:17

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計数値的なシミュレーションのプロットを見ると、分散を1に固定した正規分布モデルによる推定は固定しない通常の正規分布モデルによる推定よりも、予測分布が真の分布である標準正規分布に収束する速さが2倍速いことがわかる。正則モデルでは、パラメーター数が半分になると、収束が倍速くなる。

タグ：統計

posted at 08:17:46

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計分散1の山が2つの混合正規分布モデルのパラメーター数は3で通常の正規分布モデルの2よりも大きいのだが、標準正規分布について特異モデルになっているので、標準正規分布のサンプルの推定において、分散1の山が2つの混合正規分布モデルによる推定は通常の正規分布モデルの推定よりも収束が速い。

タグ：統計

posted at 08:19:31

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計数値実験をすると、「ちらばり具合」を決めるモデルのパラメーターの推定は不安定になることが多いです。正規分布を使っている場合には分散の推定、t分布を使っている場合には自由度の推定が不安定になることが多い。これは経験則なので数学的なステートメントの形で理解できてません。

タグ：統計

posted at 08:24:58

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計続き。「散らばり具合」を決めるパラメーターの推定が不安定になるケースで情報量規準を計算すると、予測精度が下がっていることを示唆する数値が出ます。事前分布を調節して「散らばり具合」を決めるパラメーターの動ける範囲を適切に制限すると予測精度が上がることがあります。これも経験則。

タグ：統計

posted at 08:28:29

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#統計続き。指数型分布族一発の単純なモデルには以上で述べたような経験則は関係しないのですが、複雑なモデルでは数学的に理解が難しいことが色々おきます。

「事前分布は常に一様分布もしくは無情報分布(に近い分布)にするべきだ」という意見は予測精度を下げる可能性のある悪い意見だと思います。

タグ：統計

posted at 08:32:38

Haruhiko Okumura @h_okumura

17年11月22日

和歌山大の低評価は，年俸制23人しか達成してないためなのか（目標28人）。教員が強いと低評価になる？ www.mext.go.jp/a_menu/koutou/... twitter.com/hayano/status/...

タグ：

posted at 08:37:54

非公開

タグ：

posted at xx:xx:xx

Masahiro Hotta @hottaqu

17年11月22日

「ディープラーニング（深層学習）という手法でＡＩに学習させた。その上で、内視鏡検査受診者３９７人分の画像１万１４８１枚に、ピロリ菌胃炎があるかどうかを判断させ、内視鏡医２３人と競わせた。その結果、ＡＩの正答率は８７．７％で、全体で４番目の成績だった」headlines.yahoo.co.jp/hl?a=20171120-...

タグ：

posted at 08:39:33

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

7594591200220899443 @shyouhei

17年11月22日

SVGを小さくする話…に見せかけてgzip圧縮した時に圧縮率が高くなるようにSVGを手書きする話だった。やばい twitter.com/newsyc200/stat...

タグ：

posted at 12:42:28

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

ナイト @knight_04

17年11月22日

娘の学校、毎日日記を書くことを強制されるのに、ただあったことを書くのはダメみたいな暗黙のルールがあって、書くことが嫌いになってる。低学年の時は夜になると日記が嫌で泣いてた。意味がわからん。

タグ：

posted at 13:41:33

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

17年11月22日

gzthermalとかいうgzipのビット数やbackreferenceを見るコマンド面白い。

タグ：

posted at 14:07:15

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#数楽 #JuliaLang

gist.github.com/genkuroki/7c06...

スターリングの公式

n! ～ n^n e^{-n} √(2πn)

はnを大きくすると相対誤差が小さくなるのですが、応用上重要なのは「小さなnでどれだけの精度か」です。(1+1/(12n))をかける補正は劇的で n=1 で十分な精度が出るようになります！ pic.twitter.com/hn561xtLEq

タグ： JuliaLang 数楽

posted at 14:22:15

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#数楽 #JuliaLang n! のスターリング近似は、因子を減らして、

n! ～ n^n e^{-n}

だけにしても相当に実用的で、場合によっては

n! ～ n^n

だけでも実用的な場合があります。

実用的になる理由は「確率がらみの現象では対数スケールが適切なスケールであること」が多いからです。 pic.twitter.com/8eq3yoCHSu

タグ： JuliaLang 数楽

posted at 14:26:21

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#数楽スターリングの近似公式は大学新入生がテイラー展開の次くらいに出会う「次々に近似の精度を上げて行く話」の典型例だと思います。

n!～n^n
n!～n^n e^{-n}
n!～n^n e^{-n} √n
n!～n^n e^{-n} √n √(2π)
n!～n^n e^{-n} √n √(2π) (1+1/(12n))
…

と精度が高くなって行く。

タグ：数楽

posted at 14:28:48

黒木玄 Gen Kuroki @genkuroki

17年11月22日

#数楽対数スケールでは

log n! ～ n log n
log n! ～ n log n - n
log n! ～ n log n - n + (1/2)log n
log n! ～ n log n - n + (1/2)log n + log√(2π)
log n! ～ n log n - n + (1/2)log n + log√(2π) + 1/(12n)
…

対数スケールで見ることもかなり大事です。

タグ：数楽

posted at 14:32:32

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

カン @taka4_kazu13

17年11月22日

算数の掛け算の順序の論争がある

教育に目標とするものがあるのならば間違いの意味がわからない

義務教育で数学があるからには算数は数学の法則に従っていないといけないのではないか

日本語の順序にこだわった式は数学に繋がらない

「初級数学」にしたら重箱を突く無駄論争も無くなるのではないか pic.twitter.com/kY1J8szfIh

タグ：

posted at 21:34:15