黒木玄 Gen Kuroki(@genkuroki)/2017年03月28日

黒木玄 Gen Kuroki

@genkuroki

いいね数 389,756/311,170
フォロー 995　フォロワー 14,556　ツイート 293,980
現在地 (^-^)/
Web https://genkuroki.github.io/documents/
自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。

Favolog ホーム » @genkuroki » 2017年03月28日

« 次の日| 前の日 »

並び順 : 新→古 | 古→新

2017年03月28日(火)

ゴルゴ・サーディーン @golgo_sardine

17年3月28日

#掛算の順序の件をきょう初めて知ったという感じのツイートがたくさんあるのは、「教育　○○してはいけません」のツイが7000RT も行っているせいなのか。

タグ：掛算

posted at 23:38:14

ゴルゴ・サーディーン @golgo_sardine

17年3月28日

@sakajohn_7 【意味として違うしそこは必要な区別なのでは】いきなりで失礼します。
#掛算の順序とは、こういう物です。
２年生に教えた事によれば「30×2 と書いたら『30本脚のツルが2羽いる』という意味になる」はずなのに、教えた側の大人が守っていないのです。 pic.twitter.com/MJJb5VO2yn

タグ：掛算

posted at 23:30:15

ChaDamSaiNom @ocha_lab

17年3月28日

⚡️ 「お金の分布としての指数分布とガンマ分布」（作成者: @genkuroki）

twitter.com/i/moments/8451...

タグ：

posted at 20:22:08

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Lagrangeの未定乗数法も直観的に明らかと思えるような理解の仕方があります。仕事の講義では証明の代わりに直観的な説明ですませているのですが、LaTeXで解説ノートを書いたことはない。

タグ：数楽

posted at 18:32:16

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Lagrangeの未定乗数法もよく使われます(これも勉強するときの優先順位が高い)。多くの場合に決定された未定乗数は応用上重要な量になります。上の場合にλは分配函数の対数(Massieu函数)になり、βは逆温度(絶対温度分の1)になりました。

タグ：数楽

posted at 18:30:44

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。階乗の近似式としてスターリングの公式は空気のごとく使われるので勉強の優先順位が高いです。早めに勉強してすっきりしておいた方がいいと思う。解説ノート www.math.tohoku.ac.jp/~kuroki/LaTeX/... の最初の方にスターリングの公式の導出も書いてあります。

タグ：数楽

posted at 18:28:14

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽まず、多項分布について学ぶ。
次に、多項分布における確率(n!/(Πk_i!))Πq_i^{k_i}の対数をスターリングの公式を代入して近似計算する(p_i=k_i/nと置いておく)。
その結果は-nD(p||q)+o(n)になる(Sanovの定理)。

タグ：数楽

posted at 18:26:01

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽というわけで、簡単な場合にボルツマン因子が出て来ることはKL情報量に関するSanovの定理に帰着できたわけです。残った仕事はSanovの定理の「証明」です。どこまでまじめに証明するかが問題になるのですが、応用が主体の人は以下の大雑把な理解で十分だと思います。続く

タグ：数楽

posted at 18:21:19

UFO教授 (藤木文彦 Fumihiko @UFOprofessor

17年3月28日

現実にあってるのか否か、ちょっと分からないので、あとで詳しく考えてみます。 twitter.com/genkuroki/stat...

タグ：

posted at 18:17:44

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。このようにKL情報量の式の形を使えば、制限された範囲内でKL情報量が最小のpが経験的に実現されることからボルツマン因子が容易に出て来る。(実際にはもっと一般的な大偏差原理を仮定してもボルツマン因子が出て来る。KL情報量とSanovの定理のケースは制限し過ぎ。)

タグ：数楽

posted at 18:17:36

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。確率の総和が1になるという条件の未定乗数λ-1のλは分配函数の対数(Massieu函数)に等しく、制限Σf_i p_i≧aまたは≦aという制限に関する未定乗数βが逆温度(絶対温度分の1)になります。

タグ：数楽

posted at 18:15:40

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。∂L/∂λ=0はΣp_i=1を意味し、∂L/∂β=0はΣf_i p_i=aを意味する。∂L/∂p_i=0はlog(p_i/q_i)+λ+βf_i=0すなわち

p_i=e^{-βf_i}q_i/Z，Z=e^λ

を意味します。ボルツマン因子が出て来た！

タグ：数楽

posted at 18:11:04

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き～、KL情報量D(p||q)が最小になるp_iは

L=D(p||q)+(λ-1)(Σp_i - 1)+β(Σf_i p_i-a)

を用いたLagrangeの未定乗数法で得られます(未定乗数はλ-1とβ)。続く

タグ：数楽

posted at 18:06:25

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Sanovの定理を認めれば、nが大きなとき、制限された確率分布qに従うn回の独立試行による経験分布k_i/nは制限の範囲内でKL情報量D(p||q)が最小になるp_iの近くに集中することがわかります。制限がΣf_i p_i≦aまたは≧aの既出のスタイルなら～続く

タグ：数楽

posted at 18:02:13

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。さらに大雑把に言えば、「KL情報量D(p||q)は、確率分布qによる独立試行で偶然経験分布pが生じる確率が高いほど小さくなるように定められた確率分布qからpへの距離のようなものだ」と言うこともできます。KL情報量は確率モデルqによる真の分布pの予測の誤差の大きさ。

タグ：数楽

posted at 17:52:47

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。すなわち大雑把にSanovの定理は「nが大きなとき、KL情報量D(p||q)は確率分布qによるn回の独立試行で経験分布pが実現する確率の対数の-1/n倍にほぼ等しい」ことを意味します。続く

タグ：数楽

posted at 17:49:03

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽続き。大雑把に言えば、Sanovの定理は

(1/n)log(経験分布がp=(p_i)になる確率)=-D(p||q)+o(1)

が成立することを意味します。o(1)はn→∞で0になる量です。KL情報量D(p||q)が少しでも大きくなるとn→∞で相対確率は0近付く。

タグ：数楽

posted at 17:43:28

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 2つの確率分布p,qのKL情報量の定義はD(p||q)=Σ p_i log(p_i/q_i)．確率q_iでiの目が出るルーレットを考える。そのルーレットをn回まわしたとき、iの目が出た回数をk_iと書くと、iの目が出た割合(経験分布)はp_i=k_i/n．続く

タグ：数楽

posted at 17:38:01

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Kullback-Leibler情報量に関するSanovの定理を仮定してボルツマン因子を出すことは易しい。(ボルツマン因子はもっと一般的な状況で出て来る。統計力学の教科書の方針に従えばよい。詳しくは www.math.tohoku.ac.jp/~kuroki/LaTeX/... の第7.2節を参照。)

タグ：数楽

posted at 17:33:01