黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Kullback-Leibler情報量やボルツマン因子が出て来る仕組みを知りたければ、解説 www.math.tohoku.ac.jp/~kuroki/LaTeX/... を読んで下さい。易しい話から順番に説明してあるのでそこそこ読みやすいだろうと期待しています。

タグ： 数楽

posted at 00:03:52

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Kullback-Leibler情報量に関するSanovの定理は、最尤法やベイズ統計や学習理論について学ぶときには必須の知識だと思う。その手の教養がないと、統計的モデルの予測精度の意味がわからなくなってしまいます。

タグ： 数楽

posted at 00:10:33

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 ⚡️ "大数の法則による統計的な力" 作成者: @genkuroki

twitter.com/i/moments/8463...

タグ： 数楽

posted at 00:24:03

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 私の解説 www.math.tohoku.ac.jp/~kuroki/LaTeX/... を読めば逆温度βが負になっても気にならなくなるかも。

統計力学における温度の概念の適用範囲は物理の外にある広大な数学の世界に広がっています。

タグ： 数楽

posted at 00:29:12

ごまふあざらし(GomahuAzaras @MathSorcerer

17年3月28日

ほっほー twitter.com/genkuroki/stat...

タグ：

posted at 00:44:52

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 ⚡️ "代数入門：準素イデアルや方程式の代数系による定式化、などの易しい話" 作成者: @genkuroki

タイトル変更

twitter.com/i/moments/8456...

タグ： 数楽

posted at 01:17:56

黒木玄 Gen Kuroki @genkuroki

17年3月28日

いつでもどこでも作れる簡易耳栓。ティッシュペーパーを半分に切ってそれぞれを丸めて湿らせて耳に突っ込む。私の場合には耳穴が小さめなので半分の半分を丸めている。どうしても耳栓が必要な場合にはどうぞ。

タグ：

posted at 01:43:20

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 twitter.com/i/moments/8456...
方程式 x-1=0 で定義される x 軸上の点と重根を持つ方程式 (x-1)^2=0 で定義される x 軸上の点の「大きさ」が違うと思いたい人が読むと幸せになれるかもしれないモーメント。

タグ： 数楽

posted at 01:49:49

かけ得 @kakezantokui

17年3月28日

長いけどすごく初学者のためになるとおもう twitter.com/genkuroki/stat...

タグ：

posted at 02:31:16

田尻悠人(囲碁棋士) @tajiriyuto

17年3月28日

「おんな城主直虎」第11話
元康(黒)が会心の一手を打つシーン。
次の手が分かればアマ高段者。
この局面はある棋譜を基に作成しましたが、その基となった棋譜が分かったら古碁マニア九段。

#おんな城主直虎 #松平元康 #阿部サダヲ #囲碁 pic.twitter.com/vxIsNpi88o

タグ： おんな城主直虎 囲碁 松平元康 阿部サダヲ

posted at 11:47:05

おおまめうだとしあき @ohmameuda

17年3月28日

国立大にパワハラを捏造され、解雇通告を受けた教授の告白 gendai.ismedia.jp/articles/-/51266 #現代ビジネス

タグ： 現代ビジネス

posted at 12:07:43

たざきしあん @westinghouse565

17年3月28日

安倍ちゃんのアレは「嫁がバカやりましたサーセン。ただ許認可権は大阪府が持ってるので、全部維新と松井一郎が悪い」と言ってればこんなことにならなかった

タグ：

posted at 12:11:42

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 逆温度βについて。統計力学でのβは絶対温度Tのボルツマン定数k倍分の1です。β=1/(kT)。Tはtemperature(温度)の頭文字。a>1/2であるとし、コイン投げで表の出た割合をa以上に制限する場合には、e^{-β}=a/(1-a)>1となるのでβ<0となります。

タグ： 数楽

posted at 13:25:22

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。逆温度にあたるものが負になるのは結構普通。

統計力学で逆温度が負にならないのは、(熱浴と合わせた全体系のエネルギー保存則を仮定する前の段階では)注目する系のエネルギーに上界が無い場合を扱うのが普通でさらに等確率の原理を仮定しているから。

タグ： 数楽

posted at 13:32:35

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 制限を課す前の確率分布qに関する確率変数fの期待値をa_0=Σf_i q_iと書くとき、a_0より大きなaについて、大数の法則に妨げる制限を(1/N)Σf_{i_ν}≧aと設定すると、逆温度βは負になります。a_0=∞なら逆温度は負になりません。統計力学はそういう状況。

タグ： 数楽

posted at 13:58:08

非公開

タグ：

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Kullback-Leibler情報量に関するSanovの定理を仮定してボルツマン因子を出すことは易しい。(ボルツマン因子はもっと一般的な状況で出て来る。統計力学の教科書の方針に従えばよい。詳しくは www.math.tohoku.ac.jp/~kuroki/LaTeX/... の第7.2節を参照。)

タグ： 数楽

posted at 17:33:01

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 2つの確率分布p,qのKL情報量の定義はD(p||q)=Σ p_i log(p_i/q_i)．確率q_iでiの目が出るルーレットを考える。そのルーレットをn回まわしたとき、iの目が出た回数をk_iと書くと、iの目が出た割合(経験分布)はp_i=k_i/n．続く

タグ： 数楽

posted at 17:38:01

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。大雑把に言えば、Sanovの定理は

(1/n)log(経験分布がp=(p_i)になる確率)=-D(p||q)+o(1)

が成立することを意味します。o(1)はn→∞で0になる量です。KL情報量D(p||q)が少しでも大きくなるとn→∞で相対確率は0近付く。

タグ： 数楽

posted at 17:43:28

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。すなわち大雑把にSanovの定理は「nが大きなとき、KL情報量D(p||q)は確率分布qによるn回の独立試行で経験分布pが実現する確率の対数の-1/n倍にほぼ等しい」ことを意味します。続く

タグ： 数楽

posted at 17:49:03

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。さらに大雑把に言えば、「KL情報量D(p||q)は、確率分布qによる独立試行で偶然経験分布pが生じる確率が高いほど小さくなるように定められた確率分布qからpへの距離のようなものだ」と言うこともできます。KL情報量は確率モデルqによる真の分布pの予測の誤差の大きさ。

タグ： 数楽

posted at 17:52:47

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Sanovの定理を認めれば、nが大きなとき、制限された確率分布qに従うn回の独立試行による経験分布k_i/nは制限の範囲内でKL情報量D(p||q)が最小になるp_iの近くに集中することがわかります。制限がΣf_i p_i≦aまたは≧aの既出のスタイルなら～続く

タグ： 数楽

posted at 18:02:13

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き～、KL情報量D(p||q)が最小になるp_iは

L=D(p||q)+(λ-1)(Σp_i - 1)+β(Σf_i p_i-a)

を用いたLagrangeの未定乗数法で得られます(未定乗数はλ-1とβ)。続く

タグ： 数楽

posted at 18:06:25

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。∂L/∂λ=0はΣp_i=1を意味し、∂L/∂β=0はΣf_i p_i=aを意味する。∂L/∂p_i=0はlog(p_i/q_i)+λ+βf_i=0すなわち

p_i=e^{-βf_i}q_i/Z，Z=e^λ

を意味します。ボルツマン因子が出て来た！

タグ： 数楽

posted at 18:11:04

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。確率の総和が1になるという条件の未定乗数λ-1のλは分配函数の対数(Massieu函数)に等しく、制限Σf_i p_i≧aまたは≦aという制限に関する未定乗数βが逆温度(絶対温度分の1)になります。

タグ： 数楽

posted at 18:15:40

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。このようにKL情報量の式の形を使えば、制限された範囲内でKL情報量が最小のpが経験的に実現されることからボルツマン因子が容易に出て来る。(実際にはもっと一般的な大偏差原理を仮定してもボルツマン因子が出て来る。KL情報量とSanovの定理のケースは制限し過ぎ。)

タグ： 数楽

posted at 18:17:36

UFO教授 (藤木文彦 Fumihiko @UFOprofessor

17年3月28日

現実にあってるのか否か、ちょっと分からないので、あとで詳しく考えてみます。 twitter.com/genkuroki/stat...

タグ：

posted at 18:17:44

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 というわけで、簡単な場合にボルツマン因子が出て来ることはKL情報量に関するSanovの定理に帰着できたわけです。残った仕事はSanovの定理の「証明」です。どこまでまじめに証明するかが問題になるのですが、応用が主体の人は以下の大雑把な理解で十分だと思います。続く

タグ： 数楽

posted at 18:21:19

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 まず、多項分布について学ぶ。
次に、多項分布における確率(n!/(Πk_i!))Πq_i^{k_i}の対数をスターリングの公式を代入して近似計算する(p_i=k_i/nと置いておく)。
その結果は-nD(p||q)+o(n)になる(Sanovの定理)。

タグ： 数楽

posted at 18:26:01

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 続き。階乗の近似式としてスターリングの公式は空気のごとく使われるので勉強の優先順位が高いです。早めに勉強してすっきりしておいた方がいいと思う。解説ノート www.math.tohoku.ac.jp/~kuroki/LaTeX/... の最初の方にスターリングの公式の導出も書いてあります。

タグ： 数楽

posted at 18:28:14

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Lagrangeの未定乗数法もよく使われます(これも勉強するときの優先順位が高い)。多くの場合に決定された未定乗数は応用上重要な量になります。上の場合にλは分配函数の対数(Massieu函数)になり、βは逆温度(絶対温度分の1)になりました。

タグ： 数楽

posted at 18:30:44

黒木玄 Gen Kuroki @genkuroki

17年3月28日

#数楽 Lagrangeの未定乗数法も直観的に明らかと思えるような理解の仕方があります。仕事の講義では証明の代わりに直観的な説明ですませているのですが、LaTeXで解説ノートを書いたことはない。

タグ： 数楽

posted at 18:32:16

ChaDamSaiNom @ocha_lab

17年3月28日

⚡️ 「お金の分布としての指数分布とガンマ分布」（作成者: @genkuroki）

twitter.com/i/moments/8451...

タグ：

posted at 20:22:08

ゴルゴ・サーディーン @golgo_sardine

17年3月28日

@sakajohn_7 【意味として違うしそこは必要な区別なのでは】いきなりで失礼します。
#掛算 の順序とは、こういう物です。
２年生に教えた事によれば「30×2 と書いたら『30本脚のツルが2羽いる』という意味になる」はずなのに、教えた側の大人が守っていないのです。 pic.twitter.com/MJJb5VO2yn

タグ： 掛算

posted at 23:30:15

ゴルゴ・サーディーン @golgo_sardine

17年3月28日

#掛算 の順序の件をきょう初めて知ったという感じのツイートがたくさんあるのは、「教育　○○してはいけません」のツイが7000RT も行っているせいなのか。

タグ： 掛算

posted at 23:38:14