黒木玄 Gen Kuroki(@genkuroki)/2016年06月10日

digital.asahi.com/articles/DA3S1...
『消費税が社会保障の財源としてふさわしいとされるのは、景気に左右されにくく、安定的…という点だ』
『景気が落ち込んでも…食品などの生活必需品は買う必要があるからだ』
貧乏になっても削りようがない生活必需品から巻き上げるという鬼畜。

タグ：

posted at 10:05:26

Re:RTs #数楽以上のRTsは素朴に言えば、
多項分布でq_i≧0、Σq_i=1、Σn_i=n、n_i/n=p_iのとき
(n!/(Πn_i!))Πq_i^{n_i} ～ exp(-n Σp_i log(p_i/q_i) + O(log n))
となるということ。

タグ：数楽

posted at 11:01:01

#数楽公式

n→∞で (1/n)log[(n!/(Πn_i!))Πq_i^{n_i}] → -Σp_i log(p_i/q_i)

の証明は高校レベル。左辺の極限は逐次積分に書き直される。大学レベルではスターリングの近似公式を使えば自明に近い計算になる。

タグ：数楽

posted at 11:04:46

#数楽多項分布のn→∞での漸近挙動の指数函数部分を記述している S=-Σp_i log(p_i/q_i) が相対エントロピー。以上の計算でq_iは多項分布を決める確率分布で、p_iはn回の独立試行の結果得られた経験分布。

log(経験分布がp_i達になる確率)～nS

タグ：数楽

posted at 11:09:36

#数楽高校レベルの数学の知識で相対エントロピーSは0以下なことを示せます。最大の0になるための必要十分条件はp_q=q_iになる。田崎さんの統計力学の教科書の確率論の節の問題でも解説されています。田崎さんの本の演習問題は教える側にとっても非常に参考になる話が書いてあります。

タグ：数楽

posted at 11:13:18

#数楽 log(経験分布がp_i達になる確率)～n×(0以下の相対エントロピーS)
が成立しているということは、相対エントロピーSが小さい所ほどnに関して指数函数的に高速で確率が0に収束するということです。特に何も条件と付けなければp_i=q_iに分布が集中する(大数の法則)。

タグ：数楽

posted at 11:18:42

#数楽 log(経験分布がp_i達になる確率)～n×(0以下の相対エントロピーS)
から、条件付き確率を考える場合には、その条件のもとで相対エントロピーが最大になる分布がもっとも(条件無し)確率の減衰速度が小さいので、n→∞でそこに条件付き確率の分布が集中することになるわけです。

タグ：数楽

posted at 11:23:11

#数楽以上の話は「相対エントロピー」のような用語に不慣れでびびって読むとひどく誤解することになります。やっていることは多項分布のn→∞での漸近挙動のnに関する指数函数部分だけを取り出して見ているだけ(対数を取ってnに比例する部分を見ているだけ)の話です(大学入試レベル)。

タグ：数楽

posted at 11:26:42

#数楽出発点として一様分布を仮定する場合にはiの個数をrとするとき、q_i=1/r とすることになります。以上の話を2項分布でq_1=q_2=1/2の場合に適用した問題が添付画像の(5)にあります。
pic.twitter.com/D1G0yNQAxp

タグ：数楽

posted at 11:31:05

#数楽一つ前のツイートで再^n紹介した高橋陽一郎さんが「数学のたのしみ」誌に書いた記事にあった問題の出し方は非常に参考になりました。何も知らないと面倒な道に入りそうなのですが、確率論を知っていればほとんどどれも瞬殺。(5)は先に述べたエントロピーの話になっています。

タグ：数楽

posted at 11:38:52

#数楽 pic.twitter.com/D1G0yNQAxp の問題(5)の左辺の対数の中に(1/2)^nを挿入したものは、n回の丁半博打で当たった回数の割合p=k/nがa<p<bとなる確率の対数をnで割ったものになります。大数の法則からn→∞でpは1/2に近付きます。続く

タグ：数楽

posted at 11:48:34

#数楽続き。だから、a<p<bの範囲が1/2を含んでいなければ、a<p<bとなる確率はn→∞で0に近付きます。すなわち確率の対数は-∞に発散する。確率の対数をnで割れば-∞に発散する速さがわかる。そしてそこに(相対)エントロピーが現われるという仕組みになっているわけです。

タグ：数楽

posted at 11:52:46

#数楽仮にa>1/2とし、n回の丁半博打の結果a≦p≦1となる確率(a>1/2なので勝った回数の方が多い)を考えましょう。このとき、pが1/2から離れれば離れるほどn→∞で確率は高速で0に収束します。だからa≦p≦1という条件付きの確率分布はn→∞でp=aに集中することになる。

タグ：数楽

posted at 11:56:15

#数楽だから、(5)の問題はa>1/2のとき、k/n=aを仮定して、n→∞の極限をスターリングの公式もしくは大学入試レベルの区分求積法で計算した結果になります。そして、その結果は2項分布ではなく、多項分布の場合にすでに示してあります。というわけで(5)はひとめで解けます。

タグ：数楽

posted at 12:05:57

#数楽以上で説明したような話(多項分布のn→∞での様子をnの指数函数部分に制限して見るだけの超素朴な話とその応用)をわかりやすく説明してある日本語の解説でアクセスし易いものを見付けることができませんでした。本当は大学1～2年生向けの教科書に書いてあるべき話だと思う。

タグ：数楽

posted at 12:16:40

@Hal_Tasaki 最近の理学部2年生向けの講義の前(休み時間)に、物理学科の学生に声をかけたら、田崎さんの熱力本を読んでいるようでした。

タグ：

posted at 12:48:49

#数楽たぶん、大数の法則(n→∞で分布が期待値に集中)は教わらなくても子供のときからの遊びの経験から直観的にわかっている人が多いと思う。問題は条件付き確率の分布がどこに集中するかなのですが、それも先の丁半博打のケースに感覚的に納得する人は多いと思う。続く

タグ：数楽

posted at 13:27:06

#数楽繰り返しになりますが、a>1/2として、n回の丁半博打の結果a以上の勝率(aは1/2より大きいので勝ち越している)で終わった場合だけに勝率の分布を制限するとき(条件付き確率)、勝率aのところに分布が集中しそうなことにも(数学的な証明抜きで)納得する人は相当にいると思う。

タグ：数楽

posted at 13:30:39

#数楽丁半博打だと丁と半の2通りしか考えないのですが、目の出方の分類が2種類よりも多い場合を考えた場合に条件付き確率の分布がn→∞でどこに集中するかを知るためには、丁半博打の場合と違って計算が必要になります。そこまでたどりついたら、後は計算するだけ。やればできるはずの計算。

タグ：数楽

posted at 13:33:42

#数楽今だと博打系の遊びをする子供は減っているような感じがするので、スマホのゲームとかでたとえた方がわかりやすいですかね？でも、そういう事情に詳しくないおっちゃんが工夫してもすべるだけなので、よく知っている博打系のたとえ話で行く方がよいのか。

タグ：数楽

posted at 13:35:37

#数楽博打系の例え話で、ボルツマン因子 exp(-βE_i) を出すためには次のようなよくある遊びを考えればよいです。「毎回独立に確率q_iで E_i/n 円のお金がもらえるゲームをn回繰り返す」。続く

タグ：数楽

posted at 13:43:26

#数楽このとき、n回中iの目がk_i回出たとき、p_i=k_i/nとおくと、もらえるお金の総量は、Σ E_i p_i = U になります。このとき、もらえるお金の総量がU程度になる場合に制限したとき、出目iの割合p_iたちの確率分布がどうなるか知りくなります。続く

タグ：数楽

posted at 13:46:08

Jaynes は彼の「カノニカル分布の情報理論的導出」が等重率の原理に立脚していることを理解していなかったようです。
去年、Maryland 大に行ったときぼくがそう言ったところ、いやわかっていたはずだという意見の人が
@sasa3341 @genkuroki @kikumaco

タグ：

posted at 13:47:08

#数楽 nが大きいとき、log(出目iの割合がp_iの確率)～-nΣp_i log(p_i/q_i) となるので、Σ E_i p_i = U という条件のもとで相対エントロピー S=-Σp_i log(p_i/q_i) が最大になるp_i達の組み合わせが求める分布なります。続く

タグ：数楽

posted at 13:48:50

いて議論になりました。
で、そいつが Jaynes の 1957 年論文を精読したところ「これで等重率原理はいらくななるぜ！」と明確に書いてあるのを確認して、ぼくの言う通りだったということになりました。情報理論の理解
@sasa3341 @genkuroki @kikumaco

タグ：

posted at 13:49:55

も未熟だった時期なので、Jaynes が誤解したのは仕方ないことだと思います。彼の洞察が非自明で重要なことにも疑いがない。ただ、現代のわれわれは、Jaynes 流の「導出」の意味を正しく認識しなければいけない。
@sasa3341 @genkuroki @kikumaco

タグ：

posted at 13:51:44

@Hal_Tasaki @sasa3341 @genkuroki 情報論だけから物理が出てくるはずはないので、どこかに等重率の仮定と同じものが隠れてないといけないのですよね。JaynesはKLじゃなくてシャノンエントロピーを使ったから、隠れたものが見えにくくなったのでしょうか

タグ：

posted at 13:52:01

#数楽続く。空気のごとく使われるLagrangeの未定乗数法を使うことにして、 F=-Σp_i log(p_i/q_i)-λ(Σ p_i-1)-β(ΣE_i p_i-U) とおいて、Fをλ、β、p_iで変微分した結果を0とおけば、～続く

タグ：数楽

posted at 13:52:28

@Hal_Tasaki @sasa3341 @genkuroki Jaynesは昔読んだけど、忘れちゃった。そう書いてありましたか

タグ：

posted at 13:53:13

ちなみに、ぼくがこういった状況をきちんと理解したのは、黒木掲示板に長岡さん（←あの長岡さん！）が登場して解説してくれたからです。あのとき、情報理論を学ぶ価値があるんだということも知りました。
@sasa3341 @genkuroki @kikumaco

タグ：

posted at 13:54:05

ほんと、あの時期の黒木掲示板はすばらしかった。
長岡さんのことは常連は誰も知らなかったはず。あれがなければ彼との出会いはずっと先になっていたでしょう。
@sasa3341 @genkuroki @kikumaco

タグ：

posted at 13:55:24

そう思います。シャノンは「相方が一様分布の KL」という認識を欠いてる人は（今でも物理なんかでは）いる。
@kikumaco JaynesはKLじゃなくてシャノンエントロピーを使ったから、隠れたものが見えにくくなったのでしょうか
@sasa3341 @genkuroki

タグ：

posted at 13:57:12

#数楽続き～、容易に p_i=exp(-βE_i)q_i/Z となることがわかります。ここで Z=exp(λ+1)=Σ exp(-βE_i)q_i でβはもらえるお金の総額が U=Σ E_i p_i であることから決まります。続く

タグ：数楽

posted at 13:59:41

#数楽続き。以上の話には一切「神秘的」な事柄は一切存在せず、決められた確率分布q_iにしたがって銭をもらうだけの話で、もらう銭の総量がU程度になる場合だけに制限すればiの目が出る割合はp_i=exp(-βE_i)q_i/Zの形になる。どこにも曖昧さのない議論。

タグ：数楽

posted at 14:03:26

@Hal_Tasaki @kikumaco @sasa3341 それは当然そうで、今「数楽」タグをつけて書いた記号の方で言えば、n→∞での条件付き大数の法則によって、経験分布p_iがq_iたちから決まるというのが最大相対エントロピーの原理なので、q_iたちの方は決まらない。

タグ：

posted at 14:11:18

@genkuroki @Hal_Tasaki @sasa3341 こういうのをちゃんとやるにはSanovの定理から入るべきなのかもしれないけど、僕はSanovの定理をあまり理解していないので、よくわからない

タグ：

posted at 14:25:19

@kikumaco @genkuroki @Hal_Tasaki @sasa3341 いずれにしても「情報理論から物理法則が出てくる」と考えるのはおかしいので、その場合には、物理法則と等価なものが暗黙のうちにどこかに隠れているはずですね

タグ：

posted at 14:28:27

@genkuroki はい。相対エントロピーから入れば、そもそもの式を書いた時点で自明なのですよね。
@kikumaco @sasa3341

タグ：

posted at 14:35:41

#数楽毎回独立に確率q_iでE_i円のお金がもらえることにして、n回繰り返したときにもらった金額をnで割ったもの(1回平均で見た金額)がU程度になるという条件にした方が良かった。

タグ：数楽

posted at 14:39:26

#数楽頭の中で勝手にもらえる金額E_iが正の値だと思っちゃダメで、負の値ならばお金を取られることになる。だから、以上の設定は典型的なギャンブルの話。n回のギャンブルでもらえる金額割るnがU程度になる場合だけに制限したときの分布がボルツマン因子で記述される。

タグ：数楽

posted at 14:43:50

非公開

タグ：

posted at xx:xx:xx

#数楽昨日の晩にSanovの定理についてどう解説されているかをググって色々見てみたのですが、数学的に厳密な証明を書き下し易いスタイルにこだわっているせいで、直観的に分かり易い話が分かり難い説明になっているように思えました。大した話じゃないはずなのに。続く

タグ：数楽

posted at 15:14:23

#数楽与えられた確率分布 q_i に関する多項分布 n!/(Πk_i!)・Πq_i^{k_i} (Σk_i=n) で出目iの出た割合をp_i=k_i/nと書くとき、スターリングの公式 k!=k^k e^{-k} √(2πk) e^{O(1/k)} をぶちこめば、続く

タグ：数楽

posted at 15:16:50

#数楽続き、n!/(Πk_i!)・Πq_i^{k_i} =(出目の割合がp_iたちである確率)=exp(nS(p)+O(log n))、S(p):=-Σp_i log(p_i/q_i)≦0、p=(p_i) となることはすぐにわかり、続く

タグ：数楽

posted at 15:18:13

#数楽続き、複数のp=(p_i)について、S=S(p)の値がちょっとでも違えば、n→∞でSが小さいほうのpはSが大きいほうのpよりもnについて指数函数的に確率的に生じ難くなる。Sanovの定理が言っていることは本質的にたったこれだけだと思う。続く

タグ：数楽

posted at 15:20:04

#数楽続き。S≦0によって (確率)～exp(nS+o(n)) のように確率の指数函数部分が記述できているというのが、大偏差原理の一つの表現。Laplaceの方法を知っている人にとってこのタイプの挙動はなじみ深いもののはず。

タグ：数楽

posted at 15:26:04

#数楽漸近挙動を見るときには、影響が大きな因子から順番に記述して行くのが定跡なのですが、以上でしたことは、最初のnの指数函数部分exp(nS)の部分のSを記述するだけで非常に役に立つという話。

タグ：数楽

posted at 15:50:10

問題が公開されているので、見た方はお気づきでしょうが、今回のSuperCon予選問題は「虫食い魔方陣」を自動で解くプログラムです

タグ：

posted at 15:52:31

#数楽 exp(nS+O(log n))のO(log n)を無視してよいとみなすことは、大体においてC n^a exp(nS)のC n^aの部分を無視することになるので、ぎょっとすることもあるかもしれませんが、「C n^aはexp(nS)と比較すると1に近い」で問題ない。

タグ：数楽

posted at 17:07:51

日本評論社 @nippyo

【刊行予告】6月12日発売！『数学セミナー』7月号
特集＝中心極限定理から広がる確率論
誰もが知る確率・統計の基本定理でありながら、きちんと理解することが難しい「中心極限定理」。今回は、この定理を中心に据えて、そこから広がる確率論や統計学を応用も交えて紹介する。

タグ：

posted at 17:59:57

#数楽分割数に関するHardy-Ramanujanの定理：

p(n)～exp(π√(2n/3))/(4√3 n) as n→∞.

添付画像中のIngham [In] は www.jstor.org/stable/1970462 pic.twitter.com/oFz5dRpRMg

タグ：数楽

posted at 18:05:08

#数楽 Inghamさんの論文ではη函数分の1の漸近挙動からその係数(=分割数)の漸近挙動を得るためにTauber型定理を証明して使っています。η函数の漸近挙動はそのモジュラー変換性から得られる。漸近挙動を調べるためのモジュラー変換性の利用は由緒正しい使い方かも。

タグ：数楽

posted at 18:08:31