黒木玄 Gen Kuroki(@genkuroki)/2016年10月

人間の遺伝子、ひどいコードの流用してるな。 twitter.com/ConSordino/sta...

タグ：

posted at 00:06:47

#数楽 RStanを入れたのは www.slideshare.net/mobile/simizu7... を見たから。サンプルX_1,…,X_nから学習した結果によるX_{n+1}の予測精度を近似的に表すWAICのStanによる計算例が紹介されている。WAICはモデル比較のための規準の１つ。

タグ：数楽

posted at 00:24:05

#数楽赤池情報量規準AICは正規分布による近似が有効はケースでのみ有効なモデルの予測精度に関する近似的な規準で、WAICはそれよりずっと適用範囲が広くてより精密な規準。(AICより計算は大変)

タグ：数楽

posted at 00:33:55

非公開

タグ：

posted at xx:xx:xx

saitoha @kefir_

ターミナルでTeX記法による数式表現を実現する謎のツールが誕生していた
groups.google.com/d/msg/fricas-d...

タグ：

posted at 03:12:56

#数楽「ベイズ統計は事前分布という主観でしか決められないものを使っているので科学的に怪しい」という言説はクリアに間違っているという話を最近しています。不幸にも複数の誤解がそのデマを増幅しているのだと思う。続く

タグ：数楽

posted at 07:55:36

#数楽続き。事前分布の取り方の優劣も、適切な情報量規準を計算して比較することによって可能なので、「事前分布は主観で決めるしかない」という主張は(サンプルデータがすでに得られている状態では)正しくありません。

タグ：数楽

posted at 08:08:40

#数楽続き。以下はすべて誤り。

・分析に主観を入れないためには事前分布として一様分布を採用するべきである。
・事前分布の選び方はパラメーターの空間に入れた座標に依存するべきではない。
・事前分布は主観で決めるしかない。

続く

タグ：数楽

posted at 08:14:21

#数楽続き。あといつも気になるのは、数学的に正しいベイズの定理とベイズ推定(ベイズ学習)の関係に関する曖昧な説明の仕方。ベイズ推定の状況はベイズの定理を数学的に使える場面では*ない*ことをはっきり言わないと分かり難いと思う。ベイズ推定の式はベイズの定理の形を〜続く

タグ：数楽

posted at 08:21:16

#数楽続き〜、ベイズの定理を数学的に適用できる場面に適用してベイズ推定の式を論理的に導出したのではないことに注意が必要です。ベイズ推定の状況とベイズの定理が適用可能な場面を比較することは理解のために有用だと思いますが、前者と後者を混同するのはまずい。

タグ：数楽

posted at 08:25:55

#数楽確率に関する授業で教師が「ベイズの定理にはベイズ統計への応用がある」と言っていたら、生徒の側はその教師のベイズ統計への理解度を一時的に疑ってみた方が無難だと思う。「ベイズ統計は原理はベイズの定理から論理的に出て来るのですか？」と質問してみるといいかも。出て来ない。

タグ：数楽

posted at 08:32:16

#数楽数学的定理はそれが適用可能な場面では信頼できる結果を導く。ベイズの定理も数学的定理なのでそれが適用可能な場面では信頼できる数値を導く。しかし、ベイズ統計の場面では未知の確率分布を推定するためにモデルのパラメーターの確率分布(事前分布、事後分布)を利用している。続く

タグ：数楽

posted at 08:36:24

#数楽続き。ベイズ統計における事前分布(事前確率)と事後分布(事後確率)はベイズの定理が適用可能な真の確率分布に基いたものではなく、どちらも推定のために導入された道具に過ぎない。それらをベイズの定理に基いて信頼することは論理的に不可能である。続く

タグ：数楽

posted at 08:41:59

Akinori Ito @akinori_ito

ジョジョ実写版のロケ地が宮城でなかったことを神に感謝する日がいずれ来るに違いない

タグ：

posted at 08:42:42

#数楽ベイズの定理の式とベイズ推定(=ベイズ学習)の式を比較して説明することは後者の理解を助けると思うが、前者から後者が論理的に導かれるのではないことを明瞭に説明していない解説は問題ありだと思う。ヒトは確率がらみのことを直観的に処理できないので注意深い説明が必要。

タグ：数楽

posted at 08:45:56

#数楽学部生向けの確率統計の教科書を図書館で大量にチェックして、「ベイズの定理とベイズ統計の関係についてどのように説明しているか」のリストを作ると面白いかも。そういうことはよくできる学生の集団(もしくは個人)がやるといいと思う。大学生だったら教科書への批判的態度は必須。

タグ：数楽

posted at 08:49:36

#数楽ツイッターなどで教科書を批判するために内容を引用するときには、(1)誰が書いたどの本からの引用であるかを明確にし、(2)問題ありの部分をピンポイントで引用して、(3)引用した理由(批判の内容)をきちんと述べるべきです。この3つのどれが欠けてもまずい。

タグ：数楽

posted at 08:53:18

#数楽続き。名指しの批判になることを避けるために、誰のどの本からの引用なのかを明らかにせずに批判したい部分の写真をツイッターに投稿するのはまずいです。誰のどの本からの引用であるかも明記しないとまずい。つまり、引用して批判したければ、名指しの批判以外は許されなくなる。

タグ：数楽

posted at 08:57:27

#数楽ベイズの定理の式とベイズ推定の式を比較してみましょう。XとWは離散型の確率変数だとし、Aの確率をP(A)と書くことにします。W=wの場合に制限したときのX=xとなる条件付き確率をP(X=x|W=w)=P(X=xかつW=w)/P(W=w)と書くことにしましょう(定義)。

タグ：数楽

posted at 09:07:03

#数楽続き。X=xという条件の下でのW=wの条件付き確率もP(W=w|X=x)=P(X=xかつW=w)/P(X=x)と定義されます。以上の2つの条件付き確率のあいだに
P(W=w|X=x)
=P(X=x|W=w)P(W=w)/P(X=x)
が成立する。これがベイズの定理。続く

タグ：数楽

posted at 09:13:06

#数楽続き。ベイズの定理は2種類の条件付き確率の定義からただちに得られるほぼ自明な結論に過ぎません。そこに疑わしい点は何もない。ベイズの定理が適用可能な場面でベイズの定理は常に確実に信頼できる結果を導き出します。(多分高校ですでにそういうことを具体的な問題で習っているはず。)

タグ：数楽

posted at 09:17:13

#数楽ベイズの定理の式の右辺の分母は分子のwに関する和に等しい：
P(X=x)
=Σ_w P(X=xかつW=w)
=Σ_w P(X=x|W=w)P(W=w).

ベイズの定理の文脈でこれは自明な式なのですが、ベイズ推定におけるこれに対応する式は分配函数の定義式になります。

タグ：数楽

posted at 09:24:24

#数楽ベイズの定理は次のように書き直されます。

Z(x)=Σ_w P(X=x|W=w)P(W=w)
とおくと、
P(X=w|X=x)
=P(X=x|W=w)P(W=w)/Z(x).

以下では改めてベイズの定理と呼ぶことにしましょう。続く

タグ：数楽

posted at 09:29:25

昨夜、布団に入ってから、寝る前に中2長男と小5次男がこれを話し合ってた… twitter.com/tadamago/statu...

タグ：

posted at 09:36:20

#数楽続き。ベイズの定理は、条件W=wの下でX=xとなる条件付き確率P(X=x|W=w)とW=wとなる確率P(W=w)がわかっているとき、条件X=xのもとでW=wとなる条件付き確率P(W=w|X=x)を求める式だとみなせるわけです。ベイズ推定ではちょうどその形を式を採用します。

タグ：数楽

posted at 09:36:41

そしてその後、「0は偶数か？」問題で揉めてたw

タグ：

posted at 09:44:19

@vecchio_ciao なぜそこで揉める。😅

タグ：

posted at 09:46:43

@kuri_kurita
長男は「0は偶数でも奇数でもない」と主張していて、次男が「3日前に偶数だと学校で習った」と。今朝、次男の教科書を出してきて確認しました。 pic.twitter.com/HRQoS7r1QI

タグ：

posted at 09:54:56

#数楽続き。理解度を確認するための問題。白のルーレットを回すと2/3の確率で当たりが出て、黒のルーレットを回すと1/3の確率で当たりが出る。白、黒のルーレットのどちらかを回すかはランダムに決めており、それぞれ1/4、3/4の確率で回されるとする。続く

タグ：数楽

posted at 09:55:35

#数楽続き。我々にはどちらのルーレットを回したかはわからないが、当たりが出たかどうかは知らされる。当たりが出たと知らされた場合に白のルーレットがまわされていた確率を求めよ。問題終わり。答えは書きません。

タグ：数楽

posted at 09:58:06

@vecchio_ciao 「偶数でも奇数でもない」という発想がどこから出て来たのか知りたいです！（いや、長男くんをバカにしているわけではなくて、先日もこんなの見たし何か共通の理由が？→ twitter.com/kuri_kurita/st... ）

タグ：

posted at 10:00:15

#数楽続き。ベイズの定理の話にはどこにも怪しげとみなされそうな部分はありません。

ベイズ推定の話はそれよりずっと複雑です。ベイズ推定の設定は以下の通りです。まず、確率変数Xの真の確率分布は不明であり、我々はその確率分布を推定したいと思っているとします。続く

タグ：数楽

posted at 10:04:52

@kuri_kurita
そんな感じだと思います。
「0は自然数ではなく“無”だから、どちらにも当てはまらない気がする」そうです。私も感覚的には近いものがあります。

タグ：

posted at 10:12:23

#数楽続き。そのために、P(X=x|W=w)とP(W=w)それぞれの類似物であるp(x|w)とφ(w)を用意して、Σ_w p(x|w)φ(w)の形でX=xとなる真の確率を推定したい。その推定のために用いられるのは確率変数Xの実現値達x_1,…,x_nである。続く

タグ：数楽

posted at 10:13:15

#数楽続き。ベイズの定理によればXの値がxとして実現した後のW=wとなる確率は
P(X=x|W=w)P(W=w)
に比例する。比例定数は確率の総和が1になるという条件で決まる。これの類似でφ(w)を得られたデータx_kたちに基いて更新して行くことを考える。続く

タグ：数楽

posted at 10:20:23

@vecchio_ciao そういう素朴な感覚を上書きして発展させていかなくちゃいけないのに、なんか逆に強化してる指導者がいるような気がして仕方ないです。

タグ：

posted at 10:20:30

#数楽続き。その更新手続きによって、
φ_n(w)
=p(x_1|w)…p(x_n|w)φ(w)/Z_n、
Z_n=Z_n(x_1,…,x_n)
=Σ_w p(x_1|w)…p(x_n|w)φ(w)
が得られる。Z_nは確率の総和を1にするための規格化定数(分配函数)。続く

タグ：数楽

posted at 10:24:53

#数楽続き。データに基いて更新されたφ_n(w)を用いたΣ_w p(x|w)φ_n(w)を未知であるX=xとなる真の確率の推定値とするのがベイズ推定です。ベイズ推定の結果と真の確率分布のあいだの誤差がどうなるかを知るためには複雑な数学的議論が必要になります。そこは難しい。

タグ：数楽

posted at 10:29:12

@kuri_kurita
長男は小学校で習った定義を忘れて、自分なりの思考を深めていたわけですが、時々それが正しいのか確認しながら進むことは、何を学ぶにも必要な作業だとわかって良かったね、ということで今朝は一件落着しました。

タグ：

posted at 10:36:12

@vecchio_ciao いいお母さんに立派な息子さんたちで羨ましい！それに引き換え我が家は…😔

タグ：

posted at 10:40:26

#数楽続き。ベイズ推定の出発点になるp(x|w)とφ(w)はベイズの定理におけるP(X=x|W=w)やP(W=w)とは全然違うものです。未知の確率分布を推定するために採用された仮の道具に過ぎない。道具の良し悪しはその性能で測られなければいけません。続く

タグ：数楽

posted at 10:43:10

#数楽続く。推定のために採用されたパラメーター付き確率分布p(x|w)と事前分布φ(w)の道具としての良し悪しは何らかの意味での推定の予測精度で測られるべきでしょう。予測精度の近似値を求める部分が数学的にとても面白い話になっているわけです。

タグ：数楽

posted at 10:46:12

#数楽まとめ
・ベイズ推定の式とベイズの定理の式の比較はベイズ統計の理解のために役に立つ。
・しかし、ベイズ推定の原理はベイズの定理から導かれ*ない*。
・具体的なケースでの具体的なベイズ推定の方法の性能の評価には特別な数学的道具が必要になる。

タグ：数楽

posted at 10:51:37

#数楽書き忘れたこと。ベイズ推定における分配函数Z_nの意味。あとで書く。

タグ：数楽

posted at 10:54:37

@kuri_kurita @vecchio_ciao 　#掛算
ご存じとは思いますが、念のため。
現在の算数教育の世界では、「０は偶数だけど２の倍数でない」ようです。
8254.teacup.com/kakezannojunjo...

タグ：掛算

posted at 11:03:37

@kuri_kurita @vecchio_ciao 　　#掛算　↓の画像から判断すると
twitter.com/vecchio_ciao/s...

「０は偶数だけど２の倍数ではない。だけど２で割り切れる」ということになりますね。

タグ：掛算

posted at 11:06:07

@sekibunnteisuu @vecchio_ciao あぁ、そういう意味か！　何か引っかかったんですけど、やっと理解できました。　本当に闇は深い!

タグ：

posted at 11:07:43

@kuri_kurita @vecchio_ciao 　#掛算　算数教育だと「０はどんな数の倍数でもない」となっているのかどうか、「０は０の倍数である」というのは算数教育界では真なのか偽なのか、私にも分かりませんｗ
算数は難しいｗ

タグ：掛算

posted at 11:11:14

@sekibunnteisuu @kuri_kurita
教科書の次のページ「2の倍数にあたる数を◯で囲みましょう」というところで、2の倍数の0に◯をつけた後、消しゴムで消した形成があったので、次男に確認したところ、「0には◯つけないで」と指導があったそうです。 pic.twitter.com/nM4rq4ve2P

タグ：

posted at 12:08:57

@vecchio_ciao @kuri_kurita あ～やっぱりorz　#掛算
中学数学だとなし崩し的に０は倍数のようです。どの段階で０が倍数と教えられるのか不明。
8254.teacup.com/kakezannojunjo...

タグ：掛算

posted at 12:14:06

@sekibunnteisuu @kuri_kurita
0が2の倍数ではない理由の説明はなく、「他の3、4、5の倍数も0には◯をつけない」とだけ言われたらしいです。

タグ：

posted at 12:14:49

@vecchio_ciao @kuri_kurita
↓で報告させていただきました。ご都合悪ければお知らせください。
8254.teacup.com/kakezannojunjo...

タグ：

posted at 12:17:24

@vecchio_ciao ありゃぁ。😱

タグ：

posted at 12:17:47

0 も -2 も 2 の倍数だよね？

タグ：

posted at 12:19:01

@find25182902 @kuri_kurita @vecchio_ciao #掛算　そこは微妙で確かに文言は「０については考えないことにします。」なんだけど、０を含んだ数直線を提示して倍数に○をつけさせることで、「０について考えさせて、倍数ではない」と指導しているのが現状。

タグ：掛算

posted at 12:19:34

「○○については後で考える事にして今は置いておく」という意味で「○○については考えない事にする」というのを、「○○について考えるのは間違いである」と解釈してしまう人は多い。

タグ：

posted at 12:28:23

#数楽続き。事前分布の事後分布への更新を「合理的な人がデータに基いて主観的な確信の度合いを変える行為」のモデルとみなすこともあまり適切とは言えないと思う。なぜならば、本当に合理的な人であれば、事前分布の選択の仕方によって予測の精度がどのように変わるかに関する数学的知識を～続く

タグ：数楽

posted at 12:30:43

「適用範囲外である（適用してはいけない）」というのと「適用範囲内だが面倒だから今は教えない」というのは厳然と異なる。後者に対して「そのあたりに将来学ぶべき面倒な要因があるのだ」という事に興味を示す人間は育つ。

タグ：

posted at 12:31:28

#数楽続き～持っていて、しかも予測の精度の近似値を計算して複数の事前分布を比較してより適切な事前分布を選び直すことさえ可能なはずなので、固定された事前分布の事後分布への更新だけで合理的な人がすますはずがないからである。予測の精度を上げるためにはもっと複雑な計算が必要。

タグ：数楽

posted at 12:34:06

#数楽続き。それに対して「観測データに基いて学習モデルp(x|w)だけではなく事前分布φ(w)の取り方も変えて真の確率分布q(x)の推定を試みる行為」を「信頼できる知識を得るための行為」のおもちゃ的なモデルとみなすことは色々な意味で有益だと思う。続く

タグ：数楽

posted at 12:40:12

#数楽続き。仮想的に設定された確率論的な世界では、未知の真の法則はその法則が生成するサンプルのサイズnをどんなに大きくしてもそこから正確な法則を知ることはできない。しかし、確率論的な設定の多くでn→∞の漸近挙動が色々わかっている。大数の法則、中心極限定理はその典型例。続く

タグ：数楽

posted at 12:51:49

#数楽続き。様々な推定法についてもn→∞での振る舞いが色々わかっていて、そのことを利用すると、目的に応じた推定結果の精度の高さを計算する仕組みを作ることができます。それによって真の法則自体は永久にわからないままなのに、推定で得た法則の真の法則からの誤差の大きさは評価できる。

タグ：数楽

posted at 12:56:27

#数楽続き。繰り返しになりますが、ポイントは、漸近挙動に関する数学的な法則を使える状況であれば、真の法則を知ることができなくても、推定で得た法則のモデルと真の法則のあいだの誤差を見積もることはできるということです。科学一般において漸近挙動に関する数学的法則は非常に大事。

タグ：数楽

posted at 12:59:30

#数楽続き。以上で述べたような話を単なるお話ではなく、具体的な数学的議論と数値的な実験で理解したい人にとって、ベイズ統計は十分な複雑さと精妙さを兼ね備えたとてもよい題材なのではないかと思います。信頼できる知識を得るためには「漸近挙動に関する数学的結果」が大事になる。

タグ：数楽

posted at 13:01:41

#数楽続き。真の法則を知ることなく、モデルと真の法則のあいだの誤差を近似的に求めることの例として、赤池情報量基準AICやそれよりも圧倒的に広い状況で利用できてしかも精度も高いWAICがあります。コンピューター上で実装可能な例がきちんとあることが大事。

タグ：数楽

posted at 13:09:00

#数楽続く。忘れていた分配函数Z_nの話。復習。ベイズ推定における学習モデルp(x|w)とパラメーターwに関する事前分布(事前確率)φ(w)は、ベイズの定理における条件付き確率P(X=x|W=w)と確率P(W=w)の類似物になっているのでした。続く

タグ：数楽

posted at 13:17:13

#数楽続き。ベイズ推定における分配函数Z_nの定義は
Z_n(x_1,…,x_n)=Σ_w p(x_1|w)…p(x_n|w)φ(w).
これのベイズの定理の状況での対応物は何でしょうか？
次のような問題を考えます。複数のルーレットwがあり、どのルーレットをまわしたのか～続く

タグ：数楽

posted at 13:29:11

#数楽続き～我々は知らないとします。我々が知らされるのはルーレットを回してでた数X=xだけです。ルーレットを回す側はランダムに確率P(W=w)でルーレットwを選びます。ルーレットwを選んだときにX=xとなる確率はP(X=x|W=w)と書かれます。続く

タグ：数楽

posted at 13:32:16

#数楽続き。このとき、P(X=x_1|W=w)…P(X=x_n|W=w)はルーレットwをn回まわして得られた数列がx_1,…,x_nになる確率です。ルーレットをまわす側がルーレットwを選ぶ確率はP(W=w)と書かれるので、～続く

タグ：数楽

posted at 13:35:17

#数楽続き
Σ_w P(X=x_1|W=w)…P(X=x_n|W=w)P(W=w)
はルーレットを回す側がルーレットwを確率P(W=w)で選んでルーレットwをn回まわすとき、数列x_1,…,x_nが得られる確率になる。これが分配函数のベイズの定理的状況における対応物です。続く

タグ：数楽

posted at 13:38:18

#数楽続き。ベイズの定理的状況では正しく確率(分布)が計算されるのですが、ベイズ推定は未知の確率(分布)の推定を行なっているので正しい確率(分布)が得られている保証はなく、その推定値とみなされる量が計算されるだけになります。続く

タグ：数楽

posted at 13:41:56

#数楽続き。
Σ_w P(X=x_1|W=w)…P(X=x_n|W=w)P(W=w)
はランダムに選んだルーレットをn回まわして数列x_1,…,x_nが得られる確率で、分配函数
Z_n(x_1,…,x_n)=Σ_w p(x_1|w)…p(x_n|w)φ(w)
の値は「推定値」。

タグ：数楽

posted at 13:46:01

#数楽続き。「確率の総和は1」という条件Σ_x p(x|w)=1、Σ_w φ(w)=1が成立していれば(通常そう仮定する)、Z_nもΣ_{x_1,…,x_n}Z_n(x_1,…,x_n)=1を満たしています。Z_nは数列x_1,…,x_nが得られる確率のモデルになっています。

タグ：数楽

posted at 13:50:48

#数楽 Z_nの性能は(未知である)真の確率分布が生成した数列x_1,…,x_nにおける値が高い方が良い。この直観を精密化するにはまたしてもKL情報量を利用します。各xの真の確率をq(x)と書くとき、数列x_1,…,x_nが真の確率分布のもとで得られる確率は～続く

タグ：数楽

posted at 13:55:10

#数楽続き～q(x_1)…q(x_n)です。
確率分布Z_n(x_1,…,x_n)によって真の確率分布q(x_1)…q(x_n)がどれだけ再現されるかはそのあいだのKullback-Leibler情報量がどれだけ小さいかを見ればわかる。(KL情報量は空気のごとく重要)続く

タグ：数楽

posted at 13:58:09

#数楽そのあいだのKL情報量はx_1,…,x_nに関する和で次のように書ける:
Σq(x_1)…q(x_n) log(q(x_1)…q(x_n)/Z_n(x_1,…,x_n))
=nS(q)-Σq(x_1)…q(x_n) log(Z_n(x_1,…,x_n)).
ここで～続く

タグ：数楽

posted at 14:02:26

#数楽続き、
S(q)=Σ_x q(x) log q(x)
は真の確率分布q(x)のエントロピーです。
2つ目の項は自由エネルギー
F_n(x_1,…,x_n)=－log Z_n(x_1,…,x_n)
の真の確率分布に関する平均になっています。
自由エネルギーも自然に出て来た！

タグ：数楽

posted at 14:04:57

#数楽続き。統計学処分やでは、分配函数は確率の総和を1にするための規格化定数として登場するのですが、なぜか分配函数を計算できれば大事なことがすべてわかる仕組みになっていることが多い。そして、分配函数の対数である自由エネルギーが現象との直接の関係で重要になることが多い。続く

タグ：数楽

posted at 14:06:47

#数楽続き。統計力学とは全然違うベイズ推定の状況であっても、分配函数が特別な意味(真の確率分布によって数列x_1,…,x_nが得られる確率の推定値)を持ち、さらにその対数である自由エネルギーが推定の精度の高さを測る文脈で自然に登場する仕組みになっている。

タグ：数楽

posted at 14:08:49

#数楽続き。感情的には一つ前のツイートの文末はすべて「！」にしておいた方がよかったかも。数学的な事柄について色々勉強していれば経験的に各種「母函数」の重要さは身に染みて分かるようになって来るのですが、分配函数や自由エネルギーがなぜ重要かについてはいつまでも不思議さが残る。

タグ：数楽

posted at 14:11:08

#数楽 KL情報量は小さい方がZ_nによる予測は精度が高く、nS(q)は推定の道具として選ぶp(x|w)とφ(w)に依存じないので、自由エネルギーF_n=－log Z_nの真の確率分布に関する平均が小さいp(x|w)、φ(w)の組合せの方が優れているとみなすことができます。続く

タグ：数楽

posted at 14:22:17

#数楽続き。ただし、このタイプの性能評価は
真の確率分布が生成する数列x_1,…,x_nの予測精度が高い学習モデルp(x|w)と事前分布φ(w)の組
を得たい場合には適切なだけで、目的がこれとは違う場合には不適切な基準になります。続く

タグ：数楽

posted at 14:25:14

#数楽続き。たとえば、同一のサンプルx_1,…,x_nを用いて作られた次のx_{n+1}の確率分布を予測するためのモデル(多くの場合にベイズ学習によってコンピューター上にすでに作られているモデル)の評価には別の方法が必要になります。

タグ：数楽

posted at 14:29:52

#数楽続き。サンプルx_1,…,x_nから学習モデルp(x|w)と事前分布φ(w)によって作られた次のx_{n+1}の確率分布のモデルはp_n(x_{n+1})=Z_{n+1}(x_1,…,x_n,x_{n+1})/Z_n(x_1,…,x_n)とシンプルに書けます。

タグ：数楽

posted at 14:32:44

#数楽続き。このp_n(x)と真の分布q(x)のあいだのKL情報量Σ_x q(x) log(q(x)/p_n(x))が小さいほどp_n(x)の性能は高いということになります。

ただし以上に登場したKL情報量は未知である真の確率分布を含んでいて直接には計算不可能です。続く

タグ：数楽

posted at 14:34:45

#数楽続き。しかし、観測されたデータx_1,…,x_nを用いて、それらを近似値を計算することは可能。そういう話が渡辺澄夫さんのウェブサイトで解説されているわけです。おすすめ！
watanabe-www.math.dis.titech.ac.jp/users/swatanab... (iPhoneならドルフィンブラウザで閲覧できる)

タグ：数楽

posted at 14:36:46

#数楽以前、田崎晴明さんの熱力学と統計力学の解説に出会って、学生時代に「怪しげげよくわからない」と思っていた事柄がことごとく解消したのと同じ感覚を、渡辺澄夫さんによる解説を読んで感じています。どちらの解説も「註」に該当する部分に大事なことがたくさん書いてある。なんか似ている。

タグ：数楽

posted at 14:39:53

#数楽リンク
田崎晴明さん著の熱力学と統計力学の教科書
www.amazon.co.jp/dp/4563024325
www.amazon.co.jp/dp/4563024376
www.amazon.co.jp/dp/4563024384

タグ：数楽

posted at 14:44:20

#数楽リンク
渡辺澄夫さん著のベイズ統計に関する教科書
www.amazon.co.jp/dp/462781321X
www.amazon.co.jp/dp/4339024627

上の方の連続ツイートの記号法は渡辺澄夫さんのそれに近いものにしたつもり。

タグ：数楽

posted at 14:46:22

#数楽渡辺澄夫著『ベイズ統計の理論と方法』 www.amazon.co.jp/dp/4339024627 の「初等確率論の基礎」の最終章にKullback-Leibler情報量について簡単な解説がある。KL情報量に関する詳細については→ www.math.tohoku.ac.jp/~kuroki/LaTeX/...

タグ：数楽

posted at 15:06:03

#掛算 Re:RTs 日本の算数教科書ワールドでは基本的に「0は偶数であるが、0は2の倍数から除く」ということになっており、教科書によっては0を含む数直線を示して「3の倍数に丸をつけよ」と書いてあって0に丸をつけるとバツになる教え方をする方針になっている。とんでも算数の世界。

タグ：掛算

posted at 15:22:48

#掛算日本の算数教科書が「0は偶数だけど、2の倍数ではない」となっていることに関する証拠は次の連続ツイートにある→ twitter.com/genkuroki/stat...

タグ：掛算

posted at 15:28:16

#掛算自分で考える能力があって保護者の助けを借りられる子供なら大丈夫だと思いますが、運の悪い子供は算数の教科書のおかしなスタイルのせいで不幸な方向に追いやられてしまっているかも。算数の教科書くらい独自のとんでもスタイルを止めて普通の常識的スタイルにできないものかねといつも思う。

タグ：掛算

posted at 15:31:44

#掛算倍数・約数には色々な考え方があって面白いのですが、一つの考え方は数直線上にaの倍数全体がどのように分布しているかに注目すること。(算数レベルの段階で可能ならば-1,-2,…も含めて数直線を描いた方がわかりやすいと思う。)続く

タグ：掛算

posted at 15:43:43

#掛算 aがbの約数であることと、bがaの倍数であることは、aの倍数全体がbの倍数全体を含んでいることは同値になります。むしろこれを約数・倍数の定義として採用するべきと言いたくなるくらい。0はあらゆる数の倍数であり、あらゆる数は0の約数であることもわかる。

タグ：掛算

posted at 15:46:21

#掛算「aとbの最小公倍数の倍数全体」と「aの倍数全体とbの倍数全体の共通部分」は一致する。たとえば、数直線上の4の倍数と6の倍数に印をつけて両方の印がついた数全体がどうなっているかを見ると、4と6の最小公倍数12の倍数全体になっている。もっと面白いのは最大公約数。

タグ：掛算

posted at 15:51:42

学生が、希薄溶液でのみ成り立つ近似を「基本法則」だとか「真実」だと思い込んでいて溶液論を教える時に悩まれるなんて事があった。化学平衡について教え始めるときに濃厚溶液で起きる事は面倒だから置いておくというのはアリだろうけど、教えた範囲の事が一般的な真実だと思い込まれてると困る。

タグ：

posted at 15:53:01

#掛算最大公約数を理解するには負の数もまとめて扱った方が多分楽。負の数を含む数直線上のaの倍数とbの倍数のすべてに丸を付ける。aの倍数とbの倍数の和(または差)になっている数にもどんどんマルをつける。このときマルをつけられてしまう数の全体はどうなっているでしょうか？続く

タグ：掛算

posted at 15:54:12

#掛算続き。答え：aの倍数とbの倍数の和または差になっている数全体はaとbの最大公約数の倍数全体と一致している！

これはユークリッドの互除法で可能。各具体例ごとのチェックは小学校レベルです。この結果は符号理論や暗号理論では空気のごとく使われます。役に立つ数学の典型例の一つ。

タグ：掛算

posted at 15:57:02

#掛算続き。「子供達に数直線上にどんどんマルをつけさせて何かを発見させることができれば面白い算数の授業ができそうじゃないか？」と私は思うのですが、0を含む数直線で2の倍数として0に丸をつけるとバツにされるような日本の算数教科書ワールドではそういう授業は不可能だと思う。

タグ：掛算

posted at 15:59:09

残り18件のツイートを見る

#掛算算数や数学でたぶん一番大事なことは「幾つか具体例をチェックしてみると偶然そうなったとは考えることが不可能な特別に綺麗な法則が見えて来ることがある」という事実だと思う。その綺麗な法則をどう呼ぶかは二次的な問題。綺麗な法則に気付いた途端に記憶するべき項目がすべて消え去る。

タグ：掛算

posted at 16:04:55

#掛算 0が含まれると倍数・約数に不安になる人はこのツイートの返答連鎖をたどって数直線上に丸をつける遊びをしばらくやってみるとよいと思います。数学を理解するこつは「子供がやりそうなこと」に時間をかけることだと思う。最大公約数の結果は答えを知っていても実際にやると感動します。

タグ：掛算

posted at 16:22:06

#掛算「aの倍数とbの倍数の和と差になっているような数全体の様子を想像しろ」といきなり言われても大変なのですが、実は「aとbの最大公約数の倍数全体を想像すればよい」というのが最大公約数に関する驚くべき法則。aとbを具体的に与えれば数直線上で確認できる。

タグ：掛算

posted at 16:27:00

#数楽ベイズ統計における分配函数の話に戻る。統計力学における分配函数の話を知っていれば、それを逆温度βを入れた形に一般化することは誰でも思い付きます: Z_n^β(x_1,…,x_n)=Σ_w p(x_1|w)^β…p(x_n|w)^β φ(w)．事後分布も一般化される。

タグ：数楽

posted at 17:20:49

#数楽続き。逆温度βを含む一般化された事後分布は
φ_n^β(w)=p(x_1|w)^β…p(x_n|w)^β φ(w)/Z_n^β(x_1,…,x_n)．
統計力学の計算をちょっとでもしたことがある人ならば本当に誰にでも思い付く式。問題は統計学的に意味があるか。続く

タグ：数楽

posted at 17:24:21

#数楽続き。なんと、逆温度がβ=1/log nの場合が、
モデルの性能評価のために計算したいβ=1の自由エネルギー
F_n^1(x_1,…,x_n)=-log Z_n^1(x_1,…,x_n)
の近似計算に役に立つのです！→ watanabe-www.math.dis.titech.ac.jp/users/swatanab...

タグ：数楽

posted at 17:29:08

#数楽続き。nが大きなとき、自由エネルギーF_n^1はO(n)の漸近挙動を持ち、そのn分の1は次のWBIC_nのn分の1で近似されるようです：
WBIC_n=-Σ_w log(p(x_1|w)…p(x_n|w))φ_n^β(w)．
これはサンプルx_kのみから計算可能。

タグ：数楽

posted at 17:34:15

#数楽補足。(1)WBIC_nを定義するときに使われる逆温度はβ=1/log n．(2)自由エネルギーの漸近挙動のO(n),O(log n),O(log log n)の項までにはサンプルx_kに依存した量は現われません。だから、自由エネルギー自身が小さな推定法が良い推定法。

タグ：数楽

posted at 17:39:52

#数楽補足続き。(3)自由エネルギーの定義式の中には真の確率分布は含まれておらず、原理的にはサンプルx_kたちから計算可能。しかし、その計算は相当に大変だった。しかし、WBIC_nならば必要な計算量を大幅に減らせる。

タグ：数楽

posted at 17:41:30

#数楽補足続き。(4)自由エネルギー自身の漸近挙動の解析にはb函数を用いて解析接続されたゼータ函数が使われる。「コンピューターでの計算量を減らす」というようなことに純粋数学の花形がまたしても役に立っているのを見ると「やっぱりそういうことなんだよね」と言いたくなります。

タグ：数楽

posted at 17:45:37

#数楽そのWBICに関する渡辺澄夫さんの論文は jmlr.csail.mit.edu/papers/v14/wat... から誰でも無料でダウンロードできます。渡辺澄夫さん自身による解説は watanabe-www.math.dis.titech.ac.jp/users/swatanab... に色々置いてあります。これって実用的な話なんじゃないか？

タグ：数楽

posted at 17:48:38

#数楽私は昨日RStanを入れたばかりで何もいじっていないのでよくわかっていないのですが、WAICとWBICの計算例をすでに持っている人がいるなら、その手順を是非とも公開して欲しいものだと思います。WAICについては www.slideshare.net/simizu706/waic を発見した。

タグ：数楽

posted at 17:51:35

非公開

タグ：

posted at xx:xx:xx