黒木玄 Gen Kuroki(@genkuroki)/2016年10月03日

#数楽さらに実際には、統計力学との明らかな類似に基いてベイズ推定に逆温度βを入れて拡張すると、最尤法はβ→∞の極限における絶対零度でのベイズ推定そのものであることもわかる。物理的には基底状態以外の情報を捨てることに最尤法は対応している。元のベイズ推定はβ=1に対応している。

タグ：数楽

posted at 22:49:21

#数楽確率変数であるサンプルが揺らぐとき、ベイズ推定ではサンプルから計算されたwの確率分布φ(w)が揺らぎ、最尤法ではサンプルから尤度最大の条件で求めたパラメーターθが揺らぐ。

こういう感じでベイズ推定と最尤法は仲間であり、本質的に違うものではないことがわかる。

タグ：数楽

posted at 22:41:43

#数楽ど素人からの素朴な疑問。

タグ：数楽

posted at 22:32:28

#数楽続き〜、統計学が「ベイズ主義」と「頻度論」に分かれているかのような説明は明瞭におかしいし、推測のための複数の方法を公平に評価できなくなる原因になると思う。統計学教育としてかなり有害な行為なのではないか?

私は統計学諸分野のど素人なのでこの件について「先生」扱い絶対禁止。

タグ：数楽

posted at 22:31:54

#数楽最尤法では、パラメーターw付きのxの確率分布p(x|w)と１つのパラメーターw=θを用いてp(x|θ)の形で真の確率分布を推測しようとする。サンプルサイズが大きくなるごとにθは更新される。

こうやってベイズ推測と最尤法を並べれば似たようなものであり、続く

タグ：数楽

posted at 22:25:04

#数楽続き。ベイズ統計ではパラメーターw付きのxの確率分布p(x|w)とwの確率分布φ(w)を使ってp(x|φ)=∫p(x|w)φ(w)dwの形で真の確率分布を推測しようとする。サンプルサイズが大きくなるごとにパラメーターwに関する確率分布φ(w)が更新される。

タグ：数楽

posted at 22:18:22

#数楽続き。ベイズ統計で使われるp(x|w)とφ(w)はそれぞれ、xの真の条件付き確率分布とwの真の確率分布ではなく、推測のための道具。それらはベイズの定理を適用できるような数学的対象ではない。「ベイズの定理を使う統計学がベイズ統計」という説明は明瞭に誤り。

タグ：数楽

posted at 22:12:02

#数楽 p(x|w)が真の条件付き確率分布で、φ(w)がwの真の確率分布ならば、q(x)=∫p(x|w)φ(w)dwはxの真の確率分布になる。ベイズ統計ではxの真の確率分布q(x)が不明な状況でそれを推測するためにp(x|w)とφ(w)を用意する。非常にクリア。

タグ：数楽

posted at 22:05:57

#数楽ベイズ統計でパラメーターw付き確率分布p(x|w)におけるwに関する確率分布φ(w)が一様分布のとき「何もわからない状態」だとする解釈に出会ったが、実際には任意のφは「真の確率分布がp(x|φ)=∫p(x|w)φ(w)dwだと推測している状態」なので違うと思う。

タグ：数楽

posted at 21:57:47

#数楽正直勉強にはなった。しかしベイズ推定の挙動に興味がないように見えるのはどうしてだろうか?＞なぜベイズ統計はリスク分析に向いているのか？その哲学上および実用上の理由 www.slideshare.net/takehikoihayas... @SlideShareさんから

タグ：数楽

posted at 21:45:33

ﾎﾞｳﾞ @cornwallcapital

天むす名古屋 Temmus @temmusu_n

科学者を自称してるけど茂木健一郎って、細木数子や江原啓之と同じカテゴリーの人だよね

タグ：

posted at 21:43:51

#掛算掛算の順序強制指導問題でよくある誤解だが、順序強制は教育的配慮であって指導者も本当は順序が本質的なものではないと分かっている、訳では*な*い*。

タグ：掛算

posted at 21:10:32

#数楽渡辺澄夫さんが書いた解説を読むと、ベイズ統計の理解が難しい理由が２つあることがわかります。(1)ベイズ推定の挙動の理解(最尤法との比較を含む)が数学的に結構難しいから。(2)不幸な歴史的経緯によってベイズ統計に関するおかしな俗説が蔓延してしまっているから。

タグ：数楽

posted at 17:54:56

#数楽繰り返しになるけど、ベイズ更新が「合理的な人による確信の持ち方の更新」のように解釈するのは苦しいと思う。本当に合理的な人なら事前分布の取り方も変えて「誤差」の指標が小さくなるように工夫するはず。

タグ：数楽

posted at 17:37:25

#数楽真の法則がわからないからこそ統計学の力を借りることと、囲碁で最善手がわからないからこそ目算することは似ていると思う。

タグ：数楽

posted at 17:31:59

#数楽ベイズ更新の漸近挙動に関する数学的知識を前提にできない段階で「ベイズ統計の科学哲学」について語っても無意味。

タグ：数楽

posted at 17:16:25

#数楽真の確率分布の推定において、各々の尤度だけではなく、確率分布を決めるパラメーターの確率分布(事後分布、事前分布)を考えることのメリットを知りたい人は渡辺澄夫さんの著書やウェブサイトを読めばわかります。極めて数学的な理由。 watanabe-www.math.dis.titech.ac.jp/users/swatanab...

タグ：数楽

posted at 17:13:05

togetter.com/li/586489 を読んで、最初に読むべきベイズ統計の教科書は渡辺澄夫著『ベイズ統計の理論と方法』 www.amazon.co.jp/dp/4339024627 だという印象がさらに強くなった。最尤法もベイズ推定も真の確率分布を推定するための方法の１つ。

タグ：

posted at 17:08:52

ベイズ更新(ベイズ学習)の漸近挙動について勉強してから議論しないとダメだという印象が強くなるようなまとめ＞ベイジアンの世界観 -強いベイズ主義が持つ将来性のない野望- - Togetterまとめ togetter.com/li/586489 @togetter_jpより

タグ：

posted at 16:59:52

さぶ @kaitoumio

藤井先生による、藤井システム解説のイラストレポートです＾＾ pic.twitter.com/57uqNIoY2g

タグ：

posted at 15:49:23

@genkuroki ちがうのですね。これは失礼しました。勉強してみたいと思います。

タグ：

posted at 13:09:20

#掛算 twitter.com/genkuroki/stat...　黒木さんが批判する算数教育での、式と場面を対応させる指導で滑稽なのは、「逆思考の問題」での混乱。

タグ：掛算

posted at 12:26:45

@sekibunnteisuu #数楽アスコリ・アルツェラの定理と極限とリーマン積分の交換に関するアルツェラの定理は異なります。アルツェラの定理については
www.math.ucdavis.edu/~gravner/MAT12...
pdfs.semanticscholar.org/873c/b5b5320ff...
正直どちらも勉強になった。

タグ：数楽

posted at 12:22:47

#掛算式の合理的な利用の仕方を教えるのではなく、大量に並んだ「しき」「こたえ」の解答欄の羅列を子供達に示すことによっておかしな「しき」概念を心に植え付けようとしているのだ。これじゃあ、うまくいくはずがない。

タグ：掛算

posted at 12:16:36

#掛算いずれにせよ、算数プリントの解答欄に並んでいる「しき」「こたえ」の機械的羅列はかなり異様。

日本の算数教育の世界には、道具として適切かつ便利に利用するべき我々がよく知っている式とは異なる独時の「しき」概念があって、有害な算数教育の原因になってしまっている。

タグ：掛算

posted at 12:14:27

#掛算もしかしたら、真っ当な算数数学教師の中にも「文章を式に翻訳せよ」と教えているかもしれない。しかしその人の教え方が本当に真っ当ならば決して「忠実に翻訳すること」を教えていないはずだと思う。「キーワードを機械的に拾って式に直す」など当然論外だと思っているはずだと思う。

タグ：掛算

posted at 12:10:51

#掛算その結果、子供達の多くは、場面を想像せずに、文章中のキーワードをひろって式に機械的に変換するようになってしまい、非常識な数値が出てもまったく気付かなくなってしまうのだ。日本の算数教育における主流のスタイルでは当然そうなってしまうだろう。

タグ：掛算

posted at 12:07:10

#掛算掛算順序固定強制の形でわかりやすく見えている日本の算数教育のおかしなところは、算数教育における式の扱い全般に及んでいる。「文章から場面を想像して式を適切に利用する」ではなく、「文章の中にあるキーワードをひろって式に忠実に翻訳する」という有害な方針になってしまっている。

タグ：掛算

posted at 12:04:04

@genkuroki 中村拓人さんが指摘してくれたのと同じですね。
twitter.com/tactn001/statu...

ja.wikipedia.org/wiki/%E3%82%A2...
面倒くさそう。2項分布の極限としての正規分布に関しては自明に思えるのに・・・

タグ：

posted at 12:02:07

#掛算「7人に6個ずつ配るときの全部の数は？」に「式7×6=42」「答え42個」と答えると式の形式を誤りとみなして、「この子は掛算の意味がわかっていない」とみなすのが掛算順序固定強制の典型例である。考え方ではなく、くだらない形式を非常識なやり方でおしつける病的な教え方。

タグ：掛算

posted at 12:01:56

#掛算続き。そのような算数教育の病的な側面は本屋で算数の教材の解答欄の形式をチェックしても確認できる。狭い「しき」と「こたえ」の欄に分かれており、「しき」「こたえ」を順に書く訓練を機械的にやらせようとしていることがわかる。大事なのは「しき」そのものではなく、考え方の方なのに。

タグ：掛算

posted at 11:59:02

#掛算続き。ところが、日本の算数教育では「文章を式に忠実に翻訳しなければいけない。式を書いただけで通じるようにしなければいけない」というような極めて有害な考え方が普通になってしまったせいで、堂々と有害な算数の教え方がまかり通るようになってしまっているのだ。続く

タグ：掛算

posted at 11:56:57

#掛算続き。「2+4=6」のような超絶シンプルな記号列を書いただけで複雑な事柄は他人に伝わるとは限らないのだ。他人に自分がどのように考えかをわかってもらいたいならば、「2+4=6」以外に言葉による説明や説明用の図なども用意する方が合理的である。続く

タグ：掛算

posted at 11:54:54

@genkuroki 　ありがとうございます。「Arzelaの定理」でググったら、「アスコリ＝アルツェラの定理」とありました。面倒くさそうorz

タグ：

posted at 11:53:12

#掛算「2+4=6」のような式はたった5つの記号を並べた極めて簡潔な記述になっている。簡潔な分だけ問題文で示された状況の詳細情報は式にした途端にほんの少ししか残らなくなる。文章題の文章と式のあいだの「対応」は一対一ではない。この点は分かりやすい説明をしたいなら重要。続く

タグ：掛算

posted at 11:53:03

#掛算式は問題を解いたり、説明したりするための道具であり、文章題の文章と数式が一対一に結び付いたりしていないという事実を無視して、あたかも文章題の文章を式に忠実に翻訳できるというような極めて有害な考え方を子供達に押し付けているのである。式にした途端に情報が大幅に落ちる。続く

タグ：掛算

posted at 11:49:57

#掛算 kijosoku.com/archives/49652...
【小1の算数の宿題の
「次の文章問題のうち、式が『2+4=6』になるものに○、
ならないものに×を付けましょう」という問題】
式が『2+4=6』になる文章題という概念を子供に押し付けていることが算数教育の悪い所。続く

タグ：掛算

posted at 11:47:27

@sekibunnteisuu #数楽 9/22の話。極限と積分の順序交換に関するリーマン積分の範囲内での有名な定理にArzelaの定理があります。Arzelaの名前を度忘れしていてコメントできないでいた。証明は結構面倒→ www.google.co.jp/search?q=Arzel...

タグ：数楽

posted at 11:37:54

非公開

タグ：

posted at xx:xx:xx

#数楽続き。以上のような「乱数推測コンテスト」をモデルにベイズ統計および他の諸々の推定法を比較することにすれば、妙な誤解が減るように思えます。ベイズ推定もまた真の確率分布を推定するための道具の１つ。道具は場面ごとに目的に合わせて使うのが基本。

タグ：数楽

posted at 07:20:27

#数楽続き〜渡されたサンプルだけをもとに、自分が作った乱数プログラムの確率分布と出題者が秘匿している乱数プログラムの確率分布のあいだの違い(KL情報量)を推定する必要があります。まさにそのための方法が渡辺澄夫さんの教科書に書いてあります。

タグ：数楽

posted at 06:52:37

#数楽 2つの乱数プログラムが与えられたとき、それらで生成される幾らでも長い乱数列を利用できるなら、その2つの乱数の確率分布の違いを原理的には幾らでも精密に計算できます。しかし、プレイヤーに渡されるのは長さnが固定された乱数列だけです。ゲームに勝利したいプレイヤーは〜続く

タグ：数楽

posted at 06:49:12

#数楽出題者の乱数プログラムは１つ(真の確率分布は１つ)であり、ベイズ推定を使ってその乱数の確率分布を推測しようとする人は確率分布を決めるパラメーターの確率分布を道具として利用することになるわけです。そして道具の良し悪しは主観的感情ではなく性能の数値で評価される。

タグ：数楽

posted at 06:45:23

#数楽続き。そのようなゲームに勝ちたいと思う人は渡辺澄夫さんによるベイズ統計の教科書 www.amazon.co.jp/dp/4339024627 を手もとに置いておいた方がよいと思う。ベイズ統計はまさにそのようなゲームに勝つためのひとつの手法になっている。

タグ：数楽

posted at 06:40:25

#数楽続き〜推測して、出題者が作った乱数の函数をシミュレートするためのプログラムを作ります。最後に出題者とプレイヤー達が作った乱数のプログラムの確率分布を比較して、出題者のそれに最も近いプレイヤーの勝ちとする。確率分布の違いはKL情報量で比較すればよいでしょう。

タグ：数楽

posted at 06:33:36

#数楽コンピューターを用いた次のようなゲームを考えましょう。まず問題の出題者が乱数を生成する函数のプログラム(一様分布でなくてもよい、独立同分布性は仮定)を作って、プレイヤー達にそれで生成された乱数列のサンプルを渡します。プレイヤー達は渡されたサンプルをもとに〜続く

タグ：数楽

posted at 06:28:17

#数楽普通の統計学の教科書では、サンプルの概念を数学的に独立同分布な確率変数列として定式化します。サンプルは1つの決まった真の確率分布によって生成されていると考える。それはベイズ推定でも同じ。ベイズ推定で推定されるのはまさにその真の確率分布。推定の精度を測る方法も整備。

タグ：数楽

posted at 06:21:02

#数楽ベイズ統計真値でぐぐると、「頻度論では真値がひとつに決まっていると考えるが、ベイズ統計ではそう考えずに確率分布していると考える」のような説明がたくさん見つかる。この説明も誤りだと思う。渡辺澄夫さんによる信頼できるベイズ統計の教科書では「真の確率分布」の概念は基本的。

タグ：数楽

posted at 06:14:39

#数楽 mobile.twitter.com/genkuroki/stat...
リンク先の連続ツイートでも書きましたが、ベイズ統計を「ベイズの定理を応用した統計学」と説明するのは誤りだと思います。ベイズ推定の状況はベイズの定理が使える状況ではない。ベイズの定理からベイズ更新が有効な理由は出て来ない。

タグ：数楽

posted at 06:06:04

#数楽ベイズ推定特有の利点として「新たなデータが得られるごとに推定結果を更新することによって精度を上げられること」を挙げる人もググると見つかりますが、最尤法などの他の推定法でもその点については同じですよね。(ただし最尤法の正則でないモデルでの使用は危ない。)

タグ：数楽

posted at 05:56:37