黒木玄 Gen Kuroki(@genkuroki)/2016年10月/Page 2

#数楽昨日、ベイズ統計は怪しくないよという話を延々とした。 twitter.com/genkuroki/stat...

事前分布を主観的に決めて単純にベイズ更新するだけだと「怪しい」と思われて当然なのですが、学習モデル+事前分布やベイズ更新の結果の予測精度を測る方法がある。

タグ：数楽

posted at 07:49:16

#数楽統計モデルの予測精度計測の基礎はモデルと真の確率分布の間のKullback-Leibler情報量であり、真の確率分布の代わりに観測されたデータのみを使って近似値を求める手段を作ればモデルの性能を測ることができる。事前分布の取り方の良し悪しもそのようにして評価される。

タグ：数楽

posted at 07:55:39

#数楽「主観的に事前分布を決めてベイズ更新を続けるだけ」のような印象を持たせるようなベイズ統計の解説は有害だと思う。事前分布の取り方が適切であったかどうかも含めて、KL情報量の近似値(真の分布が不明でもサンプルデータから計算可能)を用いて評価されることになる。

タグ：数楽

posted at 08:04:08

#数楽「ベイズ統計」は流行語のようになっているんですね。数学的な興味から色々調べていた段階では気付いてなかった。ググると「こういう解説って有害じゃないか?」と感じられる解説が多数見付かる一方で、適切で読んでためになる解説が少数見付かる感じ。

タグ：数楽

posted at 08:07:14

#数楽ググれば簡単に見付かるので具体例は挙げないが、典型的なパターンは「ベイズ統計に関する怪しげな解説」と「ベイズ統計は怪しいと言われているという話」がワンセットになっているもの。マッチポンプか?

タグ：数楽

posted at 08:11:53

#数楽ググって確認すると解説の出発点からすでに怪しいものがかなりある。ベイズの定理に疑わしいところは一切ないのに疑いを持たせるようなことが書いてあったり、ベイズ更新の有効性がベイズの定理から論理的に出て来ないのにその辺を曖昧にすませていたり、そんな解説で理解がすすむはずがない。

タグ：数楽

posted at 08:16:24

#数楽分析で得られた結果がどの程度の「誤差」を含んでいるかを気にすることが統計学の基本原則なのに、ベイズ統計については「パラメーターの事前分布・事後分布の形で主観を取り込んだ点が優れている。しかし、主観を取り込んだ点が怪しいと言われている」が典型的パターン。明らかに変だよね。

タグ：数楽

posted at 08:25:51

#数楽ググっただけでは確認し切れないのですが、流行語としての「ベイズ統計」の一般向けの解説本にはひどいものが多いのではないかと推測されます。

タグ：数楽

posted at 08:28:07

#数楽ベイズ統計についておかしな解説が容易に出て来やすい理由の１つは、適切な仮定のもとでベイズ更新が有効に働く理由が数学的に難しい話だからだと思います。難しい話なのでトンデモを見抜ける人が少なくなってしまう。

タグ：数楽

posted at 08:35:32

#数楽実際にベイズ学習を使っている人はおかしなことが起これば大抵の場合に気付くと思うので大丈夫だと思うのですが、事前分布を予測精度の目安になる指標(情報量規準)が良いものに変更して予測精度を上げる方法を知らずに損している人はいても不思議ではないと思いました。

タグ：数楽

posted at 09:19:58

#数楽サンプルデータに基いてより適切な事前分布を選ぶ例が watanabe-www.math.dis.titech.ac.jp/users/swatanab... の下の方の「具体的な例」にあります。iPhoneな人はドルフィンブラウザを入れると文字化けせずに読めます。

タグ：数楽

posted at 09:26:53

#数楽 AさんとBさんは学習モデルの取り方については合意した。しかし、Aさんは事前分布φを推し、Bさんは事前分布ψを推した。論争になった。さてどうするべきか？

ベイズ統計では事前分布を主観で選ぶのでどうしようもないと考えるのは誤り。予測精度の指標の良さで決着をつけられる。

タグ：数楽

posted at 09:52:41

#数楽続き。実際にはサンプルを用いて二人の事前分布よりもより予測精度の高い事前分布を見つけることができるだろう。学習モデルの改定に至るかもしれない。

「主観だから訂正の必要はない」となるものが含まれていれば非科学的であることが確定してしまうが、そんなことは当然ない。

タグ：数楽

posted at 09:56:26

非公開

タグ：

posted at xx:xx:xx

@kapfarvel_kayak 事前分布がデルタ分布だったりするとまずいのですがあります。ただしベイズ学習が使われている多くのケースでは難しい話になる。そういう話が繰り返し引用している渡辺澄夫さんのウェブサイトにあります。 watanabe-www.math.dis.titech.ac.jp/users/swatanab... #数楽

タグ：数楽

posted at 10:11:24

@kapfarvel_kayak #数楽仮に複数の推定法のどれを使っても推定結果がサンプルサイズ→∞で真の分布に収束するとしても、現実には有限サイズの同一サンプルから作った推定結果(確率分布になる)の予測精度の適切な指標を計算することが大事になります。

タグ：数楽

posted at 10:49:36

@kapfarvel_kayak #数楽 n→∞で、ベイズ推定(事後分布の取り方もほぼ任意)でも最尤推定でも同じように真の確率分布に収束し、漸近的に正規分布になるケースでも、その様子がn=10000でも見えない例が watanabe-www.math.dis.titech.ac.jp/users/swatanab... にあります。

タグ：数楽

posted at 11:00:40

#数楽ベイズ更新のサンプルサイズn→∞での漸近挙動については、渡辺澄夫著『ベイズ統計の理論と方法』 www.amazon.co.jp/dp/4339024627 があります。AICとBICについての解説も含まれているので最尤法についての理解を深めるために読んでもいいかも。

タグ：数楽

posted at 14:58:24

Slit Animation @SlitAnimation

mattyuu@数学超大好きエンジニア @mattyuu123

つまようじに
水をたらす、っていう一人遊び。 pic.twitter.com/hIPkEpJxLg

タグ：

posted at 18:26:25

昨日はありがとうございましたm(__)m自分の発表分だけで大変恐縮なのですが、昨日の発表をブログにまとめてみましたので、よろしければ見てみてください(^-^)

mattyuu.hatenadiary.com/entry/2016/10/...

#日曜数学会

タグ：日曜数学会

posted at 19:18:02

#数楽自明な話。デルタ分布であるような事前分布はベイズ更新で不変。

タグ：数楽

posted at 19:52:05

Haruhiko Okumura @h_okumura

これって例の「ベイジアン: たとえそれが不適切でも、すべての問題に対してベイズ推定を使う統計学者のこと」などの箴言集 twitter.com/berobero11/sta...

タグ：

posted at 22:15:19

#数楽ベイズ WAIC を検索するとRを使った計算法の解説がいくつか見つかりますね。
www.google.co.jp/search?q=%E3%8...

タグ：数楽

posted at 22:39:06

機械学習とベイズ推論、モデルの妥当性について - Togetterまとめ togetter.com/li/591577 @togetter_jpさんから #数楽

タグ：数楽

posted at 22:53:27

#数楽ベイズ統計についておかしなことを言っていない人を探すにはWAICなどのキーワードは役に立つ感じ。

タグ：数楽

posted at 23:56:45

Permalink - 2016年10月02日

2016年10月03日(月)

#数楽ううむ、「サンプルデータは頻度論では確率変数だが、ベイズ統計では定数になる」という奇妙な説は誰が広めているんだろうか？ベイズ統計でも普通に確率変数だと思うんだが。そもそも頻度論とベイズの二種類の統計学があるという話自体が理解不能。「算数と数学は違う」の類か？

タグ：数楽

posted at 00:08:14

#数楽繰り返しになるけど、ベイズ更新を「合理的な人が主観的な信頼の度合いを変えていく様子のモデル」とみなすのは苦しいと思う。WAICを計算して事前分布を決めるパラメーターの取り方を変える話はすでに結構スタンダードになっているのでは？

タグ：数楽

posted at 00:11:57

#数楽主観的にえいやっと決めた事前分布から出発してベイズ更新を続けるだけの行為を「ベイズ統計」のように呼ぶことを禁止した方が良いかも。

ベイズ更新の結果の「信頼性」や「性能」の評価をどうするかについて何も述べていないケースは統計学の話をしていないとみなせると思う。

タグ：数楽

posted at 00:15:32

#数楽「真の法則そのものを知ることができないケースであっても、分析結果の信頼度や精度について言えることがある」という話が含まれているからこそ、統計学の話は面白いし、役に立つのだと思う。その部分を除いた解説を「ベイズ統計の解説」とみなすべきではないと思う。

タグ：数楽

posted at 00:20:18

#数楽あと「確率分布を決めるパラメーターは頻度論では定数だが、ベイズでは確率変数になる」というのも理解不能。パラメーターの推定をするときの最尤法とベイズ推定の違いをこう表現している？ベイズ統計でも、推定したい真の確率分布は１つだけ。続く

タグ：数楽

posted at 00:27:43

#数楽続き。パラメーターの推定結果もしくは確率分布の推定結果は確率変数であるサンプルデータの函数なので確率変数になる。最尤法で推定したパラメーターの値も確率変数。サンプルを取り直すごとに推定結果は確率的にゆらぐ。

タグ：数楽

posted at 00:30:47

#数楽ベイズ推定特有の利点として「新たなデータが得られるごとに推定結果を更新することによって精度を上げられること」を挙げる人もググると見つかりますが、最尤法などの他の推定法でもその点については同じですよね。(ただし最尤法の正則でないモデルでの使用は危ない。)

タグ：数楽

posted at 05:56:37

#数楽 mobile.twitter.com/genkuroki/stat...
リンク先の連続ツイートでも書きましたが、ベイズ統計を「ベイズの定理を応用した統計学」と説明するのは誤りだと思います。ベイズ推定の状況はベイズの定理が使える状況ではない。ベイズの定理からベイズ更新が有効な理由は出て来ない。

タグ：数楽

posted at 06:06:04

#数楽ベイズ統計真値でぐぐると、「頻度論では真値がひとつに決まっていると考えるが、ベイズ統計ではそう考えずに確率分布していると考える」のような説明がたくさん見つかる。この説明も誤りだと思う。渡辺澄夫さんによる信頼できるベイズ統計の教科書では「真の確率分布」の概念は基本的。

タグ：数楽

posted at 06:14:39

#数楽普通の統計学の教科書では、サンプルの概念を数学的に独立同分布な確率変数列として定式化します。サンプルは1つの決まった真の確率分布によって生成されていると考える。それはベイズ推定でも同じ。ベイズ推定で推定されるのはまさにその真の確率分布。推定の精度を測る方法も整備。

タグ：数楽

posted at 06:21:02

#数楽コンピューターを用いた次のようなゲームを考えましょう。まず問題の出題者が乱数を生成する函数のプログラム(一様分布でなくてもよい、独立同分布性は仮定)を作って、プレイヤー達にそれで生成された乱数列のサンプルを渡します。プレイヤー達は渡されたサンプルをもとに〜続く

タグ：数楽

posted at 06:28:17

#数楽続き〜推測して、出題者が作った乱数の函数をシミュレートするためのプログラムを作ります。最後に出題者とプレイヤー達が作った乱数のプログラムの確率分布を比較して、出題者のそれに最も近いプレイヤーの勝ちとする。確率分布の違いはKL情報量で比較すればよいでしょう。

タグ：数楽

posted at 06:33:36

#数楽続き。そのようなゲームに勝ちたいと思う人は渡辺澄夫さんによるベイズ統計の教科書 www.amazon.co.jp/dp/4339024627 を手もとに置いておいた方がよいと思う。ベイズ統計はまさにそのようなゲームに勝つためのひとつの手法になっている。

タグ：数楽

posted at 06:40:25

#数楽出題者の乱数プログラムは１つ(真の確率分布は１つ)であり、ベイズ推定を使ってその乱数の確率分布を推測しようとする人は確率分布を決めるパラメーターの確率分布を道具として利用することになるわけです。そして道具の良し悪しは主観的感情ではなく性能の数値で評価される。

タグ：数楽

posted at 06:45:23

#数楽 2つの乱数プログラムが与えられたとき、それらで生成される幾らでも長い乱数列を利用できるなら、その2つの乱数の確率分布の違いを原理的には幾らでも精密に計算できます。しかし、プレイヤーに渡されるのは長さnが固定された乱数列だけです。ゲームに勝利したいプレイヤーは〜続く

タグ：数楽

posted at 06:49:12

#数楽続き〜渡されたサンプルだけをもとに、自分が作った乱数プログラムの確率分布と出題者が秘匿している乱数プログラムの確率分布のあいだの違い(KL情報量)を推定する必要があります。まさにそのための方法が渡辺澄夫さんの教科書に書いてあります。

タグ：数楽

posted at 06:52:37

#数楽続き。以上のような「乱数推測コンテスト」をモデルにベイズ統計および他の諸々の推定法を比較することにすれば、妙な誤解が減るように思えます。ベイズ推定もまた真の確率分布を推定するための道具の１つ。道具は場面ごとに目的に合わせて使うのが基本。

タグ：数楽

posted at 07:20:27

非公開

タグ：

posted at xx:xx:xx

@sekibunnteisuu #数楽 9/22の話。極限と積分の順序交換に関するリーマン積分の範囲内での有名な定理にArzelaの定理があります。Arzelaの名前を度忘れしていてコメントできないでいた。証明は結構面倒→ www.google.co.jp/search?q=Arzel...

タグ：数楽

posted at 11:37:54

#掛算 kijosoku.com/archives/49652...
【小1の算数の宿題の
「次の文章問題のうち、式が『2+4=6』になるものに○、
ならないものに×を付けましょう」という問題】
式が『2+4=6』になる文章題という概念を子供に押し付けていることが算数教育の悪い所。続く

タグ：掛算

posted at 11:47:27

#掛算式は問題を解いたり、説明したりするための道具であり、文章題の文章と数式が一対一に結び付いたりしていないという事実を無視して、あたかも文章題の文章を式に忠実に翻訳できるというような極めて有害な考え方を子供達に押し付けているのである。式にした途端に情報が大幅に落ちる。続く

タグ：掛算

posted at 11:49:57

#掛算「2+4=6」のような式はたった5つの記号を並べた極めて簡潔な記述になっている。簡潔な分だけ問題文で示された状況の詳細情報は式にした途端にほんの少ししか残らなくなる。文章題の文章と式のあいだの「対応」は一対一ではない。この点は分かりやすい説明をしたいなら重要。続く

タグ：掛算

posted at 11:53:03

@genkuroki 　ありがとうございます。「Arzelaの定理」でググったら、「アスコリ＝アルツェラの定理」とありました。面倒くさそうorz

タグ：

posted at 11:53:12

#掛算続き。「2+4=6」のような超絶シンプルな記号列を書いただけで複雑な事柄は他人に伝わるとは限らないのだ。他人に自分がどのように考えかをわかってもらいたいならば、「2+4=6」以外に言葉による説明や説明用の図なども用意する方が合理的である。続く

タグ：掛算

posted at 11:54:54

#掛算続き。ところが、日本の算数教育では「文章を式に忠実に翻訳しなければいけない。式を書いただけで通じるようにしなければいけない」というような極めて有害な考え方が普通になってしまったせいで、堂々と有害な算数の教え方がまかり通るようになってしまっているのだ。続く

タグ：掛算

posted at 11:56:57

#掛算続き。そのような算数教育の病的な側面は本屋で算数の教材の解答欄の形式をチェックしても確認できる。狭い「しき」と「こたえ」の欄に分かれており、「しき」「こたえ」を順に書く訓練を機械的にやらせようとしていることがわかる。大事なのは「しき」そのものではなく、考え方の方なのに。

タグ：掛算

posted at 11:59:02

#掛算「7人に6個ずつ配るときの全部の数は？」に「式7×6=42」「答え42個」と答えると式の形式を誤りとみなして、「この子は掛算の意味がわかっていない」とみなすのが掛算順序固定強制の典型例である。考え方ではなく、くだらない形式を非常識なやり方でおしつける病的な教え方。

タグ：掛算

posted at 12:01:56

@genkuroki 中村拓人さんが指摘してくれたのと同じですね。
twitter.com/tactn001/statu...

ja.wikipedia.org/wiki/%E3%82%A2...
面倒くさそう。2項分布の極限としての正規分布に関しては自明に思えるのに・・・

タグ：

posted at 12:02:07

#掛算掛算順序固定強制の形でわかりやすく見えている日本の算数教育のおかしなところは、算数教育における式の扱い全般に及んでいる。「文章から場面を想像して式を適切に利用する」ではなく、「文章の中にあるキーワードをひろって式に忠実に翻訳する」という有害な方針になってしまっている。

タグ：掛算

posted at 12:04:04

#掛算その結果、子供達の多くは、場面を想像せずに、文章中のキーワードをひろって式に機械的に変換するようになってしまい、非常識な数値が出てもまったく気付かなくなってしまうのだ。日本の算数教育における主流のスタイルでは当然そうなってしまうだろう。

タグ：掛算

posted at 12:07:10

#掛算もしかしたら、真っ当な算数数学教師の中にも「文章を式に翻訳せよ」と教えているかもしれない。しかしその人の教え方が本当に真っ当ならば決して「忠実に翻訳すること」を教えていないはずだと思う。「キーワードを機械的に拾って式に直す」など当然論外だと思っているはずだと思う。

タグ：掛算

posted at 12:10:51

#掛算いずれにせよ、算数プリントの解答欄に並んでいる「しき」「こたえ」の機械的羅列はかなり異様。

日本の算数教育の世界には、道具として適切かつ便利に利用するべき我々がよく知っている式とは異なる独時の「しき」概念があって、有害な算数教育の原因になってしまっている。

タグ：掛算

posted at 12:14:27

#掛算式の合理的な利用の仕方を教えるのではなく、大量に並んだ「しき」「こたえ」の解答欄の羅列を子供達に示すことによっておかしな「しき」概念を心に植え付けようとしているのだ。これじゃあ、うまくいくはずがない。

タグ：掛算

posted at 12:16:36

@sekibunnteisuu #数楽アスコリ・アルツェラの定理と極限とリーマン積分の交換に関するアルツェラの定理は異なります。アルツェラの定理については
www.math.ucdavis.edu/~gravner/MAT12...
pdfs.semanticscholar.org/873c/b5b5320ff...
正直どちらも勉強になった。

タグ：数楽

posted at 12:22:47

#掛算 twitter.com/genkuroki/stat...　黒木さんが批判する算数教育での、式と場面を対応させる指導で滑稽なのは、「逆思考の問題」での混乱。

タグ：掛算

posted at 12:26:45

@genkuroki ちがうのですね。これは失礼しました。勉強してみたいと思います。

タグ：

posted at 13:09:20

さぶ @kaitoumio

藤井先生による、藤井システム解説のイラストレポートです＾＾ pic.twitter.com/57uqNIoY2g

タグ：

posted at 15:49:23

ベイズ更新(ベイズ学習)の漸近挙動について勉強してから議論しないとダメだという印象が強くなるようなまとめ＞ベイジアンの世界観 -強いベイズ主義が持つ将来性のない野望- - Togetterまとめ togetter.com/li/586489 @togetter_jpより

タグ：

posted at 16:59:52

togetter.com/li/586489 を読んで、最初に読むべきベイズ統計の教科書は渡辺澄夫著『ベイズ統計の理論と方法』 www.amazon.co.jp/dp/4339024627 だという印象がさらに強くなった。最尤法もベイズ推定も真の確率分布を推定するための方法の１つ。

タグ：

posted at 17:08:52

#数楽真の確率分布の推定において、各々の尤度だけではなく、確率分布を決めるパラメーターの確率分布(事後分布、事前分布)を考えることのメリットを知りたい人は渡辺澄夫さんの著書やウェブサイトを読めばわかります。極めて数学的な理由。 watanabe-www.math.dis.titech.ac.jp/users/swatanab...

タグ：数楽

posted at 17:13:05

#数楽ベイズ更新の漸近挙動に関する数学的知識を前提にできない段階で「ベイズ統計の科学哲学」について語っても無意味。

タグ：数楽

posted at 17:16:25