黒木玄 Gen Kuroki(@genkuroki)/2016年10月07日

#数楽続き。「ベイズの定理の応用だ」とするずさんな俗説をどんなに聞いても、ベイズ統計がサンプルを生成している真の確率分布の推定に役に立つ理由はさっぱりわからないだろう。そのようなずさんな解説はそろそろ無くしてしまった方がよいのではないかと思う。続く

タグ：数楽

posted at 23:54:55

#数楽続き。コンピューター上に実装されるようになってから、ベイズ統計がサンプルを生成している真の確率分布の推定に役に立つことは多くの人が知るところになっていると思う。ベイズ統計について知りたがっている人達が多いのはベイズ統計が役に立つ道具であることに気付いてしまったからだ。続く

タグ：数楽

posted at 23:51:07

#数楽続き。そして、ベイズ統計がベイズの定理の応用先の１つであることにするために導入されるレトリックが所謂「主観確率」。「ベイズ統計では信念を表す主観確率にベイズの定理が応用されている」と考える筋道にはまるとベイズ統計がどうして技術的に優れているかがさっぱりわからなくなる。続く

タグ：数楽

posted at 23:45:57

#数楽続き。一般向けの解説では、なぜか「ベイズの定理を応用した統計学がベイズ統計学である」かのように解説してあることが実に多い。条件付き確率の定義からほぼ自明に出て来るベイズの定理について論理的に理解している人であれば、そういうずさんな説明で納得できるはずがない。続く

タグ：数楽

posted at 23:40:18

#数楽続き
twitter.com/leeswijzer/sta...
私の意見：ベイズ統計の論理的基礎付けにベイズの定理は何の役目も果たしていない。ベイズ統計の出発点になる確率モデルp(x|w)と事前分布φ(w)は誰かが勝手に選んだものに過ぎず、それらにベイズの定理は適用不可能。続く

タグ：数楽

posted at 23:34:42

#数楽続き。不幸な歴史的経緯が原因で蔓延したずさんな哲学もどきの言説とは「頻度と信念という根本的に異なる確率の哲学に根ざした2つの統計学が存在する」といういうな言説のことである。サンプルデータを生成した真の確率分布を推定するという発想で最尤法とベイズ法に違いはない。続く

タグ：数楽

posted at 23:27:42

#数楽続き
twitter.com/leeswijzer/sta...
私の意見：「ベイズ統計学」を教えることが難しい原因は２つある。(1)ベイズ統計の数学的仕組みが難しいこと。(2)不幸な歴史的経緯によってベイズ統計についてずさんな哲学もどきの言説・俗説が蔓延していること。続く

タグ：数楽

posted at 23:22:10

#数楽 twilog.org/leeswijzer/dat...
リンク先の2013年10月の三中さんと意見が全く違うので、どのように違うかを明瞭にしておきます(例の渡辺澄夫さんのベイズ統計の基礎的教科書は2012年に出版済み)。続く

タグ：数楽

posted at 23:16:35

@h_okumura うちのiPad、もしやと思ってiOSを9から10.0.2にバージョンアップしたら、Safariが文字化けしなくなりました！

タグ：

posted at 22:56:34

片瀬久美子 @kumikokatase

天むす名古屋 Temmus @temmusu_n

ノーベル賞で盛り上がっていますが、こうした栄誉の一方で、研究の世界では不正問題が影を落としてます。
日本では研究不正を告発した教授らに対して、強引な解雇処分が行われ、裁判となっています。この件では不正調査の内容にも問題がありました。
warbler.hatenablog.com/entry/2016/06/...

タグ：

posted at 22:23:51

#掛算米国事情。 #CommonCore 推進側からの反論。www.slate.com/blogs/business...にあるような論議を呼ぶ指導法がCCの本質ではない、正しく実施されれば成果が上がるとwww.quantamagazine.org/20161005-commo...。暗記から理論という百年の潮流にあるとも。

タグ： CommonCore 掛算

posted at 21:06:29

kei 【メル&リズ&ラン】 @keitomeru

#数楽メモ
「パターン認識と機械学習」への遠回り幕間「統計を学ぶ際に心がけること」 - old school magic breakbee.hatenablog.jp/entry/2014/05/...
渡辺澄夫著『ベイズ統計の理論と方法』の書評

タグ：数楽

posted at 20:46:44

我が家では当たり前の光景なのですが、他の猫飼いさんからはありえないと言われる光景がこちらになります。 pic.twitter.com/jK7NcpBfzz

タグ：

posted at 19:48:19

#数楽添付画像は www.unisys.co.jp/tec_info/tr90/... より。G(n)は汎化誤差(予測分布と真の分布のKL情報量)。学習係数λが小さい推定法の方が収束が速い。λは確率モデルと真の分布のKL情報量と事前分布が定めるゼータ函数の原点に最も近い極の-1倍。 pic.twitter.com/jTn9C5Poyg

タグ：数楽

posted at 19:16:16

#数楽素直に確率モデルの事後分布による平均(ベイズ統計と言えば普通はこれ)を予測分布として採用した方がよいという話＞「はじめての統計データ分析」豊田秀樹のメモ - StatModeling Memorandum statmodeling.hatenablog.com/entry/toyoda-b...

タグ：数楽

posted at 19:09:17

@genkuroki あれ，でもiPadのSafariで試してみたら化けないですね。文字コード設定箇所はないので自動判別するんでしょうか

タグ：

posted at 18:30:43

@genkuroki ありがとうございます。それ知りませんでした

タグ：

posted at 18:21:18

バックアップしてから、for file in *.htm*; do sed 〜; doneなどの手順でMETAタグを機械的に挿入してくれれば文字化けせずにすむのだが…。

タグ：

posted at 18:20:03

@h_okumura 【『ベイズ統計の理論と方法』サポートページがあった watanabe-www.math.dis.titech.ac.jp/users/swatanab... 】エンコーディングShift_JISを選択できない場合の文字化け対策。iPhoneやiPadではドルフィンブラウザで閲覧したら文字化けせずに済みました。

タグ：

posted at 18:16:36

#数楽
 sites.google.com/site/iwanamida... ページの最下段より【赤池は「大域的なパラメータをエビデンス最大化で点推定する」という I J Goodに起源を持つ方法に思想的な意味を持たせましたが，いまの見方では，これは単なるfull Bayesの近似でしょう】近似

タグ：数楽

posted at 18:11:09

#数楽ベイズ統計が技術的に優れている点を説明することが難しいことが原因で、こじらせてしまって、ずさんで時代遅れな哲学もどきについて語ってしまった人がいたのではないかと思われる。しかし、2012年にはすでにベイズ統計が技術的に優れている数学的理由を解説した教科書が出版されていた。

タグ：数楽

posted at 16:49:42

#数楽最尤法は尤度函数が1点の周囲の正規分布の形に集中してくれるケースでは有効だが、そうでない場合には赤池情報量基準AICなどの使用も含めて不適切。一方、ベイズ統計の手法はそのようなケースでも有効だから、多くの人が「便利な方法」として用いるようになった。哲学は関係ない。

タグ：数楽

posted at 16:44:40

#数楽続き～、自分がよく知っている方法と同じ結果しか出ない方法に興味を持ってくれと言っても無理があると思う。そこら辺をこじらせると、「主観確率」の話に走ったり、「確率に関する全く異なる哲学に基いた統計学がある」などと時代遅れなことを言っておかしなことになるのだと思う。

タグ：数楽

posted at 16:40:01

#数楽続き。たとえばよく説明用の例に使われる歪んだコインを投げて表が出る確率の推定とか、分散が固定された正規分布の平均の推定などでは、最尤法、MAP法、ベイズ法どれを使っても結果は同じだと言ってよい。だから、そのような例でベイズ法の特徴を理解することは不可能だし、～続く

タグ：数楽

posted at 16:35:43

#数楽続き。さらに事後分布は本質的に尤度函数と事前分布の積である(確率の総和が1になるという条件で正規化するだけの違いしかない)。だから、尤度函数の台がサンプルサイズ→大で1点に集中するようなケースではどの方法を用いても結果に大差はない。続く

タグ：数楽

posted at 16:32:05

#数楽続き。確率モデルp(x|w)のパラメーターwに特別な値θを代入して得られる確率分布p(x|θ)を予測分布として採用する方法(最尤法、MAP法、…)と事後分布による確率モデルの平均を予測分布として採用する方法(ベイズ推測)の違いに注目した方が分かり易いと思う。

タグ：数楽

posted at 16:28:40

#数楽続き。その点を強調すれば、事後分布の密度函数を最大化するパラメーターθに対するp(x|θ)を予測分布として採用するMAP法とベイズ法が明瞭に区別されるようになる。MAP法も事前分布を使うがベイズ法とは振る舞い方が違う。

タグ：数楽

posted at 16:25:59

#数楽ベイズ統計の解説で事前分布を使うことを強調することはミスリーディングだと思う。真の確率分布の推定値として確率モデルp(x|w)のパラメーターwに関する事後分布ψ(w)による平均p(x|ψ)=∫p(x|w)ψ(w)dwを採用する点を強調する方が誤解が少なくなると思う。

タグ：数楽

posted at 16:24:02

#数楽メモ
bemlar.ism.ac.jp/ogata/sokendai... のp.20より
【ベイズ予測は予測分布に関して事後分布の重みづけで積分したもの～これが最も予測に優れており，特にデータサイズが小さいときに良い予測を与える】 pic.twitter.com/x2c3x1rpuf

タグ：数楽

posted at 16:10:40

忙しいけど忘れないようにするためのメモ

・岡山大学で不正告発をした教授らの解雇無効申立仮処分決定についてwarbler.hatenablog.com/entry/2016/06/...

・研究不正を告発した教授らを岡山大学が解雇処分に
togetter.com/li/923714

解雇ひどすぎ。

タグ：

posted at 15:56:17

『ベイズ統計の理論と方法』サポートページがあった watanabe-www.math.dis.titech.ac.jp/users/swatanab... （Macで化ける場合はエンコーディングをSJISにする）ほかにも渡辺澄夫先生のページはいろいろおもしろそうなのであとで読んでみよう

タグ：

posted at 14:06:31

@sekibunnteisuu

Togetterでの嫌がらせから身を守る方法 - Togetterまとめ togetter.com/li/556185 @togetter_jpさんから

タグ：

posted at 13:48:19

千葉章人 @chiba_akihito

Minaka Nobuhiro 〈みなか @leeswijzer

スマホで撮った動画を漫画風に変換じゃ！ pic.twitter.com/2JyqyBpJXw

タグ：

posted at 12:33:01

読まないと． twitter.com/genkuroki/stat...

タグ：

posted at 12:10:36

黒木さんのツイートは多すぎて読めてないのだが，とりあえず『ベイズ統計の理論と方法』買ってきた。パラパラ見たらp.169「ジェフーズの事前分布」という珍しい誤植が（索引も同じ） twitter.com/genkuroki/stat...

タグ：

posted at 09:45:10

（理論的に壇蜜な意味で）というフレーズを思いついたので適宜ご査収ください

タグ：

posted at 08:53:06

「（理論的に厳密な意味で）バックドア基準が満たされていなければ0点だよ」みたいなことは全く考えていませんから！ひとくちにバックドアパスと言っても定量的には「太いパス」「細いパス」さまざまあるし。大きなバイアスをもたらしうるような「太いパス」が野放しだとさすがに、とは思うわけですが

タグ：

posted at 08:51:26

そういう意味で「M字合流点」で開くようなバックドアパスは多くの実践の現場においては「主要なバックドアパス」ではないでしょう。ただし、「この解析結果に基づき環境基準値が決まる」みたいなケースにおいては、そのようなバックドアパスの可能性も除外せず慎重に考えるべきだとは考えています。

タグ：

posted at 08:46:02

続）ここで考慮外においてもよい「主要でないバックドアパス」というのは、そのパスにおけるパス係数（の積）が十分に小さいと考えられるバックドアパス、という意です。どの程度小さそうなら「十分」なのかは、その解析を行っているコンテクストにおいて求められる「精度」しだいであると考えています

タグ：

posted at 08:38:51

非公開

タグ：

posted at xx:xx:xx

モデル選択とバックドア基準の兼ね合いについて聞かれたときには、最近は「少なくとも主要なバックドアパスはブロックされているモデル群の中から(W)BICの高いものを選べばよいと思う」と答えています。（続

タグ：

posted at 08:33:30

_潜在的なバイアスの存在を認識した上で使うのであれば_そのような「記述統計値」も使いよう、ではあると思う。ただしその「使いよう」はよく考えてほしい。

タグ：

posted at 08:29:28

介入効果推定が本丸である場合に、「交絡の考慮はともかく」解析を進める場合には、その解析結果は「介入効果の推定値」というよりは「ある特定のアルゴリズムで算出した記述統計値」というくらいのニュアンスで捉えたほうが良いと思う。(続

タグ：

posted at 08:27:39

実践においては、介入効果推定が本丸である場合にも、バックドア基準を極力満たすことが求められる場合もあるだろうし、「交絡の考慮はともかく」解析を進める場合もあるだろう。それはその案件において必要とされる「精度」や解析結果が用いられるコンテクストにも依存するだろう。

タグ：

posted at 08:23:09

天むす名古屋 Temmus @temmusu_n

実は黒木玄さん（「先生」の禁止ルールを思い出した！）の"荒ぶり"ぶりには共感できる部分が多い。RubinやPearlの理論を学んだ後に、（介入効果の推定の文脈を含む）共変量の選択に関する巷のpractice/adviceを目にするとその理論的背景の欠落ぶりにうぬぬとなることは多い

タグ：

posted at 08:18:19

#掛算 @genkuroki 数式が言語でないことも、「赤い玉21個と白い玉4個を足した25を4倍します」を21+4=25×4と書けないことで示せます。式が場面、状況を再現するものでも、言葉の内容を記号で写すものでもないことを知らないかのような啓林の記述は良くないです。

タグ：掛算

posted at 07:58:04

織機　明納 @worihata

自分のように哲学方面から数学に興味持った人間からすると、こういう無知の知を弁えない哲学の人へは学部教養レベルへのプラカードを示したくなる。自戒もこめて込めて。 twitter.com/genkuroki/stat...

タグ：

posted at 05:34:25

#数楽複雑な確率モデルにおいてベイズ推定と最尤推定のどちらを使うかという問題は
・収束してかつ相対的に精度が高い方法
・発散するかもしれなくてかつ収束しても相対的に精度が低い方法
のどちらを使うかという問題。

タグ：数楽

posted at 02:34:46

#数楽 watanabe-www.math.dis.titech.ac.jp/users/swatanab... 【「構造を持つ確率モデル」においては最尤推定量は数学的に望ましくない性質（発散するか汎化誤差が大きい）を持っていますので、最尤推測は「構造を持つ確率モデル」には適切な方法ではありません。これらについては３章・４章で】

タグ：数楽

posted at 02:27:58

#数楽続き。ベイズ推定の特徴は事前分布を使うことではなく、サンプルサイズ→大での漸近挙動について良い定理があること。それを用いて複雑な確率モデルのケースで最尤法と性能を比較するとベイズ推定の方が良さそうに見える。複雑な確率モデルでベイズ推定を使う利点はこれ。続く

タグ：数楽

posted at 02:26:16

#数楽メモ
twitter.com/leeswijzer/sta...
渡辺澄夫さんによる基礎的な教科書 watanabe-www.math.dis.titech.ac.jp/users/swatanab... を読んだ方がいいと思った。

タグ：数楽

posted at 02:17:53

MAEDA Katsuyuki @keikuma

【ポケモンGO】「弦の垂直二等分線は円の中心を通る」って、中学校で習うじゃないですか。そんなの何の役に立つんだって思った方も多いかと思うのですけれど、こういう風に役に立ちます。 pic.twitter.com/YTGXy2HeNY

タグ：

posted at 02:16:45

#数楽与太話の例

・主観確率の優位性を長々と語るタイプの与太話。

・頻度論統計学とベイズ統計学という本質的に異なる２つの統計学があるという時代遅れな話を延々とするタイプの与太話。

他にも色々あるかも。大学の授業は大丈夫か?

タグ：数楽

posted at 01:51:27

#数楽ベイズ統計の解説のチェックポイント

(1)ベイズの定理でベイズ統計を基礎付けられないことを明瞭に説明しているか?
(2)ベイズ推定の漸近挙動について触れているか?
(3)与太話を長々としていたりしてないか?

一般向けの解説はほとんどアウトなのではないか?

タグ：数楽

posted at 01:45:43

#数楽ベイズ統計の解説では、推定の漸近挙動に関する数学的な説明は必須だけど、「主観確率」というような与太話をする必要はなさそうだよね。

タグ：数楽

posted at 01:38:41

#数楽ベイズ推定では確率モデルの事後分布による平均を真の確率分布の推定値とみなす。事後分布がゆらぐときそれによる平均も同程度しかゆらぎませんが、尤度函数が少しゆらいだだけでその最大値を与えるパラメーターは大きくゆらぐかもしれない。ベイズ推定の方が安定しているっぽい。

タグ：数楽

posted at 01:25:42

#数楽続き。ベイズ推定と最尤推定に違いが出ない単純なケースだけを例に深いことを言えるはずがない。

ベイズ統計の本当に深い話は、基礎付けを正規分布による近似に頼っている最尤法が有効ではなくなるケースでもベイズ推定が有効であるという事実にあるようです。

タグ：数楽

posted at 01:16:12

#数楽続き。ベイズ推定の事後分布は定数倍を除いて尤度函数と事前分布の積に一致する。だから尤度函数の台が一点に集中してくる場合にはベイズ推定と最尤推定に本質的な違いない。

しかし複雑な確率モデルではそうはならず、ベイズ推定と最尤推定に違いが出ます。

タグ：数楽

posted at 01:10:53

#数楽続き。大数の法則から、(ab+x_1+…+x_n)/(a+n)→(サンプルを生成した確率分布の平均)=μとなることを使った。要するに正規分布の平均の推定ではベイズ推定と最尤推定に大した違いはない。事後分布でa=0とおくと尤度函数になることに注意。

タグ：数楽

posted at 01:02:57

#数楽続き。そのとき、サンプルサイズnでの事後分布の定義はp(x_1|w)…p(x_n|w)φ(w|a,b)の定数倍になるので、φ(w|a+n,(ab+x_1+…+x_n)/(a+n))になることがわかります。n→∞で事後分布はw=μに集中する。最尤推定も同様。自明な計算。

タグ：数楽

posted at 00:57:14

#数楽例えば、確率モデルp(x|w)=exp(-(x-w)^2/2)/√(2π)、事前分布φ(w|a,b)=exp(-a(x-b)^2/2)/√(2π/a)で、サンプルx_kを生成する分布はp(x|μ)であると仮定する。続く

タグ：数楽

posted at 00:52:58

私のような不心得ものがいるのでDICのような根拠のない手法が広まってしまうのだなあと反省

タグ：

posted at 00:30:35

@__nakamichi__ ありがとうございます。かなり背伸びして書いている部分も否めませんので、今回のように黒木玄先生に捕捉されるなどすると生きた心地がいたしませんが、めげずに精進したいと思います。

タグ：

posted at 00:28:31

nakamichi @__nakamichi__

@takehikohayashi だいぶすっきりしました．話が飛ぶのですが，因果推論についての林先生のブログや岩波DSの記事でも概念的な説明が大事にされていたなと思い，得心しました（すぐに役立つRubin流だけでなく，Pearl流や可能世界の哲学的な話まで行くところなど）．

タグ：

posted at 00:17:41