黒木玄 Gen Kuroki(@genkuroki)/2016年10月11日

#数楽モンティホール問題での「事後確率」が「主観確率」だと強調したい人達は、私と賭けをしようという提案にのってくれるだろうか？もちろんあなたは最初の選択を変えてはいけない。当てたら1万円私からもらう。外したら私に1万円払う。全部で1000回繰り返す。www

タグ：数楽

posted at 00:24:01

#数楽確率の話はほんもののギャンブルで役に立つだけではなく、行動を決定するときの広義のギャンブルで役に立たなければいけない。ベイズ更新で計算したパラメーターの事後分布を広義のギャンブルに使う場合には「勝ち目」について何らかの指標が得られる場合に限るべきだと思う。

タグ：数楽

posted at 00:28:54

#数楽説明の都合のためにパラメーターの事前分布と事後分布を「主観確率」扱いするのは勝手だが、それらを政策決定で使用したいならそれらが「広義の意味でもギャンブルの勝ち目」とどう関係しているかを説明する責任が生じる。

タグ：数楽

posted at 00:34:08

#数楽何度読み直してもリンク先のスライド www.slideshare.net/mobile/takehik... で確率の哲学的諸概念がリスク解釈で役に立つという主張が理解不能。これに関心した人達はどこに関心したのだろうか？

タグ：数楽

posted at 00:42:52

#数楽続き。例によって、ベイズ更新を「ベイズの定理」で説明しているし。「確信の度合い」に「ベイズの定理」を適用できる根拠が不明だし(単にそう決めた？)、ベイズ更新が真の確率分布の推定に使えることは「ベイズの定理」から決して出て来ない。 pic.twitter.com/t0AdNaXOtX

タグ：数楽

posted at 00:48:06

#数楽続き。ベイズ更新で使われる確率モデルと事前分布は人間が勝手に導入するものであり、それ自体はベイズの定理が適用できる数学的対象ではない。ベイズの定理でベイズ更新の性質を理解しようとする人はベイズ更新の正体を見失うだろう。続く

タグ：数楽

posted at 01:02:49

#数楽続く。実際には、ベイズ更新の性質だけではなく、最尤法の性質も自明ではない。尤度函数が鋭い山型の函数になる場合にはベイズ更新による推定と最尤法による推定は本質的に一致することもわかる。そうならないケースでは最尤法は有効ではないが、ベイズ推定は有効。これはかなり非自明な話。

タグ：数楽

posted at 01:06:58

#数楽続き。あと、頻度主義とベイズ主義を「未知のパラメーターは１つに固定」と「未知のパラメーターは確率的に分布する」で対比していて、それ自体は誤りではないのですが、ベイズ統計の方の事後分布の対応物が最尤法の方にもある(尤度函数のこと)ので、比較する対象がおかしいと思う。続く

タグ：数楽

posted at 01:16:28

#数楽定数倍を除いて、事後分布は尤度函数と事前分布の積に等しい。最尤法では尤度函数が最大になるパラメーターを確率モデルに代入して真の確率分布の推定結果とみなし、ベイズ推定では事後分布で確率モデルを平均して得られる確率分布を真の確率分布のモデルとみなします。

タグ：数楽

posted at 01:20:04

#数楽正しい比較の仕方はこうです。

最尤法←→ベイズ推定

尤度函数←→事後分布=尤度函数×事前分布×定数

尤度函数を最大にするパラメーターを確率モデルに代入したものを真の確率分布の推定結果とみなす←→事後分布による確率モデルの平均を真の確率分布の推定結果とみなす

タグ：数楽

posted at 01:25:51

#数楽実際に誰かの意見を政策決定で活かすときには、その人の確信の度合いだけだはなく、その人による真の確率分布の推定結果が真の確率分布にどれだけ迫っているかが気になるはずです。政策の現実での影響の度合いは誰かの確信の度合いで決まるわけではない。

タグ：数楽

posted at 01:31:21

#数楽確率モデルが真の確率分布について正則でかつ、事前分布が特別に偏ったりしていないならば、漸近的に尤度函数と事後分布のグラフの形は定数倍を除いてほぼ同じになります。事後分布がそんなに役に立つなら、尤度函数も同じように役に立ちそう。その辺でも妙なことが書いてあるように見える。

タグ：数楽

posted at 01:35:51

#数楽真の確率分布の推定とみなせる確率分布そのもの(これはリスク対策などの政策で重要になる)ではなく、なぜか確率モデルのパラメーターの方に注目しまくる理由も理解できない。最尤法でもベイズ推定でも、推測するのはパラメーターではなく、確率分布の方。

タグ：数楽

posted at 01:41:38

#数楽 p.127以降の階層ベイズが役に立ちそうな例の話は面白そう。しかし具体的にどのようなモデルを設定したかの肝腎な部分の説明が不十分でわかりにくいと思いました。さらにモデルによる予測の信頼性をどのように政策現場で説明するつもりなのかが全く不明。リスク対策に本当に使えるのか？

タグ：数楽

posted at 01:47:51

#数楽続く。しかし、階層ベイズモデルの方法は、逐次近似的な試行錯誤によってリスク対策のためのモデルを改善するために役に立つことは確実そうに見えたし、改善されたかどうかはWAICとWBICのような客観的な情報量規準で確認すれば良いだろう。(このツイートは建設的な提案)

タグ：数楽

posted at 01:52:36

#数楽というわけで、私による www.slideshare.net/mobile/takehik... の感想は、(1)「哲学」がらみの部分は全く納得できない。(2)ベイズ統計の柔軟な枠組み(階層ベイズ)は役に立ちそう。(3)推定結果の精度の相対的比較のために各種情報量規準を使ったらどうか？

タグ：数楽

posted at 01:57:26

#数楽リスクがらみの政策で使うための推定結果について「これは私個人の確信の度合いを表しています」と言われても困る。その推定結果が現時点で使えるものの中でベストもしくはそれに近いものであることの客観的証拠の提出を求めるのは当然のことだと思う。最尤法でもベイズでもそれは全部同じ。

タグ：数楽

posted at 02:11:01

#数楽「間主観性」の話に繋げたければ、確率の哲学について語るのではなく、「あなたは推定結果の精度や信頼性についてみんなにどのような根拠に基いて説明するつもりなのか」についてきちんと説明して欲しいと思いました。特にリスク対策のための推定であるなら。

タグ：数楽

posted at 02:15:22

#数楽階層ベイズでのWAICの計算については twitter.com/genkuroki/stat...

そちらの連続ツイートはこちらの連続ツイートにおける最尤法とベイズ推定の比較や階層ベイズの有用性の話に結構関係のある話だと思う。

タグ：数楽

posted at 02:21:35

#数楽階層ベイズモデルは単純なベイズモデルのいち表現に過ぎない。階層ベイズモデルはパラメーターw_{i+1}付きのw_iの確率分布の列p_i(w_i|w_{i+1}), i=1,…,sのこと。w_{s+1}がハイパーパラメーター。一直線の列ではない自明な一般化も考えられる。

タグ：数楽

posted at 02:29:55

#数楽 twitter.com/genkuroki/stat... の比較の続き。

最尤法ではサンプルサイズが増すごとに尤度函数が更新される←→ベイズ推定ではサンプルサイズが増すごとに事後分布(=尤度函数×事前分布×定数)が更新される。

データが増えたときに推定を更新できるのは両方。

タグ：数楽

posted at 02:46:26

@kuri_kurita

😳 twitter.com/ikeda_kayoko/s...

タグ：

posted at 04:06:31

黄昏 @find25182902

@genkuroki
「ゆう」と読むんですか。
今まで「もっとも」で変換して「も」を消してました。

タグ：

posted at 05:34:46

石川一敏 @ik108

子宮頸がんワクチンの有益性とリスクを冷静に伝えるリスクコミュニケーションツールとして、新聞が十分機能していなかった。津田健司さんのコラム。jbpress.ismedia.jp/articles/-/48062　2013年3月以降、ワクチン接種後の副反応のリスクを強調する、ネガティブな新聞報道が急増。

タグ：

posted at 06:58:40

この話題ですが、世の中では2つの反応をする人がいて興味深いと思いました。一つの反応は18億円の額に反応する人。18億円でノーベル賞が一つなら安い、高いという反応。もう一つは、私が感じたの同じで、研究の始まりの時期（1995年以前）の研究費の問題。 twitter.com/yamagatm3/stat...

タグ：

posted at 07:06:27

実は、この点が今の日本の科学研究費についての最も本質的な問題だと思います。バイオ系のトップラボですと、年間予算が1億円というのは、科研費の特別推進でも、CRESTでもほぼそれくらいが目安でしょう。ただ、こういうお金は、研究が有名にならないと取れない予算です。

タグ：

posted at 07:17:12

1995年くらいは、国立大学の法人化以前で、講座の運営費などもそれなりに存在していた時期。大隅さんの科研費については、是非、関心ある方がその種目、応募の有無など含めて調べて欲しいと思います。特に、90年と95年にゼロの年があるので、そこがどうなっているのか。

タグ：

posted at 07:19:05

米国でも「酵母」を使った研究は、今世紀に入って5つもノーベル賞を出しているのに、NIH研究費では総額の1%ほどしかないという話題がありました。酵母のようなモデル生物は、もともと研究費が取りにくいのでしょう。特に、日本ではそうかもしれません。

タグ：

posted at 07:21:54

それと、もし本当に科研費に応募したのに、落とされたのなら、やはり審査の問題というのがあるのでしょう。米国の審査では、その内容の論理性に重点が置かれるようですが、日本の場合、論理的であるかより見かけが大切であるようです。例えば、応募者の研究機関、地位、発表論文雑誌の名前、コネなど。

タグ：

posted at 07:26:27

基盤の運営費ということもそうですが、やはり研究助成には多様性も必要で、科研費が取れなくても、民間助成機関などの充実も大切でしょう。そして、そういう審査では、科研費とは違うように評価するのも大切かもしれません。科研費と同じ人が審査したら同じ結果になるだけですから。

タグ：

posted at 07:30:30

大隅さんの研究の場合、88年に見つけて、実際に論文を発表したのが92年のJCB、93年にFEBS letters。この2つが大切だったわけです。90年と95年の科研費の空白があります。現在の研究環境が、こういう研究がやれるようになっているのか、ということでしょうか。

タグ：

posted at 07:34:06

海外での評価を待っているというのも、また問題だと思います。欧米ですと、結構、研究者の層が厚いので、何かでてきても、そういうことが評価できる人がいる。日本では、昔の分野が潰されたりして、見かけ上の流行りの研究者ばかりが生き残る仕組みになっているので、何かでてきても評価ができない。

タグ：

posted at 07:39:01

もちろん、欧米の評価が間違っている場合もある。日本だけで評価される場合もあるでしょうが。。ただ、科研費なども、欧米の研究者の意見を聞いてみるというようなことは必要でしょう。

タグ：

posted at 07:41:58

おまつ @matsuzakid

今さらながら欠損値には３種類あり、１．ランダムな欠損　２．欠損値自体の影響（どうせ赤点だしテスト行きたくない）　３．欠損値以外の値の影響（バイトしないと学費出せない）　のそれぞれに対処法が模索されていることを知りました

タグ：

posted at 09:06:08

おまつ @matsuzakid

測定値が欠損したこと自体に意味があり、そのケースを除くと結果が歪むというのは非常によく分かる話でした

タグ：

posted at 09:07:36

中国専門家「みんなが大隅さんに受賞させたいと思っていた」―中国メディア www.recordchina.co.jp/a152270.html
「「大隅さんは多くの極めて重要な研究を行ったが、CNS(生物医学分野で有名な科学雑誌3誌の総称）への論文掲載を全く求めていなかった。」

タグ：

posted at 09:42:41

「彼はCNSに対する過度な評価体系を批判しており、CNSには多くの間違った論文もあるとしていた。論文が掲載されればそれで良く、大切なのは地道に研究をすることだと考えていた。」 twitter.com/yamagatm3/stat...

タグ：

posted at 09:45:20

松永和紀 @waki1711

@hidetoga １面だったら、降版前に科学環境部のデスクはもとより、社会部、整理部・校閲部（今は、編集制作センターか）……いろいろな部署が目を通すはず。全国でおそらく100人を超える人たちが読んで、「これ、おかしくない？」という声がどこからも出なかった？

タグ：

posted at 14:22:08

松永和紀 @waki1711

キリンビール / KIRIN BEER @Kirin_Brewery

@hidetoga　訂正記事を全部読んでも、「相互チェックが働かないのでは」という、組織に対する根源的な疑問が、消えないです。うーん、悲しい

タグ：

posted at 14:24:34

あ〜る菊池誠(反緊縮)公式 @kikumaco

たぶん世界初🌏。なんだか😀になれる、絵文字だけで出来た日本地図🗾です。眺めるも良し👀、編集するも良し✏。お楽しみください。
#グリーンラベル #emoji #絵文字で作る日本地図
 cards.twitter.com/cards/8k537m/2...

タグ： emoji グリーンラベル絵文字で作る日本地図

posted at 15:07:38

黒木さんに触発されて注文した「ベイズ統計の理論と方法」が予定よりだいぶ早く発送された

タグ：

posted at 16:02:00

#数楽本当は逆理(paradox)でもなんでもないことを何かおおごとのように語っている人を見付けたら要注意かも。統計科学の周辺では「統計力学におけるギブスの逆理は量子力学によって解消された」は俗説。詳しくは田崎晴明著『統計力学I』pp.138-141。続く

タグ：数楽

posted at 17:56:02

#数楽続き。「ギブスのパラドックスは量子論によって救済された」(要約)と書いてある本には、伊庭幸人著『ベイズ統計と統計力学』がある(p.76)。続く

タグ：数楽

posted at 17:58:50

#数楽続き。「リンドレーの逆理」についても要注意かもしれない。私は統計科学のどしろうとなのだが「これってなに？」と感じられた疑問の多くが渡辺澄夫著『ベイズ統計の理論と方法』を見たら解決した。事前分布とベイズ因子についてはそのp.64の定理2が参考になった。続く

タグ：数楽

posted at 18:03:38

#数楽続き。その定理2で扱われている状況は、尤度函数が鋭い山型になっている簡単な場合に関する結果なので、その本を読まなくても、ラプラスの方法(ガウス積分近似)を思い出せれば以下の話は理解できる。続く

タグ：数楽

posted at 18:06:31

Hiroyasu Kamo @kamo_hiroyasu

「ラッセルの逆理は集合{x|x∉x}が存在しないことの証明であって、逆理ではない」は、なかなか世間に浸透しません。 twitter.com/genkuroki/stat...

タグ：

posted at 18:07:31

#数楽続く。ラプラスの方法とは1次元の場合にはf(a)がf(w)の唯一の最小値でf''(a)>0のとき、n→∞で、
∫e^{-nf(w)}φ(w)dw
〜e^{-nf(a)}φ(a)√(2π)/(nf''(a)))
と近似できるという結果。ベイズ統計の文脈でこの近似は〜続く

タグ：数楽

posted at 18:12:05

#数楽続き〜、尤度函数e^{-nf(w)}と事前分布φ(w)に適用されます。説明の簡単のためaはサンプルを生成した真の確率分布を与えるとします。積分の結果は採用した確率モデルと事前分布φ(w)によってサンプルデータが生成される確率(密度)になり、周辺尤度と呼ばれている。続く

タグ：数楽

posted at 18:19:54

#数楽続き。周辺尤度の評価にガウス積分近似が使えるなら、周辺尤度は事前分布の真のパラメーターaでの値φ(a)に比例することがわかります。だから真のパラメーターaにおける事前分布の値が小さくなると、周辺尤度もそれに比例して小さくなる。続く

タグ：数楽

posted at 18:23:00

#数楽続き。だから、事前分布を薄く広がった分布にすればするほど採用した確率モデルがサンプルデータを再現する確率(周辺尤度)は下がります。事前分布として広さAの台を持つ一様分布にすると、周辺尤度は1/Aに比例するようになります。ラプラスの方法からこれは別に不思議でも何でもない。

タグ：数楽

posted at 18:27:59

#数楽続き。以上の一般論に納得できない人は、確率モデルとして分散を1に固定して平均wをパラメーターとする正規分布を採用し、wに関する事前分布として平均を0に固定した分散σ^2を超パラメーターとする正規分布を選んだときの周辺尤度を評価してみるとよいと思います。続く

タグ：数楽

posted at 18:31:59

#数楽続き。そして、サンプルを再生する確率分布は分散1、平均aの正規分布だとする。このとき、周辺尤度の意味でベストの超パラメーターはσ^2=a^2であることを直接の計算で確認できます。この例を計算できれば色々納得できると思う。続く

タグ：数楽

posted at 18:35:48

#数楽続き。ベイズ因子は周辺尤度の比のことなので、ベイズ因子によるモデル選択は周辺尤度の大小でのモデル選択と同じ。確率モデルと事前分布の組を周辺尤度で評価するとき、事前分布が薄く広がっている側はその分だけ不利になります。まあ、ベイズ更新の定義からも明らかな話なんですけどね。

タグ：数楽

posted at 18:39:56

#数楽続き。私には、薄く広がった事前分布を使っている側が同じサンプルサイズによる推定で比較したときに精度の面で不利になるのは当たり前の話だと思うのだが、どうだろうか？以上では具体的な計算の筋道まで示してしまいましたが。続く

タグ：数楽

posted at 18:42:04

#数楽続き。薄く広がった事前分布の問題を、「リンドレーの逆理」とか、maginalization paradoxとか呼ぶのは大袈裟過ぎると思う。「N!で割ることに関するギブスの逆理」に関する俗説と似たようなにおいがします。私はどしろうとなのですが、どうなんでしょうか？

タグ：数楽

posted at 18:46:32

#数楽周辺尤度の定義は尤度函数と事前分布の積の積分(分配函数とも呼ばれる)で、尤度函数のグラフが一点aの周囲の鋭い山型の形状になっているなら、積分の結果は、ラプラスの方法を使うまでもなく、事前分布のaにおける値に近似的に比例することは明らかだよね。

タグ：数楽

posted at 18:56:48

#数楽歴史的に不幸な経緯で「逆理」と呼ばれることになった話をそれが何となく「有名で権威ある話」であるように感じ始めたら、危険信号が点滅していると思う。

普通に各概念を逐次近似的に正確に理解しようとした方が時間を無駄にせずにすむし、応用も効くと思う。

タグ：数楽

posted at 19:09:56

しまでん⛄ÿú*゜ @SHIMADEN

あ〜る菊池誠(反緊縮)公式 @kikumaco

@REIKO_Musica 「#掛算の順序」問題に似てますね。「この場限りの暫定的で便宜的な取り決め」を導入すること自体は悪いことではないと思いますが、学校を卒業するまでに「それはローカルルールで一般的にはこうですよ」というのを教えてあげないと、大人になっても信じてしまいます。

タグ：

posted at 19:43:57

「ベイズ統計の理論と方法」届いた pic.twitter.com/7AyzDQOj1E

タグ：

posted at 20:32:30

この分析を見ると、いろいろと興味深いことがわかります。 twitter.com/yamagatm3/stat...

タグ：

posted at 21:32:31

例えば、JCB, 1992; FEBS let, 1993の論文の被引用回数。発表後、数年後は、ほとんど引用されず、本格的に引用され始めるのが、15年後とか。。 pic.twitter.com/nuOaSkJqyH

タグ：

posted at 21:37:20

しかし、こういうのをみると、大隅さんが1996年に基礎生物学研究所の教授になられた人事が、如何に卓見だったか、がわかりますね。当時、被引用回数が、1桁の論文を評価したわけですから。 twitter.com/yamagatm3/stat...

タグ：

posted at 21:48:29

一方で、1995年に科研費の「重点領域研究」が途切れているというのが、気になりますね。 twitter.com/yamagatm3/stat...

タグ：

posted at 21:52:21

万博@盲学校マジック @bampaku

積分定数さんのTL追ってみたけど、ひょっとして最初の疑問に対する明確な回答がまだ出ていないのでは。

タグ：

posted at 22:10:31

#数楽渡辺澄夫著『ベイズ統計の理論と方法』は物理の人なら相当に速く楽しんで読めると思う。実用的に役に立つ話の中に、分配函数や自由エネルギーの漸近挙動を証明(!!!)できる話。第3章は本質的にラプラスの方法(ガウス積分近似)の話。ただし、exp()の中身を〜

タグ：数楽

posted at 22:10:48

#数楽続き〜、-n[(nに依存しない量)+(nに依存する確率過程(パラメーター付き確率変数))]とわける。確率過程の部分は中心極限定理(の確率過程への拡張)で処理し、あとはnに依存しない領域が最小になるw_0の近傍でガウス積分近似。いつものラプラスの方法なので難しくない。続く

タグ：数楽

posted at 22:23:53

#数楽続き。第3章は中心極限定理で処理できる確率過程を含むK_n(w)に対する
∫exp(-nK_n(w))φ(w)dw
をラプラスの方法で評価する部分が本質的。第3章は赤池情報量規準AICなどの最尤法の情報量規準の話も含む。続く

タグ：数楽

posted at 22:30:04

#掛算　 komachi.yomiuri.co.jp/t/2016/0827/77...
＞何人かと聞かれているので、かける順番は最初に4人がこないといけないと思いますが

タグ：掛算

posted at 22:31:22

#掛算
＞人数を求めるので、人数を示す４を式の先に持ってきて、

タグ：掛算

posted at 22:32:22

#掛算
＞この手の問題では
　５×４×６=１２０　でも　６×４×５=１２０　でも
４，５，６が掛けてあればマルという意見がとくにネット上に溢れているようですが信じないほうがよいです。竹内薫さんもそんなことをいっていたようですがまちがいです。

タグ：掛算

posted at 22:34:18

#数楽続き。第4章はガウス積分近似が使えないケースに分配函数Z_n=∫exp(-nf_(w))φ(w)dwの評価を拡張する話。分配函数とは異なる各種母函数をフルに使う。

タグ：数楽

posted at 22:37:55

#掛算　＞高校理科教師
＞高校理科の問題集の解答は，特別の理由がない限り，掛け算の順序を考えて書かれてます．日ごろから掛け算の順序を考えながら式を立てる練習をしておくと，解答を読み解く力が養われ，ひいては初めての問題を見て式を立てる力がつくことが期待できます．

タグ：掛算

posted at 22:42:04

#数楽 twitter.com/genkuroki/stat...
訂正。正しくは「役に立つ話の中に、分配函数と自由エネルギーの漸近挙動を証明！！できる話があることが、その本を読めばわかる」。その本の売りである正則でない場合以前の第3章のガウス積分近似一発ですむ話も役に立ちまくりそう。

タグ：数楽

posted at 22:42:13

#数楽その易しい第3章の内容は、すべて具体的に手計算可能な指数型分布族の場合の例(ググれば調べられる)をいじると納得し易いと思う。

ただしこの本の内容をピンと来る形で読めるためにはKL情報量(相対エントロピー)に関する理解はたぶん必須だと思う。

タグ：数楽

posted at 22:45:18

#数楽 twitter.com/genkuroki/stat...
訂正。正しくは「nに依存しない領域」ではなく、「nに依存しない量」。

計算できるおもちゃがたくさん手に入る本とも言える。

タグ：数楽

posted at 22:48:58

#掛算
＞アラフォー三流数学者
＞三流ですが一応プロ数学者なので、

自称だから彼らの申告が事実かどうかは分からないけど、「掛け算の順序に拘るのは文系」などというのが事実と異なるのは、桜井進氏や銀林浩氏、森毅氏の事例が示している。

タグ：掛算

posted at 22:50:59

#掛算　
 komachi.yomiuri.co.jp/t/2016/0414/75...
＞答えは分かっても式が思いつきませんでした。

本末転倒。答えを求めるための式じゃなくなっている。

タグ：掛算

posted at 22:54:36

#掛算　色々興味深い投稿がある。
これは、1年算数の「いくつといくつ」という単元だね。
komachi.yomiuri.co.jp/t/2016/0622/76...

タグ：掛算

posted at 22:56:58

#数楽『ベイズ統計の理論と方法』の主結果は「変数の個数がサンプルサイズとともに増える階層ベイズモデルに適用できない」というのは誤解です。実際StanでWAICを計算している人がいます。 twitter.com/genkuroki/stat...

タグ：数楽

posted at 22:58:20

#掛算　勉強が出来る子は、その能力を隠しておくという処世術も身につけないとならないらしい。
komachi.yomiuri.co.jp/t/2015/1022/73...

タグ：掛算

posted at 23:00:05

#数楽階層ベイズでWAICやWBICをどしろうとでも簡単気軽に計算できる道具があるなら教えて欲しいです。

タグ：数楽

posted at 23:00:06

#掛算　これは以前報告したことがある。
komachi.yomiuri.co.jp/t/2016/0222/75...

タグ：掛算

posted at 23:07:04

shigeo @ShigeoTky