黒木玄 Gen Kuroki(@genkuroki)/2017年03月07日

#あなたがツイッターに残した業績
・2520日間、科学者について語った
・ルーレットを有名にした
・尤度比検定に貢献した
・専門家を再興した
・合理性を助けた
・条件付き確率の知名度を上げた
appli-maker.jp/analytic_apps/...

タグ：あなたがツイッターに残した業績

posted at 23:23:07

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

メモアカウント @gaygagshdhsvya1

#数楽 PK戦の順序 - 驚異のアニヲタ社会復帰への道 (id:MikuHatsune) d.hatena.ne.jp/MikuHatsune/20...

タグ：数楽

posted at 21:38:52

⚡️ “尤度比検定の最強力性はほぼ自明” by @genkuroki

twitter.com/i/moments/8389...

タグ：

posted at 21:00:32

#数楽注意：A氏の主観の設定の中にXの分布がp(x)である主観確率θが含まれているので、ベイズ統計的な設定になっているように感じる人がいるかもしれない。しかし、その手の主観確率とベイズ統計の設定における事前確率は違うものだと思った方がよいと思う。

タグ：数楽

posted at 20:33:53

ryoko @Ryoko_is

「どうせ癌になるんだから」みたいな言葉も、マスメディアの影響もありはするだろうけど問答無用で甲状腺検診受けさせられてることも大きいのではないのかなあ

タグ：

posted at 20:29:47

ryoko @Ryoko_is

TLにはけっこう石戸さんの記事に批判的なつぶやきが流れてくるんだけど、「子どもと親の意識のズレ」に言及した記事は初めて見たし、実際に現場で関わっている教員のそういう実感をキャッチして言葉にしたという点は評価されるべきと思うのだが

タグ：

posted at 20:26:16

#数楽記号：
・X_i は「Xの右下に小さくi」
・a^b は「aの右上に小さくb」
・⌠_Q は「集合Q上での積分」
・たとえば区間[a,b]上での積分は∫_{[a,b]}=∫_a^b
・確率密度函数p(x)に関する集合Qの確率は∫_Q p(x)dxになる。
などなど

タグ：数楽

posted at 20:23:57

#数楽続き。以上のシンプルな結果は、当たり前の話だが、XがX=(X_1,…,X_n)のようになっていても同様に成立している。

ただし、以上で述べた型の合理性は現実の確率分布が検定の結果識別された確率分布になっていることを何も保証しない。A氏個人の主観的な合理性に過ぎない。

タグ：数楽

posted at 20:16:19

#数楽続き。たとえば、実際にはXの分布はp(x)なのにq(x)だと判定してしまったときの損失kが大きければ、kθ/(k(1-θ))も大きくなり、Xの分布がq(x)だと判定するための基準が厳しくなる。θとlが変化した場合も同様に納得できる結論が得られる(当然!)。続く

タグ：数楽

posted at 20:10:24

#数楽まとめ：Xの分布がp(x)である主観的確率がθで、kが実際にはp(x)なのにq(x)だと誤認したときの損失で、lはq(x)なのにp(x)だと誤認したときの損失であるとき、q(x)/p(x)>kθ/(l(1-θ))ならXの分布はq(x)だと判定することが主観的な最適解。

タグ：数楽

posted at 20:04:36

非公開

タグ：

posted at xx:xx:xx

#数楽続き。これを最小にするためにはkθp(x)-l(1-θ)q(x)が負になる領域上の積分にすればよい。すなわち

Q={ x | kθp(x)-l(1-θ)q(x)<0 }={ x | q(x)/p(x)>kθ/(l(1-θ)) }

とすればよい。q.e.d.

タグ：数楽

posted at 19:55:27

sho_yokoi @sho_yokoi

知人のコンサル女子から「LU分解ってなに？」という質問が飛んできてドン引き（狂喜）してる。人工知能ブームはついに線形代数・数値計算の “一般教養” 化を成し遂げたのだ。

タグ：

posted at 19:53:59

#数楽証明：A氏の主観的期待損失は

R(Q)
=kθ⌠_Q p(x)dx + l(1-θ)⌠_{Q^c} q(x)dx
=kθ⌠_Q p(x)dx + l(1-θ)(1-⌠_Q q(x)dx)
=∫_Q(kθp(x)-l(1-θ)q(x))dx+l(1-θ)

と書ける。続く

タグ：数楽

posted at 19:50:25

#数楽解答： Q = { x | q(x)/p(x)>kθ/(l(1-θ)) }. すなわちA氏が主観的期待損失R(Q)を最小にする検定は尤度比検定に一致する。

続く

タグ：数楽

posted at 19:47:13

#数楽続き
・A氏はXの実現値が集合Qに含まれていたらXの確率分布はq(x)だと判断し、そうでなければp(x)だと判断する。
・A氏は自分の主観に基いて計算した損失の期待値R(Q)が最小になるようにXの値の集合Qを定める。

問題：そのようなXの値の集合Qを求めよ。

続く

タグ：数楽

posted at 19:39:12

#数楽続き
・Xの確率分布がp(x)である確率はθで、q(x)である確率は1-θだと思っている。(0<θ<1と仮定する。)
・Xの確率分布がp(x)なのにq(x)だと判断すると損失k>0が発生し、真の確率分布がq(x)なのにp(x)だと判断すると損失l>0が発生する。
続く

タグ：数楽

posted at 19:33:57

#数楽 Waldの定理の超絶特別な場合に関する補足。

以上で扱ったシンプルな尤度比検定を「主観的な確信に基いた損失の期待値を最小する判断」として出す話。

A氏の主観的確信に関する設定：
・Xの確率分布はp(x)とq(x)のどちらかだとA氏は信じている。
続く

タグ：数楽

posted at 19:28:23

[検診で発見されたがんの予後が良くても、がん検診が有効だとは言えないのはなぜか？ d.hatena.ne.jp/NATROM/2017030... ]。直観に反することが実は正しいと理解するのは楽しい。

タグ：

posted at 17:51:10

P-Zero @Poteny0n

あとで読みます。
⚡️ "尤度比検定の最強力性はほぼ自明" 作成者: @genkuroki

twitter.com/i/moments/8389...

タグ：

posted at 17:32:18

takasek @takasek

欲しいアプリについて呟いたら、開発者友達が「それなら弊社が」と30分で用意してくれるのが2017年という未来です
appsto.re/jp/t7cS3.i pic.twitter.com/Jb2bKn6tsA

タグ：

posted at 16:42:23

#数楽続き。「そもそもそのモデルってどんだけ"正しい"の？」という疑問が決定的に重要なケースでは「そのモデルの正しさを信じている人にとっての合理性」は現実には全然合理的ではない可能性が高い。Waldの定理の社会科学での利用はこのような点に十分な注意を払うべきだと思います。

タグ：数楽

posted at 16:13:00

#数楽続き。「サンプルXを生成する確率分布はp(x)とq(x)のどちらかである」という仮定のもとで最強力検定である尤度比検定を使うことは合理的ですが、その合理性はp(x)とq(x)のどちらかが真の分布であることを含んでいません。だから、現実には全然合理的でない可能性がある。

タグ：数楽

posted at 16:08:11

#数楽最初の話に戻る。「サンプルXを生成する確率分布がp(x)とq(x)のどちらかである」と仮定したことは忘れてはいけないこと。現実の観測で得られたサンプルXはp(x)とq(x)以外の確率分布で生成されているかもしれない。続く
twitter.com/genkuroki/stat...

タグ：数楽

posted at 16:04:53

#数楽例：p(x|w)=exp(-(x-μ)^2/(2σ^2))/√(2πσ^2) (正規分布、w=(μ,σ))の場合には、最尤法やベイズ推測による予測分布はサンプルを生成している未知の分布と同じ平均と分散を持つ正規分布に近付くことになります。

タグ：数楽

posted at 15:49:55

#数楽 twitter.com/genkuroki/stat...
日本語訂正
誤「サンプルを生成された確率分布に近付きそうな感じがする」
正「サンプルを生成した確率分布に近付きそうな感じがする」

他にもたくさんの誤りがあると思います。ごめんなさい。

タグ：数楽

posted at 15:35:17

#数楽続き。Neyman-Pearsonの定理とそのベイズ的一般化の話(尤度比検定の最強力性)をしていたのに脱線してしまった。

タグ：数楽

posted at 15:33:03

#数楽続き。ベイズ推測なら有効な一般的な設定では、最尤法は有効な方法ではなくなる場合があるという話もその本に書いてあります。モデルが単純なら最尤法で何の問題もないのですが、モデルが複雑になると最尤法は使用できない場合があるということのようです。続く

タグ：数楽

posted at 15:29:44

#数楽続き。複雑なモデルでも通用するようなより一般的な設定でのベイズ統計の原理の数学的正当化については、渡辺澄夫著『ベイズ統計の理論と方法』 www.amazon.co.jp/dp/4339024627 という教科書があります。物理の統計力学に関する素養があれば読み易いと思います。

タグ：数楽

posted at 15:27:15

#数楽続き。最尤法について書かれた教科書では、n→∞で尤度函数p(X_1|w)…p(X_n|w)の台がある特定のパラメーターの値w=θの周囲に集中して来るような設定になっているはずです(モデルが正則な設定)。その設定ならベイズ推測の正当化をすることは容易です。続く

タグ：数楽

posted at 15:24:38

#数楽ベイズ統計の原理を誤解しないためには「ベイズ推定は最尤法と同じようなものだ」と考えるとよいです。「ベイズ統計では事前確率という主観確率を考えるので客観的な最尤法とは全然違う」と考えた瞬間にひどい誤解をしてしまったことになります。誤解させる解説が多数派なのが大問題。続く

タグ：数楽

posted at 15:21:24

#数楽続き。しかし、その部分は数学的に非自明であり、ベイズの定理の類の自明な定理からは出て来ません。ベイズ統計を勉強するときに、ベイズの定理からベイズ統計の原理が出て来るように解説してあるものが多いのですが、そのような説明の仕方は誤解を招く非常によろしくないものです。続く

タグ：数楽

posted at 15:18:46

#数楽続き。条件付き確率に関するなにがしかの直観を持っていれば、サンプルX_1,…,X_nによって制限された条件付き確率分布p(x)=Z(X_1,…,X_n,x)/Z(X_1,…,X_n)を考えれば、サンプルを生成された確率分布に近付きそうな感じがすると思います。続く

タグ：数楽

posted at 15:15:27

#数楽続き～モデルの設定がどうであってもそのモデルで実現できる範囲内で予測分布p(x)=Z(X_1,…,X_n,x)/Z(X_1,…,X_n)はn→∞でサンプルX_1,…,X_nを生成した未知の確率分布q(x)に(Kullback-Leibler情報量の意味で)近付きます。続く

タグ：数楽

posted at 15:14:05

#数楽続き。モデル(パラメーター付きの確率分布p(x|w)と事前分布φ(w))を指定して、現実の未知の確率分布q(x)が生成したサンプルX_1,…,X_nから、モデル世界における条件付き確率分布Z(X_1,…,X_n,x)/Z(X_1,…,X_n)を考えると～続く

タグ：数楽

posted at 15:10:41

#数楽続き～ルーレットをn回まわして出た値がx_1,…,x_nになる確率の密度を意味していることになります。wで積分しているのでどのルーレットをまわすかを決めるためのルーレットφは外から見えなくなっています。表に出て来るのはどれか一つのルーレットをn回まわして出た値だけ。

タグ：数楽

posted at 15:06:54

タグ：数楽

posted at 15:05:00

#数楽続き～解釈できます。パラメーターwで指定されたルーレットを回したときにa≦x≦bの値xが出る確率は∫_a^b p(x|w)dxになる。パラメーターwの確率密度函数φ(w)はどのルーレットを回すかを決めるルーレットだと解釈できます。続く

タグ：数楽

posted at 15:01:49

#数楽続き。確率密度函数Z(x_1,…,x_n|φ)=∫p(x_1|w)…p(x_n|w)φ(w)dwで定義された確率分布は次のような様子を想像すると理解し易いです。パラメーターw付きのxに関する確率密度函数p(x|w)はパラメーターの分だけ複数のルーレットがある状況だと～続く

タグ：数楽

posted at 14:59:34

#数楽補足。パラメーターw付きのxに関する確率分布(密度函数)p(x|w)とパラメーターwに関する確率分布φ(w)に対して、分配函数Z(x_1,…,x_n|φ)=∫p(x_1|w)…p(x_n|w)φ(w)dwはx_1,…,x_nに関する確率密度函数になります。続く

タグ：数楽

posted at 14:56:20

@TesseracDB レセプト病名で「急性気管支炎」とかつけます。たぶん「上気道炎」だとはねられます。

タグ：

posted at 14:11:23

#数楽 ⚡️ "尤度比検定の最強力性はほぼ自明"

twitter.com/i/moments/8389...

タグ：数楽

posted at 13:27:53

#数楽続き。事前分布φ,ψに関するベイズ検定において、

L(X)=Z(X_1,…,X_n|ψ)/Z(X_1,…,X_n|φ)

関する検定が最強になります。(この結果は上の方ですでに述べたシンプルな場合を知っていれば自明。分母をp(X)と書き、分子をq(X)と書けばよい。)

タグ：数楽

posted at 13:12:41

#数楽続き。ベイズ検定の場合にもサンプルはX=(X_1,…,X_n)の形になり、XはZ(x_1,…,x_n|φ)=∫p(x_1|w)…p(x_n|w)φ(w)dwという分配函数の形の確率分布(密度函数)に従うと考えれば、以上で述べた結果の特別な場合になります。続く

タグ：数楽

posted at 13:09:38

#数楽続き。Neyman-Pearsonの定理のケースではサンプルが一つのXではなく独立同分布なX_1,…,X_nに変わるが、それらをまとめてX=(X_1,…,X_n)と書けば以上で述べた結果の特別な場合になる。続く

タグ：数楽

posted at 13:05:11

#数楽続き。サンプルの値Xに対するL(X)=q(X)/p(X)を尤度比と呼ぶ。尤度比検定は最強力である。この超絶シンプルな場合に関する結果はNeyman-Pearsonの定理やベイズ検定に関する結果を含んでいる。しかし、多くの教科書ではごちゃごちゃ難しく書いてある。続く

タグ：数楽

posted at 13:02:19

#数楽続き

= ∫_{q(x)>ap(x)}ap(x)dx-⌠_{f(x)>b}ap(x)dx
=aP_p(q(x)/p(x)>a)-aP(f(X)>b)
=0 (最初の仮定より).

これで示すべきことが示された。 q.e.d.

続く

タグ：数楽

posted at 12:59:47

#数楽続き

=∫_{q(x)>ap(x),f(x)≦b}q(x)dx-⌠_{q(x)≦ap(x),f(x)>b}q(x)dx
≧∫_{q(x)>ap(x),f(x)≦b}ap(x)dx-⌠_{q(x)≦ap(x),f(x)>b}ap(x)dx

続く

タグ：数楽

posted at 12:56:35

#数楽続き。P_q(q(X)/p(X)>a)-P_q(f(X)>b)≧0を示せばよい。

(左辺)=∫_{q(x)>ap(x)}q(x)dx-⌠_{f(x)>b}q(x)dx

の共通の積分領域を除くと(ここだけがちょっとしたアイデアを使っている)～続く

タグ：数楽

posted at 12:55:41

#数楽続き。

定理：L(X)=q(X)/p(X)による検定は最強力である。

証明は極めて容易なので、ある程度数学に慣れた人なら、以下の説明を見ない方が証明を書き下し易いだろう。

証明：P_p(q(X)/p(X)>a)=P_p(f(X)>b)と仮定する。続く

タグ：数楽

posted at 12:51:41

#数楽続き。fとgについて「任意のa,bについて、確率分布がpのときのf(X)>aとなる確率とg(X)>bとなる確率が等しいならば、確率分布がqのときのf(X)>aとなる確率はg(X)>bとなる確率以上になる」が成立しているとき、fによる検定はgによる検定より強力であると言う。

タグ：数楽

posted at 12:46:58

#数楽続き。函数f(X)に従う検定とは「Xの値がf(X)>aを満たしているとき、確率分布はpではなくqであると判定することである」。確率分布がpなのにf(X)>aとなる確率は小さな方が良いが、確率分布がqならばf(X)>aとなる確率は大きな方が良い。続く

タグ：数楽

posted at 12:43:19

非公開

タグ：

posted at xx:xx:xx

#数楽続き。確率分布 p, qのそれぞれにおける条件f(X)>aの確率をP_p(f(X)>a)=∫_{f(x)>a}p(x)dx、P_q(f(X)>a)=∫_{f(x)>a}q(x)dxと書く。続く

タグ：数楽

posted at 12:36:43

#数楽「尤度比検定が最強力検定である」というNeyman-Pearsonの定理はものすごく自明な結果。以下に述べる自明な結果はベイズ検定も含んでいる。

確率変数Xは確率分布p(x)dx、q(x)dxのどちらかに従っていると仮定する。どちらに従っているかを知りたい。続く

タグ：数楽

posted at 12:30:25

なぜいまさら4位。たまたま同時に2冊売れたら、ジャンル別で4位ぐらいまで上がるのだろうか。 twitter.com/best_of_book/s...

タグ：

posted at 11:49:01

「手引書では、一般的な風邪の原因となるウイルスには抗生物質が効かないことから、「投与を行わないことを推奨する」とした」。正しい。他の新聞も報道して欲しい。 htn.to/htDxcb

タグ：

posted at 11:17:04

Masahiro Hotta @hottaqu

のらや鉱物研究所所長からとても綺麗なコケの細胞の写真を頂いた。師匠方のご指導で、彼はドンドン写真の腕を上げている模様。 pic.twitter.com/ez7i8qZ20V

タグ：

posted at 07:31:16

Masahiro Hotta @hottaqu