黒木玄 Gen Kuroki(@genkuroki)/2016年09月06日

#数楽対数尤度のn分の1
(1/n)Σ_{n=1}^n log p(X_k)
はlog p(X_k)たちの標本平均の形をしています。各X_kは確率密度函数q(x)を持つので、大数の法則より、対数尤度のn分の1はn→∞で
∫q(x)log(p(x))dx
に収束します。続く

タグ：数楽

posted at 00:05:16

#数楽続き。それの-1倍はKL情報量と真の分布qで決まる定数だけ違う量です。
D(q(x)||p(x))=∫q(x)log(q(x))dx-∫q(x)log(p(x))dx.
pを動かして、KL情報量を小さくすることと、∫q(x)log(p(x))dxを大きくすることは同値。

タグ：数楽

posted at 00:16:46

positive gamma@2023 @posit1vegamma

@genkuroki まだ途中なのだと拝察しますが、黒木先生版のAIC(赤池情報量規準)の解説かと思いました。(^^)

タグ：

posted at 00:21:11

#数楽このようにして、未知の真の分布qとの間のKL情報量D(q||p)が小さなpを見つける問題は、nが大きなときの観測値達X_1,…,X_nの尤度p(X_1)…p(X_n)が大きなpを見つける問題で代用できそうだという期待が得られるわけです。

タグ：数楽

posted at 00:21:40

#数楽そして、KL情報量を考える必然性は先に説明したSanovの定理から得られる。真の確率分布qを近似的にシミュレートするマシンpが欲しければKL情報量D(q||p)が小さなpを見つければよい。コンピューターの発達でpを見つけるために実行可能なことが大幅に増えた。

タグ：数楽

posted at 00:44:23

#数楽以上のようなわけで、KL情報量を持ち出す場合には必ずSanovの定理についても大雑把でいいから説明するべきだと思う。

KL情報量の易しい解説のつもり→ www.math.tohoku.ac.jp/~kuroki/LaTeX/...

タグ：数楽

posted at 00:49:41

#数楽 KL情報量については「距離のようなもの」という説明よりも上でしたようなSanovの定理の内容を説明した方が分かり易いと思う。KL情報量D(p||q)は確率分布qの独立試行で経験分布pがどれだけ生じ難いかを表わす指標です。

タグ：数楽

posted at 00:59:00

#数楽上の方で説明した議論を赤池情報基準AICの導出で見たことのある人は結構いると思います。その議論はものすごく普遍的で、しかも上で説明したようにSanovの定理を知っていればものすごく易しい話です。

タグ：数楽

posted at 01:07:46

原子心母 @atomotheart

Kontsevich, Notes on motives in finite characteristic
でhigher Weil conjectureを定式化して統計力学との関係を述べてた…>RT

タグ：

posted at 03:56:33

ＫＹＭ @HRHSKYM

【トンデモさんウォッチング】

『抗がん剤治療に入ります。と主治医に言われました。。。胞状奇胎→掻爬手術→その後』
⇒ amba.to/2c80W4z

手遅れになら無い内に、標準治療を受けられる事を望む。それと、耳に心地良い他人の言葉だけを聞くのも止めようよね。

タグ：

posted at 05:43:47

藤井達也@整形外科医/ER @fujiibon

#掛算　 19452051.at.webry.info/201605/article...
＞「この数は、集合数なのか、順序数なのか、をしっかり見抜けるようになってほしいな」

具体的な講義内容は分からない。
なお算数教育での「集合数、順序数」は、集合論の「濃度、順序数」とは別概念。

タグ：掛算

posted at 06:49:24

妊娠に関わるセラピストみたいなんですが、タビトラさんのコメントの通り。
抗がん剤使わなくても治ったというそちらのコメントの方胞状奇胎よりも特ケースだと思うのですが、そこにとびついてしまうんですよね。
そして訂正はかなり困難 twitter.com/tabitora1013/s...

タグ：

posted at 07:35:37

【ゆる募】累積密度分布をヒストグラム＋折線近似で推定したときの誤差評価（ヒストグラムのための点数 n と，ヒストグラムのビン幅 h に対する評価）

タグ：

posted at 09:40:54

@tmaehara ビン数 - 1 の自由度で，AIC / MDL あたりでモデル選択するとかいう話でしょうか？

タグ：

posted at 09:44:01

@shima__shima アルゴリズムの都合で，それなりに高い精度で累積分布を推定する必要があって，そのためにはどれくらいの n, h にするのが良いのかなあ，という話です．

タグ：

posted at 09:46:52

@tmaehara 累積分布の差はノンパラメトリックなコルモゴロフ-スミルノフ検定とかでできるので，それで評価するとかはどうでしょう？

タグ：

posted at 09:48:19

@shima__shima なるほど，経験分布をもってきて，差を統計量で近似する感じですかね（点数に対して O(1/√n) になる？）．
ちょっと困りそうなのはヒストグラムにしてるところで，ビン幅でズレるのがどう効くか難しそうな予感が．

タグ：

posted at 10:01:09

@tmaehara 累積密度分布なので，ヒストグラムモデルが記述する階段状の累積密度分布と比較すれば？

タグ：

posted at 10:02:34

@shima__shima サンプル数が増えれば増えるほど，階段の部分で，違う分布だと認識されそうな予感がするのですが，どうなんでしょうか（多分，幅と点数のトレードオフが出るはずで，評価が作りにくそう）．

タグ：

posted at 10:06:41

@tmaehara すみません．問題が分からなくなりました．
適切なビン数の選択でしょうか？
ビン数を固定したとして，既知である真の分布からの乖離を評価したいのでしょうか？
前者はAICなどのモデル選択，後者は検定などの分布の差の評価

タグ：

posted at 10:10:42

@shima__shima その２つだと前者で，理論評価を作りたい感じです．

タグ：

posted at 10:12:28

@tmaehara 等しい幅のビンならビン数 k について AIC なら k-1，MDL/BIC なら (k-1)/2 log n の罰則項を負の対数尤度にたせばいけそうな

タグ：

posted at 10:15:59

#数楽メモ
他にもたくさん見つかると思いますが、赤池情報量基準AICの導出などに関する講義ノートの例→ www.stat.cmu.edu/~larry/=stat70...

考え方はシンプルだが、計算は様々な近似を使うので、注意しないとごちゃごちゃしまくってしまう。

タグ：数楽

posted at 12:33:01

#数楽知りたいのは対数尤度期待値∫q(x)log(p(x))dx(大きいほどよい)。大数の法則より、nが大きいときそれは対数尤度標本平均
(1/n)Σ_{k=1}^n log(p(X_k))
で近似できる。ある特定の設定ではO(1/n)の項を追加して精度を上げられる。続く

タグ：数楽

posted at 12:40:03

#数楽続き。AICの設定では、そのO(1/n)の項はモデルを作るときに使われる確率分布の族のパラメーターの個数の-1/n倍になる。パラメーターの個数が大きくなるとその項は小さくなるので、大きくしたい対数尤度期待値には負の寄与をすることになる。続く

タグ：数楽

posted at 12:45:36

#数楽 AICの設定のもとで、
(対数尤度期待値(これを大きくしたい))≒(標本サイズnでの対数尤度標本平均)-(モデルのパラメーターの個数)/n。右辺の-2n倍が赤池情報量基準AICの定義。AICは小さいほどよいと考える。

タグ：数楽

posted at 12:50:24

#数楽通俗的な説明では、「パラメーターが多過ぎるモデルは良くない。AICを小さくすればパラメーターが多過ぎるモデルを避けられる」のように説明してあることが多いように思うのですが、「パラメーターが多過ぎるモデルが良くない」の理由の理解には注意が必要だと思います。

タグ：数楽

posted at 12:55:12

#数楽「真の確率分布を経験分布として再現する確率がより高いモデル」=「KL情報量がより小さなモデル」=「真の確率分布のもとでの対数尤度の期待値がより小さなモデル」≒「AICがより小さなモデル」という関係を理解することが大事。最初の等号がSanovの定理で他は計算。

タグ：数楽

posted at 13:00:31

#数楽 AICを導出する近似計算の驚くべきことは、「標本サイズnを固定するとき、モデルが真の確率分布を経験分布として再現する確率は、モデルのパラメーターを増やし過ぎると下がる」ということだと思います。予測精度が*下*が*る*からパラメーターを増やし過ぎるのはよくないのです。

タグ：数楽

posted at 13:05:10

#数楽以上の議論のポイントはSanovの定理(モデルの予測精度の話)。「モデルのパラメーターの個数を増やすと予測精度は上がるが、パラメーターの個数が多過ぎるのはよくない」からAICが有用なのではなく、パラメーターの個数を増やし過ぎると予測精度が下がるからAICは有用なのです。

タグ：数楽

posted at 13:08:51

#数楽議論の全体は「nを大きくするときの漸近挙動の解析を順次より精密化して行く」という「いつものアレ」の典型例の１つになっています。

確率がからむので、大数の法則と中心極限定理を空気のごとく使う話にもなっている。あと易しい大偏差原理(Sanovの定理)も。

タグ：数楽

posted at 13:14:46

#数楽私は統計学諸分野について「どしろうと」であることに注意！

どしろうとであっても、普遍的で基本的な考え方で解決するという基礎を忠実に守れば、ややこしく見える話であってもそうややこしくない形で理解できることが多いと思う。

タグ：数楽

posted at 13:19:00

原子心母 @atomotheart

@genkuroki 例の熱浴とペレリマンの話とかヴェイユ予想の話の呟きの纏まった文章化されたものを希望してます

タグ：

posted at 13:23:36

io302 @io302

Cloud LaTeX (アカリク) @cloudlatex

「自然と触れ合うために、こどもには土いじりさせてます♪」ってワクチン打たずにやってると、破傷風になります。大抵ワクチンしてると医者も思うから、診断遅れますね

【すり傷で死亡？】恐ろしい破傷風の症状と治療方法、そして予防とは？ spotlight-media.jp/article/200484...

タグ：

posted at 13:32:03

ヒカルリ(ハイパー都内勤務エンジニア) @hika_ruriruri

Cloud LaTeX のテンプレートに、科研費LaTeX ( osksn2.hep.sci.osaka-u.ac.jp/~taku/kakenhiL... ) の2017(H29)年度版 (2016年秋応募分) の各種書類を追加しました。

cloudlatex.io

タグ：

posted at 14:40:19

「純粋数学と教育における数学は別物」とか主張してくる奴がいそう>RT
#0は自然数　 #掛算

タグ： 0は自然数掛算

posted at 15:05:59

@temmusu_n @genkuroki @labidochromis 　ざっと読みました。日本語にも主語という概念を考えることが出来るということは理解できました。

タグ：

posted at 15:39:58

@temmusu_n @genkuroki @labidochromis しかし、英語の五文型のような日本語の文型を、「何（誰）が－どうする」とするのは抵抗があります。
www.elm-lab.com/CCP010.html

タグ：

posted at 15:42:23

最近ぼくがしているような話を工学部などでは教えて欲しいと思っているのだろうし、そのこと自体に私も大賛成なのですが、実現するためには、時間的・人的に投入するリソースを増やさないと無理だと思う(安定して投入する予算を増やさないと無理)。別を削って他に投入という発想ではダメ。

タグ：

posted at 16:12:51

というわけで、学生時代には、面白い話は「大学での標準的カリキュラムとは独立に勝手に勉強する」という昔からある「伝統的な勉強の仕方」をする方針にならざるを得ないと思う。私が学生時代には「どういう勉強が必要か」については「先輩達」から直接伝わって来た。現在はSNS経由も使える道具。

タグ：

posted at 16:16:30

Ken @kenmetrics

統計関連学会連合大会の企画セッション「これからの統計科学を考える」に心理統計の立場で呼んでいただいたので「心理学におけるオープンサイエンスの進展と統計学にできること」という発表をしました。心評特集号とても参考にさせていただきました。
www3.psy.senshu-u.ac.jp/~ken/jjsm2016....

タグ：

posted at 16:19:48

安定して使い続けることができる新たな予算を投入せずに、一時的な予算だけを頼りに一時的な雇用や誰かの仕事の分量を増やすことによって解決という発想は失敗すると思う。

タグ：

posted at 16:20:09

@sekibunnteisuu @temmusu_n @labidochromis 私の所にも大門本到着。大門本の金谷批判を確認して気付いたのですが、金谷氏は『英語にも主語はなかった』という題名の本も出していたんですね(^^;)。『日本語には〜』とその本の中古本はどちらも1円。

タグ：

posted at 16:41:17

@genkuroki @temmusu_n @labidochromis 　「英語には～」は、ブッシュ政権のイラク戦争と英文法を関連づけたりして、チョムスキーの普遍文法とブッシュ政権の共通点だとか、読んでいて、これはどうかな？と思うことがしばしば。

タグ：

posted at 16:57:04

久保拓弥 @KuboBook

岡田さんの「心理学におけるオープンサイエンスの進展と統計学にできること」講演 www3.psy.senshu-u.ac.jp/~ken/jjsm2016.... のスライド，p値の分布がおもしろすぎる…近年になるほど悪化しつつある「ゆーい差」決戦主義でしょうか… pic.twitter.com/hMXezxC8Dg

タグ：

posted at 16:58:51

国立国会図書館レファ協公式 @crd_tweet

#数楽階層ベイズモデルとWAIC - StatModeling Memorandum statmodeling.hatenablog.com/entry/waic-wit...

WAISは所謂「代数統計」(代数幾何、代数解析と似た意味)の話。

タグ：数楽

posted at 17:22:22

マザー・テレサの名言「愛の反対は憎しみではなく無関心だ」という言葉が掲載されている本を見たい。（千葉県立中央図書館）crd.ndl.go.jp/reference/deta...

タグ：

posted at 17:24:20

モーリー・ロバートソン @gjmorley

#数楽メモ
「代数統計」についての入門的解説は→ ibisml.org/archive/ibisml... にある。代数幾何と代数解析の学習理論へのかなり必然的に見える応用。統計学諸分野や広いので、代数幾何や代数解析などとの間に橋が架かることは歓迎するべきこと。

タグ：数楽

posted at 17:34:40

日本の場合、放射能忌避が壮大な政治ポピュリズムに結びつきました。現在欧米で吹き荒れる「反イスラム」のポピュリズムと構造を比較すると、あちこち驚くほど似ています。2011年からの5年間は大衆扇動の教科書的なドキュメントとして価値あり。 twitter.com/kikumaco/statu...

タグ：

posted at 17:55:22

oʞɐsɐ ɐɹnıɯ @asarin

@kenmetrics @oshio_at 充実した資料の公開＋特集号論文を多くご紹介いただきありがとうございます！特集号サイトからリンクさせていただきました．team1mile.com/sjpr59-1/2016/...

タグ：

posted at 17:56:40

@sekibunnteisuu @genkuroki @labidochromis えーっと、このサイトは大門正幸氏のものではないと思うので、関連が分かりません。そもそも大門氏の本には、五文型では足りないという主張も少しあるはず。今すぐは本を見ることができませんが、(続く)

タグ：

posted at 18:00:38

#数楽自明な誤植
twitter.com/genkuroki/stat...
×WAIS→◯WAIC
赤池情報量基準AICの導出には伝統的な「正規分布による近似」を用いるが、そうできない非正則モデルでも使えるのがWAIC。正規分布による近似が有効でない場合に代数幾何と代数解析が役に立つ。

タグ：数楽

posted at 18:04:13

@sekibunnteisuu @genkuroki @labidochromis (続き)
I cried in the bathroom.
と
I lived in N.Y.
のような五文型理論だと同じくSVに分類される文を対照し、後者で前置詞句が必須だという反例を示します

タグ：

posted at 18:07:30

OokuboTact　大久保中二病中年 @OokuboTact

#数楽「代数統計」関連の連続ツイート
・ twitter.com/genkuroki/stat...
・
twitter.com/genkuroki/stat...
・あとこのツイートの返答連鎖

タグ：数楽

posted at 18:12:51

@sekibunnteisuu 　　「日本語には主語はない」という話は「日本語には主語のない文が一部存在する」と「日本語を外国語（例えば英語）に機械翻訳すると、誤訳になる場合がある」という話ですよね。　　＃日本語には主語がある

タグ：日本語には主語がある

posted at 18:17:44

TN @tomoak1n

@genkuroki #数楽「真の確率分布のもとでの対数尤度の期待値がより小さなモデル」は大小が反転ですか？符号を忘れているかのような。 twitter.com/genkuroki/stat...

タグ：数楽

posted at 18:20:05

@sekibunnteisuu @genkuroki @labidochromis 三上章関連で一つだけ。ガ格には他の格と一緒くたにできないこともあると述べていたことは大門本にも見えますが、一つの文で複数の主語が入り乱れることを悪文と評してもいます。書誌を示せないのですが。

タグ：

posted at 18:25:19

musiatui.blog111.fc2.com/blog-entry-126...
このiPhoneアプリを試してみた。

バッテリーの消耗レベル29%
悪い
充電回数442回

タグ：

posted at 18:38:39

@tomoak1n #数楽単純な書き間違いです。多分その手のミスは他にもあると思います。ごめんなさい。

タグ：数楽

posted at 19:38:09

TN @tomoak1n

@genkuroki ご確認いただきありがとうございます。

タグ：

posted at 19:41:24

#数楽 twitter.com/genkuroki/stat...
訂正版(*〜*の部分を訂正)
「真の確率分布を経験分布として再現する確率がより高いモデル」=「KL情報量がより小さなモデル」=「真の確率分布のもとでの対数尤度の期待値がより*大き*なモデル」≒「AICがより小さなモデル」

タグ：数楽

posted at 19:42:02

@tsatie @sekibunnteisuu @genkuroki @labidochromis 英語の文法ならとりあえずこんなものがあります。culture.cc.hirosaki-u.ac.jp/english/utsumi...

タグ：

posted at 19:50:54

#数楽何度も引用している渡辺澄夫さんの流儀では、真の確率分布qとモデルの確率分布pの対数尤度比函数を(1/n)Σ_{k=1}^n log(q(X_i)/p(X_i))で定義しており、符号はKL情報量にあわせて反転。言葉に直す過程でよく混乱している。言葉に直さなければ大丈夫。

タグ：数楽

posted at 19:50:58

@tomoak1n 指摘してもらって助かりました。どうもありがとうございました！

タグ：

posted at 19:52:15

Re:RT
www3.psy.senshu-u.ac.jp/~ken/jjsm2016.... の最後の一文
【再現性の観点からも,モデリングによる量的な予測は,差がある/ないの二値判断より優れる】
所謂「検定」では算数では悪名高い「くもわ」的処方箋が整備されているように見える。やっぱりそれじゃあダメなんだと思う。

タグ：

posted at 20:27:01

@temmusu_n @genkuroki @labidochromis 　大門氏の本の論評へではありません。日本語に「主語」という概念が必要か？「主語」を定義できるのか？に関して、大門氏の本で後者については理解できた。前者は疑問のまま、という意味です。

タグ：

posted at 20:45:42