黒木玄 Gen Kuroki(@genkuroki)/2020年12月/Page 18

こんな認識の人が算数を教えてはいけない。
twitter.com/siawasensei/st...

タグ：

posted at 23:38:46

OokuboTact　大久保中二病中年 @OokuboTact

#統計関連スレッド twitter.com/genkuroki/stat...

タグ：統計

posted at 23:38:04

@sekibunnteisuu 筑波付属なんかそうだけど、準備万端でマッチポンプな授業をする pic.twitter.com/CJx1w33Mhh

タグ：

posted at 23:33:04

Kenn Ejima @kenn

@donguriosamu おお。Shopifyを超えてる日本企業って、もうトヨタとソフトバンクだけなんですね。

タグ：

posted at 23:29:40

ゴルゴ・サーディーン @golgo_sardine

掛け算の順序と言う噓出鱈目を教えるなら、準備なしで質の悪い授業をしてほしい。

質の良い授業で間違ったことを上手に教えるのは最悪 twitter.com/siawasensei/st...

タグ：

posted at 23:26:31

ゴルゴ・サーディーン @golgo_sardine

@netaroh4989 ？？？

それはおかしいでしょう。

タグ：

posted at 23:25:36

@netaroh4989 では、「#掛算の順序強制は困る」ですよね？

タグ：

posted at 23:21:36

鰹節猫吉 @sunchanuiguru

世界の #超算数 twitter.com/sekibunnteisuu...

タグ：超算数

posted at 23:20:56

#統計ベイズ更新によって、事後分布は「サイコロBの確率が1」のデルタ分布に収束しています。そのようにベイズ統計の結果が鋭く収束していても、その推測結果は真理からかけ離れたものになっている可能性があります。

この性質は最尤法やMAP法(ridgeやLASSO正則化など)でも共通しています。

タグ：統計

posted at 23:17:05

#統計データを生成したサイコロXの確率分布を薄い橙色で追加。

ベイズ更新によって推測結果は、薄橙色の分布(この場合の真理)からかけ離れたモデル内サイコロBの分布に収束しています。

モデルが不十分だとn→∞としても真理とかけ離れた結果にベイズ更新は収束します。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/LutK7ZZ6S9

タグ：統計

posted at 23:12:23

#統計そして未知の確率分布を持つサイコロXを振って出た目のデータを使って次々にベイズ更新して得られる結果が以下の動画。

左側のグラフ：赤のドットが出た目の割合で、棒グラフがベイズ更新で得たモデルの予測分布です。

右側のグラフ：A,B,Cの事後分布(事後確率)。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/JeVvtSrgsl

タグ：統計

posted at 23:04:03

#統計ベイズ更新の繰り返しの数学的性質の典型例について、教育的な話だと思うので再度紹介します。

ソースコード↓
nbviewer.jupyter.org/gist/genkuroki...

モデルは「サイコロの確率分布は添付画像のA,B,Cのどれかである」の数学的定式化です。事前分布でA,B,Cの確率はどれも1/3としておく。続く twitter.com/genkuroki/stat... pic.twitter.com/fjLUb1tnaj

タグ：統計

posted at 23:00:00

ここまで言っておいて、なぜ検査の中止を主張しないのか。中止しかあり得ないでしょう。この座長発言は欺瞞ですよ。非難されてしかるべきです |

甲状腺がんへの影響「証拠ない」　健康調査検討委座長：朝日新聞デジタル www.asahi.com/articles/ASNDD...

タグ：

posted at 22:41:15

甲状腺検査の中止を提言しています。詳しくはこのnoteに書きました。ぜひご一読ください。この問題に関心を持って、広めてください | #note note.com/kikumaco/n/nb3...

タグ： note

posted at 22:31:23

これは医学の歴史に残る大スキャンダルです。やらなくてもいい手術をしたことを認めるべきです。

ところが、未だにその甲状腺検査をやめようとはしない。

そんなことが許されるとは思いません。心ある人なら甲状腺検査の中止を提言するべきだし、手術を受けた人たちには生涯の補償が必要ですよ

タグ：

posted at 22:29:23

福島の甲状腺検査、そもそも甲状腺がんが増えるような被曝量ではなかったし、専門家はみんなそれくらいのことはわかっていたわけですよ。それにもかかわらず、検査を始めてしまった。そして、見つけなくてもいい甲状腺がんをたくさん見つけて、やらなくてもいい手術をしたんですよ。

タグ：

posted at 22:26:29

もふもふ動画 @tyomateee2

赤松健 ⋈（参議院議員・全国比例） @KenAkamatsu

野生の獣に憧れて真似をするわんこpic.twitter.com/ywvd3vLM8o

タグ：

posted at 22:25:09

「信長の野望」もあるぜ。やっぱ初代だな。
BASICという高級言語で出来ている。いま流行りのGOTOってやつだ。 pic.twitter.com/mIEO7EMtIE

タグ：

posted at 22:08:23

みお @Mi000003yams

この計算っていります？
１３を分けて７と６にしてってどう説明すれば良いの？
数時間かけてしっかり教えた十の位の掛け算がこの計算考えるのにぐちゃぐちゃになり、訳わからなくなり小2娘号泣😭

４×13で計算できてたからいいじゃん！ pic.twitter.com/bLn0he0AUT

タグ：

posted at 22:05:02

非公開

タグ：

posted at xx:xx:xx

赤松健 ⋈（参議院議員・全国比例） @KenAkamatsu

#統計その後、赤池弘次さんのように、主義に頼らなくてもベイズ統計に素晴らしい可能性があることに気付いた人達は、「原理」「主義」に基く統計学の勢力に悩まされることになる。

そういう流れで、赤池さんは「尤度原理の誤りについて」というそのものずばりのタイトルの論文を書いたわけです。 twitter.com/genkuroki/stat...

タグ：統計

posted at 21:38:52

グーグルの用意してくれたツールやプラットフォームが無くても、ビジネスや娯楽が成り立つように、我々は日頃から訓練しておくべきだ。
俺なんかPC-8001+PCGでスペースマウスやってるぞ。 pic.twitter.com/jeOjuVUmOi

タグ：

posted at 21:35:23

#統計 2つ前のSavageさんの発言に登場するBirnbaumさんは「尤度原理の証明」で有名になった人です。

「尤度原理」は普通に論理的かつ科学的ならば最初から相手にしないほどナンセンスな代物です。

ところがそれの「証明」が出たせいで、主観ベイズ主義者達が利用するようになって、被害が拡大した。

タグ：統計

posted at 21:32:31

#統計私は、数学を学び、論理的な推論能力を鍛え、科学的常識を身につける過程の一部として、統計学を学べば、20世紀における主義による統計学の黒歴史と無関係に、統計学の健全な理解が可能だと思う。

しかし、黒歴史に関する知識がないと、黒歴史の影響に飲み込まれてしまう人達もいるのかな？😱

タグ：統計

posted at 21:17:47

TN @tomoak1n

@vecchio_ciao ①

ちなみに、教科書会社様の動画で、長方形の1/2と説明してて、長方形は算数でもタテ×ヨコ、ヨコ×タテどちらでも良いというのだから、3段論法が使えるなら分かりますよね。

www.dainippon-tosho.co.jp/mext/e23.html

タグ：

posted at 21:14:38

#統計 20世紀の黒歴史の記録

Savageさん曰く【尤度原理が広く認識されるようになれば、人々は中途半端な段階に長く立ち止まることなく、統計学へのpersonalistic確率の含意を受け入れるようになるだろう】(1962)

自身の主義の勢力を増すための尤度原理の利用宣言‼️😱

errorstatistics.files.wordpress.com/2017/12/1962-d... pic.twitter.com/FfSCGak5pM

タグ：統計

posted at 21:12:52

donguriosamu @donguriosamu

@kenn そして同じくRuby on RailsヘビーユーザーのShopifyはソニーやNTTドコモを上回っていますね。

タグ：

posted at 21:08:53

砂___の___女 @vecchio_ciao

⭕️底辺×高さ÷2
❌高さ×底辺÷2

この教員は

①素で間違いだと信じてるバカ
②教えた通りの順番でないとバツにする支配欲の塊
③上記の両方

どれ？？？

＃超算数　＃掛算

タグ：掛算超算数

posted at 21:07:19

砂___の___女 @vecchio_ciao

＃超算数　基準によると、

⭕️底辺×高さ÷2
❌高さ×底辺÷2

ほんっと馬鹿げてる…😩

＃掛算 twitter.com/suetsumu_hana/...

タグ：掛算超算数

posted at 21:01:57

Kenn Ejima @kenn

なお、このあとには更にデカい Stripe とかも控えている。

タグ：

posted at 20:59:21

Kenn Ejima @kenn

今年もまた Ruby on Rails 死んだ論が出てるらしいけど、先週 IPO した超大型銘柄 Airbnb と DoorDash はどっちも Ruby 銘柄なんだけどな。そしていきなり任天堂やホンダの時価総額に並んだ。

qr.ae/pNZ79e

タグ：

posted at 20:54:23

数学の理解とは関係ない。 twitter.com/engineers_feed...

タグ：

posted at 20:48:05

#超算数

超算数検定1級問題

この採点は算数教育のトンデモ算数の基準に沿ったものでしょうか？教師の逸脱・暴走でしょうか？

ちなみに、算数教育界では

7人に5個ずつで全部で何個か？　これは7×5はダメ
縦7㎝・横5㎝の長方形の面積は？　これは、7×5、5×7どっちでもいい

とされています。 twitter.com/suetsumu_hana/...

タグ：超算数

posted at 20:44:56

asak_ @asak_

Tomoei Takahashi 高橋智 @tomoeit0524

子供がかけ算を習い始めたときに「かける数とかけられる数が逆だから×」というのは予想してたのだけれど、「両方書いてあるから×」というのは考えてなかったな… pic.twitter.com/QWn1nUIAWP

タグ：

posted at 20:39:42

ヒカルリ(ハイパー都内勤務エンジニア) @hika_ruriruri

Pythonできん。Juliaならかける。

タグ：

posted at 19:51:13

ﾜｼ・ｭﾊﾞﾙﾂｼﾙﾄ半径 @wasisama

@kenjikun__ pythonの存在を知らずにJuliaを使うネイティブの出現が待たれる

タグ：

posted at 19:42:24

ヒカルリ(ハイパー都内勤務エンジニア) @hika_ruriruri

rustで作りかけてるAPI、
juliaで作り変えますわ。

タグ：

posted at 19:39:05

@kenjikun__ Juliaしか勝たん

タグ：

posted at 19:36:35

高津祐典 @yusuketakatsu

ﾜｼ・ｭﾊﾞﾙﾂｼﾙﾄ半径 @wasisama

解説が絶品で、撮影しながら小説の謎解きを読んでいるようなワクワク感がありました。最後に振り飛車への思いも語って頂きました。

「こんなの分からんやろ」終盤には恐るべき罠！佐藤天彦九段が自戦解説～佐藤天彦九段vs阿部光瑠六段～【第14回朝日杯将棋オープン戦】youtu.be/hvLsxIz497E pic.twitter.com/Y0kak3jvzP

タグ：

posted at 19:32:36

こないだタイムラインにjuliaの話題が流れてきたので、
簡単なループ演算でパフォーマンス計測してみたら桁違いだった
マルチスレッドに特化してるからCよりも速いのが凄い。
これでめんどくさいコンパイルが不要とか、
ほんまpythonがうんこに見えてきた。 pic.twitter.com/cAw6S9qeD8

タグ：

posted at 19:30:54

Shuhei Kadowaki @kdwkshh

@mrkn rubyのメタプログラミング、僕の理解してる限りだとmethod_missingとかメソッドチェーンとかツールセットがすでに決まってて、それぞれエレガントで馴染みやすいけど、逆にいうと使い所が決まってる分制限がありそうだなって思ってます。

タグ：

posted at 19:30:35

suetsumu_hana @suetsumu_hana

アンポンタン・ポカン博士 @tikiwa3756

小6算数。三角柱の体積を求める問題で、底面の三角形の面積が「底辺✖️高さ」の順でないと間違い。#超算数 pic.twitter.com/S2CfdCrfdC

タグ：超算数

posted at 19:15:42

量演のアレをjuliaで試してみたけど面白かった。ただ僕のパソコンがぽんこつなのか非常に動作が遅いのがなあ。

タグ：

posted at 19:00:45

「具体例を挙げてください」というのはごく普通のことだと思うけど・・・ twitter.com/kuite_harumaki... pic.twitter.com/LTC5GeXIem

タグ：

posted at 18:20:53

非公開

タグ：

posted at xx:xx:xx

#統計 (再掲になりますが)その赤池さんも尤度原理を潰すための論文を書いています。

しかし、21世紀現代においても、「尤度原理」という極端で無意味な考え方を自分達の勢力を増すために使った大昔のダメな人達(主観ベイズ主義の歴史の中では立派な人達とされている)の悪影響は消えていません。 twitter.com/genkuroki/stat...

タグ：統計

posted at 17:53:51

#統計赤池さんの前者の論説を見ると、主観ベイズ主義を貶して、モデルが複雑になって最尤法が有効でなくなった場合には、事前分布を使う方法で尤度函数全体の情報を活用すれば実用的な統計的推測が可能になるだろう、というような21世紀の我々にとっては常識の1つになっていることも述べています。

タグ：統計

posted at 17:49:12

#統計その問題に突破口を開いたのが、赤池弘次さん。1980年の論説↓

ismrepo.ism.ac.jp/index.php?acti...

www.jstage.jst.go.jp/article/butsur...

尤度と汎化誤差とKL情報量の関係に気付いて理論を発展させたのは赤池さんです。

尤度と汎化誤差の関係という尤度の数学的性質は重要かつ平易で分かり易い(大数の法則一発！)。

タグ：統計

posted at 17:44:28

#統計条件さえ揃えば尤度もまた非常に実用的な指標になって、最尤法が非常に便利な方法になるのですが、そういう場合であっても、複数のモデルによる同一のデータに関する最尤法の結果を比較したい場合には尤度は不適切な指標になる場合があります。

そういう場合にどうするかは非常に面白い問題。

タグ：統計

posted at 17:37:46

#統計いつも繰り返し言っていることですが、数学的道具は適切な場面で適切に使えればそれで良いのです。

主観ベイズ主義者達のように自分達が信奉する主義の勢力を増すために「尤度原理」「尤度主義」の類を使うのは、後の世代の我々にとって大迷惑な行為でした。

タグ：統計

posted at 17:33:28

#統計続き。常にそうではないのですが、最尤法が非常にうまく行く場合があるということは、条件さえ揃えば尤度もまた非常に実用的な指標になります。

「尤度原理」「尤度主義」のような馬鹿げたことを主観ベイズ主義者達が悪用した歴史に対抗するために、尤度を貶しぎみになっただけです。続く

タグ：統計

posted at 17:33:28

#統計続き。真の未知の分布q(x)自体が不明のままで、それが生成したデータX_1,…,X_nのみを使って計算できる汎化誤差に代わる指標が欲しい。

このスレッドでは尤度(の対数の-1/n倍)を貶しぎみになっていますが、汎化誤差に代わる指標の「第0近似」として、尤度は非常に大事な指標です。続く

タグ：統計

posted at 17:33:27

#統計汎化誤差について補足

分布p(x)による未知の真の分布q(x)の予測誤差+(p(x)によらずq(x)だけで決まる定数)になっている汎化誤差

G(q||p)=∫q(x)(-log p(x))dx

の定義には、未知の分布q(x)が含まれているので、汎化誤差自身も現実の統計分析や機械学習で使用できません。続く twitter.com/genkuroki/stat...

タグ：統計

posted at 17:33:27

非公開

タグ：

posted at xx:xx:xx

Dr. nhayashi @nhayashi1994

変分ベイズ法をMCMCとかと同レベルの事後分布の近似推論手法として紹介するのはほんとうにミスリーディングだと思う

タグ：

posted at 16:57:51

非公開

タグ：

posted at xx:xx:xx

Dr. nhayashi @nhayashi1994

どんな状況で実行するかに依存しますが、一般に変分推論とベイズ推論は大きく異なる結果を出します twitter.com/bicycle1885/st...

タグ：

posted at 16:54:45

OokuboTact　大久保中二病中年 @OokuboTact

#超算数

この教師は掛け算の順序指導をしている。

そして、

＞「２÷５」のような計算が必要になってくる割合の学習になった時に誤答が多くなってしまう（実際に多い）

という。

つまり、順序指導しても、割り算での誤答が実際に多い

ということは、順序指導に効果がない　可能性が高い。 twitter.com/ramenmanteache... pic.twitter.com/6fivwy553c

タグ：超算数

posted at 16:45:19

@amiami114114 「学習指導要領・解説」の最新版を見れば、算数教育の権威の考えた教育方法の酷さがわかります。
ちなみに「学習指導要領・解説」には法的強制力は一切ありません。

＃超算数 pic.twitter.com/VEjsNrlh3M

タグ：超算数

posted at 14:16:51

using TensorToolbox
なら ttt(ttt(ttt(u_1, u_2),u_3),u_4)
って具合にtttを繰り返し使っていけばできそう．

タグ：

posted at 13:31:41

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

ロイター @ReutersJapan

動画：ツルツルで歩けない！ウクライナ首都で大規模な路面凍結 pic.twitter.com/MC8GoOt3It

タグ：

posted at 12:31:06

using Tensor でできそうですね．
kristofferc.github.io/Tensors.jl/v0....

タグ：

posted at 12:02:18

julia で n 個のベクトルから n階のテンソルを作るにはどうしたらいいんだ？u_i ∈ R^{d_i} から

U = u_1 ⊗ u_2 ⊗ … ⊗ u_n

を得たい．U ∈ R^{d_1×...×d_n}

n = 2 なら kron(u_1, u_2')で良いのだが...

タグ：

posted at 11:51:30

この論文のアルゴリズム4をjuliaで実装しました．
arxiv.org/pdf/1508.05273...

Appendixの結果を再現できているので正しく実装できているとは思いますが，ひどいコードなので，誰か添削してくれませんか．
gist.github.com/kazucmpt/9cf93...

タグ：

posted at 10:44:20

#統計尤度はn→∞の理想的かつ非現実的な場合には良い指標になるが、有限のnではそうでない場合がある。

事前分布を使うMAP法やベイズ法はその問題への数学的対策になっているので、「尤度原理」を自分達が信奉する主観ベイズ主義の勢力を増すために利用した人達はどんだけダメだったのやら。

タグ：統計

posted at 09:39:05

#統計騙されないためには、そういう予備知識を字面で覚えているのではなく、内容を理解して、計算例を知っていることが大事だと思います。

計算例とソースコードは上で示した。

タグ：統計

posted at 09:32:08

#統計 20世紀の時代遅れの主観ベイズ主義者達が悪しき「尤度原理」を自分たちが信奉する主義の勢力を増すために悪用したという歴史がある、というような予備知識は「騙されないため」に役に立つと思う。

もしかしたら米国に留学をしたときに騙されないために特に役に立つかも。

タグ：統計

posted at 09:30:43

#統計尤度の概念について、「尤度が確実に良い指標になるのはn→∞の場合のみである」に関連した数学的事情がよく認識されるようになったのは、おそらく、赤池弘次さん以後です。

それ以前の時代遅れの認識で「主義」について議論しても、「何やってんの？」という話にしかならない。

タグ：統計

posted at 09:24:36

#統計非現実的なn→∞の理想化された状況であれば、悪しき「尤度原理」は大雑把に正しいと思ってもよいかもしれないが、現実的な有限のnでは「尤度原理は馬鹿げている」と言ってよいと思う。

尤度が確実に良い指標になるのはn→∞の場合のみです。

タグ：統計

posted at 09:20:20

#統計

(1)二項分布モデル
(2)負の二項分布モデル
(3)尤度函数の比のみを使う場合

の3つの場合の片側検定のP値を重ねてプロット。

(2)と(3)がよく一致し、n→大で全部一致する。

これを見れば、尤度による近似の雰囲気と、「尤度原理」のアホらしさが分かる。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/JchHD3UdRF

タグ：統計

posted at 09:16:36

非公開

タグ：

posted at xx:xx:xx

#統計「止め方で結果が変わる」のは当然で、尤度のみに頼る方法はn→∞での結果を使った近似的なものです。

尤度は数学的にはn→∞の理想化された場合にのみ信用し切ることができる指標なので、有限のnでの正確に計算された結果との不一致は当然のことです。

n→∞の様子を見ないと理解が進まない。

タグ：統計

posted at 08:20:23

#統計

添付画像のように、正確に計算された(1)(2)のP値はnが小さい場合には一致せず、n→∞で一致する。

(1)(2)の尤度函数は定数倍を除いて一致しているので、尤度比検定のP値は一致します。もちろん尤度比検定はn→∞での漸近論による近似を使った検定。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/Ie28felh6x

タグ：統計

posted at 08:20:22

OokuboTact　大久保中二病中年 @OokuboTact

#統計

(1)n回中k回成功
(2)ちょうどk回成功するまでちょうどn回試行した

は(1)二項分布と(2)負の二項分布でモデル化されます。

帰無仮説「成功確率=0.5」の片側検定のP値を同一のnについて(1),(2)で重ねてプロットするとこうなります。

n→大で一致します。

nbviewer.jupyter.org/gist/genkuroki... twitter.com/genkuroki/stat... pic.twitter.com/vtD5AxEE6R

タグ：統計

posted at 08:10:56

財務省の推進している緊縮財政政策のダメさを専門家が指摘して、マスコミが報道すべきなんだけど、
そういうことになっていない。

タグ：

posted at 07:56:24

みょうが @mrkn

@kdwkshh Ruby のブロック構文とメソッドチェーンを使う方法でできる程度のメタプログラミングで機能的には満足ですが、すべて実行時に評価されるのでコンパイル時に評価させるには eval するしかないってところが不満ですね。

タグ：

posted at 07:50:24

#統計「尤度原理」やら「尤度主義」といったクズについてもリスペクトしなければいけないかのようなことを言う人達が増えると、次世代を支える若い人達による真っ当な研究活動が阻害される可能性が高い。

旗幟鮮明にクズはクズであるとクリアに語る人が増えるとよいと思います。

タグ：統計

posted at 07:31:15

#統計歴史的には、この「尤度原理」は20世紀の主観ベイズ主義者達がベイズ統計の優位性を示すために利用したことで悪名高いです。

その悪影響は不幸なことに21世紀現代にも残っている。

次世代にクズのような考え方をまともであるかのように伝えるのはそろそろやめるべき。

タグ：統計

posted at 07:23:58

#統計誰か計算に挑戦すると面白そうなのは、(1)(2)のそれぞれの場合に汎化誤差の期待値を小さくするような事前分布を見つけることができるか、という問題に挑戦することです。(赤池さんの論文も参照)

(1)(2)の分布は異なるので、期待値の定義も異なるものになることに注意！

答えを私は知らない。 twitter.com/genkuroki/stat...

タグ：統計

posted at 07:23:57

#統計注意：上では事前分布を同じにすればベイズ法も(悪しき)「尤度原理」を満たしてしまうことに触れましたが、事前にデータの取得の仕方が違うことが分かっているという理由で、2つの場合で異なる事前分布を採用できるなら、ベイズ法は(悪しき)「尤度原理」を満たさなくなります。

タグ：統計

posted at 07:23:56

#統計 (1),(2)ではデータを生成している確率分布が違います。その違いは、(定数倍の違いを無視した)尤度函数の情報の中には含まれません。

尤度函数のみに頼る「尤度原理」的な考え方は必然的に劣った考え方になります。

タグ：統計

posted at 07:23:55

#統計最尤法の結果は、定数倍の違いを無視した尤度函数だけで決まるので、「尤度原理」を満たしています。

2つの場合で同一の事前分布を採用した場合のベイズ法も「尤度原理」を満たす。

このような結論は尤度函数のみへの要約が好ましくない情報劣化を引き起こしていることを意味しています。

タグ：統計

posted at 07:23:54

#統計続き。「尤度原理」を認めると、(1),(2)の場合の統計分析の結果は同じにならなければいけないのですが、それぞれの場合の正確に計算されたp値は互いに一致しません。

具体例が

oku.edu.mie-u.ac.jp/~okumura/stat/...

にある。

「尤度原理」の信者は「ゆえに仮説検定はダメだ」と言う。典型的な狂信者。

タグ：統計

posted at 07:23:53

#統計成功確率のパラメータがpのベルヌイ分布モデルにおける尤度函数は(1),(2)の設定では

(1) L₁(p) = binom(n, k) pᵏ(1-p)ⁿ⁻ᵏ

(2) L₂(p) = binom(n-1, k-1) pᵏ(1-p)ⁿ⁻ᵏ

となります(binom(n,k)=n!/(k!(n-k)!)、高校レベルの確率計算)。

2つの尤度函数は定数倍の違いしかない。続く

タグ：統計

posted at 07:23:52

#統計「尤度原理」の説明でよく例として出されるのは、未知の成功確率qの独立試行を行なってデータを得る場合です。

(1) 固定されたn回の独立試行でk回成功した。

(2) k回の成功を得るまでにちょうどn回の独立試行が必要だった。

続く

cf. en.wikipedia.org/wiki/Likelihoo...

タグ：統計

posted at 07:23:51

#統計「尤度原理」というデタラメがある。

尤度原理：データとモデルから得られる尤度函数に定数倍の違いしかない場合には統計分析の結論は同じにならなければいけない。

↑データとモデルの尤度函数への要約がどれだけの情報を切り捨てるかを知っているまともな人は当然デタラメだと思うはず。

タグ：統計

posted at 07:23:50

#統計尤度は非現実的なn→∞の場合にのみ、「もっともらしさ」や「真実への近似の度合い」の適切な指標になるのです。

データとモデルの尤度への要約は、n→∞とできる非現実的な設定であれば、真に欲しい適切な指標を与えてくれます。

非現実的な想定ので、もちろんこれじゃあ全然ダメ。

タグ：統計

posted at 07:23:49

#統計繰り返しになりますが、尤度はモデルのデータへの適合度にすぎず、「もっともらしさ」でも「証拠」でもないです。

データのサイズnをn→∞とできる理想化された設定では、尤度はもっともらしさの真の指標である汎化誤差の代わりに使用できますが、現実にはn→∞とはできません。

タグ：統計

posted at 07:23:48

#統計さらに、データを使ってモデルのパラメータを調節したり、ベイズ法で予測分布を作ったりすると、以上におけるp(x)がデータ(サンプル)に依存するようになって、単純に大数の法則を使用できなくなります。

要するに、尤度そのものを汎化誤差の代わりに用いることは現実には無理ということです。

タグ：統計

posted at 07:23:48

#統計しかし、尤度(の対数の-1/n倍)は決して汎化誤差ではない。

各分布p(x)ごとに、サンプルサイズnを十分に大きくできる理想化された状況では、尤度を汎化誤差の代わりに使用できます。

しかし、相対比較したい複数のモデルの分布達の中には巨大なnを要求するものが含まれているかもしれない。

タグ：統計

posted at 07:23:46

#統計要するに、固定されたモデルの分布p(x)について、未知の真の分布の十分に大きなサイズのサンプルが得られたならば、尤度は近似的に真の「もっともらしさ」の指標である汎化誤差の代わりに利用できるということです。

これが尤度を最大化する最尤法の基礎になります。

タグ：統計

posted at 07:23:45

#統計固定されたモデルの分布pの汎化誤差と尤度は大数の法則で結び付いています。

未知の真の分布qのサンプルX_1,X_2,…について、対数の法則より、

lim_{n→∞}(-log(p(X_1)…p(X_n)))/n = G(q||p).

すなわち、モデルpの尤度p(X_1)…p(X_n)の対数の-1/n倍はn→∞でモデルpの汎化誤差に収束する。

タグ：統計

posted at 07:23:44

#統計要するに、もしも汎化誤差を計算できるならば、フィッティングの結果得られた複数のモデルの分布達の良し悪しを、汎化誤差の大小関係で相対的に比較可能になるということです。

理想化された「もっともらしさ」の指標は、尤度ではなく、汎化誤差の方だと考えるべきです。続く

タグ：統計

posted at 07:23:43

#統計そのためによく使われている数学的設定が、データを生成した未知の真の分布qのモデルの分布pによる予測誤差を意味するKL情報量D(q||p)を考えることです。

モデルの分布pに依存しない項を除けば、KL情報量の大小関係は、汎化誤差

G(q||p) = ∫q(x)(-log p(x))dx

の大小関係で判定可能。続く

タグ：統計

posted at 07:23:41

#統計我々が本当に欲しいのは、尤度が高いモデルではない。

現実は複雑なので、適切に数学的に単純化された場合を扱うことによって、フィッティングの結果が外れまくってしまうリスクを分析するための数学的道具を作りたい。

タグ：統計

posted at 07:23:40

#統計尤度=既知データへの適合度を上げ過ぎると、既知データにぴったりフィットしているだけで、それ以外の場合には何も役に立たないフィッティング結果が得られます。

これをオーバーフィッティングと呼ぶ。

尤度を神聖視するにはものすごく馬鹿げています。

タグ：統計

posted at 07:23:40

#統計尤度vs.汎化誤差

ど素人の私の認識が最近ちょっと進んだことの1つは、「尤度原理」やら「尤度主義」のような名前で、尤度を神聖視する馬鹿げた考え方がある種の人達の間で普及しまくっていること。

尤度はモデルの既知データへの適合度に過ぎず、「もっともらしさ」や「証拠」では決してない。

タグ：統計

posted at 07:23:38

#統計効率よく計算するには、尤度函数を手で計算して効率よく計算できる形に整理して、それをコードに直せばよいのですが、実際にそれを有名な確率分布族達について実行すると、十分統計量の概念を知らなかった人であっても自然に十分統計量をコンピュータ上で実装してしまうと思います。

タグ：統計

posted at 05:52:43

残り14件のツイートを見る

#統計尤度函数の値が大きくなるパラメータの値は、モデルのデータへの適合度が高くなるパラメータの値です。

だから、モデルのパラメータををデータに何らかの方法でフィットさせるときには、尤度函数の計算が基本になる。

尤度函数をコンピュータで繰り返し効率よく計算するには十分統計量が必須。

タグ：統計

posted at 05:48:18

#統計少し上の2つの例では、モデル内でのサイズnのデータ生成の確率分布を扱いました。そのモデル内でのデータの確率分布の密度函数に観測されたデータの値を代入して得られるパラメータの函数を尤度函数と呼びます。

タグ：統計

posted at 05:48:17

#統計コンピュータによる計算が得意な人なのに、統計学の教科書で十分統計量の解説を見たら、めちゃくちゃ分かり難く書かれていて絶望しかけた、というような経験をしたことがある人は結構いると思う。

そういう人は #Julia言語のDistributions.jlのsuffstats関連部分を読むとよいと思います。

タグ： Julia言語統計

posted at 05:41:13

#統計実は #Julia言語のDistributions.jlで十分統計量が大活躍しているという話をしたかった。

コンピュータでの確率分布関係の計算を効率的にするには、十分統計量の実装が必須(詳しくはDistributions.jlのソースコードを参照)。

一方、よく見る十分統計量の解説が恐ろしく読み難い。

タグ： Julia言語統計

posted at 05:41:12

#統計

 #Julia言語のDistributions.jlでは、suffstatsという函数名で尤度函数を記述する十分統計量を求める函数が実装されています。

教科書だけではなく、コードも見ながら実行して、勉強したい人はリポジトリでの検索結果

github.com/JuliaStats/Dis...

を見るとよいと思います。 pic.twitter.com/52P0bPpVrB

タグ： Julia言語統計

posted at 05:31:36

#統計以上に2つの例では、

正規分布モデル: 尤度函数は標本平均と標本分散だけで決まる。

ベルヌイ分布モデル: 尤度函数はn回中の成功回数だけで決まる。

というみんなよく知っている場合で、それぞれ、標本平均と標本分散の組み合わせ、成功回数が十分統計量になっています。

タグ：統計

posted at 05:31:34

#統計例: 成功確率pのBernoulli分布のサイズnのi.i.d.のサンプルの確率函数は

k = (x_1,…,x_nの中で1であるものの個数)

とおくと

pᵏ(1-p)ⁿ⁻ᵏ

と書ける。これはt=kとw=pだけで書けているので、t=kに対応する確率変数は十分統計量。

タグ：統計

posted at 05:31:33

#統計例: 平均μ分散σ²正規分布のサイズnのi.i.d.サンプルの密度函数は

x̅=(x_1+…+x_n)/n , s²=((x_1-x̅)²+…+(x_n-x̅)²)/n

とおくと

exp(-n/(2σ²) ((μ-x̅)² + s²))/(2πσ²)^{n/2}

と書ける。これはt=(x̅, s²)とw=(μ,σ²)だけで書けているので、t=(x̅, s²)に対応する確率変数は十分統計量。

タグ：統計

posted at 05:31:32

#統計いくつか解説を読むと、ごちゃごちゃと難しく見える解説が書いてあるものしか見つからないので、以上のようなことを、ツイッターに書くことにした。

十分統計量は具体的な尤度函数の形を手で計算したことがある人ならすでに沢山見たことがあるはず。

タグ：統計

posted at 05:31:32

タグ：統計

posted at 05:31:31

#統計以上の状況での十分統計量の定義：

以上の状況で、条件付き確率分布の密度函数p(u|t,w)がパラメータwによらないとき、tに対応する確率変数Tを十分統計量と呼ぶ。

Fisher's factorization theorem:

Tが十分統計量⇔p(t,u|w)=a(t,u)b(t|w)と書ける。

続く

タグ：統計

posted at 05:31:31