黒木玄 Gen Kuroki(@genkuroki)/2019年09月15日

#統計ベイズ統計は方法群の一つに過ぎないので(とは言っても非常に有力)、ベイズ統計しか見ないようにすることは間違った勉強の仕方だと思います。

ベイズ統計の方法はもはや普通になったので、ベイズ統計という用語を廃止してもいいかも。

twitter.com/tsatie/status/...

タグ：統計

posted at 00:13:21

非公開

タグ：

posted at xx:xx:xx

かいしまさゆき @mk_sea

@shiho_hoshiai 超絶可愛い〜

タグ：

posted at 00:49:14

白石勇一 @Shiraishi_igo

上野愛咲美まとめ blog.goo.ne.jp/igoshiraishi/e...

タグ：

posted at 01:00:52

#統計 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
Kullback-Leibler情報量と記述統計

に

サンプルの相加平均と相乗平均を計算することが本質的にガンマ分布の最尤推定に一致すること

の解説を追加。

高校数学の花形の相加・相乗平均はガンマ分布モデルでの推定で復活！

twitter.com/genkuroki/stat...

タグ： Julia言語統計

posted at 01:13:52

#統計書きかけの

nbviewer.jupyter.org/gist/genkuroki...
母平均の仮説検定と区間推定

を公開。教科書によく書いてある母集団平均の仮説検定と区間推定が正規分布モデルに強く依存していることを強調した解説。

仮説検定でさえモデル依存であることの認識は後で多彩な統計モデルを使う段階に進むときに重要。

タグ：統計

posted at 01:17:45

#統計

 nbviewer.jupyter.org/gist/genkuroki...
Kullback-Leibler情報量と記述統計

には最頻値の推定の動画も追加した。

数学的に「〇〇という条件のもとで△△を最小化する◇◇を求める」というスタイルの定式化は良いものになり易い。 pic.twitter.com/o5yV2W0ghL

タグ：統計

posted at 01:21:32

Dr. nhayashi @nhayashi1994

井上純一（希有馬）新刊『逆資本論』発売中 @KEUMAYA

ベイズと最尤のどちらが正しいのか，事前分布は何が正しいのか，についてのアレ，偉い先生のやさしい文書をボイスロイド２の琴葉茜ちゃんに読み上げてもらうだけでもかなりマイルドになりますね．
twitter.com/nhayashi1994/s...

タグ：

posted at 01:21:40

関係者間違いなく宮崎出身やが…… １日外出録ハンチョウ - 福本伸行/萩原天晴/上原求/新井和也 / 第５７話　九州 | コミックDAYS comic-days.com/episode/108341...

タグ：

posted at 01:28:54

#統計うけた！(笑)

twitter.com/nhayashi1994/s...

タグ：統計

posted at 01:49:28

Dr. nhayashi @nhayashi1994

@genkuroki ありがとうございますｗｗ

タグ：

posted at 01:56:56

R-bloggers @Rbloggers

Twitter “Account Analysis” in R {www.r-bloggers.com/?p=186903} #rstats #DataScience

タグ： DataScience rstats

posted at 02:10:40

わたしはプログラミングはほぼ独学です。自分で問題を見つけてプログラムを書くということで覚えました。最初に書いたまともなプログラムは交代級数の加速をするオイラー法のポケコンのbasicによるものです。メモリーが足りないので、変数の使い回しをしました。

タグ：

posted at 05:16:56

数値計算が好きだったので、日本評論社の計算数学夜話を参考にしてました。級数の加速法が演算子法で説明してあったりして面白いです。

タグ：

posted at 05:42:42

この本にはプログラミングの話はないです。アルゴリズムの参考になる話です。

タグ：

posted at 05:43:34

プログラミング教室に通う金があったら、良い参考書が結構買えますね。

タグ：

posted at 05:48:57

きれいなプログラムを書きたかったら、素直なアルゴリズムを考えれば良いんですよ。問題を理解してれば、考えられるはずです。

タグ：

posted at 05:59:28

その問題の解き方を言葉で表すのがアルゴリズムを考える始まりです。コンピューターで解くにはどういう手順が必要かを考えます。

タグ：

posted at 06:09:50

コンピュータ言語について語らないのは、この問題を解くにはこの言語が使われているので、これを覚えようという立場だからです。

タグ：

posted at 06:29:42

プログラミングはポケコンで始めましたが、一時期はメインフレームで仮装計算機を使ってました。コンピュータを深く理解するのに役立った体験でした。

タグ：

posted at 06:44:02

こなみひでお @konamih

NMRパイプテクターに「信者」はいません。ステンと磁石の塊を何百万円で売って荒稼ぎするあこぎな会社があり，マージンでウハウハの業者があり，おこぼれに釣られた管理者がいるだけです。そいつらがグルになって消費者から金を盗んでいるのです。宗教じゃないので金の切れ目が縁の切れ目だよ。 twitter.com/breathingpower...

タグ：

posted at 07:12:48

非公開

タグ：

posted at xx:xx:xx

コンピューターでやってたことの一部は
mathweb.html.xdomain.jp/math/
に書きました

タグ：

posted at 08:12:44

KokyuHatuden @breathingpower

小波先生と左巻先生が激おこですね(^^;;　#謎水

タグ：謎水

posted at 09:38:30

私のうちではそういう制限を設けませんでした。

親と一緒だと子供は本当に見たいものを見られなくなってしまいます(例えばゲームのプレイ動画とか)。

しかし、子供がちっちゃいときは一緒に見て一緒に騒いだ方が楽しいことが多いのも事実。毒を持つ生物とかは盛り上がる。

twitter.com/megane654321/s...

タグ：

posted at 10:38:34

親的には「親は子供を楽しませるために何をできるか」を子には知っておいてもらいたいものだと思います。

うちでは子がマインクラフトのマルチプレイの動画を見て「これやりたい」と言って来ました。私はそれまでマインクラフトの存在を知らなかったのですが、私に相談するのは非常に適切。

タグ：

posted at 10:38:35

親が知らない面白情報を子供が勝手に見付け、自力で処理できないなら、適切な人に相談する。全然問題無し。

マルチプレイのために家庭内マインクラフトサーバーを立てて一緒に遊びました。楽しいです。

この話はツイッターに何度も書いた。

楽しいのが一番ということでいいと思います。

タグ：

posted at 10:38:35

羽藤由美 @KITspeakee

予算面では，現在，来年度の概算要求の査定をしている財務省主計局が今後の展開の鍵を握っています。主計局の皆さん，今回の入試改革は教育の振興につながりません。受験生，教員，保護者の反応をよく見て，税金の無駄遣いを止めてください！ twitter.com/MoriiY/status/...

タグ：

posted at 10:38:47

@genkuroki 今考えていて思うたのですが，お話としては分かりやすいけど現実的には「未知だけど現実に存在している」母集団の分布だから(3)のステップは現実の問題ではqが不明で計算できない… となるとどないするのやろという話が見えなかった… 近づいてる… 遠ざかってる… は沢山「サンプルをとる」...

タグ：

posted at 10:42:24

ひさ @hisagrmf

教科書とか演習だと分布が既に分かった上で諸量を計算するのがほとんどだからか、学生と話すと実務では分布そのものが分からなくてまずそれを何らかの観測データに基づいてパラメトリックあるいはノンパラメトリックに導く必要があるってことを認識できてない人が多いように思う

タグ：

posted at 10:42:58

@genkuroki ということを繰り返すと何かの計算で見えて来るのだろう… 見えてくるか… ふーむ。まさに計算機向きの仕事だなぁ。
qであるかもしれないものを想定してq'などとしてそれとの距離を沢山の「無作為抽出したサンプル」で計算すれば，ズレが見えるか。でもそこからどう本物を見出すか… q’をどう変更する?

タグ：

posted at 10:44:29

非公開

タグ：

posted at xx:xx:xx

@genkuroki だからまぁなんだろう所謂「学習」というものになるのかなぁ...

タグ：

posted at 10:45:19

ひさ @hisagrmf

分布が正規とか対数正規だって予めわかってたら（それに含まれるパラメータの意味が分かっていれば）SDEなんてそもそも不要

タグ：

posted at 10:46:19

めがね旦那＠小学校の先生 @megane654321

#統計未知の分布を分布のサンプル(データ)から推測する場合には、先のゲームと違って採点してくれる(3)のステップがない。

同じデータを使ってみんなで色々な予測分布を作っても、正確な採点には答えである未知の分布の情報が必要になってしまう。続く

twitter.com/tsatie/status/...

タグ：統計

posted at 10:49:29

@genkuroki 子どもがまだ五歳や三歳だとどうしても
【すべて知っておきたい】と言う親の欲目が出てしまいますよね
先日、五歳息子が隠れて鼻をほじっているのを見て、【すべて知ること】へのエゴを感じてしまいました
見ないふりや知らないままも大切ですね！

タグ：

posted at 10:52:22

#統計続き。

(*) 未知の分布を知らないままで、未知の分布が生成したデータだけを使って、予測分布の良し悪しをどのように推定できるのか

という問題と向き合わなければいけなくなる。

この問題への突破口を開いたのが、赤池弘次さんです。

個人的にはベイズ云々より上の問題の方が大事だと思う。

タグ：統計

posted at 10:52:51

「定規を使う」という物凄く言葉数が少なく説明不足な行為が何を指しているのかだよなぁ… 少なくとも観察している状況からは「闇雲に定規を使おうとする学生さん」は数学の成績がよろしくない傾向は相当に強い。（意向があってわざわざ使わなくてもできるところを使おうとする場合…レア）は別だけど twitter.com/MagicianK19/st...

タグ：

posted at 10:55:09

#統計基本になるのは「尤度函数とは何か」です。パラメーターw付き確率分布p(x|w)のサンプルX₁,…,X_nに関する尤度函数の定義は

w ↦ p(X₁|w)…p(X_n|w)

です。尤度函数はモデルのパラメーターwの函数。

「尤度」は「いぬど」ではなく「ゆうど」と読み「尤もらしさ」と言い換える人も多い。

タグ：統計

posted at 10:59:55

タグ：統計

posted at 10:59:56

#統計我々の目標は、未知の分布q(x)が生成したサンプルX₁,…,X_nのみを用いて、q(x)の振る舞いを小さな誤差で予測する分布p*(x)を見付けることです。パラメーターw付きの確率分布p(x|w)でq(x)を最もよく予測するものを得るには汎化誤差

G(w)= ∫ q(x) log p(x|w) dx

を最小化すれば良い。続く

タグ：統計

posted at 11:09:03

#統計続き。汎化誤差の理解にはKullback-Leibler情報量とSanovの定理(もしくは相対エントロピーの概念の理解)が必要になります。私によるSanovの定理の解説↓

genkuroki.github.io/documents/2016...

このような考え方は赤池弘次さんによります。リンク先の赤池論説を参照:

twitter.com/genkuroki/stat...

タグ：統計

posted at 11:09:04

#統計多分多くの人は汎化誤差の概念で落ちこぼれると思うのですが、統計学の理解には必須の重要な概念であり、赤池弘次さんがどうして素晴らしいかを知るためにも必須なので、KL情報量とSanovの定理について是非とも理解して欲しいと思います。

nbviewer.jupyter.org/gist/genkuroki...
KL情報量と記述統計

タグ：統計

posted at 11:12:26

#統計まあとにかく、p(x|w)によるq(x)の予測誤差の大小は汎化誤差の大小で測られ、予測誤差を小さくしたければ、汎化誤差を小さくすればよい。汎化誤差

G(w) = ∫ q(x) log p(x|w) dx

を最小化するwを見付けて、w₀と書き、予測分布をp₀(x)=p(x|w₀)によって作ることができれば～続く

タグ：統計

posted at 11:16:10

#統計続き～、モデルp(x|w)の範囲で最良の予測分布p₀(x)=p(x|w₀)が得られるわけです。

しかし、汎化誤差 G(w) = ∫q(x) log p(x|w) dx の定義には未知の分布 q(x) が使われています。だから、上のようにして最良の予測分布p₀(x)を得ることはできません。

どうすればよいでしょうか？続く

タグ：統計

posted at 11:19:22

タグ：統計

posted at 11:24:59

#統計続き。尤度函数は対数を取って-1/n倍すると汎化誤差の推定値とみなされるのです。尤度函数の値が大きいほど、汎化誤差の推定値は小さくなり、予測誤差も小さくなると推測されます。

実行不可能な汎化誤差最小化の代わりに、尤度函数最大化を行うのが最尤法です。

タグ：統計

posted at 11:29:05

#統計尤度函数最大化を行う最尤法は尤度函数の対数の-1/n倍

L_n(w) = -1/n Σ_{k=1}^n log p(X_k|w)

の最小化と同じ。具体例の計算もこれの最小化の計算にした方が易しくなる場合が多いです。計算の具体例が

nbviewer.jupyter.org/gist/genkuroki...

にあります。そこにある程度の計算例を知らないと苦しい。

タグ：統計

posted at 11:32:49

#統計コンピューターの数値計算でも、尤度函数を直接扱うのはダメで、少なくとも対数を取って実装する必要があります。

定義：尤度函数の対数の-1/n倍

L_n(w) = -1/n Σ_{k=1}^n log p(X_k|w)

を最小化するw=w*を求め、p*(x)=p(x|w*)を予測分布として採用する方法を最尤法と呼ぶ。

タグ：統計

posted at 11:35:52

舞田敏彦 @tmaita77

「給料上げてよ」ある保育士の悲痛な叫び　7年目で手取り12万円のリアル　headlines.yahoo.co.jp/hl?a=20190915-...　優先すべきお金の使いみち＝「集まった4310票のうち「保育士の処遇改善」を選んだのは79％。「無償化」8％や「保育施設増設」10％を大きく上回った」。

タグ：

posted at 11:37:07

#統計これでベイズ統計とは別に、予測分布の作り方に関する有力な方法が得られたわけです。

最尤法をコンピューターで試してみて色々不満を感じる所まで行けたなら、ベイズ統計のために開発された様々なテクニックがとても便利であることを納得し易くなると思います。

タグ：統計

posted at 11:38:57

RASapFlügels04 @earlayFCA404

算数・数学が不得意で嫌いな人に、「2+2と2×2が同じ4になる事が納得できない」と言われて、解説に困ってます...

足し算と掛け算の意味から説明したり、グラフを使ったりして説明してもわかってもらえません。

どう解説すればいいのでしょうか。
#算数 #数学

タグ：数学算数

posted at 11:39:42

#統計以上で説明したような最尤法に関する赤池弘次さん的な理解に至れば、少なくとも対数尤度函数の-1/n倍が汎化誤差の推定量になっていることは明瞭に認識できるようになる。

しかし、n→∞とせずに、nが固定されているとき、尤度函数の大きさは、サンプルへのモデルの適合度を表すと解釈されます。

タグ：統計

posted at 11:42:42

#統計対数尤度の-1/n倍は、推測したい未知の分布q(x)への汎化誤差ではなく、そのサンプルへの「汎化誤差」なのです。我々が予測分布を近付けたいのはq(x)なのに、対数尤度の-1/n倍を最小化するとq(x)ではなく、サンプルの側に予測分布を近付けることになってしまいます。続く

タグ：統計

posted at 11:45:38

非公開

タグ：

posted at xx:xx:xx

#統計パラメーターw=(w₁,…,w_d)の個数dを大きくして、確率モデルp(x|w)を複雑なものにすれば、固定された有限サイズnのサンプルに適合するように幾らでもできてしまいます。

タグ：統計

posted at 11:49:10

TJO @TJO_datasci

「研究者皆が論文を載せたがる高IFトップジャーナルほど検定力が低い＝偽陽性で間違った結論を載せている可能性が高い」という報告がされている分野すらある一方で「高IF低採択率のトップジャーナルの論文ほど信用できる」と2019年にもなって公言する研究者が出てくるジャパン tjo.hatenablog.com/entry/2017/05/...

タグ：

posted at 11:52:00

ぼのきち @bono_kichi

見つかりますように。見つかりますように。 twitter.com/chocota_no19/s...

タグ：

posted at 11:55:59

TJO @TJO_datasci

ちなみに昔Nature編集部のコメントとして「当誌では論文のインパクトを重視する、故に例えば『永久機関は作れない』と証明する論文よりも『永久機関は作れる』と主張する論文を掲載する」みたいなことが書いてあったのを思い出す。そう言えばナントカ細胞論文載せたのもNatureだよな

タグ：

posted at 11:56:23

#統計だから、パラメーターの個数dを幾らでも増やして良いことにした場合には、対数尤度の-1/n倍が汎化誤差をよく近似していると期待することは誤りになります。

この困難の突破に成功したのが赤池弘次さんのAICです。AICの定義は

AIC/(2n) = -1/n Σ_{k=1}^n p(X_k|w*) + d/n

続く

タグ：統計

posted at 12:01:59

#統計あえて全体を2nで割った式を書きました。

q(x)=p(x|w₀)を含む適切な仮定のもとで、AIC/(2n)のサンプルを動かすことに関する平均は、汎化誤差の同平均とO(1/n²)の違いを除いて等しくなります。パラメーターの個数dを含む項d/nが平均のO(1/n)のオーダーでの違いになっている。

タグ：統計

posted at 12:03:15

#統計汎化誤差の大小を

AIC = -2Σ_{k=1}^n p(X_k|w*) + 2d

の大小で推測することは、確率的に失敗するのですが、実際に数値実験してみるとわかるように結構うまく行きます。

パラメーターを無制限に増やした奴の予測分布のAICは2dの項が巨大になって却下される仕組みになっています。

タグ：統計

posted at 12:06:23

あふらん/afran @pinwheel007

実は2011年の4月ごろまではほんとにパニックになっていて、我が家だけ汚染されているなんて思ってたんです。そんな金縛り状態を解放してくれたのはガイガーカウンターの数字と夫が説明する科学でした。だから、数字も科学も私の優しい味方なんです。

タグ：

posted at 12:06:47

#統計以上のような話になっているので、未知の分布q(x)をそれが生成したサンプルのみを使って推測することを、最尤法を使って行おうとする人は、最低でもAIC程度のことを知っておかないと、作った予測分布による未知の分布q(x)の予測誤差の大小を推測するすべを失ってしまうことになります。

タグ：統計

posted at 12:09:50

#統計以上のような話を初めて聞くと、難解で高尚な話に見えてしまって、サンプルの平均や分散や中央値などを計算するだけのあの易しい統計学とは無縁の話だと誤解しがちだと思います。

それは紛れもなくひどい誤解です。誤解であることは

nbviewer.jupyter.org/gist/genkuroki...

を見ればわかる。

タグ：統計

posted at 12:13:32

#統計正規分布の確率密度函数の式(高校の教科書にもある)

p(x|μ,σ²) = 1/√(2πσ²) e^{-(x-μ)²/(2σ²)}

を知っていれば、対数尤度函数の-1/n倍

L_n(μ,σ²) = -1/n Σ_{k=1}^n log p(X_k|μ,σ²)

を最小化するμ,σ²はそれぞれサンプルX₁,…,X_nの平均と分散に一致することが分かります。続く

タグ：統計

posted at 12:17:26

#統計この事実は、サンプルの平均と分散を求めるという統計学で最初に習うことは、正規分布モデルの最尤法そのものになっていたということです。

正規分布モデルをLaplace分布モデルに置き換えれば中央値の最尤法での解釈も得られます。

タグ：統計

posted at 12:20:12

#統計このように、平均や分散や中央値を求める記述統計の易しい話であっても、その背後には、パラメーター付きの確率分布によるモデル化という考え方が隠れているわけです。

検定や区間推定もモデル依存です。

確率分布の世界は広いので視界が一挙に広がることになる。

タグ：統計

posted at 12:23:31

#統計捻くれた人が、サンプルX₁,…,X_n > 0 (全部正)の代表値として、加法平均 (X₁+…+X_n)/n と相乗平均 (X₁…X_n)^{1/n} の２つを採用したとしましょう。

その捻くれた人がやっていることは実質的にガンマ分布モデルの最尤法になっています。

nbviewer.jupyter.org/gist/genkuroki...
の第4節に解説あり

タグ：統計

posted at 12:27:37

S (ﾂｲｰﾄはｽﾚｯﾄﾞ全体をご確認く @esumii

#統計以上に書いたことを理解できれば、最尤法が少し身近になるはず。最尤法では、尤度函数を最大化するパラメーターの情報だけを拾って、尤度函数の他の情報を捨ててしまいます。

尤度函数は推定の収束の様子に関する貴重な情報を持っているのにそれをほぼ全部捨てる！

タグ：統計

posted at 12:31:12

疑似相関が真っ先に疑われるので、少なくとも具体的出典論文がない限り信用に値しない。

＞定規を使うとケアレスミスが減り、定規を使いこなしている子の成績はあがるという研究結果

タグ：

posted at 12:48:37

@MagicianK19 @cheeeestar 【一方で、定規を使うとケアレスミスが減り、定規を使いこなしている子の成績はあがるという研究結果も出ています。】

こういうことは、該当する研究結果の

* 著者(達)の名前
* 論文タイトル
* 掲載された雑誌名と年と頁
* 必要な部分の引用

を全て示してから言うべきことでしょう。

タグ：

posted at 12:55:42

みるむ @milm_hm

定規を使うから計算の間違いが減るのか
定規を使うような人だから間違いがもともと少ないのか

はハッキリとさせよう

タグ：

posted at 12:58:41

@MagicianK19 @cheeeestar 一般に教育分野における研究と称されているものの大部分は適切な対照群を設定していない科学的には無意味なものになっています。

そういう代物があまりにも多い。

デマを広める意思がないなら、論文をきちんと引用して内容がわかるようにしないとダメです。 #と教

タグ：と教

posted at 12:58:54

松浦晋也 @ShinyaMatsuura

フォワードの「ロシュワールド」というSFでは、円の面積が直径の二乗に比例することが理解出来ない議員が「レーザー光を送るレンズの直径は2倍なのに、なぜ予算が4倍かかるのか」と演説をぶって予算削減。宇宙の彼方で探検隊が危機に直面するってエピソードが出てくる。
twitter.com/AXION_CAVOK/st...

タグ：

posted at 13:10:50

松浦晋也 @ShinyaMatsuura

フォワードはヒューズに勤務する宇宙技術者だったから、実際にこんな局面に直面したことがあったんだろう。それを思いきり戯画化して描いたんだろうと想像する。

タグ：

posted at 13:13:00

deconbatch @deconbatch

嗚呼〜🎵
ベクター・フィールドの流れのようにぃ〜🎤
#processing #creativecoding #generative pic.twitter.com/GlDXRlwXLZ

タグ： creativecoding generative processing

posted at 13:14:54

あふらん/afran @pinwheel007

もちろん、数字や科学ですべてが解決できるとは思っていません。ただ、数字や科学の話をすると冷たい、感情や気持ちの話をすると温かい、そういうものでもないなと思います。科学と感情は対立するものではなく、科学によって救われる感情もあるし、私はそうだったということをお伝えしたかったのです。

タグ：

posted at 13:19:47

非公開

タグ：

posted at xx:xx:xx

最後のカッコの位置が...

タグ：

posted at 13:27:41

#超算数子供の計算ミスそのものを重大ごとのように扱うこと自体が有害な教育の原因になっていると思う。

理解しているのに注意不足で計算ミスしたのであれば、世界最高の数学者でも普通にやることなので、子供に「次はミスするな！」などと決して言ってはいけないと思う。

twitter.com/genkuroki/stat...

タグ：超算数

posted at 13:28:14

#超算数理解しているのに注意不足でミスったのであれば、「人間なら注意不足で間違うのは仕方がないことだよね」と言うべきだと思う。

個人的に最悪だと思うのは、理解していないのに先生が説明した手続きに機械的に従って正解している場合。これは非常に怖い。

タグ：超算数

posted at 13:28:17

#超算数子供を人間扱いする気があるなら、「理解することが重要であり、注意不足が原因のミスは仕方がないよね」と教える方針に必然的になると思う。

「理解していなくても、とにかくやり方を覚えて、正確に答えを出せれば良い」というように子供を扱っちゃいけない。

タグ：超算数

posted at 13:31:37

#統計子供は不器用なので、フリーハンドで線を引かせたら、傾いたり、曲がったり、長さが不適切になったりと色々なことが起こります。

しかし、それでも繰り返しフリーハンドで線を引いていれば、子供の引く線も段々と洗練されて行く。

私はそういう方向に誘導するのが正しい教育だと思うけどね。

タグ：統計

posted at 13:34:44

大橋拓文 @ohashihirofumi

探索させてる間に詰碁をやるのが定石のようです。これは若手棋士あるある。 twitter.com/thx15/status/1...

タグ：

posted at 13:43:26

shdy @shdy0417

@KITspeakee @George_Ohashi @IdfZcWa152G70NM 成績提供システムを利用する大学と、これまで通りに民間試験を利用する(従来型英検含む)大学とが混在していて、「高2の英検2級は無駄になるの？」と質問された時に「100%無駄になる訳じゃ無いんですけど、…」と説明するのも大変です…。

タグ：

posted at 13:50:41

#統計推定の収束の仕方について貴重な情報を持っている尤度函数の情報をシンプルな方法で利用するのが、ベイズ統計の方法です。

だから、ベイズ統計に入門するためには、尤度函数の具体例を色々知っていて、尤度函数が推定の収束の様子の情報を持っていることを知っている必要があります。

タグ：統計

posted at 15:15:04

#統計最尤法がうまく行く場合には、サンプルサイズnを大きくして行くと、尤度函数の形は、最適なパラメーター値w₀に近い値を中心とする単峰型になります。さらにnを大きくすると山が細く鋭くなって行く。

このことを使えば、尤度函数の形をして推定の収束の度合いの指標に使えそうです。

タグ：統計

posted at 15:20:03

#統計最尤法がうまく行くケースでの尤度函数の形は、有限のサンプルサイズで、推定があまり収束していなければ薄く広がった形になり、十分収束していれば鋭い単峰型になる。

尤度函数の広がり具合を数値化するには、尤度函数に適当に定数をかけて確率密度函数にしてしまえばよい。続く

タグ：統計

posted at 15:24:20

積分定数 @sekibunnteisuu

@NopponoPon @LoneFisherman 失礼します。「子どもが6人います。みかんを1人５個ずつ持っています。全部でみかんは何個ですか。｣で、6×5とする子は問題文を理解していないということなのでしょうか？

タグ：

posted at 15:25:49

#統計このように考えることができれば、ベイズ統計の方法の2歩手前まで来ています。

ベイズ統計の方法では、尤度函数の代わりに、尤度函数に任意の確率密度函数φ(w)をかけたもの

φ(w) Π_{k=1}^n p(X_k|w)

を正規化して、パラメーターwの確率密度函数 φ*(w) を作ります。続く

タグ：統計

posted at 15:28:04

#統計そうやって作ったパラメーターの確率分布 φ*(w) の広がり方はサンプルX₁,…,X_nを使った推定の収束し具合の指標として使える。

最尤法の場合には、予測分布が p(x|w*) の形だったので、推定の収束し具合の様子は予測分布に一切反映されません。しかし、ベイズ統計では～続く

タグ：統計

posted at 15:31:55

#統計続き～しかし、ベイズ統計では

p*(x) = ∫ φ*(w)p(x|w) dw

によって予測分布p*(x)を定義します。最尤法がうまく行く場合でかつ推定が十分に収束していれば、φ*(w) は w* に台を持つデルタ分布に近い分布になるので、ベイズ統計の予測分布と最尤法の予測分布はほぼ等しくなります。続く

タグ：統計

posted at 15:34:34

#統計しかし、そうではない場合には、φ*(w)が広がった分布になるので、ベイズ統計の予測分布

p*(x) = ∫ φ(w)p(x|w)dw

はxの分布として「ぼやけた」感じの分布になります。

ベイズ統計さんは、最尤法さんと違って、推定が収束していなければ、正直に、ぼやけた予測を語ってくれます。

タグ：統計

posted at 15:38:11

#統計以上は、尤度函数が推定の収束の様子の情報を持っていることをできるだけシンプルに利用するという視点から、標準的なベイズ統計の方法に至る経路の解説です。

実際には、以上で述べたのと全く異なる視点から、ベイズ統計の方法の利点について語ることが幾らでもできます。

タグ：統計

posted at 15:41:01

#統計「ベイズ統計ファン」のような人達が発生する理由は、単にその方法に様々な技術的利点があるからです。

それとは対照的に「主義」に基く統計学観は非科学的で有害な考え方です。

純粋に技術的な利点のみを語ればよいと思う。

タグ：統計

posted at 15:45:19

#統計補足：最尤法では予測分布を見ても推定の収束してなさ具合は一切分かりません。それだと困るので、最尤法では予測分布の他に、信頼区間を別に計算して提示する必要が生じる。

最尤法は一見シンプルに見えるのですが、推定の収束し具合の情報まで伝えようとするときには面倒になるし～続く

タグ：統計

posted at 15:50:39

#統計続き～、それ以外の理由でも面倒になる場合があります。

それに対して、ベイズ統計の方法では、推定の収束し具合の情報を持っている尤度函数の情報を捨てずにシンプルに利用する仕組みになっており、実際の計算では大変になっても、考え方は一貫性を保ち易くなります。

タグ：統計

posted at 15:53:30

#統計リンク先の φ(w) は事前分布と呼ばれており、事前分布×尤度函数を正規化して得られるφ*(w)は事後分布と呼ばれています。

事前分布の取り方を変えると、ベイズ統計の予測分布の汎化誤差および汎化誤差の推定値も変化します。事前分布も立派なモデルの構成要素。

twitter.com/genkuroki/stat...

タグ：統計

posted at 16:01:54

桜木朝陽 @Sprout30993632

藤原英明 / Hideaki Fujiw @FujiwaraHideaki

@genkuroki 手順と操作だけ覚えてやってるのを、理解していると勘違いする保護者…意外と多い。教員も「文章題がわからない」「計算ミスが多い」だけの表面的な分類でしか見ない方も。
ミスの理由はどこに起因しているか見立てないと。

特別支援で言えば、上記の誤解から誤った合理的配慮がすすんでいる。

タグ：

posted at 16:08:54

残り47件のツイートを見る

パスタの乾麺を茹でる時に重曹を入れると中華麺風になるというのを応用して、極太で四角い断面の Squared Spaghetti (De Cecco の no. 413) で試してみたら、またおま系つけ麺なんかにぴったりの麺に仕上がった！これは使えるぞ。 pic.twitter.com/bmfXC9962t

タグ：

posted at 16:09:33

#統計「パラメトリック」という用語の統計学入門書での使われ方も、現実に未知の母集団分布と数学的モデルとしての母集団分布の区別が曖昧で非常に非科学的な態度に見える。

添付画像はいつもの

東京大学教養学部統計学教室編『統計学入門』

より。 pic.twitter.com/NMP3o5m308

タグ：統計

posted at 17:23:23

#統計単に有限個のパラメーターw=(w₁,…,w_d)を持つ確率分布p(x|w)を数学的モデルとして仮想的な母集団分布として設定することならいつでも自由にできます。

しかし、現実の母集団分布は未知であるからこそ統計分析を行うので、勝手に「母集団分布は〇〇分布である」と結論することは許されません。

タグ：統計

posted at 17:23:24

#統計自由に設定できるのは数学的モデル。現実は未知であり、〇〇だと決めつけることをしてはいけない。

ところが上で引用した『統計学入門』には～続く

タグ：統計

posted at 17:23:24

#統計続き～

【事前に母集団分布が××分布という形で与えられており、いくつかの定数がわかれば、母集団分布についてすべてを知ることができる場合、それをパラメトリックの場合と呼ぶ】

と書いてある。現実の母集団分布でこのような状況はありえない。現実に応用不可能な概念を堂々と定義しているw pic.twitter.com/ERyCtwdvMJ

タグ：統計

posted at 17:23:26

#統計私が考える所のまともな「パラメトリック」の定義は、単に「有限個のパラメーターw=(w₁,…,w_d)を持つ確率分布p(x|w)をモデルとして採用する場合」とするものです。

推測先の母集団分布はモデルと完全に無関係に決まっていても構わない。

タグ：統計

posted at 17:26:11

#統計推測先の未知の母集団分布q(x)が、モデルp(x|w)の範囲に含まれていなければ、モデルp(x|w)を用いた推測の誤差は大きくなる。その誤差が受け入れ可能な範囲であれば、母集団分布をぴったり記述できないモデルも十分に役に立つわけです。

パラメトリック統計はそういう使い方をされる。

タグ：統計

posted at 17:31:56

#統計しかし、『統計学入門』にある【いくつかの定数がわかれば、母集団分布についてすべてを知ることができる場合】という説明の仕方は、モデルp(x|w)で未知の母集団分布q(x)をぴったり記述できる場合を想定しているように見える。

統計分析が必要な未知のq(x)に関するこの設定は非現実的です。

タグ：統計

posted at 17:34:47

#統計普通に常識があればそういう設定が非現実的であることは明らかだと思うのですが、人間は権威に弱く、教科書に書いてあることを鵜呑みにしやすい。

タグ：統計

posted at 17:36:15

Sukuna @SukunaBikona7

息子氏のカットをキッズ美容室に予約したんだけど「暴れますか？」と聞かれ、「それはそちらの出方次第ですね」という映画みたいなセリフを言ってしまった

タグ：

posted at 17:39:29

#統計「最小二乗法は正規分布モデルによる推定である」と正しい説明をすると、「最小二乗法は母集団分布が正規分布でない場合にも使用できる。BLUEと習った」的な「正規分布モデル」と言われると困るかのような反応があるのは、教科書の非科学的な説明を鵜呑みしているからだと思う。

タグ：統計

posted at 17:39:39

#統計実際には、正規分布モデルも母集団分布が正規分布でない場合に適用可能でかつより適切なモデルによる推定よりも誤差が大きくなるという理解の仕方が正しい。

最小二乗法はBLUEだが、残差が正規分布に従っていない場合には、ベストな推定法でも何でもない。

タグ：統計

posted at 17:42:07

#統計正規分布モデルを正規分布とは限らない任意の未知の母集団分布の推測に使ったときに何が起こるかについて、統計学入門書は何も触れていない上に、母集団分布が正規分布だと決め付けて統計分析してよいかのような解説をしている。

伝統的にそういう論外な解説を続けて来た人達がいる。

タグ：統計

posted at 17:45:07

#統計こういう指摘をしている人を私以外に見たことがありません。

もしも私以外にいるならその主張を参考にしたいので教えて下さい。

タグ：統計

posted at 17:46:38

#統計東京大学教養学部統計学教室編『統計学入門』関連

twitter.com/genkuroki/stat...

タグ：統計

posted at 17:48:44

#統計このスレッドには、東京大学教養学部統計学教室編『統計学入門』の内容や説明の仕方の問題点をまとめています。

この本に特別なこだわりがあるわけではなく、標準的によく参照されている教科書の代表例として取り上げています。

他の教科書にも似たような問題がよく見つかります。

タグ：統計

posted at 17:51:32

#統計関連&相互リンク

twitter.com/genkuroki/stat...

タグ：統計

posted at 17:53:08

TaKu @takusansu

@genkuroki @MagicianK19 @cheeeestar 都市伝説扱いするしかないですよね。

タグ：

posted at 17:54:01

#統計モデルp(x|w)の範囲で記述できない分布q(x)のサンプルからモデルp(x|w)で推定するとどうなるかの簡単な計算が

nbviewer.jupyter.org/gist/genkuroki...

にあります。添付画像はそういうプロット。こういうフィッティングは無意味ではないが、誤差は大きめになる。 pic.twitter.com/G7yv9YOtIf

タグ：統計

posted at 17:57:54

TaKu @takusansu

twitter.com/genkuroki/stat...
計算ミスを指摘し「指導する」のは誰にでも出来る「簡単な作業」です。(定規を強要するのも同様)
「簡単な作業」をして「指導しているつもり」なのは #超算数でおなじみの現象です。
「簡単な作業」を擁護しだす言説が現れるのもおなじみの現象で困ったものです。TT

タグ：超算数

posted at 18:24:58

ぬまきち @obenkyounuma

ちなみに、これは全くのデマで、結果は真逆。実際にキリスト教福音派が教育委員会で多数派を占めて純潔教育思想のもとに性教育を全廃した結果、未成年乱交、妊娠、性病が蔓延した地域の騒動を追いかけたアメリカのドキュメンタリーがこちら「Education of Shelby Knox」：amzn.to/2ZTpdTV twitter.com/hohoeminotou/s...

タグ：

posted at 18:38:30

大橋拓文 @ohashihirofumi

一般社団法人ちゃぶ台返し女子アクション @chabujo

お、ついに絶芸の評価が二間ジマリより小ゲイマジマリのほうが高くなったｗ

タグ：

posted at 19:16:21

“「『性的同意年齢』が13歳であるにもかかわらず、学習指導要領に小5理科で『受精に至る過程は取り扱わない』、また中1保健体育で『妊娠の経過は取り扱わない』などの『歯止め規定』があります。そのため13歳までに性交などについて教えることができない。これはおかしい」”
www.nippon.com/ja/japan-topic...

タグ：

posted at 19:22:13

#統計 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
Kullback-Leibler情報量と記述統計

サイズnのサンプルのヒストグラム
最尤法の予測分布
尤度函数

のプロットのアニメーション。右半分が尤度函数。尤度函数の台が一点に収束して行く。

ガンマ分布のサンプルを正規分布モデルで推定。 pic.twitter.com/hSP6J2CYKJ

タグ： Julia言語統計

posted at 20:54:07

#統計 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
Kullback-Leibler情報量と記述統計

サイズnのサンプルのヒストグラム
最尤法の予測分布
尤度函数

のプロットのアニメーション。右半分が尤度函数。尤度函数の台が一点に収束して行く。

ガンマ分布のサンプルをLaplace分布モデルで推定。 pic.twitter.com/wJthzsanRc

タグ： Julia言語統計

posted at 20:54:12

#統計 #Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
Kullback-Leibler情報量と記述統計

サイズnのサンプルのヒストグラム
最尤法の予測分布
尤度函数

のプロットのアニメーション。右半分が尤度函数。尤度函数の台が一点に収束して行く。

混合ガンマ分布のサンプルをガンマ分布モデルで推定。 pic.twitter.com/XUoxoQPgfO

タグ： Julia言語統計

posted at 20:54:19

#統計母集団分布がモデルでぴったり記述できない場合の最尤推定の様子をあえてプロット。

サンプルサイズnを大きくして行くと、尤度函数の台が1点に収束して行き、予測分布(橙色の線)も収束して行く。

しかし、予測分布の収束先は、サンプルのヒストグラムにも母集団分布にも収束しない。

タグ：統計

posted at 20:54:20

日刊スポーツ @nikkansports

ナイキ厚底大躍進、ＭＧＣで五輪決めた３人支えた
#MGC #NIKE
www.nikkansports.com/general/nikkan...

タグ： MGC NIKE

posted at 20:56:19

#統計事前分布が一様分布なら、尤度函数と事後分布は定数倍を除いて一致するので、上の動画中の右半分はベイズ統計における事後分布のプロットだと思って構いません。

最尤法では尤度函数の様子も示して欲しいと思う人が多いかもしれませんが、結果的にベイズ統計と同じような計算が必要になる。

タグ：統計

posted at 21:00:38

#統計ベイズ統計ユーザーの中には信用区間の幅が十分狭い様子を見て、推定が十分に収束していると判断する人がいると思います。その判断は正しいでしょうが、推定に使ったモデルと母集団分布がかけ離れていると収束結果の誤差が大きくなることに注意する必要があります。

タグ：統計

posted at 21:14:00

#統計信用区間がどんなに狭くなっていても、使用したモデルに妥当性がないなら、推定結果も信用できないということになります。

こういう事情があるので、「95%信用区間にパラメーターの真の値が含まれる確率は95%であると考えてよい」という主張は間違っているのです。

タグ：統計

posted at 21:14:03

#統計以下のリンク先で尤度函数もプロットし、動画にした。

twitter.com/genkuroki/stat...

タグ：統計

posted at 21:24:50

Massimo @Rainmaker1973

When the dying star VY Canis Majoris collapses, it will produce 100 times more energy in one second than our sun will produce over its entire 10 billion year lifetime buff.ly/2pTG9pc [gif: buff.ly/2JaJdG8] pic.twitter.com/kkXkMBHk3T

タグ：

posted at 21:28:57

☕ @EADGCGDA

拡散方程式とランジュバン方程式

計算：gnuplot (Version 5.2 patchlevel 6)
描写：gnuplot (Version 5.2 patchlevel 6) pic.twitter.com/v3nXpGR9JH

タグ：

posted at 21:45:23

質問者2 @shinchanchi

野口旭さんの指摘
党派性
旧日銀理論と地続き
ここがキモだと思ってます

金融緩和+5.5兆円の財政+緊縮財政なのに、雇用環境をこれだけ改善させた金融緩和というジェネリック薬を捨て、最低賃金で完全雇用とか、市場メカニズム軽視とか

いやー、どんな美女が言ってきてもNGです^_^

タグ：

posted at 21:49:48

#統計まさにそれ！

これは統計学の教科書が伝統的にひどいのだと思う。

伝統になっているせいで、統計学の講義をやっている側がおおっぴらに批判しなくなっているという問題。

twitter.com/hisagrmf/statu...

タグ：統計

posted at 21:51:38

#統計うけた！(笑)

twitter.com/julialangisthe...

タグ：統計

posted at 21:52:24

☕ @EADGCGDA

平均二乗変位

計算：gnuplot (Version 5.2.6)
描写：gnuplot (Version 5.2.6) pic.twitter.com/ZBm1oilX0t

タグ：

posted at 21:58:37

質問者2 @shinchanchi

実証されていないのに数式示さない(好き勝手言える余地を確保？)、ゴールポスト動かす事案がベースだそうで…中にはMの数式じゃなくPKのを出しちゃう残念な方も

タグ：

posted at 22:04:21

Dr. nhayashi @nhayashi1994

7000viewsありがとうございます。うれしいうれしい…… twitter.com/nhayashi1994/s...

タグ：

posted at 22:12:18

f(x, y) = x^4 - x^2 * y + y^3 で表示される二変数多項式関数のゼロ点集合のプロットとのその変換．Exampleは代数幾何と学習理論の特異点解消の話から．コードは #Julia言語で記述． pic.twitter.com/8hMg2XDTgA

タグ： Julia言語

posted at 22:12:40

こういうプログラミングをアザラシはしたかったんですよ！

タグ：

posted at 22:12:41

可乙 @kaotu_tw

山田拓路@NPOメタノイア｜外国ルーツの @takuji85

ホントにそうです！いきなり正規分布前提で話が始まるので、え？母集団が全部わかってるってこと⁈てなりました。 twitter.com/genkuroki/stat...

タグ：

posted at 22:23:20

【お願い】
ある外国出身の高校2年生は、まだ日本語を十分理解できません。

学校のプリントには「環境宣言」「持続可能」など難しい言葉が。
でも彼の家庭には電子辞書を買う余裕はありません。

そこで中古の電子辞書をご寄付いただけませんでしょうか？
詳細は⬇︎

RTでの応援もお願いします📣 pic.twitter.com/SppmsDDbe3

タグ：

posted at 22:40:07

ImplicitEquations.jlパッケージでの陰関数の描画アルゴリズムは Jeff Tupper 氏のアルゴリズムが用いられているようです．下記リンク先のPaperから論文を見ることができます．

www.dgp.toronto.edu/~mooncake/

タグ：

posted at 23:23:35