黒木玄 Gen Kuroki(@genkuroki)/2020年12月/Page 28

#統計単に、データのヒストグラムと予測分布の密度函数を重ねてプロットすればすぐに判明するようなモデルの不具合も、尤度函数縛りだと面倒になるという話。

最尤法でAICで済む場合ならば、尤度函数の情報だけを使って、複数のモデルを比較して、(確率的な失敗を受け入れながらの)選択を可能。続く twitter.com/genkuroki/stat...

タグ：統計

posted at 00:15:08

#統計しかし、AICはn→∞での漸近論を使っているので、有限のnでは、nが十分に大きな理想化された状況にはない問題が生じていることを覚悟する必要がある。

データとモデルの尤度函数への要約は大量の情報を捨て去るので、尤度函数に道具を制限すると、劣った方法を受け入れることになります。続く

タグ：統計

posted at 00:15:09

#統計尤度主義やら、尤度原理をまるで当然の前提とする主観主義ベイジアンの主義のもとでは、道具の数学的性質を理解した上で「なんでもあり」の立場で統計学を使用する人達よりも劣っている方法しか使えなくなります。

「理解した上で自由に使ってくれ」という穏健な立場を否定する「主義」は有害。

タグ：統計

posted at 00:15:10

この人、小学校教員らしい。 twitter.com/sash3sash3/sta...

タグ：

posted at 00:16:01

@sash3sash3 お断りします。

twitter.com/sash3sash3/sta... pic.twitter.com/CYibfs91MZ

タグ：

posted at 00:20:45

twitter.com/sash3sash3/sta...
こういう教師が児童を苦しめる pic.twitter.com/ItNorn5hx1

タグ：

posted at 00:23:48

非公開

タグ：

posted at xx:xx:xx

三年B組一八先生(金八じゃないよ) @uKi2wQXyG7rx3gL

twitter.com/sash3sash3/sta...

脱却できなくてモル計算で苦しむ高校生が多数いるんだけど、実に無責任な態度。 pic.twitter.com/nfPF5oHrom

タグ：

posted at 00:27:11

@sekibunnteisuu 無責任さが凄い！

タグ：

posted at 00:33:21

くずの王子様 @kz_kiyoshi

Julia言語、ついに入れてみた。確かに簡単な積分計算のプログラムを組むと、pythonより（numba使ってとしても）大分早いっぽいね。

タグ：

posted at 00:42:25

Naoki_O @nananao2236

面白いこと言うなぁ。左翼が内ゲバを繰り返したのは、公平だからじゃなくて、単に狂信が進みすぎてセクト間のわずかな教義の差異さえ攻撃対象としたからだと思ってるんだけど
twitter.com/DocSeri/status...

タグ：

posted at 00:52:00

#統計付け足し

観察・実験の「停止規則」が違えば予測分布の期待予測誤差の定義が変わるので、仮に期待予測誤差の代替指標としてその違いの影響が出る精密なものがあるならば、それを使ったモデル選択は「弱い尤度原理」を満たさなくなります。 twitter.com/genkuroki/stat...

タグ：統計

posted at 01:03:02

#統計成功確率θの独立試行で、試行回数nを固定する場合と、成功回数kを固定すりゃ場合で、KL情報量で書ける期待予測誤差の定義は変わります。

しかし、n, k→∞でその違いの影響は縮小する。

AICなどの情報量規準はそのような場合の漸近論を基礎にしています。AICには「停止規則」は影響しない。

タグ：統計

posted at 01:03:02

#統計「停止規則」の違いの影響を見るためには、特に小さな成功回数kでの様子を(漸近論に頼らずに)見る必要があってめんどくさいです。

だから、現時点では、「停止規則」の違いの影響が出る期待汎化誤差の代替指標の具体例を私は1つも知りません。

続く

タグ：統計

posted at 01:03:03

#統計しかし、別の次の問題では小さなkで「停止規則」による違いが出ることは数値計算で分かっている。

上の場合の最尤法を事前分布Beta(a, a)のベイズ法に拡張したとき、最大期待予測誤差を最小にするという意味で最適なaを求めよ。

最適事前分布選択の結果は「停止規則」に依存する。

詳しくは↓ twitter.com/genkuroki/stat...

タグ：統計

posted at 01:09:20

#統計まあ、とにかく、予測分布の期待予測誤差の代替指標(情報量規準)によるモデル選択における、期待予測誤差の定義がデータの取得法(例：停止規則)に依存することの理解は重要だと思います。

漸近論を使って代替指標を作ると期待予測誤差の定義の違いが見えなくなってしまうかもしれませんが。

タグ：統計

posted at 01:13:46

#統計そういう意味で、「モデル選択は(停止規則への依存を排除する)尤度原理と相性が悪いだろう」のように直観的に考えることのセンスは良いと思う。

なぜならば期待予測誤差が「停止規則」に依存して決まることは明らかだからです。

タグ：統計

posted at 01:17:09

#統計期待予測誤差は標本分布に関する予測誤差の期待値です。「停止規則」が変われば標本分布も変わり、期待予測誤差も変わる。期待予測誤差が「停止規則」に依存することは自明。

運悪くデータが偏っていると予測の誤差が大きくなるのですが、それをデータの分布で均した結果が期待予測誤差。

タグ：統計

posted at 01:23:07

Ⓜⓐⓙⓘⓓ Ⓚⓗⓐⓣⓣⓐⓚ @MajidRusiya

#統計以下のリンク先スレッドでは、成功確率(または表の出る確率)をqとしたときの、期待予測誤差のアニメーションを作っており、ソースコードも全公開されている。

とても易しい話です。

易しい話題で自分でコードを書きながら勉強すると非常にお得だと思う。 twitter.com/genkuroki/stat...

タグ：統計

posted at 01:27:11

Julia is better than Python.

#JuliaLang #RStats twitter.com/GenericBologna...

タグ： JuliaLang RStats

posted at 01:52:37

Hiroyasu Kamo @kamo_hiroyasu

どの分野でも〇〇教育学が〇〇学を上書きできると思っている人を時々見かけます。珍しい存在ではありません。 twitter.com/ampbe11/status...

タグ：

posted at 04:58:32

#統計解説

* 推測・推定・推論用の確率分布族p(x|θ)

* パラメータθの事前分布φ(θ)

* 未知の真の分布q(x)のi.i.d.として生成されていると想定されるデータX_1,…,X_n

が与えられている場合の最尤法とMAP法とベイズ法は以下のように定義される。

(もっと一般化できることに注意)

タグ：統計

posted at 05:59:11

#統計

(1) 最尤法(尤度最大化法)

尤度函数

L_n(θ) = p(X_1|θ)…p(X_n|θ)

を最大化するθをθ*と書き、最尤法の予測分布 p*(x_{n+1}) を

p*(x_{n+1}) = p(x_{n+1}|θ*)

と定める。

タグ：統計

posted at 05:59:12

#統計

(2) MAP法(事後確率最大化法)

尤度函数と事前分布の積

L_n(θ)φ(θ) = p(X_1|θ)…p(X_n|θ)φ(θ)

を最大化するθをθ*と書き、MAP法の予測分布 p*(x_{n+1}) を

p*(x_{n+1}) = p(x_{n+1}|θ*)

と定める。

MAP法は事前分布φ(θ)でパラメータθの動きを制限するという方針での最尤法の一般化。

タグ：統計

posted at 05:59:13

#統計

(3) ベイズ法

p(x_1,…,x_n) = ∫p(X_1|θ)…p(X_n|θ)φ(θ)dθ

とおき、事後分布φ*(θ)を

φ*(θ) = p(X_1|θ)…p(X_n|θ)φ(θ)/p(X_1,…,X_n).

と定め、ベイズ法の予測分布 p*(x_{n+1}) を

p*(x_{n+1})
= ∫p(x_{n+1}|θ)φ*(θ)dθ
= p(X_1,…,X_n,x_{n+1})/p(X_1,…,X_n)

と定める。

タグ：統計

posted at 05:59:13

#統計以上の3種の予測分布 p*(x_{n+1}) は、既知のデータX_1,…,X_nから作られており、次の値 X_{n+1} の未知の分布の推測結果として利用される。

以上のi.i.d.の設定では次のX_{n+1}の未知の分布は未知の真の分布 q(x) になっていると想定される。

タグ：統計

posted at 05:59:14

#統計未知の真の分布 q(x) の想定は、q(x)の推測結果である3種の予測分布 p*(x) が的を外しているリスクを理論的に分析するために利用される。

そのように想定しておくと、「的を外している」の定義を「予測分布 p*(x) と未知の真の分布 q(x) が大きく違うこと」のように定義できて便利である。続く

タグ：統計

posted at 05:59:14

#統計続き。さらに、未知の真の分布の想定によって、データ X_1,…,X_n の確率分布も想定可能になり、データの確率的揺らぎに関する期待値を考えることも可能になる。

以上では簡単のためデータがi.i.d.として生成されていると想定したが、その想定は容易に一般化可能である(一般化だけなら易しい)。

タグ：統計

posted at 05:59:15

#統計予測分布と未知の真の分布の違いは、KL情報量

D(q||p*) = ∫q(x) log(q(x)/p*(x)) dx ≧ 0

の大きさで測ることができる。これを予測誤差と呼ぶ。

Sanovの定理より、KL情報量D(q||p*)は

分布p*で乱数列x_1,x_2,…を生成して分布qをシミュレートしたときの誤差の大きさ

を意味する。

タグ：統計

posted at 05:59:15

#統計 Sanovの定理については、赤池弘次さんによる解説(添付画像)

www.jstage.jst.go.jp/article/butsur...

または私による詳しい解説

genkuroki.github.io/documents/2016...

を参照せよ。

* 大数の法則
* 中心極限定理
* Sanovの定理

は統計学における確率論の「三種の神器」である。基本中の基本！ pic.twitter.com/y04ewnwLYv

タグ：統計

posted at 05:59:17

#統計

離散分布で以上の解説における積分が和で置き換えられる。

例えば、成功確率θのベルヌイ分布

p(0|θ) = θ, p(1|θ) = 1-θ

について、p*(x)=p(x|θ*), q(x)=p(x|θ₀)とおくと、KL情報量は

D(q||p) = θ₀ log(θ₀/θ) + (1-θ₀)log((1-θ₀)/(1-θ))

と書ける。

www.wolframalpha.com/input/?i=plot%... pic.twitter.com/glRxm1lC9b

タグ：統計

posted at 05:59:19

GIGAZINE(ギガジン) @gigazine

「0は偶数ではない」と多くの人が信じているのは教育に問題があるという指摘
bit.ly/3nSsrzz

タグ：

posted at 06:00:13

Ettore Messina @ettoremessina

Computational Mindset has released on GitHub a demo of the use of a neural ODE to determine the appropriate values of the parameters of a system of ODEs.

Here the code on GitHub:
github.com/ettoremessina/...

#julialang #DiffEqFlux #DifferentialEquations pic.twitter.com/j7pkjvEIgE

タグ： DiffEqFlux DifferentialEquations julialang

posted at 06:02:53

#統計

D(q||p) = θ₀ log(θ₀/θ) + (1-θ₀)log((1-θ₀)/(1-θ))

はθ=θ₀の近くでTaylor展開によって

(θ - θ₀)²/(2θ₀(1-θ₀))

で近似される。

#Julia言語などが使えなくても、WolframAlphaを使えば、比較的容易にグラフを描ける。

www.wolframalpha.com/input/?i=plot%...

www.wolframalpha.com/input/?i=serie... pic.twitter.com/l0cqyjVNUY

タグ： Julia言語統計

posted at 06:17:13

#統計ゆえに、θ=θ₀の近くでD(q||p*)とD(p*||q)はほとんど等しくなる。

KL情報量D(q||p*)はSanovの定理より「分布p*による乱数生成で分布qをシミュレートしたときの誤差」という意味を持つので、qとp*について当然非対称になるが、p*=qの近くではほとんど対称になる。

www.wolframalpha.com/input/?i=plot%... pic.twitter.com/7W8IjSt0iO

タグ：統計

posted at 06:22:57

#統計いきなりKullback-Leibler情報量とか言われると、「そんなの知らない！」(泣)となりがちだと思うが、以上のようにその特別で簡単な場合を計算し、グラフを描き、局所的にTaylor展開し、さらにグラフを描き、…を繰り返して行けば、段々どういう様子をしているかが分かって来る。

これが基本。

タグ：統計

posted at 06:26:02

Limg @LimgTW

ギガシンも #超算数を取り上げて始めたかと思ったら海外の #超算数だった。記事では人間が賢いから、賢く教えれば理解できるとされているが、事実は逆で「愚かに教えなければ」済む。

英語圏のアメリカの学校教育では、0を2の倍数から取り除いている。その混乱と思われる。argoprep.com/blog/what-is-a... twitter.com/gigazine/statu...

タグ：超算数

posted at 06:41:18

Limg @LimgTW

日本の教科書（※現役）も同じ。
0は偶数ではあるが、2の倍数ではない。 twitter.com/limgtw/status/...

タグ：

posted at 06:44:16

Limg @LimgTW

当然、混乱してる人が一定数居て、
アンケートを取るとこんな結果になる。

（アンケートありがたやー twitter.com/genkuroki/stat...

タグ：

posted at 06:46:35

#統計

p(x) = p(x|μ,σ²) = exp(-(x-μ)²/(2σ²))/√(2πσ²)

の場合には、μ, σ²の函数として、KL情報量D(q||p)の2倍は

2D(q||p) = (qの平均 - μ)²/σ² + (qの分散)/σ² + log σ² + 定数

となる(問題：重要！確認せよ！)。

ゆえに、これを最小化するμ, σ²は

μ = qの平均
σ² = qの分散

となる。続く

タグ：統計

posted at 06:48:38

#統計続き。これは、正規分布による乱数列生成で分布q(x)をシミュレートするとき、誤差を最も小さくなるようにするためには、正規分布の平均と分散を分布q(x)と同じにすればよいことを意味している。

この結果は正規分布モデルを理解するためにとても重要である。

www.wolframalpha.com/input/?i=plot%... pic.twitter.com/T09JD7s1VO

タグ：統計

posted at 06:48:40

#統計同様にして、正規分布モデルによる最尤法の結果は

μ = (データの平均)
σ² = (データの標本分散)

となる。

要するに、データの平均と求めることは、最尤法の意味で、データに最も適合する正規分布を求めていることに等しい。

続く

タグ：統計

posted at 07:00:10

#統計データの散らばり具合が正規分布から程遠いのに、正規分布でフィッティングを行っても誤差が大きくなるだろうと予想され、実際にそうなる。

データの散らばり具合が正規分布から程遠い場合には、平均と分散の組をデータの要約として採用することは特な選択肢ではなくなる。

タグ：統計

posted at 07:00:10

#統計最尤法などの定義やKL情報量が予測誤差を意味していることなどを理解して視界が広がると、

　データの要約としてどの統計量を採用するべきか

のような統計学入門のイロハのイに当たる事柄についても理解が深まる。

「数学を理解して応用すること」はこういう頭の使い方を意味している。

タグ：統計

posted at 07:04:12

#統計 Laplace分布p(x|a,b)=exp(-|x-a|/b)/(2b)の最尤法の結果は

a = (データの中央値)
b = (データの中央値との差の絶対値の平均)

ゆえに、中央値をデータの要約値として採用することは、データに最も適合するLaplace分布を求めることに近い。Laplace分布は正規分布より裾が太いので外れ値に強い。

タグ：統計

posted at 07:09:02

Something I've been working on over the past semester: Genify, a program transformation tool that makes arbitrary Julia code controllable by a probabilistic programming system like Gen (www.gen.dev)!

github.com/probcomp/Genif...

タグ：

posted at 07:10:29

Using Genify, you can transform pre-existing stochastic simulators in Julia into generative models in Gen, enabling customizable Bayesian inference over e.g., this agent-based model of viral spread. pic.twitter.com/N1tDinIGHf

タグ：

posted at 07:10:30

Here's a brief tutorial, if you'd like to learn more about how to use Genify, and how it works! It was really fun to discover the power of meta-programming in the @JuliaLanguage through this project.

htmlpreview.github.io/?https://githu...

タグ：

posted at 07:10:30

S/O to my collaborator McCoy Becker on this, as well as @alexanderklew and @mcusumanotowner for teaching me so much about programming languages since starting grad school. I knew barely anything about PL research before, and it's been illuminating to learn more.

タグ：

posted at 07:10:31

PL development also given me a new perspective on what causes AI to advance as a field, both in terms of capabilities and safety / robustness / beneficence.

タグ：

posted at 07:10:31

Deep learning took off at least in part because of powerful easy-to-learn libraries like @PyTorch and @TensorFlow, which allowed users to rapidly build state-of-the-art models with minimal cruft and math.

タグ：

posted at 07:10:31

My hope is that probabilistic programming can be democratized in a similar way, bringing AI & data science practitioners the robustness and interpretability that idealized Bayesian reasoning promises.

タグ：

posted at 07:10:31

I also hope -- albeit with less optimism -- that the probabilistic programming community can do this with more equity & inclusiveness than deep learning has. Good epistemology can serve either just or unjust ends -- let's make sure it's not the latter!

タグ：

posted at 07:10:31

#統計シンプルなモデルの最尤法でデータに適合する分布を求めることとデータの代表値を決めることは相当に近い話題になっている。

こういう視点で他の分布の最尤法の結果がどうなるかを色々計算すれば、「推定法」だけではなく、データの要約の仕方の背景についても理解が深まるだろう。

タグ：統計

posted at 07:13:32

#統計以上では最尤法の場合について計算例を挙げた。

事前分布を使うMAP法やベイズ法の例も計算してみよう。

最も簡単な成功確率θのベルヌイ分布モデル

p(1|θ) = θ, p(0|θ) = 1 - θ

の場合で計算してみよう。未知の真の分布は

q(x) = p(x|θ₀)

であるとする。

タグ：統計

posted at 07:24:05

#統計データX_1,…,X_nの各々のX_iの値は1または0になる。その中の1の個数をkと書く。

尤度函数は

L_n(θ) = θᵏ (1-θ)ⁿ⁻ᵏ

となり、尤度函数は

θ = k/n

で最大化されることが分かる(最尤法の解)。

www.wolframalpha.com/input/?i=maxim... pic.twitter.com/NGjMSjtRiV

タグ：統計

posted at 07:24:07

#統計要するに、最尤法では「n回中k回成功」というデータが得られたとき、「成功確率がk/nの予測分布」が作られる。このように、ベルヌイ分布モデルの最尤法は非常に素朴で素直な予想の仕方になっている。

タグ：統計

posted at 07:26:57

#統計ベルヌイ分布モデルの最尤法では、データ中の成功回数がk=0の場合には「成功確率0」と予想し、n-k=0ならば「成功確率1」と予想してしまう。

実際には非常に小さな確率で成功や失敗するかもしれないのにそのような予想をしてしまうと、予測誤差が非常に大きくなってしまうリスクが増える。

タグ：統計

posted at 07:30:52

#統計そういう問題の存在は、上で解説したKL情報量を使った予測誤差の定義を思い出して、未知の真の分布を想定していることによって使用可能になっているデータの標本分布を使った予測誤差の期待値をコンピュータで計算すれば確認できる。

最尤法は必ずしもベストの推定法では無さそうだと分かる。

タグ：統計

posted at 07:35:17

#統計実際に計算すると、k=0とn-k=0の場合には対数の数値計算部分で∞が生じるせいで、データの標本分布について期待値を取る計算まで行けない人が多いと思う。

最尤法はそういう意味でもピーキーな特性を持っており要注意。

本当は全部自分でやってみて∞が出て来てハマった方が理解が深まる(笑)

タグ：統計

posted at 07:38:46

#統計そこで役に立つのが事前分布です！

よく見る個人的に非常によろしくない説明では「事前分布は事前の主観的信念の度合いを表す」(主観主義ベイジアン)とされています。

そのように思いたい場合にそう思うことは勝手ですが、そのように考えなければいけないとすることは単なるトンデモ。

タグ：統計

posted at 07:46:34

「事前分布は事前の主観的信念の度合いの表現である必要はない」という主張は「かけ算の順序はどちらでもよい」と同じような話題だと思っておけば間違いが少ないと思います。

数学的道具を「チョー算数の伝統」やら「主観主義ベイジアンの哲学」に縛られて使うことは極めて有害なので要注意です。

タグ：

posted at 07:46:35

以上では、事前分布を事前の主観的信念の表現とすることを妨げないことに注意してください。

これは、レシートの印刷のフォーマットを「数量×単価」「単価×数量」の片方の順序で揃えることを妨げないのと同じことです。

タグ：

posted at 07:50:52

例えば成功確率が0.1以上であるというような信頼できる事前情報を持っているなら、その情報を事前分布に組み込むことが十分に合理的だと私は思います。

ここで言いたいことは、事前分布の使い方をそのように制限するのは馬鹿げているという非常に穏健で当たり前の話です。

タグ：

posted at 07:52:25

注意・警告：特にSavageやBirnbaumの名前を出して、主観的ベイズ主義は数学的・論理的・哲学的に固い基盤を持っているかのように語る人を見付けたら、できるだけ早く逃げ出すことをお勧めします。ぶっちゃけ、固い基盤の存在の主張は権威的な詭弁に過ぎません。

タグ：

posted at 07:56:20

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

こういうくだらないことも言っておかないと非常にまずい状況が維持され続けていることは、歴史的に作られてしまった不運だと思います。

かけ算順序問題も100年以上の歴史があって解決の目処さえ立たない。

おかしな考え方の持ち主達が立派な地位につけてしまうようになっているとこうなる。

タグ：

posted at 07:59:32

JupyterLab 3.0が出てるなjupyterlab.readthedocs.io/en/stable/gett...

タグ：

posted at 08:04:23

松浦晋也 @ShinyaMatsuura

それは、もっとたくさん給付しないと経済的効果が出ない、という意味だ。無意味だから給付すべきではなかった、という事ではない。全然足りていないのだ。 twitter.com/nhk_news/statu...

タグ：

posted at 08:07:04

#統計ベルヌイ分布モデルの事前分布の話に戻る。

最尤法のピーキーな特性を事前分布の利用によって緩和することを考えましょう。

尤度函数

L_n(θ) = θᵏ(1-θ)ⁿ⁻ᵏ

の形を見れば、事前分布として

φ(θ|a,b) = θᵃ⁻¹ (1-θ)ᵇ⁻¹/定数

を採用すると計算が簡単になることに気付きます。続く

タグ：統計

posted at 08:09:05

#統計続き。分母の定数はベータ函数の値B(a, b)になります。この事前分布はベータ分布と呼ばれています。ウィキペディア

ja.wikipedia.org/wiki/%E3%83%99...

を公式集として利用できます。

以下では、簡単のために、事前分布をその場合に制限して計算しましょう。

タグ：統計

posted at 08:09:06

#統計尤度函数と事前分布の積は

L_n(θ)φ(θ|a,b) = θᵏ⁺ᵃ⁻¹ (1-θ)ⁿ⁻ᵏ⁺ᵇ⁻¹/定数

であり、これを最大化するθは

θ = (k+a-1)/(n+a+b-2)

になります(MAP法の解)。a=b=1の事前分布が一様分布の場合にこれは最尤法に一致します。

これで最尤法とMAP法の計算はできた。残りはベイズ法です。

タグ：統計

posted at 08:19:26

#統計事後分布は、尤度函数と事前分布の積を0から1までの積分が1になるように正規化したものなので、

φ(θ|k+a, n-k+b) = θᵏ⁺ᵃ⁻¹ (1-θ)ⁿ⁻ᵏ⁺ᵇ⁻¹/B(k+a, n-k+b)

になります。

タグ：統計

posted at 08:25:46

#統計予測分布p*(x)の定義は

p(1|θ)=θ, p(0|θ)=1-θ

を事後分布で平均を取ったものなので、

p*(1)=(k+a)/(n+a+b), p*(0)=1-p*(1)

となる。要するにベイズ法の予測分布は

成功確率=(k+a)/(n+a+b)

のベルヌイ分布になります。

以下ではMAP法ではなく、こちらのベイズ法の場合を扱います。

タグ：統計

posted at 08:25:47

#統計目標を思い出しましょう。我々の目標は

* 最尤法のピーキーな特性を緩和して、期待予測誤差が大幅に悪化する場合が生じることを防ぐこと

でした。そのために

①最尤法の予測分布：成功確率 k/n
②ベイズ法の予測分布：成功確率 (k+a)/(n+a+b)

の期待予測誤差を比較したい。続く

タグ：統計

posted at 08:30:51

#統計なんと驚くべきことに(笑)、我々はすでに期待予測誤差をコンピュータで計算するために必要な公式を得ています！

予測誤差の公式は

D(q||p) = θ₀ log(θ₀/θ) + (1-θ₀)log((1-θ₀)/(1-θ))
θ = (予測分布での成功確率) = (k+a)/(n+a+b)

です。続く

タグ：統計

posted at 08:42:46

#統計「n回中k回成功」というデータにおけるnは固定され、kはデータの分布によって二項分布に従うことになります。

上の予測誤差をkに関する二項分布で平均を取れば、期待予測誤差が得られる。

続く

タグ：統計

posted at 08:42:48

#統計出発点で与える必要があるパラメータは、未知の真の成功確率θ₀と事前分布を決めるa,bの3つです。

左右対称な事前分布に制限すればa=bの場合のみを考えればよいので、パラメータの個数は2個に減ります。

タグ：統計

posted at 08:42:48

#統計

コンピュータを使った練習問題：2つのパラメータθ₀とaを動かしながら、期待予測誤差を計算してプロットせよ！

未知の真の成功確率θ₀を動かしたときの期待予測誤差の最大値を最尤法のa=0の場合よりも下げることができれば、最尤法のピーキーな特性を事前分布の使用で緩和できたことになる。

タグ：統計

posted at 08:42:49

#統計このコンピュータを使った練習問題は、難易度はあまり高くないのですが、教育的価値は極めて高いと思います。

この練習問題をやり遂げた人は

* 最尤法のピーキーな特性

* 事前分布を使えば最大期待予測誤差を下げられること

の両方を「主観ベイズ主義」と無関係に学ぶことができます。

タグ：統計

posted at 08:46:30

#統計つまり、最尤法が最善の方法とは言い切れないことを理解して、さらに事前分布という新しい数学的道具が最尤法の欠点を緩和するために使用可能であることも理解することになります。

このルートをたどることは、ベイズ統計に関する怪しげな解説の悪影響を一掃するために役に立つと思います。

タグ：統計

posted at 08:49:55

ちびくろ参謀 @CSambo

実際に当時の状況を見てきた髙橋和巳によると、革命団体は内部で事件が起こった時に第三者に調停を求める事ができず陰惨な内ゲバになりやすい、という話らしく。
本当、左翼の歴史修正能力はスゴイなあ…。 twitter.com/nananao2236/st...

タグ：

posted at 08:58:17

ちびくろ参謀 @CSambo

ただ、当時の事を研究して理解していても避けられるわけじゃないんだよね。

なぜなら、それを研究して本まで出していたのが、しばき隊リンチ事件を知りながら外に漏らさないようにしていた連中の一人だから。

タグ：

posted at 08:58:17

#統計

コンピュータを使った練習問題の #Julia言語を使った解答例
↓
nbviewer.jupyter.org/gist/genkuroki...

ただし、θ₀=qとしてあり、試行回数nを固定した場合と成功回数kを固定した場合の両方を扱っています。

添付画像はn=12の場合の二項分布での期待予測誤差(左)と最大期待予測誤差(右)のプロットです。 pic.twitter.com/lgs80nsN8q

タグ： Julia言語統計

posted at 09:05:55

#統計

n=12の場合の事前分布Beta(a, a)でのベイズ法の期待予測誤差の真の成功確率qの函数としてのプロットのアニメーション。

a=0が最尤法に対応しており、ピーキーな特性が見えています。

事前分布でそれを緩和している。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/JeDXdtoJHX

タグ：統計

posted at 09:09:28

#統計 n=120の場合 pic.twitter.com/leowVRAI18

タグ：統計

posted at 09:10:08

#統計個人的には、ベルヌイ分布モデルのベイズ統計には実践的な価値は大してないと思っています。

しかし、最もシンプルな統計モデルで、ベイズ統計一般でも有用する場合があることを、コンピュータによる計算で確認することの教育的価値は高いと思います。

タグ：統計

posted at 09:13:42

#統計以上では、事前分布を適切に選べば、最大期待予測誤差を最尤法よりもずっと下げられることをベルヌイ分布モデルの最もシンプルな場合について学びました。

タグ：統計

posted at 09:16:56

三谷純 Jun MITANI @jmitani

出る目の分布を計算で求められないかなと思ったのだけど、立体角からは求まらないのかぁ。だとすると難しそうな気がしますね。

投稿２９５ shochandas.xsrv.jp/mathbun/mathbu...

Unityを使える人だったら、ぱぱっとシミュレーションできそうな気もするので、どなたか実験お願いします（他力本願）

タグ：

posted at 09:19:37

江添亮@足首靭帯の手術から14週間 @EzoeRyou

#統計ベルヌイ分布モデルで情報量規準についても学びたい人は

nbviewer.jupyter.org/gist/genkuroki...

を見て下さい。

添付画像の横軸は標本分布での確率でスケールしてあります。

予測誤差とAICやWAIC, LOOCV(の差)の逆相関がきれいに見えています。その逆相関はベルヌイ分布モデル以外でも普遍的に成立。 pic.twitter.com/n8WikigQtg

タグ：統計

posted at 09:20:52

ゲーム用途の手抜きな物理演算がこの用途に使えるとは思えないな。 twitter.com/jmitani/status...

タグ：

posted at 09:25:59

#統計ベルヌイ分布モデルにおける予測誤差とAIC(の差)の逆相関は、以下のリンク先に書いた「p=qの近くでD(q||p)とD(p||q)がほとんど等しいこと」と本質的に同じことになっています。

問題：確認せよ。

この場合の最尤法でのAICの定義は

AIC = -2log L_n(k/n) + 2
AIC₀ = -2log L_n(θ₀) twitter.com/genkuroki/stat... pic.twitter.com/eDisLm8XjM

タグ：統計

posted at 09:26:50

#統計 #数楽大学新入生向けの解析学の講義で、ガンマ函数やベータ函数の応用先で意味のある計算でしかも「今様なもの」が欲しければ、ベルヌイ分布モデルにおける情報量規準が有力な例として挙げられます。

この辺にも派生的に教育的価値がある話題だと思います。 twitter.com/genkuroki/stat...

タグ：数楽統計

posted at 09:32:40

#統計事前分布Beta(a,a)を使った最大期待予測誤差の最小化で使用される数学は、高校数学の範囲内にほぼおさまっていると思います。

その部分で難しいのは数学の部分ではなく、コンピュータの数値計算とプロットによって確認する部分だと思います。

タグ：統計

posted at 09:36:37

#統計 #数楽以上のスレッドで示したようなベイズ統計入門の解説が流行ると個人的にはうれしいです。

高等教育でかけ算順序問題のようなことが行われているのはまずいので、代替案を考えてみました。

主義に基く詭弁ではなく数学に頼るという点でかなり雰囲気は出ていると思います。

タグ：数楽統計

posted at 09:40:15

JupyterLab v3.0では、extensionsの取り扱いが変わるらしい。

jupyterlab.readthedocs.io/en/stable/gett... twitter.com/bicycle1885/st... pic.twitter.com/Ui0CPDK21Y

タグ：

posted at 09:57:41

#統計データに関する未知の真の標本分布を想定することは、「現実世界がそうなっていると仮定する」という話ではなく、「あなたのモデル設定は仮にこうなっているとしたらこういうリスクを持っていますよ」と言えるようにするためのシンプルな設定に過ぎません。 twitter.com/genkuroki/stat...

タグ：統計

posted at 10:24:42

#統計未知の真の標本分布の想定は「あなたのモデル設定は仮にこうなっているとしたらこういうリスクを持っていますよ」と言えるようにするためのシンプルな想定に過ぎないので、これを拒否して、自分のモデルのリスク評価を拒否する態度を取る人には「科学の世界から出て行け」と言ってよいと思う。

タグ：統計

posted at 10:26:38

あおじるPPPP @kale_aojiru

「いくら何でもそれはそうだろう」から「そもそもそこからして怪しくないか」に移行しつつある昨今。 twitter.com/ampbe11/status...

タグ：

posted at 10:30:54

#統計 Savageさん(主観確率)やらBirnbaumさん(尤度原理)やらを持ち出して、標準的な主観ベイズ主義には固い基盤があるように語る困った人達には要注意。

関連↓(解毒剤) twitter.com/genkuroki/stat...

タグ：統計

posted at 10:31:11

ジョゼフ・アンリ @joseph_henri

「怪し」いどころか、指導書も教科書も完全にクロです。 twitter.com/kale_aojiru/st...

タグ：

posted at 10:33:41

残り69件のツイートを見る

@kale_aojiru 学校に卸す小学生用教材に対しては，どうも教材制作会社の作問者や編集者の認識がおかしいのは間違いないです。

タグ：

posted at 10:35:10

twitter.com/joseph_henri/s... 中学も同じです。業者に問い合わせて確認しました。

タグ：

posted at 10:50:37

Haruhiko Okumura @h_okumura

（小学校の学習指導要領については2017年にパブコメがあり，私は掛け算の順序問題，「0は偶数だが2の倍数ではない」件，振り子が1往復する時間は振れ幅に依存することについて書いたが，まったく取り上げてもらえなかった）

タグ：

posted at 11:13:01

「10秒で50 m走るのと100 m走るのはどっちが速いかな？」から始めて「速さ」がわからない児童がいたら別の問題なので、よしんば「公式」で「正解できる」ようになったら非常にまずい

タグ：

posted at 11:14:11

Charles Kawczynski @Chazzly

This is completely insane. Very glad to have converted to #julialang twitter.com/d_feldman/stat...

タグ： julialang

posted at 11:19:44

「今の学校制度でまともな教育ができない」なら強く同意しますが、「まともな教育をしている！」と「反論」する「教員」がいるのもヤバい。

タグ：

posted at 11:20:57

lanuvas @lanuvas

振り子の件知らなかったので調べてみたら
結構怖かった。

wwwc.osaka-c.ed.jp/category/plan/...

10度～70度まで調べて
「明らかに幅で差がある」
のを教師に解説した上で
「振れ幅が小さいときに成り立つ法則であるため、30 度までで実験すること。」
って😰

「生徒に嘘がバレないように」？
誰が得するのか🤔 twitter.com/h_okumura/stat...

タグ：

posted at 11:42:40

Haruhiko Okumura @h_okumura

あ〜る菊池誠(反緊縮)公式 @kikumaco

振り子の等時性，先生が近似則と認識しているならまだしも，その認識がなく，振幅に依存する実験結果を出した児童は「自分の予想や仮説に合うようにデータを処理しているから」と決めつける文書を文科省が出しているんです→ oku.edu.mie-u.ac.jp/~okumura/stat/... twitter.com/lanuvas/status...

タグ：

posted at 11:55:44

左派・リベラルが事実上の新自由主義者であることは、「レフト2.0」の問題として松尾匡さんも嘆いている。世界的にそうらしい。その結果、反緊縮を掲げる極左・極右が一定の支持を得る twitter.com/burubur5603089...

タグ：

posted at 12:24:38

非公開

タグ：

posted at xx:xx:xx

待ってください…それは本当に助けられていたのでしょうか？
理科で行う計算が、算数とは全く違う計算だと感じていなかったでしょうか？
ハジキに助けられたとか分かりやすかったと錯覚してしまうと、「あらゆる問題にてんとう虫的な解法があり、それを覚えること」が理科数学の勉強になってしまいます twitter.com/TuNa49581811/s...

タグ：

posted at 13:12:27

自分の生徒にも複数いますが、このスタイルの勉強をし続けた生徒は、本当の意味で手遅れになります

理解できない子がいるのではなく、理解するのに時間のかかる子がいるだけなんです

簡単な数字から、徐々に徐々に、【速さとは○時間で△進む能力】を理解させてあげられるよう努めて欲しいです…

タグ：

posted at 13:14:58

簡単な数字で良いんです
本当にお願いします…

算数が分かってないことが原因で「自分は数学ができないから○○になるのは諦めます」と言う高校生を、もうこれ以上見たくないんです…

twitter.com/miyuki_MathT/s...

タグ：

posted at 13:17:40

書泉_MATH @rikoushonotana

好評発売中『1から始める Juliaプログラミング』進藤裕之/佐藤建太（コロナ社）
「Pythonのように書けて，Cのように動く」新しいプログラミング言語Juliaの基本的な文法や使い方から，実践的な内容として，標準ライブラリには含まれない数値計算やデータの可視化などのパッケージの活用まで解説。 pic.twitter.com/T9GJR5nYRq

タグ：

posted at 14:56:00

hpp @hpp_ricecake

GitHub actions の手動実行ボタンを生やすの、デフォルト設定で良ければ `on` に `workflow_dispatch` って書くだけで各 workflow のページにボタンが生えるの便利すぎて笑っちゃうな pic.twitter.com/RjWyvaoxrw

タグ：

posted at 15:41:44

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

真心/magokoro @magogogoro

最初1羽だったのがどんどん集まってきた pic.twitter.com/IgSwfSilrJ

タグ：

posted at 17:49:00

Juliaで手っ取り早く
B = { b ∈ {±1}^N }
を生成する方法，どうしたらいいん？ Nは10くらい．

タグ：

posted at 17:55:27

自動化プログラム研究所 @Python55455260

【数学できる人はたいてい教育の素人】

2020年は、こういった偏見によるレッテル貼りをする発言が小学校教員からたくさん出てくる年だった。
だからもう、小学校教員ってだけで不信感しかないという状態になっちゃいました。

あーあ twitter.com/ampbe11/status...

タグ：

posted at 17:56:48

タグ： python プログラミングプログラミング初心者プログラミング学習駆け出しエンジニアと繋がりたい

#駆け出しエンジニアと繋がりたい
 #プログラミング #python
#プログラミング初心者
 #プログラミング学習

Juliaのインストールから基本文法までをまとめてみた

tkstock.site/2019/12/28/%e3...

posted at 18:00:11

@kuri_kurita

【みはじ】とやらの図に対して「公式を一つにしたって意味でこの絵は価値がある」とか言ってた人がこんなことを言ってるのが理解出来なくて脳が混乱している。 twitter.com/sash3sash3/sta...

タグ：

posted at 18:12:45

集合B = { b ∈ {±1}^N } をつくるコード．bはN次元のベクトルで各要素は1か-1．

とりあえず僕が考えたのはこんな感じ．julia言語ならもっと良い方法があるかなぁ． twitter.com/physics303/sta... pic.twitter.com/CqoybMifJJ

タグ：

posted at 18:24:39

あ，これ，全部+1の場合が含まれてないな．

タグ：

posted at 18:26:02

@physics303 #Julia言語

メモリ効率的にはベストでないと思うのですが、普段のようにシンプルに書きたい場合には、

a = [1, -1]

t = vec(collect(Iterators.product(fill(a, 4)...)))

v = collect.(t)

collec(タプル)でタプルからベクトルを作れます。

gist.github.com/genkuroki/0ee8... pic.twitter.com/Ogq7STPaAq

タグ： Julia言語

posted at 18:30:07

@genkuroki おー，なるほどです！こちらの方がシンプルで良いですね！ありがとうございます

タグ：

posted at 18:35:05

@physics303 #Julia言語タプル、Vectorの配列ではなく、SVectorの配列が欲しければ、タプルの配列tに対して

sv = SVector.(t)

gist.github.com/genkuroki/0ee8... pic.twitter.com/qAMeofSlWK

タグ： Julia言語

posted at 18:47:02

@physics303 #Julia言語 Iterators.productは集合の直積の構成に近いです。

gist.github.com/genkuroki/0ee8... pic.twitter.com/nIZXc446SW

タグ： Julia言語

posted at 18:48:21

#統計事前分布Beta(a,a)のベルヌイ分布モデルによる期待予測誤差。データはn=120で成功確率=qで生成されるという設定。

a = 0 が最尤法なので、a = 0.005 の場合がそれを近似しています。データが0または1に近い成功確率で生成されている場合に、最尤法の期待予測誤差は大きめになってしまう。 pic.twitter.com/O80or4Aj3H

タグ：統計

posted at 19:01:07

#統計続き

この計算では、a = 0.005 から a を 0.5 付近まで大きくしたところで、期待予測誤差がならされて、最大期待予測誤差が最小になります。

Beta(0.5, 0.5)はベルヌイ分布モデルのJeffreys事前分布です。

警告：特異モデルではJeffreys事前分布は予測誤差を悪化させるので要注意。 pic.twitter.com/rq0NnI7Zre

タグ：統計

posted at 19:05:29

#統計私は、KL情報量で定義された予測誤差やAICやWAICを「χ²検定で使われているスケール」で計算・プロットすることにしています。

具体的には、KL情報量の2n倍 2n D(q||p) や AIC = -2log L_n(θ*) + 2d は「χ²検定で使われているスケール」に調節されています。

タグ：統計

posted at 19:11:30

#統計 χ²検定との関係については、Wilks' theoremについて調べれば分かります。

大数の法則や中心極限定理をコンピューター・シミュレーションで数値的に確認して理解を深めることは定跡化されていますが、Wilks' theoremについてもそうしておくと急に視界が広がります。

twitter.com/genkuroki/stat...

タグ：統計

posted at 19:17:23

yamazaks @yamazaksv2

川端裕人『ドードー鳥と孤独鳥』（国書刊 @Rsider

@physics_cats 物理基礎を高1に教えていて、学級日誌に「理科って暗記科目だと思って苦手でしたが、自分で考えて公式が作れるとわかって驚いた」と書いてあったことがあります。

タグ：

posted at 19:25:40

大阪まり～も@ニートのまりも @osakamariiimooo

たまたま見かけたのでコメントさせてくださいませ。今、警察での採用は中程度よりもマイルドな先天色覚異常は採用しているようです（具体的にはパネルD15をパス）。万が一、誤解されているかもしれないと考えて、コメントさせていただきます。不要でしたら、スルーしてくださいませ。 twitter.com/luckseed358/st...

タグ：

posted at 19:28:33

非公開

タグ：

posted at xx:xx:xx

juliaっていうPythonに似たプログラミング言語があります。juliaはPythonの処理速度に比べて30倍早いらしいです。

loalmaker-109-fire-achi.com/%e3%80%90%e3%8...

タグ：

posted at 19:49:56

日本棋院●○ 【公式】 @Nihonkiin_pr

#統計補足：尤度(ゆうど)の定義は

尤度=モデル内でデータと同じ数値が生成される確率(または確率密度).

尤度を「もっともらしさ」だとか「証拠の度合い」のように解釈するとトンデモ化してチョー統計学になってしまうので要注意。

尤度は「モデルのデータへの適合度(フィットの良さ)」に過ぎない。 twitter.com/genkuroki/stat...

タグ：統計

posted at 19:59:46

一力が「最多勝」「最多対局」「最高勝率」を獲得 |www.nihonkiin.or.jp/match_news/mat...

#囲碁 #日本棋院 pic.twitter.com/K8LFBv8T7r

タグ：囲碁日本棋院

posted at 20:04:51

#統計補足続き

最尤法では、モデルの尤度(=モデルのデータへの適合度(フィットも良さ))を最大化するようなパラメータの値を求める。

そのようにして決めたパラメータの値は、モデルを使って得たデータの要約値とみなされる。

この意味でシンプルなモデルによる最尤法はデータの要約法の一種。 twitter.com/genkuroki/stat...

タグ：統計

posted at 20:04:59

#超算数　 #はじき　 #みはじ　
ハジキのテントウムシを擁護する学校教員のツイートを集めておく。

twitter.com/sash3sash3/sta... pic.twitter.com/038A6zOUDr

posted at 20:07:25

#超算数　 #はじき　 #みはじ　
ハジキのテントウムシを擁護する学校教員のツイートを集めておく。

twitter.com/kusapucoqualit... pic.twitter.com/RwyD5FZ0Ic

posted at 20:09:47

#超算数　 #はじき　 #みはじ　

ハジキのテントウムシを擁護する学校教員のツイートを集めておく。

twitter.com/TuNa49581811/s... pic.twitter.com/I8j6K1OspL

posted at 20:15:09

@tsatie データは調査・観測・測定などで得られる数値の表のことです。

事前分布は調査・観測・測定などで得られるようなものではなく、統計分析する側が自分の目的に合わせて適切に与えるべきものです。

そろそろトンデモを含んでいるものでも構わないので、教科書を読んだ方が良いかも。

タグ：

posted at 20:15:51

#超算数　 #はじき　 #みはじ　
 twitter.com/machidasensei/... pic.twitter.com/yuZC8gbBvs

posted at 20:16:35

#超算数　 #はじき　 #みはじ　 twitter.com/sash3sash3/sta... pic.twitter.com/jkvmjpKspF

posted at 20:21:20

#超算数　 #はじき　 #みはじ　

ハジキのテントウムシを擁護する学校教員のツイートを集めておく。
twitter.com/kayoka_yo/stat... pic.twitter.com/29iKdIGz8C

posted at 20:30:24

#超算数　 #はじき　 #みはじ　
 twitter.com/teachersscream... pic.twitter.com/vY4CzMHUI5

posted at 20:32:00

ACTIVE GALACTIC @active_galactic

世界には政府がまともに機能していない国が多々ある。であるにも関わらず乳幼児死亡率が世界最悪の国でも，100年前の先進国より死亡率が低い。この分野では本当に世界が変わったな。 pic.twitter.com/igHKgsiGWf

タグ：

posted at 20:32:18

「どちらも有害」がない twitter.com/uKi2wQXyG7rx3g...

タグ：

posted at 20:39:23

#超算数　 #はじき　 #みはじ　

大阪産業大学教職課程　学習指導計画案
www.osaka-sandai.ac.jp/life/teacher_c...

www.osaka-sandai.ac.jp/life/wp-conten... pic.twitter.com/o9cBkYH1TE

posted at 20:53:14

@h_okumura @esumii #超算数学習指導要領に「0は倍数に含めていない」と書いてあるかのような発言はデマそのものなので、目立つように訂正を出すべきだと思います。

文科省に何か言うときにも、指導要領と解説の違いに無頓着な指導要領に関するコメントは、文科省に無視されても仕方がないと思います。

タグ：超算数

posted at 20:57:19

#超算数　 #はじき　 #みはじ
もちろん、学校以外でもハジキは教えられている。

togetter.com/li/1539181

posted at 20:58:04

@h_okumura @esumii #超算数

文科省が「学習指導要領解説」について説明して曰く【学習指導要領等と同様の拘束力を有すると誤解されるとの指摘もあったため、その位置付けを一層明確にする観点から、高等学校と同様に「解説」に改めた。】

www.mext.go.jp/b_menu/shingi/... twitter.com/genkuroki/stat... pic.twitter.com/pIirFjZfUG

タグ：超算数

posted at 21:00:05

@h_okumura @esumii #超算数大学の教育学部の人まで、算数の学習指導要領と単なるトンデモ本の学習指導要領解説算数編の違いに無頓着なせいで、教師になるようなもしくはなった人達の多くが、トンデモ本の「解説算数編」の側を指導要領と呼んでいるケースが増えています。

これは大学での教育の問題です。

タグ：超算数

posted at 21:04:06

@h_okumura @esumii #超算数単なるトンデモ本を出版していることについて文科省は責任を取るべきなのですが、その問題と学習指導要領の問題を混同するのはまずいです。

あと、大学の教育学部には、「学習指導要領解説算数編はトンデモ本であり、その内容に従う必要はない」と学生に教える責任があります。

タグ：超算数

posted at 21:07:59

#超算数　 #はじき　 #みはじ

 twitter.com/sash3sash3/sta...

「公式３つ並べて書くのと何が違うのか」

その通り。ハジキを使わないで公式3つ暗記させるのも同じこと。

　この人、我々がハジキだけを批判して、公式3つ暗記させるのは是認していると思っているのだろうか？ pic.twitter.com/Kr3PAuij0Y

posted at 21:10:50

#超算数　 #はじき　 #みはじ

陰山英男　
twitter.com/sekibunnteisuu... pic.twitter.com/Zxj3irrebS

posted at 21:17:53

dc1394 @dc1394

以下の記事を参考にして、CUDA.jlを触ってみようとしたけど、グラフィックカードがGeForce RTX 3080だと、CUDA.jlのテストコードがコンパイルエラーになった。新しすぎてダメなのかな…。

Julia+CUDAで気軽にGPU計算 qiita.com/Shoichiro-Tsut... #Qiita

タグ： Qiita

posted at 21:49:18

算数警察ってなんやねん
悪人の自覚あるんか？

タグ：

posted at 22:41:53