黒木玄 Gen Kuroki(@genkuroki)/2020年05月/Page 26

#統計モンティ・ホール問題や{陽性・陰性}的中率の計算は単に普通の意味での確率(全体の割合としての頻度論的な確率)に関する

小学生レベルの話題

にすぎず、それらをベイズ統計の実例だとみなして説明する人達は道理がわかっていないのだと思う。

ツイッターでもよく見る。

タグ：統計

posted at 23:48:08

#統計歴史的経緯をすべて忘れて「単なる数学的手法の違いに過ぎない」のように考えるとすっきりします。

〇〇を最大化・最小化したり、得られたデータがモデル内で実現したという条件でモデルを制限したり(条件付き確率分布を考えたり)する。

「頻度論」や「Bayesian」という用語は不要。

タグ：統計

posted at 23:42:14

#統計統計学におけるデータと確率的モデルから予測分布を出す方法の主要な2つは、「データの尤度最大化(損失最小化)」と「データで制限した条件付き確率分布の構成」です。前者の代表格が最尤法やその正則化で後者はよくベイズ統計と呼ばれる。前者にはハイパーパラメータの推定が含まれる。

タグ：統計

posted at 23:36:50

#統計豊田『瀕死本』とは余り関係ない話題

どこかで「ベイズ統計は予測を重視」とか「予測分布を出すならベイズ統計」というような話をみたような気がする。その認識は誤り。そういう話とベイズか非ベイズかは関係ない。

頻度論サイドに分類されて然るべき、最尤法でも予測分布は重要です。

タグ：統計

posted at 23:30:44

Dynamic Data Script @ddata_script

This video is a follow up on last's week tutorial about R performance! youtu.be/dhfM4xeHVHI

タグ：

posted at 23:24:43

Dynamic Data Script @ddata_script

Can Julia really make your R code faster?! We were wondering so we benchmarked it😜

#RStats #r4ds #DataScience #JuliaLang

youtu.be/1dvnJdK9nCQ

タグ： DataScience JuliaLang r4ds RStats

posted at 23:23:09

西木公夕ケシ @t_nissie

#Julia のGeometricIntegrators.jlパッケージ、Travis CIでテストが成功したらcoverageもわかるようになりました。.travis.ymlのafter_successにcoverallsにsubmitするよう書いておけばよいみたいです。結果は65%... coveralls.io/github/t-nissi...

タグ： Julia

posted at 23:21:38

#統計しかし、このスレッドを読んで理解できていれば、AIC, WAIC, LOOCVの文脈での「予測」の誤差の意味は、日常用語的な意味での予測の誤差ではなく、確率的なシミュレーションの誤差とでも呼んだ方がスッキリ理解し易い類のものであることがわかると思います。

それを支えるのがSanovの定理。

タグ：統計

posted at 23:17:59

#統計赤池情報量基準AICやらその一般化ベイズ版のWAICや一個抜き出し交差検証LOOCVによるモデル選択は、このスレッドで述べた意味での予測誤差の小さなモデルの選択を目標にしています(確率的に失敗する)。

そのときの予測の意味は非自明で、多分、普通に書いてある説明を読んでも分からないと思う。

タグ：統計

posted at 23:12:21

みゆき @miyuki_MathT

@meister_T 全部扱いますよ！
二次関数→二次方程式→二次不等式
の順番になってますね🤔
塾に来る子は「不等号の向きが…」とパターンマッチングに走っている子が少なからずいるので、問題によっては詰んでますね

何なら今日、x<-i,i<xと答える子もいたので、どうなっとんねんって感じです

タグ：

posted at 23:11:51

#統計上の方の話は「晴れ・晴れない」ではなく、歪んだコインを投げたときに「表・裏」の話にした方が良かったかな？

タグ：統計

posted at 23:10:26

鰹節猫吉 @sunchanuiguru

@sekibunnteisuu @takusansu それです。
残念ながら、今は新型ウィルス問題で大学の図書館も閉まっているので、教科書を見に行くわけには行きませんが、、、

タグ：

posted at 22:47:47

くそかわいい。

ネコっでビヨーンってよく伸びるよね。 twitter.com/wish_0620/stat...

タグ：

posted at 22:47:29

Shuhei Kadowaki @kdwkshh

the more I use macro, the happier I would be, the less ppl want to read my code

タグ：

posted at 22:46:56

鰹節猫吉 @sunchanuiguru

@sekibunnteisuu @takusansu 常葉大学というと、副島隆彦を思い出してしまいます。
mixi で、副島隆彦の弟子の佐藤研一朗という人が政治活動をしていましたが、彼らはいまどうしているのやら。

タグ：

posted at 22:44:48

積分定数 @sekibunnteisuu

@sunchanuiguru @takusansu blog.goo.ne.jp/mh0920-yh/e/15...

これですね。

8254.teacup.com/kakezannojunjo...
＞東書新編新しい算数
中野博之弘前大学教授

でも青森県は啓林館の採択が多いようだから、一概には言えないようにも思う。どうなんでしょうね？

タグ：

posted at 22:44:37

#統計統計学に出て来る具体的な例の場合に、確率変数達の函数の期待値の定義式をきちんと書き下せていれば、その式の中に、Ωにあたるものや、確率もしくは確率密度函数が含まれており、測度論まで戻らなくても大丈夫です。

測度論的な面倒ごとと統計学的な面倒ごとはかなり異なる話題だと思います。

タグ：統計

posted at 22:41:24

#統計「具体的にどうしているか分からないが、それらの変数の函数の期待値を考えることができるから、確率変数と呼んでいるんだな」と認識できていれば一般論を先に進めることができます。

そして期待値の定義式を明瞭に書き下せば、具体例もきちんと理解できる。

タグ：統計

posted at 22:38:04

リファレンス元の記事は壊れてないので
Juliaブログのページがなんかおかしなことになってるっぽいね．

www.yxliu.group/2020/04/scatte...

タグ：

posted at 22:37:42

@argos_M1111 【X_nの引数として、あるω∈Ωがあると考えれば良かったのですね】

そです、そです！😊

タグ：

posted at 22:34:27

#統計今まで使っていた確率変数以外の別の確率変数を導入するときには、Ωも拡張しなければいけません。

その手のことを考えるのが大変なら、「それらの函数の期待値を考えることができる変数達を確率変数達と呼ぶ」というスタイルでザクッと考えてもよいと思います。

タグ：統計

posted at 22:33:11

鰹節猫吉 @sunchanuiguru

@sekibunnteisuu @takusansu 身勝手な主張さんも、そのようなことをおっしゃっていました。

タグ：

posted at 22:32:31

あるごす @argos_M1111

@genkuroki 黒木先生、いつも統計関連のツイートを興味深く拝見しております。また、本件の解説をありがとうございます。X_nの引数として、あるω∈Ωがあると考えれば良かったのですね。まだ完全には咀嚼し切れていませんが、視界が少し晴れた気がします。

タグ：

posted at 22:32:05

ほりたみゅ (mastodonも見てね) @Hyrodium

#統計以上の例では、Ωとしてminimalなものを採用しましたが、もっと大きな集合に取ることもできます。

例えば、後者の正規分布の例で、m<nとし、X_1,…,X_mのみを考えて、X_{m+1},…,X_nを一切使用しない場合には、Ωのminimalな構成としてℝ^mを選べますが、ℝⁿのままでもよい。

タグ：統計

posted at 22:30:36

Juliaの環境、数ヶ月前にJupyterからJunoに完全に乗り換えたつもりだったけど(a)benchmarkを多用するときはJupyterの方が見やすいな

タグ：

posted at 22:29:37

#統計例: 標準正規分布に従う同分布独立変数X_1,…,X_nは以下のようにして作れる。

Ω=ℝⁿ,

X_i(x) = x_i for x=(x_1,…,x_n)∈Ω,

P(A) = ∫…∫_A Π_{i=1}^n(exp(-(x_i)²/2)/√(2π)) dx_1…dx_n.

ここでAはΩの「悪くない」部分集合。

タグ：統計

posted at 22:25:07

#統計関連スレッド↓

twitter.com/genkuroki/stat...

タグ：統計

posted at 22:19:50

積分定数 @sekibunnteisuu

@takusansu これ、私も疑問に思っていました。

静岡で圧倒的に採択率の高い学校図書には、静岡大学や常葉大学の先生が入っています。
8254.teacup.com/kakezannojunjo...

地域の採択教科書と執筆者の関係を調べようと思ったけど、面倒臭くて断念しました。誰かやって欲しい。
8254.teacup.com/kakezannojunjo...

タグ：

posted at 22:15:59

#統計上の続き。さらに、私の好きな期待値汎函数を定義するスタイルでは、

E[f(X_1,…,X_n)] = (1/6ⁿ) Σ_{(x_1,…,x_n)∈Ω} f(x_1,…,x_n).

確率変数は大雑把にはそれらの函数の期待値を考えることができるもののことだと思って問題ないです。

タグ：統計

posted at 22:14:37

諸説はあるけれど要するに
日本語で言うところの何かふわっとした抽象的なものを示す「アレ」みたいなもんだとおもってます。それがたまたまJuliaという文字列になっただけで。

タグ：

posted at 22:10:26

#統計例: 公平なサイコロをn回振って出た目の列の確率変数列としてのモデル化は以下のようにして作れる。

Ω = {(ω_1,…,ω_n)|ω_1,…,ω_n=1,2,3,4,5,6},

X_i(ω)=ω_i for ω=(ω_1,…,ω_n)∈Ω,

P(A)=|A|/6ⁿ for A⊂Ω.

ここで|A|はAの要素の個数。

twitter.com/genkuroki/stat...

タグ：統計

posted at 22:10:06

#統計 1つ前のツイートの添付画像中の註5を見れば分かるように、確率変数の組ではなく、確率変数の実現値の組の側を「サンプル」というスタイルもあります。

いずれにせよ、現実に取得したサンプルが運悪く偏っているリスクを数学的に分析するには、サンプルを確率変数でモデル化する必要がある。

タグ：統計

posted at 22:03:54

#統計『社会科学のためのベイズ統計モデリング』(添付画像はこの本の必要部分の引用)のスタイルでは、サンプルX_1,…,X_nは確率変数の組(函数の組)で、サンプルの実現値はあるω∈Ωでのそれらの値の組

(x_1,…,x_n)=(X_1(ω),…,X_n(ω))

という意味になっています。ωが変わればx_i達も変わる。続く twitter.com/argos_m1111/st... pic.twitter.com/zzmrEJudVo

タグ：統計

posted at 22:03:53

TaKu @takusansu

#超算数「算数教育界ｗを支える構造や、出世の仕組みの一部」という題名で掲示板に書き込みました。
8254.teacup.com/kakezannojunjo...

タグ：超算数

posted at 21:37:24

#統計注意・警告↓

twitter.com/genkuroki/stat...

タグ：統計

posted at 21:32:28

#統計すっかり忘れていて、自分では何も考えていないのですが、以下のリンク先の疑問を解決した人がいれば、その結果を教えて下さい。

WAICの正しい使い方について質問があれば私に聞いて下さい。

twitter.com/genkuroki/stat...

タグ：統計

posted at 21:29:11

Dr. k @O0obqo0O

jupyter notebookでJulia言語使えるようにした。

タグ：

posted at 20:03:38

Matt Henderson @matthen2

the Mandelbrot set, as a map of all Julia sets pic.twitter.com/BXIQpEL5pU

タグ：

posted at 20:02:37

#統計 #数楽

* 確率論における大偏差原理
* 統計学におけるKL情報量の利用
* 統計力学におけるカノニカル分布

などなどを、すべて統一的に眺めることができるのは楽しいので、それを伝えたくて、できるだけ易しく

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

を書きました。

タグ：数楽統計

posted at 18:52:14

#統計 #数楽その後、Sanovの定理を含む「大偏差原理」と呼ばれる確率論における基本定理群に含まれる

Cramerの定理

のステートメントの中に

Legendre変換

が自然に含まれており、証明はカノニカル分布を利用して行われることを知りました。

Legendre変換も確率論的に自然に出て来るものだった！

タグ：数楽統計

posted at 18:48:22

#統計 #数楽熱力学や統計力学を勉強するとルジャンドル変換がよく出て来ます。凸函数を扱う場合にルジャンドル変換が出てくるのは当然と言われれば当然なんですが、いまいち、個人的に納得できないものを感じていました。

添付画像はルジャンドルの肖像画
ja.wikipedia.org/wiki/%E3%82%A2... pic.twitter.com/qZW7zwsgUz

タグ：数楽統計

posted at 18:41:16

#統計統計学には指数型分布族がよく出て来るのですが、統計力学における等確率の原理を仮定しない場合のカノニカル分布がちょうど指数型分布族に対応しています。

指数型分布族の十分統計量に対応するものが物理にもあって知っているとイメージが広がる。

統計学と統計力学の距離は近いです。

タグ：統計

posted at 18:34:01

#統計 #数楽私的ノート

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

には統計力学との関係についても書いてあります。KL情報量の-1倍は統計力学におけるエントロピーのトイ・モデルとみなせ、Sanovの定理は物理的に仮定されるエントロピーの漸近挙動の話の特別な場合。

タグ：数楽統計

posted at 18:31:04

#統計微積分のノート

github.com/genkuroki/Calc...

の一部分の

genkuroki.github.io/documents/Calc...
11 Kullback-Leibler情報量

にも解説があります。 #Julia言語

統計学における確率論の三種の神器は

* 大数の法則
* 中心極限定理
* KL情報量のSanovの定理

だと私は思っています。

タグ： Julia言語統計

posted at 18:26:32

#統計以上の話題に関する詳しい計算は、私的ノート

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

に書いておきました。二項分布を多項分布に一般化して書いてあります。

タグ：統計

posted at 18:18:16

#統計しかも、KL情報量は「確率的なシミュレーションのボロが出る速さ」を求めるという意味と価値が明瞭なモチベーションにもとづく計算をすれば出て来てしまう。

KL情報量の理解には天下り的な定義は必要ありません。

自然に出て来るものという理解の仕方が正しい。続く

タグ：統計

posted at 18:16:14

#統計多くの解説では非常に残念なことに、Kullback-Leibler情報量の定義が天下り的に与えられており、おそらくほとんどの人にとって意味不明の解説になっていると思われます。

しかし、以上のように二項分布の確率の漸近挙動を見ればKL情報量の特別な場合が自然に出て来てしまうのです。続く

タグ：統計

posted at 18:13:47

#統計以上の計算で出て来た

q log(q/p) + (1-q)log((1-q)/(1-p))

はよくKullback-Leibler情報量と呼ばれています。そして、二項分布の確率の漸近挙動の主要部分がKL情報量で表されるという結果は本質的にSanovの定理と呼ばれる定理そのものです。

タグ：統計

posted at 18:11:11

#統計

ボロが出る速さ ≈ q log(q/p) + (1-q)log((1-q)/(1-p))

の右辺は、確実に晴れるq=1の場合の

予測誤差 = ボロが出る速さ = -log p

のq≠1への一般化になっています。だから、q≠1の場合には

予測誤差 = q log(q/p) + (1-q)log((1-q)/(1-p))

と定義するのが自然でしょう！続く

タグ：統計

posted at 18:08:56

#統計続き～、上の二項分布の確率のn→∞での様子を見ると、スターリングの公式を使って、

(上の二項分布の確率)
= exp(-n(q log(q/p) + (1-q)log((1-q)/(1-p)) + o(1)))

となることを示せます。これは、

ボロが出る速さ ≈ q log(q/p) + (1-q)log((1-q)/(1-p))

を意味します。続く

タグ：統計

posted at 18:05:51

#統計確率pで「晴れ」の目が出るルーレットをn回回したときに、k回「晴れ」の目が出る確率は、二項分布の確率

n!/(k!(n-k)!) pᵏ(1-p)ⁿ⁻ᵏ

になる。このとき「晴れ」の目の割合は k/n である。k/n が q に近いという仮定

k/n = q + o(1)

のもとで、～続く

タグ：統計

posted at 18:05:45

#統計予報が当たるかどうかに注目せずに、大数の法則によってルーレットによるシミュレーションの出目の分布が現実の真の確率分布からずれる速さを計算できれば、「予測誤差」を適切に定義できそうである。

予測ではなく、シミュレーションの誤差と言う方がもしかしたら分かり易いかもしれない。続く

タグ：統計

posted at 17:54:03

#統計もはや予報が当たるという話ではなくなっているが、p≠qならば、大数の法則から繰り返す回数nを巨大にすれば、ルーレットによる晴れ・晴れないという減少のシミュレーションが、現実とはずれていることはいつかは確率的にバレてしまうことになる。続き

タグ：統計

posted at 17:50:07

#統計以上の状況で毎日同じルーレットを回して予報を出し続けると、大数の法則より、実際に晴れる日の割合はqに収束し、予報が「晴れ」になる日の割合はpに近付く。続く

タグ：統計

posted at 17:48:25

#統計続き

確実に晴れる状況と違って、問題が相当にややこしくなっている。

しかし、上の方の考え方にもとづけば、同じ状況で同じ予報を繰り返したときに、ボロが出る速さを適切に定式化して、それを「予測誤差」と定義すれば良さそうである。

続く

タグ：統計

posted at 17:44:13

#統計続き

準備が整ったので、明日晴れる確率の真の値がqだと仮定しよう。

このとき、晴れの目が出る確率がpのルーレットを回して予報を出すときの「予測誤差」をどのように定義するべきだろうか？

続く

タグ：統計

posted at 17:40:35

#統計

ルーレットを回す行為は現実の晴れ・晴れないを確率的にシミュレートしていると考えられる。

予測誤差 = -log p

という定義は、その確率的シミュレーションがボロを出さずに済む確率の減少の速さ、すなわち、ボロの出る速さを「予測誤差」と定義することと同じであることがわかった。続く

タグ：統計

posted at 17:40:35

#統計毎日確実に晴れるとき、晴れの目が確率pで出るルーレットで予報を出し続けても、運良く「晴れ」の目が出続ければボロが出ずに済む。

n回続けてボロが出ない確率は

pⁿ = exp(-n(-log p)) = exp(-n(予測誤差)).

この式は

予測誤差 = ボロが出ずに済む確率の減少の速さ

を意味する。続く

タグ：統計

posted at 17:40:34

#統計明日確実に晴れるのではなく、明日晴れる確率の真の値がqである場合に、以上の話を一般化したい。

一般化のために、明日確実に晴れる場合の

予測誤差 = -log p

という定義についてもう少し考えてみよう。続く

タグ：統計

posted at 17:40:25

Taku### @taku9030k

@genkuroki 本質的ではない服装チェックではなく、勉強の指導に注力してほしいですよね…。

タグ：

posted at 17:25:35

#統計続き

この場合に「予測誤差」を定義するとすれば、予報が当たる確率pが1に近いほど「予測誤差」は0に近付き、p=0のとき「予測誤差」=∞となるように定義するのが自然だろう。1つの選択肢は

予測誤差 = - log p

と定義すること。

明日確実に晴れる場合は、このようにそう難しくない。続く

タグ：統計

posted at 17:21:58

#統計確率が絡む場合の「予測誤差」について

「予測誤差」を定義したい。

仮に明日は確実に晴れると仮定しよう。

確率pで晴れの目が出るルーレットを回して、晴れの目が出たら「晴れ」と予報し、そうでなかったら「晴れない」と予報することにする。

その予報が当たる確率はpになる。

続く

タグ：統計

posted at 17:21:51

Re:RTs 中高生の服装チェックをする暇があったら、数学をしっかり教えて欲しい。

タグ：

posted at 17:10:57

ちなみに rr の仕組みやパフォーマンス評価の詳細について興味がある人は，この paper を読むと良さそう（PDF） | 'Engineering Record And Replay For Deployability Extended Technical Report' arxiv.org/pdf/1705.05937...

タグ：

posted at 16:10:22

rr 自体は前から知ってたけど，ベンチマーク初めて見た．スレッドの切り替えが激しい処理だとオーバーヘッドが大きくなるのは仕組み上仕方ないとしても，それ以外でほぼ1〜2倍程度のオーバーヘッドに収まってるのすごいなぁ

タグ：

posted at 15:59:57

Julia では --bug-report=rr で簡単に使えるようになってるらしい．ただしプログラムが実行中に触ったファイルなども記録されるので，処理内容によってはアップロード前に privacy に気を付ける必要あり

タグ：

posted at 15:53:24

〈 Berger | Dillon 〉 @InertialObservr

「rr がデバッグにすごく便利だから Julia にバグレポする時は使ってくれ」という Julia チームのブログ記事．rr の仕組みや perf も解説．rr は実行を巻き戻せる Mozilla の Linux 向け C, C++ デバッガ | 'Coming in Julia 1.5: Time Traveling (Linux) Bug Reporting' julialang.org/blog/2020/05/rr/

タグ：

posted at 15:48:58

pic.twitter.com/gQpQk3hmhd

タグ：

posted at 15:25:48

Shuhei Kadowaki @kdwkshh

bjoern × falcon API server running with Julia:

github.com/aviatesk/Impur...

#julialang

タグ： julialang

posted at 15:24:19

Gabriel Peyré @gabrielpeyre

Kriging (aka Wiener interpolation) accounts for uncertainty in kernel interpolation using a Gaussian processes. en.wikipedia.org/wiki/Kriging pic.twitter.com/4Qrnh2bsI7

タグ：

posted at 14:00:00

Yuki Nagai @cometscome_phys

2次元シュレーディンガー方程式を有限要素法で解いてみる in Julia: gmshを使ってメッシュも作ってみた on @Qiita qiita.com/cometscome_phy...

タグ：

posted at 13:08:00

おばけ @triwave33

正方行列じゃなくてももちろんいける。Not(indices)としておけば、行と列それぞれの場合でよしなにしてくれる

タグ：

posted at 13:03:26

- 幸い PyCall 単体なら使えるので sy = pyimport("sympy") とすればできないわけではない．
- IJulia も一部動かないけれど回避策はある

タグ：

posted at 12:41:54

Artifact システムのせいで Julia以外のライブラリに依存したり xxx_jll のようなライブラリに依存するパッケージのインストールは全滅だけどね・・・（例えばSpecialFunction.jlが動かない．これのせいでSymPyが導入できない）パッチ充てればいいと思うんだけれど面倒．暇な人試して．

タグ：

posted at 12:41:54

Julia 1.4.1 を Raspberry Pi Zero W 上で動けるようになりました． pic.twitter.com/zv7V25h9fn

タグ：

posted at 12:41:53

おばけ @triwave33

Juliaで行列中の特定のインデックス「以外」を抽出したい時は、InvertedIndicesパッケージを使う。Not関数でインデックスを括ることで、それ以外のインデックスでまとめてくれる。複数インデックスにも対応。
スクショはギブスサンプリング実装のための仕込み

github.com/mbauman/Invert...

#julialang pic.twitter.com/ID0I6LSbYb

タグ： julialang

posted at 12:14:17

こいなぎ @naginyan135

【級位者向け実戦型詰将棋part190】
これを詰ますことができた者だけが楽しいゴールデンウィークを終えることができる。 pic.twitter.com/eJl4LdQHiq

タグ：

posted at 11:24:25

Yuki Nagai @cometscome_phys

ケフっち＠Deterministic @__cheph__

2次元有限要素法のプロットに失敗。なんか絵画っぽくなった pic.twitter.com/Sq4AxhV61W

タグ：

posted at 11:03:20

@stattan 丁寧に「地道に」古典的な残差分析もおすすめですねぇぼくは

タグ：

posted at 10:44:40

Akinori Ito @akinori_ito

自分の論文で試してみよう。材料は最近出たこれのアブストラクト
www.jstage.jst.go.jp/article/ipsjji...

タグ：

posted at 10:15:22

杉原里美/Satomi Sugihara @asahi_Sugihara

#統計相互リンク

twitter.com/genkuroki/stat...

タグ：統計

posted at 10:11:01

杉原里美/Satomi Sugihara @asahi_Sugihara

こんなふうにチェックするそうです。
とにかく形式を守らせることで思考力を奪っていく。　#学校の謎ルール　 #新しい生活様式
 twitter.com/modifyso1/stat... twitter.com/modifyso1/stat...

タグ：学校の謎ルール新しい生活様式

posted at 09:59:32

「せんせーい、○○さんのスカート丈が短いですっ！」
大人同士の相互監視、子どもへの不寛容は、学校で育まれたものではないでしょうか。
　#コロナ自警団
 www.iza.ne.jp/kiji/life/news...

タグ：コロナ自警団

posted at 09:50:41

#統計しかし、たとえ内容的に問題があったとしても、ブログを書くときにソースコードを完全公開していることは非常に素晴らしいと思います。

みんな見習うべき。

私も「沢山の場合のプロット」を作成するために使ったJupyter notebookを以下で公開しておきます。 #R言語

 nbviewer.jupyter.org/gist/genkuroki...

タグ： R言語統計

posted at 09:41:49

#統計モデルの汎化性能を適切に推定しておくことが必須であることに異論はないのですが、さすがにこういう例を出してそのように主張するのはまずいと思いました。

「ノイズから法則を読み取ってしまう」のはよくある誤りのパターンだと思う。しかし、それを複雑な方法でやるとばれにくくなる(笑)。

タグ：統計

posted at 09:41:49

#統計赤線はランダムウォークを多項式で回帰するというわけのわからないことをやっているので、予測が大暴れし易い。

予測のプロットが大外ししている場合を見せると説得力が無くなるので、ランダムウォークに沿った予測が得られる擬似乱数のシードを選んでいるわけです。

タグ：統計

posted at 09:41:49

#統計沢山の場合に同様のプロットをしてみると添付画像のようになります。「300期の値」による予測のプロットもシアンの破線で付け加えてある。

黒線のデータ(プロットでは左側を略)から青線を予測したい。

さて、赤線とシアンの破線のどちらの予測が当たっているように見えるでしょうか？ pic.twitter.com/XsqnfElE1R

タグ：統計

posted at 09:41:48

#統計そこでは、1～300期のデータから301～360期の様子を予測することをやっているのですが、真の法則がランダムウォークなので、正しい予測の期待値は「300期の値」になります。

タグ：統計

posted at 09:41:48

#統計そのプロットを作成した #R言語のコードは

github.com/ozt-ca/tjo.hat...

で公開されています。サンプルを生成している6行目は

y_org <- cumsum(rnorm(n, 0, 20)) + 1000

なので、これはランダムウォークです。4行目で擬似乱数のシードを都合が良いものに固定しています。 pic.twitter.com/iLTpz8f2E0

タグ： R言語統計

posted at 09:41:47

#統計たぶん

tjo.hatenablog.com/entry/2020/04/...

を引用する人は、そこにある添付画像に引用するプロットを見て「おお！交差検証すげえ」と思って引用しているのでしょうが、このプロットは都合のよいプロットを擬似乱数のシードを特別に見繕って作成するというちょっと悪質な方法で作成されています。 pic.twitter.com/tRiVgAUCHT

タグ：統計

posted at 09:41:47

杉原里美/Satomi Sugihara @asahi_Sugihara

#統計交差検証の重要性について

改めて、汎化性能と交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ tjo.hatenablog.com/entry/2020/04/...

を引用するツイートがたまに流れて来るのですが、これよく見てみると、ランダムウォークの多項式回帰をやっているので引用しない方がよいです。続く

タグ：統計

posted at 09:41:46

スカート丈に異常なこだわり、驚きました。スカート丈と勉強にどんな関係があるのでしょうか。　#学校の謎ルール twitter.com/modifyso1/stat...

タグ：学校の謎ルール

posted at 09:20:13

Akinori Ito @akinori_ito

剽窃検出の研究は結構あるのだけど、剽窃攻撃の方の研究はどのくらいあるのかな。セキュリティの研究を考えれば、当然攻撃方法の研究もあってしかるべき

タグ：

posted at 09:08:24

Akinori Ito @akinori_ito

〈 Berger | Dillon 〉 @InertialObservr

機械翻訳の精度が十分上がったら、他人の論文を丸コピーしてくるときに、他言語を介して巡回翻訳することで剽窃検出を回避できるのではないだろうか。

タグ：

posted at 09:07:00

Live footage inside the white house CEA twitter.com/WhiteHouseCEA/... pic.twitter.com/YtIEob5NND

タグ：

posted at 09:00:42

あんちもん2 @antimon2

日本語だとすでに5ヶ月前（
元記事はさらに2年前）に記事化してます。qiita.com/antimon2/items...
こちらもぜひ。 #Julia言語 #JuliaLang twitter.com/JuliaProg/stat...

タグ： JuliaLang Julia言語

posted at 09:00:00

modify@so @modify01so

@sweetbox_k @JingujiPico @srnGyMpY2sGZ6Wc 続き　高校になると、３年間であまり身長が変わらない事から、ハード対策をする学校が増えてるようです。
１枚目：入学時(制服購入時)に、お直しの記録を残す例。
２枚目：服装規定でスカートの裾の刺繍を義務化した例。
３枚目：２枚目(刺繍義務化)の運用イメージ。
どの方法も、凄いこだわりです。 pic.twitter.com/BH8gpvWzUD

タグ：

posted at 08:18:33

modify@so @modify01so

@sweetbox_k @JingujiPico @srnGyMpY2sGZ6Wc 続報　制服の女子スカート丈の件ですが、中学校は３年間の成長が大きい事から、費用（親に負担）のかかるハード対策は難しく、服装検査のない(or 検査のゆるい)中学校では、短そうな生徒に声をかける、検査の厳しい中学校では、膝立ちさせる等のアナログな方法で確認する事が多いようです。→続く pic.twitter.com/gtd51rTmVy

タグ：

posted at 08:12:00

@joe_tokyo @stattan #統計 Anscome's quartetのプロット(添付画像1)と私によるAnscome's quartetのベイズ版のプロット(添付画像2)も、「頻度論」とベイズ統計で事情が変わらない場合に分類されます。

twitter.com/genkuroki/stat... pic.twitter.com/PlxrPEyTRj

タグ：統計

posted at 07:02:55

@joe_tokyo @stattan #統計以下のリンク先のグラフは、豊田『瀕死本』におけるベイズ統計における豊田『瀕死本』の意味での「仮説が正しい確率」(←鉤括弧必須)と「片側検定のP値がほぼぴったり一致することを示しています。

twitter.com/genkuroki/stat...

タグ：統計

posted at 06:59:21

残り11件のツイートを見る

@joe_tokyo @stattan #統計豊田秀樹『瀕死本』のような

戯画化された「頻度論」統計の解説に基いて「頻度論」をけなし、「ベイズ統計では仮説が正しい確率が分かる」とデタラメなベイズ統計の解説を行ない、「仮説が正しい確率」を使えば多くの問題が解決するかのように語る本

については、継続的な批判が必要。

タグ：統計

posted at 06:52:47

@joe_tokyo @stattan #統計 Anscome's quartetの4つのデータセットの場合の単純線形回帰では、通常の最小二乗法でも、ベイズ版でも、「推定結果はどれもほぼ同じになる」という結果は変わらない。

ベイズにしても事情が変わらないことは結構ある。続く

タグ：統計

posted at 06:48:14

@joe_tokyo @stattan 多分、Joeさんはこの話題の文脈を誤解していると思います。

以下のリンク先スレッド全体のように、実際には実質ゴールを厳しめに設定するだけの話にしかなっていないのに、頻度論はダメでベイズ統計にすれば問題が解決するかのように言う人がいるのです。続く

twitter.com/genkuroki/stat...

タグ：

posted at 06:44:46

よも。 @sono_neg

動画元→TikTok ID 【30227842553】
ありがとうございますm(_ _)m

タグ：

posted at 06:19:17

非公開

タグ：

posted at xx:xx:xx

julia_prog @JuliaProg

Hey guys'n'gals! For those who miss the Python's YIELD
Channels in Julia!

#JuliaLang #Julia #Programming #Channel pic.twitter.com/ePY1tcJ7KE

タグ： Channel Julia JuliaLang Programming

posted at 05:38:01

非公開

タグ：

posted at xx:xx:xx

Keno Fischer @KenoFischer

Thought about reading my #julialang time travel debugging blogpost yesterday, but didn't want to commit to clicking a link? Fear not! The demo now has a video preview you can watch right from the comfort of your twitter: julialang.org/blog/2020/05/rr/. pic.twitter.com/AZQjz6gvSb

タグ： julialang

posted at 03:05:03

非公開

タグ：

posted at xx:xx:xx

統計たん @stattan

プロット見りゃOKでは。 twitter.com/joe_tokyo/stat...

タグ：

posted at 00:17:36