Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2020年05月06日(水)

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#Julia言語
github.com/cstjean/Scikit...
```julia
combinations_with_replacement(arr, degree) =
(degree == 0 ? [()] : # needs to special-case
filter(issorted, IterTools.product(fill(arr, degree)...)))
```
docs.julialang.org/en/v1/base/sor...
issorted
によるフィルタリングで処理してました。 twitter.com/thinkperthon/s... pic.twitter.com/fz2KI4IDjP

タグ: Julia言語

posted at 00:02:29

統計たん @stattan

20年5月6日

プロット見りゃOKでは。 twitter.com/joe_tokyo/stat...

タグ:

posted at 00:17:36

非公開

タグ:

posted at xx:xx:xx

Keno Fischer @KenoFischer

20年5月6日

Thought about reading my #julialang time travel debugging blogpost yesterday, but didn't want to commit to clicking a link? Fear not! The demo now has a video preview you can watch right from the comfort of your twitter: julialang.org/blog/2020/05/rr/. pic.twitter.com/AZQjz6gvSb

タグ: julialang

posted at 03:05:03

非公開

タグ:

posted at xx:xx:xx

julia_prog @JuliaProg

20年5月6日

Hey guys'n'gals! For those who miss the Python's YIELD
Channels in Julia!

#JuliaLang #Julia #Programming #Channel pic.twitter.com/ePY1tcJ7KE

タグ: Channel Julia JuliaLang Programming

posted at 05:38:01

非公開

タグ:

posted at xx:xx:xx

よも。 @sono_neg

20年5月6日

動画元→TikTok ID 【30227842553】
ありがとうございますm(_ _)m

タグ:

posted at 06:19:17

黒木玄 Gen Kuroki @genkuroki

20年5月6日

@joe_tokyo @stattan 多分、Joeさんはこの話題の文脈を誤解していると思います。

以下のリンク先スレッド全体のように、実際には実質ゴールを厳しめに設定するだけの話にしかなっていないのに、頻度論はダメでベイズ統計にすれば問題が解決するかのように言う人がいるのです。続く

twitter.com/genkuroki/stat...

タグ:

posted at 06:44:46

黒木玄 Gen Kuroki @genkuroki

20年5月6日

@joe_tokyo @stattan #統計 Anscome's quartetの4つのデータセットの場合の単純線形回帰では、通常の最小二乗法でも、ベイズ版でも、「推定結果はどれもほぼ同じになる」という結果は変わらない。

ベイズにしても事情が変わらないことは結構ある。続く

タグ: 統計

posted at 06:48:14

黒木玄 Gen Kuroki @genkuroki

20年5月6日

@joe_tokyo @stattan #統計 豊田秀樹『瀕死本』のような

戯画化された「頻度論」統計の解説に基いて「頻度論」をけなし、「ベイズ統計では仮説が正しい確率が分かる」とデタラメなベイズ統計の解説を行ない、「仮説が正しい確率」を使えば多くの問題が解決するかのように語る本

については、継続的な批判が必要。

タグ: 統計

posted at 06:52:47

黒木玄 Gen Kuroki @genkuroki

20年5月6日

@joe_tokyo @stattan #統計 以下のリンク先のグラフは、豊田『瀕死本』におけるベイズ統計における豊田『瀕死本』の意味での「仮説が正しい確率」(←鉤括弧必須)と「片側検定のP値がほぼぴったり一致することを示しています。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 06:59:21

黒木玄 Gen Kuroki @genkuroki

20年5月6日

@joe_tokyo @stattan #統計 Anscome's quartetのプロット(添付画像1)と私によるAnscome's quartetのベイズ版のプロット(添付画像2)も、「頻度論」とベイズ統計で事情が変わらない場合に分類されます。

twitter.com/genkuroki/stat... pic.twitter.com/PlxrPEyTRj

タグ: 統計

posted at 07:02:55

modify@so @modify01so

20年5月6日

@sweetbox_k @JingujiPico @srnGyMpY2sGZ6Wc 続報 制服の女子スカート丈の件ですが、中学校は3年間の成長が大きい事から、費用(親に負担)のかかるハード対策は難しく、服装検査のない(or 検査のゆるい)中学校では、短そうな生徒に声をかける、検査の厳しい中学校では、膝立ちさせる等のアナログな方法で確認する事が多いようです。→続く pic.twitter.com/gtd51rTmVy

タグ:

posted at 08:12:00

modify@so @modify01so

20年5月6日

@sweetbox_k @JingujiPico @srnGyMpY2sGZ6Wc 続き 高校になると、3年間であまり身長が変わらない事から、ハード対策をする学校が増えてるようです。
1枚目:入学時(制服購入時)に、お直しの記録を残す例。
2枚目:服装規定でスカートの裾の刺繍を義務化した例。
3枚目:2枚目(刺繍義務化)の運用イメージ。
どの方法も、凄いこだわりです。 pic.twitter.com/BH8gpvWzUD

タグ:

posted at 08:18:33

あんちもん2 @antimon2

20年5月6日

日本語だとすでに5ヶ月前(
元記事はさらに2年前)に記事化してます。qiita.com/antimon2/items...
こちらもぜひ。 #Julia言語 #JuliaLang twitter.com/JuliaProg/stat...

タグ: JuliaLang Julia言語

posted at 09:00:00

Akinori Ito @akinori_ito

20年5月6日

機械翻訳の精度が十分上がったら、他人の論文を丸コピーしてくるときに、他言語を介して巡回翻訳することで剽窃検出を回避できるのではないだろうか。

タグ:

posted at 09:07:00

Akinori Ito @akinori_ito

20年5月6日

剽窃検出の研究は結構あるのだけど、剽窃攻撃の方の研究はどのくらいあるのかな。セキュリティの研究を考えれば、当然攻撃方法の研究もあってしかるべき

タグ:

posted at 09:08:24

杉原里美/Satomi Sugihara @asahi_Sugihara

20年5月6日

スカート丈に異常なこだわり、驚きました。スカート丈と勉強にどんな関係があるのでしょうか。 #学校の謎ルール twitter.com/modifyso1/stat...

タグ: 学校の謎ルール

posted at 09:20:13

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 交差検証の重要性について

改めて、汎化性能と交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ tjo.hatenablog.com/entry/2020/04/...

を引用するツイートがたまに流れて来るのですが、これよく見てみると、ランダムウォークの多項式回帰をやっているので引用しない方がよいです。続く

タグ: 統計

posted at 09:41:46

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 たぶん

tjo.hatenablog.com/entry/2020/04/...

を引用する人は、そこにある添付画像に引用するプロットを見て「おお!交差検証すげえ」と思って引用しているのでしょうが、このプロットは都合のよいプロットを擬似乱数のシードを特別に見繕って作成するというちょっと悪質な方法で作成されています。 pic.twitter.com/tRiVgAUCHT

タグ: 統計

posted at 09:41:47

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 そのプロットを作成した #R言語 のコードは

github.com/ozt-ca/tjo.hat...

で公開されています。サンプルを生成している6行目は

y_org <- cumsum(rnorm(n, 0, 20)) + 1000

なので、これはランダムウォークです。4行目で擬似乱数のシードを都合が良いものに固定しています。 pic.twitter.com/iLTpz8f2E0

タグ: R言語 統計

posted at 09:41:47

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 そこでは、1~300期のデータから301~360期の様子を予測することをやっているのですが、真の法則がランダムウォークなので、正しい予測の期待値は「300期の値」になります。

タグ: 統計

posted at 09:41:48

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 沢山の場合に同様のプロットをしてみると添付画像のようになります。「300期の値」による予測のプロットもシアンの破線で付け加えてある。

黒線のデータ(プロットでは左側を略)から青線を予測したい。

さて、赤線とシアンの破線のどちらの予測が当たっているように見えるでしょうか? pic.twitter.com/XsqnfElE1R

タグ: 統計

posted at 09:41:48

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 赤線はランダムウォークを多項式で回帰するというわけのわからないことをやっているので、予測が大暴れし易い。

予測のプロットが大外ししている場合を見せると説得力が無くなるので、ランダムウォークに沿った予測が得られる擬似乱数のシードを選んでいるわけです。

タグ: 統計

posted at 09:41:49

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 モデルの汎化性能を適切に推定しておくことが必須であることに異論はないのですが、さすがにこういう例を出してそのように主張するのはまずいと思いました。

「ノイズから法則を読み取ってしまう」のはよくある誤りのパターンだと思う。しかし、それを複雑な方法でやるとばれにくくなる(笑)。

タグ: 統計

posted at 09:41:49

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 しかし、たとえ内容的に問題があったとしても、ブログを書くときにソースコードを完全公開していることは非常に素晴らしいと思います。

みんな見習うべき。

私も「沢山の場合のプロット」を作成するために使ったJupyter notebookを以下で公開しておきます。 #R言語

nbviewer.jupyter.org/gist/genkuroki...

タグ: R言語 統計

posted at 09:41:49

杉原里美/Satomi Sugihara @asahi_Sugihara

20年5月6日

「せんせーい、○○さんのスカート丈が短いですっ!」
大人同士の相互監視、子どもへの不寛容は、学校で育まれたものではないでしょうか。
 #コロナ自警団
www.iza.ne.jp/kiji/life/news...

タグ: コロナ自警団

posted at 09:50:41

杉原里美/Satomi Sugihara @asahi_Sugihara

20年5月6日

こんなふうにチェックするそうです。
とにかく形式を守らせることで思考力を奪っていく。 #学校の謎ルール #新しい生活様式
twitter.com/modifyso1/stat... twitter.com/modifyso1/stat...

タグ: 学校の謎ルール 新しい生活様式

posted at 09:59:32

Akinori Ito @akinori_ito

20年5月6日

自分の論文で試してみよう。材料は最近出たこれのアブストラクト
www.jstage.jst.go.jp/article/ipsjji...

タグ:

posted at 10:15:22

ケフっち@Deterministic @__cheph__

20年5月6日

@stattan 丁寧に「地道に」古典的な残差分析もおすすめですねぇぼくは

タグ:

posted at 10:44:40

Yuki Nagai @cometscome_phys

20年5月6日

2次元有限要素法のプロットに失敗。なんか絵画っぽくなった pic.twitter.com/Sq4AxhV61W

タグ:

posted at 11:03:20

こいなぎ @naginyan135

20年5月6日

【級位者向け実戦型詰将棋part190】
これを詰ますことができた者だけが楽しいゴールデンウィークを終えることができる。 pic.twitter.com/eJl4LdQHiq

タグ:

posted at 11:24:25

おばけ @triwave33

20年5月6日

Juliaで行列中の特定のインデックス「以外」を抽出したい時は、InvertedIndicesパッケージを使う。Not関数でインデックスを括ることで、それ以外のインデックスでまとめてくれる。複数インデックスにも対応。
スクショはギブスサンプリング実装のための仕込み

github.com/mbauman/Invert...

#julialang pic.twitter.com/ID0I6LSbYb

タグ: julialang

posted at 12:14:17

ごまふあざらし(GomahuAzaras @MathSorcerer

20年5月6日

Julia 1.4.1 を Raspberry Pi Zero W 上で動けるようになりました. pic.twitter.com/zv7V25h9fn

タグ:

posted at 12:41:53

ごまふあざらし(GomahuAzaras @MathSorcerer

20年5月6日

Artifact システムのせいで Julia以外のライブラリに依存したり xxx_jll のようなライブラリに依存するパッケージのインストールは全滅だけどね・・・(例えばSpecialFunction.jlが動かない.これのせいでSymPyが導入できない)パッチ充てればいいと思うんだけれど面倒.暇な人試して.

タグ:

posted at 12:41:54

ごまふあざらし(GomahuAzaras @MathSorcerer

20年5月6日

- 幸い PyCall 単体なら使えるので sy = pyimport("sympy") とすればできないわけではない.
- IJulia も一部動かないけれど回避策はある

タグ:

posted at 12:41:54

おばけ @triwave33

20年5月6日

正方行列じゃなくてももちろんいける。Not(indices)としておけば、行と列それぞれの場合でよしなにしてくれる

タグ:

posted at 13:03:26

Yuki Nagai @cometscome_phys

20年5月6日

2次元シュレーディンガー方程式を有限要素法で解いてみる in Julia: gmshを使ってメッシュも作ってみた on @Qiita qiita.com/cometscome_phy...

タグ:

posted at 13:08:00

Gabriel Peyré @gabrielpeyre

20年5月6日

Kriging (aka Wiener interpolation) accounts for uncertainty in kernel interpolation using a Gaussian processes. en.wikipedia.org/wiki/Kriging pic.twitter.com/4Qrnh2bsI7

タグ:

posted at 14:00:00

Shuhei Kadowaki @kdwkshh

20年5月6日

bjoern × falcon API server running with Julia:

github.com/aviatesk/Impur...

#julialang

タグ: julialang

posted at 15:24:19

ドッグ @Linda_pp

20年5月6日

「rr がデバッグにすごく便利だから Julia にバグレポする時は使ってくれ」という Julia チームのブログ記事.rr の仕組みや perf も解説.rr は実行を巻き戻せる Mozilla の Linux 向け C, C++ デバッガ | 'Coming in Julia 1.5: Time Traveling (Linux) Bug Reporting' julialang.org/blog/2020/05/rr/

タグ:

posted at 15:48:58

ドッグ @Linda_pp

20年5月6日

Julia では --bug-report=rr で簡単に使えるようになってるらしい.ただしプログラムが実行中に触ったファイルなども記録されるので,処理内容によってはアップロード前に privacy に気を付ける必要あり

タグ:

posted at 15:53:24

ドッグ @Linda_pp

20年5月6日

rr 自体は前から知ってたけど,ベンチマーク初めて見た.スレッドの切り替えが激しい処理だとオーバーヘッドが大きくなるのは仕組み上仕方ないとしても,それ以外でほぼ1〜2倍程度のオーバーヘッドに収まってるのすごいなぁ

タグ:

posted at 15:59:57

ドッグ @Linda_pp

20年5月6日

ちなみに rr の仕組みやパフォーマンス評価の詳細について興味がある人は,この paper を読むと良さそう(PDF) | 'Engineering Record And Replay For Deployability Extended Technical Report' arxiv.org/pdf/1705.05937...

タグ:

posted at 16:10:22

黒木玄 Gen Kuroki @genkuroki

20年5月6日

Re:RTs 中高生の服装チェックをする暇があったら、数学をしっかり教えて欲しい。

タグ:

posted at 17:10:57

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 確率が絡む場合の「予測誤差」について

「予測誤差」を定義したい。

仮に明日は確実に晴れると仮定しよう。

確率pで晴れの目が出るルーレットを回して、晴れの目が出たら「晴れ」と予報し、そうでなかったら「晴れない」と予報することにする。

その予報が当たる確率はpになる。

続く

タグ: 統計

posted at 17:21:51

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 続き

この場合に「予測誤差」を定義するとすれば、予報が当たる確率pが1に近いほど「予測誤差」は0に近付き、p=0のとき「予測誤差」=∞となるように定義するのが自然だろう。1つの選択肢は

予測誤差 = - log p

と定義すること。

明日確実に晴れる場合は、このようにそう難しくない。続く

タグ: 統計

posted at 17:21:58

Taku### @taku9030k

20年5月6日

@genkuroki 本質的ではない服装チェックではなく、勉強の指導に注力してほしいですよね…。

タグ:

posted at 17:25:35

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 明日確実に晴れるのではなく、明日晴れる確率の真の値がqである場合に、以上の話を一般化したい。

一般化のために、明日確実に晴れる場合の

予測誤差 = -log p

という定義についてもう少し考えてみよう。続く

タグ: 統計

posted at 17:40:25

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 毎日確実に晴れるとき、晴れの目が確率pで出るルーレットで予報を出し続けても、運良く「晴れ」の目が出続ければボロが出ずに済む。

n回続けてボロが出ない確率は

pⁿ = exp(-n(-log p)) = exp(-n(予測誤差)).

この式は

予測誤差 = ボロが出ずに済む確率の減少の速さ

を意味する。続く

タグ: 統計

posted at 17:40:34

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計

ルーレットを回す行為は現実の晴れ・晴れないを確率的にシミュレートしていると考えられる。

予測誤差 = -log p

という定義は、その確率的シミュレーションがボロを出さずに済む確率の減少の速さ、すなわち、ボロの出る速さを「予測誤差」と定義することと同じであることがわかった。続く

タグ: 統計

posted at 17:40:35

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 続き

準備が整ったので、明日晴れる確率の真の値がqだと仮定しよう。

このとき、晴れの目が出る確率がpのルーレットを回して予報を出すときの「予測誤差」をどのように定義するべきだろうか?

続く

タグ: 統計

posted at 17:40:35

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 続き

確実に晴れる状況と違って、問題が相当にややこしくなっている。

しかし、上の方の考え方にもとづけば、同じ状況で同じ予報を繰り返したときに、ボロが出る速さを適切に定式化して、それを「予測誤差」と定義すれば良さそうである。

続く

タグ: 統計

posted at 17:44:13

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 以上の状況で毎日同じルーレットを回して予報を出し続けると、大数の法則より、実際に晴れる日の割合はqに収束し、予報が「晴れ」になる日の割合はpに近付く。続く

タグ: 統計

posted at 17:48:25

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 もはや予報が当たるという話ではなくなっているが、p≠qならば、大数の法則から繰り返す回数nを巨大にすれば、ルーレットによる晴れ・晴れないという減少のシミュレーションが、現実とはずれていることはいつかは確率的にバレてしまうことになる。続き

タグ: 統計

posted at 17:50:07

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 予報が当たるかどうかに注目せずに、大数の法則によってルーレットによるシミュレーションの出目の分布が現実の真の確率分布からずれる速さを計算できれば、「予測誤差」を適切に定義できそうである。

予測ではなく、シミュレーションの誤差と言う方がもしかしたら分かり易いかもしれない。続く

タグ: 統計

posted at 17:54:03

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 確率pで「晴れ」の目が出るルーレットをn回回したときに、k回「晴れ」の目が出る確率は、二項分布の確率

n!/(k!(n-k)!) pᵏ(1-p)ⁿ⁻ᵏ

になる。このとき「晴れ」の目の割合は k/n である。k/n が q に近いという仮定

k/n = q + o(1)

のもとで、~続く

タグ: 統計

posted at 18:05:45

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 続き~、上の二項分布の確率のn→∞での様子を見ると、スターリングの公式を使って、

(上の二項分布の確率)
= exp(-n(q log(q/p) + (1-q)log((1-q)/(1-p)) + o(1)))

となることを示せます。これは、

ボロが出る速さ ≈ q log(q/p) + (1-q)log((1-q)/(1-p))

を意味します。続く

タグ: 統計

posted at 18:05:51

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計

ボロが出る速さ ≈ q log(q/p) + (1-q)log((1-q)/(1-p))

の右辺は、確実に晴れるq=1の場合の

予測誤差 = ボロが出る速さ = -log p

のq≠1への一般化になっています。だから、q≠1の場合には

予測誤差 = q log(q/p) + (1-q)log((1-q)/(1-p))

と定義するのが自然でしょう!続く

タグ: 統計

posted at 18:08:56

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 以上の計算で出て来た

q log(q/p) + (1-q)log((1-q)/(1-p))

はよくKullback-Leibler情報量と呼ばれています。そして、二項分布の確率の漸近挙動の主要部分がKL情報量で表されるという結果は本質的にSanovの定理と呼ばれる定理そのものです。

タグ: 統計

posted at 18:11:11

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 多くの解説では非常に残念なことに、Kullback-Leibler情報量の定義が天下り的に与えられており、おそらくほとんどの人にとって意味不明の解説になっていると思われます。

しかし、以上のように二項分布の確率の漸近挙動を見ればKL情報量の特別な場合が自然に出て来てしまうのです。続く

タグ: 統計

posted at 18:13:47

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 しかも、KL情報量は「確率的なシミュレーションのボロが出る速さ」を求めるという意味と価値が明瞭なモチベーションにもとづく計算をすれば出て来てしまう。

KL情報量の理解には天下り的な定義は必要ありません。

自然に出て来るものという理解の仕方が正しい。続く

タグ: 統計

posted at 18:16:14

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 以上の話題に関する詳しい計算は、私的ノート

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

に書いておきました。二項分布を多項分布に一般化して書いてあります。

タグ: 統計

posted at 18:18:16

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 微積分のノート

github.com/genkuroki/Calc...

の一部分の

genkuroki.github.io/documents/Calc...
11 Kullback-Leibler情報量

にも解説があります。 #Julia言語

統計学における確率論の三種の神器は

* 大数の法則
* 中心極限定理
* KL情報量のSanovの定理

だと私は思っています。

タグ: Julia言語 統計

posted at 18:26:32

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 #数楽 私的ノート

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

には統計力学との関係についても書いてあります。KL情報量の-1倍は統計力学におけるエントロピーのトイ・モデルとみなせ、Sanovの定理は物理的に仮定されるエントロピーの漸近挙動の話の特別な場合。

タグ: 数楽 統計

posted at 18:31:04

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 統計学には指数型分布族がよく出て来るのですが、統計力学における等確率の原理を仮定しない場合のカノニカル分布がちょうど指数型分布族に対応しています。

指数型分布族の十分統計量に対応するものが物理にもあって知っているとイメージが広がる。

統計学と統計力学の距離は近いです。

タグ: 統計

posted at 18:34:01

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 #数楽 熱力学や統計力学を勉強するとルジャンドル変換がよく出て来ます。凸函数を扱う場合にルジャンドル変換が出てくるのは当然と言われれば当然なんですが、いまいち、個人的に納得できないものを感じていました。

添付画像はルジャンドルの肖像画
ja.wikipedia.org/wiki/%E3%82%A2... pic.twitter.com/qZW7zwsgUz

タグ: 数楽 統計

posted at 18:41:16

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 #数楽 その後、Sanovの定理を含む「大偏差原理」と呼ばれる確率論における基本定理群に含まれる

Cramerの定理

のステートメントの中に

Legendre変換

が自然に含まれており、証明はカノニカル分布を利用して行われることを知りました。

Legendre変換も確率論的に自然に出て来るものだった!

タグ: 数楽 統計

posted at 18:48:22

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 #数楽

* 確率論における大偏差原理
* 統計学におけるKL情報量の利用
* 統計力学におけるカノニカル分布

などなどを、すべて統一的に眺めることができるのは楽しいので、それを伝えたくて、できるだけ易しく

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

を書きました。

タグ: 数楽 統計

posted at 18:52:14

Matt Henderson @matthen2

20年5月6日

the Mandelbrot set, as a map of all Julia sets pic.twitter.com/BXIQpEL5pU

タグ:

posted at 20:02:37

Dr. k @O0obqo0O

20年5月6日

jupyter notebookでJulia言語使えるようにした。

タグ:

posted at 20:03:38

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 すっかり忘れていて、自分では何も考えていないのですが、以下のリンク先の疑問を解決した人がいれば、その結果を教えて下さい。

WAICの正しい使い方について質問があれば私に聞いて下さい。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 21:29:11

TaKu @takusansu

20年5月6日

#超算数 「算数教育界wを支える構造や、出世の仕組みの一部」という題名で掲示板に書き込みました。
8254.teacup.com/kakezannojunjo...

タグ: 超算数

posted at 21:37:24

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 『社会科学のためのベイズ統計モデリング』(添付画像はこの本の必要部分の引用)のスタイルでは、サンプルX_1,…,X_nは確率変数の組(函数の組)で、サンプルの実現値はあるω∈Ωでのそれらの値の組

(x_1,…,x_n)=(X_1(ω),…,X_n(ω))

という意味になっています。ωが変わればx_i達も変わる。続く twitter.com/argos_m1111/st... pic.twitter.com/zzmrEJudVo

タグ: 統計

posted at 22:03:53

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 1つ前のツイートの添付画像中の註5を見れば分かるように、確率変数の組ではなく、確率変数の実現値の組の側を「サンプル」というスタイルもあります。

いずれにせよ、現実に取得したサンプルが運悪く偏っているリスクを数学的に分析するには、サンプルを確率変数でモデル化する必要がある。

タグ: 統計

posted at 22:03:54

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 例: 公平なサイコロをn回振って出た目の列の確率変数列としてのモデル化は以下のようにして作れる。

Ω = {(ω_1,…,ω_n)|ω_1,…,ω_n=1,2,3,4,5,6},

X_i(ω)=ω_i for ω=(ω_1,…,ω_n)∈Ω,

P(A)=|A|/6ⁿ for A⊂Ω.

ここで|A|はAの要素の個数。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 22:10:06

ごまふあざらし(GomahuAzaras @MathSorcerer

20年5月6日

諸説はあるけれど要するに
日本語で言うところの何かふわっとした抽象的なものを示す「アレ」みたいなもんだとおもってます。それがたまたまJuliaという文字列になっただけで。

タグ:

posted at 22:10:26

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 上の続き。さらに、私の好きな期待値汎函数を定義するスタイルでは、

E[f(X_1,…,X_n)] = (1/6ⁿ) Σ_{(x_1,…,x_n)∈Ω} f(x_1,…,x_n).

確率変数は大雑把にはそれらの函数の期待値を考えることができるもののことだと思って問題ないです。

タグ: 統計

posted at 22:14:37

積分定数 @sekibunnteisuu

20年5月6日

@takusansu これ、私も疑問に思っていました。

静岡で圧倒的に採択率の高い学校図書には、静岡大学や常葉大学の先生が入っています。
8254.teacup.com/kakezannojunjo...

地域の採択教科書と執筆者の関係を調べようと思ったけど、面倒臭くて断念しました。誰かやって欲しい。
8254.teacup.com/kakezannojunjo...

タグ:

posted at 22:15:59

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 例: 標準正規分布に従う同分布独立変数X_1,…,X_nは以下のようにして作れる。

Ω=ℝⁿ,

X_i(x) = x_i for x=(x_1,…,x_n)∈Ω,

P(A) = ∫…∫_A Π_{i=1}^n(exp(-(x_i)²/2)/√(2π)) dx_1…dx_n.

ここでAはΩの「悪くない」部分集合。

タグ: 統計

posted at 22:25:07

ほりたみゅ (mastodonも見てね) @Hyrodium

20年5月6日

Juliaの環境、数ヶ月前にJupyterからJunoに完全に乗り換えたつもりだったけど(a)benchmarkを多用するときはJupyterの方が見やすいな

タグ:

posted at 22:29:37

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 以上の例では、Ωとしてminimalなものを採用しましたが、もっと大きな集合に取ることもできます。

例えば、後者の正規分布の例で、m<nとし、X_1,…,X_mのみを考えて、X_{m+1},…,X_nを一切使用しない場合には、Ωのminimalな構成としてℝ^mを選べますが、ℝⁿのままでもよい。

タグ: 統計

posted at 22:30:36

あるごす @argos_M1111

20年5月6日

@genkuroki 黒木先生、いつも統計関連のツイートを興味深く拝見しております。また、本件の解説をありがとうございます。X_nの引数として、あるω∈Ωがあると考えれば良かったのですね。まだ完全には咀嚼し切れていませんが、視界が少し晴れた気がします。

タグ:

posted at 22:32:05

鰹節猫吉 @sunchanuiguru

20年5月6日

@sekibunnteisuu @takusansu 身勝手な主張さんも、そのようなことをおっしゃっていました。

タグ:

posted at 22:32:31

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 今まで使っていた確率変数以外の別の確率変数を導入するときには、Ωも拡張しなければいけません。

その手のことを考えるのが大変なら、「それらの函数の期待値を考えることができる変数達を確率変数達と呼ぶ」というスタイルでザクッと考えてもよいと思います。

タグ: 統計

posted at 22:33:11

黒木玄 Gen Kuroki @genkuroki

20年5月6日

@argos_M1111 【X_nの引数として、あるω∈Ωがあると考えれば良かったのですね】

そです、そです!😊

タグ:

posted at 22:34:27

ごまふあざらし(GomahuAzaras @MathSorcerer

20年5月6日

リファレンス元の記事は壊れてないので
Juliaブログのページがなんかおかしなことになってるっぽいね.

www.yxliu.group/2020/04/scatte...

タグ:

posted at 22:37:42

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 「具体的にどうしているか分からないが、それらの変数の函数の期待値を考えることができるから、確率変数と呼んでいるんだな」と認識できていれば一般論を先に進めることができます。

そして期待値の定義式を明瞭に書き下せば、具体例もきちんと理解できる。

タグ: 統計

posted at 22:38:04

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 統計学に出て来る具体的な例の場合に、確率変数達の函数の期待値の定義式をきちんと書き下せていれば、その式の中に、Ωにあたるものや、確率もしくは確率密度函数が含まれており、測度論まで戻らなくても大丈夫です。

測度論的な面倒ごとと統計学的な面倒ごとはかなり異なる話題だと思います。

タグ: 統計

posted at 22:41:24

積分定数 @sekibunnteisuu

20年5月6日

@sunchanuiguru @takusansu blog.goo.ne.jp/mh0920-yh/e/15...

これですね。

8254.teacup.com/kakezannojunjo...
>東書 新編 新しい算数
中野 博之 弘前大学 教授

でも青森県は啓林館の採択が多いようだから、一概には言えないようにも思う。どうなんでしょうね?

タグ:

posted at 22:44:37

鰹節猫吉 @sunchanuiguru

20年5月6日

@sekibunnteisuu @takusansu 常葉大学というと、副島隆彦を思い出してしまいます。
mixi で、副島隆彦の弟子の 佐藤研一朗という人が政治活動をしていましたが、彼らはいまどうしているのやら。

タグ:

posted at 22:44:48

Shuhei Kadowaki @kdwkshh

20年5月6日

the more I use macro, the happier I would be, the less ppl want to read my code

タグ:

posted at 22:46:56

黒木玄 Gen Kuroki @genkuroki

20年5月6日

くそかわいい。

ネコっでビヨーンってよく伸びるよね。 twitter.com/wish_0620/stat...

タグ:

posted at 22:47:29

鰹節猫吉 @sunchanuiguru

20年5月6日

@sekibunnteisuu @takusansu それです。
残念ながら、今は新型ウィルス問題で大学の図書館も閉まっているので、教科書を見に行くわけには行きませんが、、、

タグ:

posted at 22:47:47

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 上の方の話は「晴れ・晴れない」ではなく、歪んだコインを投げたときに「表・裏」の話にした方が良かったかな?

タグ: 統計

posted at 23:10:26

みゆき @miyuki_MathT

20年5月6日

@meister_T 全部扱いますよ!
二次関数→二次方程式→二次不等式
の順番になってますね🤔
塾に来る子は「不等号の向きが…」とパターンマッチングに走っている子が少なからずいるので、問題によっては詰んでますね

何なら今日、x<-i,i<xと答える子もいたので、どうなっとんねんって感じです

タグ:

posted at 23:11:51

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 赤池情報量基準AICやらその一般化ベイズ版のWAICや一個抜き出し交差検証LOOCVによるモデル選択は、このスレッドで述べた意味での予測誤差の小さなモデルの選択を目標にしています(確率的に失敗する)。

そのときの予測の意味は非自明で、多分、普通に書いてある説明を読んでも分からないと思う。

タグ: 統計

posted at 23:12:21

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 しかし、このスレッドを読んで理解できていれば、AIC, WAIC, LOOCVの文脈での「予測」の誤差の意味は、日常用語的な意味での予測の誤差ではなく、確率的なシミュレーションの誤差とでも呼んだ方がスッキリ理解し易い類のものであることがわかると思います。

それを支えるのがSanovの定理。

タグ: 統計

posted at 23:17:59

西 木公 夕ケシ @t_nissie

20年5月6日

#Julia のGeometricIntegrators.jlパッケージ、Travis CIでテストが成功したらcoverageもわかるようになりました。.travis.ymlのafter_successにcoverallsにsubmitするよう書いておけばよいみたいです。結果は65%... coveralls.io/github/t-nissi...

タグ: Julia

posted at 23:21:38

Dynamic Data Script @ddata_script

20年5月6日

Can Julia really make your R code faster?! We were wondering so we benchmarked it😜

#RStats #r4ds #DataScience #JuliaLang

youtu.be/1dvnJdK9nCQ

タグ: DataScience JuliaLang r4ds RStats

posted at 23:23:09

Dynamic Data Script @ddata_script

20年5月6日

This video is a follow up on last's week tutorial about R performance! youtu.be/dhfM4xeHVHI

タグ:

posted at 23:24:43

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 豊田『瀕死本』とは余り関係ない話題

どこかで「ベイズ統計は予測を重視」とか「予測分布を出すならベイズ統計」というような話をみたような気がする。その認識は誤り。そういう話とベイズか非ベイズかは関係ない。

頻度論サイドに分類されて然るべき、最尤法でも予測分布は重要です。

タグ: 統計

posted at 23:30:44

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 統計学におけるデータと確率的モデルから予測分布を出す方法の主要な2つは、「データの尤度最大化(損失最小化)」と「データで制限した条件付き確率分布の構成」です。前者の代表格が最尤法やその正則化で後者はよくベイズ統計と呼ばれる。前者にはハイパーパラメータの推定が含まれる。

タグ: 統計

posted at 23:36:50

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 歴史的経緯をすべて忘れて「単なる数学的手法の違いに過ぎない」のように考えるとすっきりします。

〇〇を最大化・最小化したり、得られたデータがモデル内で実現したという条件でモデルを制限したり(条件付き確率分布を考えたり)する。

「頻度論」や「Bayesian」という用語は不要。

タグ: 統計

posted at 23:42:14

黒木玄 Gen Kuroki @genkuroki

20年5月6日

#統計 モンティ・ホール問題や{陽性・陰性}的中率の計算は単に普通の意味での確率(全体の割合としての頻度論的な確率)に関する

小学生レベルの話題

にすぎず、それらをベイズ統計の実例だとみなして説明する人達は道理がわかっていないのだと思う。

ツイッターでもよく見る。

タグ: 統計

posted at 23:48:08

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました