黒木玄 Gen Kuroki(@genkuroki)/2020年05月10日

面白かった twitter.com/withoutthedull...

タグ：

posted at 00:18:10

@dan_p_simpson @mcmc_stan Indeed, we have now used Stan as a gold standard to test against for about 4 years. We even have automatic code generation for Stan for this reason. It's fairly recent that a pure #julialang stack has been able to overcome it (in this field).

タグ： julialang

posted at 00:44:39

@dan_p_simpson @mcmc_stan The ability to easily compare between the various packages has lead to a lot of improvements to Turing.jl and DynamicHMC.jl, since there were many things Stan was robust to that these weren't, so over time the Julia packages added improvements to match what Stan could do here.

タグ：

posted at 00:45:38

@dan_p_simpson @mcmc_stan As a next step, I would be interested to see Stan develop an interface so we could use our differential equation solvers as the backend with Stan's sampling routines. That would be a more direct comparison, and I wonder how Turing and DynamicHMC would fare once it's equal there.

タグ：

posted at 00:47:52

ジーベンロック動物図鑑 @kame_fuji

@dan_p_simpson @mcmc_stan I don't know what the outcome would be, but I know we'd learn a lot by trying it.

タグ：

posted at 00:48:08

サルパの増進（クローン） pic.twitter.com/BbySYPHpwj

タグ：

posted at 00:51:57

Théo Galy-Fajou @the @theo_gf

New illustration of the Computational Optimal Transport book! I implemented the log-domain Sinkhorn algorithm to observe the influence of the entropy regulariser ε on the coupling π!
Made with @MakiePlots in #julialang. #optimaltransport pic.twitter.com/NTMhsHB6qc

タグ： julialang optimaltransport

posted at 03:37:40

Théo Galy-Fajou @the @theo_gf

@Edaoven @MakiePlots Sure! Here you go : gist.github.com/theogf/4944dea...

タグ：

posted at 05:12:19

JuliaCon 2023 @JuliaConOrg

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

JuliaCon is going virtual in 2020. We want to make this the biggest one yet.

Attendance will be free, but registration is required through the #JuliaCon 2020 website:
juliacon.org/2020/tickets/

www.youtube.com/watch?v=qeMFqk...

#Julialang #JuliaCon #machinelearning #datascience

タグ： datascience JuliaCon Julialang machinelearning

posted at 06:30:38

JuliaConが無料！

タグ：

posted at 07:56:07

む(･~･) @schrodinger_tkb

数値計算の常識、あまりにも流行ってるので最近ねれないときうんこしながら読んでる

タグ：

posted at 08:25:22

#統計続き。だから、もしも真の法則がランダムウォークだったとしたら、観測値y_1,y_2,…,y_aの全体に○○函数をフィッティングさせ、フィッティングした函数で未知のy_{a+k}の値を予測しても無駄に終わるということです。Δy_2=y_2-y_1,…,Δy_a=y_a-y_{a-1}の分散とy_aのみが予測で意味を持ちます。

タグ：統計

posted at 10:07:52

#統計現実には、真の法則が何であるか不明だからこそ、統計学を利用します。しかも、真の法則が何であったかは永久に分からないことのほうが多い。

真の法則を知らずに、データだけからモデルの妥当性を確認することは数学的に困難な問題です。

続く

タグ：統計

posted at 10:13:07

#統計【統計学の基本原理】データを生成する真の確率法則が近似的に含まれると期待することが妥当なほど広いクラスの確率法則について成立する特別な定理があれば、真の確率法則が未知であっても、それが生成するデータのみからモデルの妥当性を確率的に確認する方法が得られるかもしれない。【重要】

タグ：統計

posted at 10:17:25

ABEMA将棋ch（アベマ） @Shogi_ABEMA

#統計時系列データによるモデルの妥当性の確認は少なくとも私には難しい問題に思える。

同一の法則で独立に生成された時系列データが沢山ある場合には、i.i.d.の場合なので相対的に容易(それでもおそらく多くの人にとって理解は難しい)。

そうでない場合には独自に定理を見付ける必要があると思う。

タグ：統計

posted at 10:26:58

【#将棋ニュース】
「ぴやー」「いやー、うわっ！」「飛車がぁぁ…」激闘続きに聞き手の女流棋士“心の声”がダダ漏れ／将棋・AbemaTVトーナメント times.abema.tv/posts/7053334
#渡部愛 #AbemaTVトーナメント

タグ： AbemaTVトーナメント渡部愛

posted at 10:36:32

非公開

タグ：

posted at xx:xx:xx

#バブル古今東西バブル発生の面白い話があるのですが、日本では明治初期にウサギバブルが発生している。

www.google.com/search?q=%E3%8...
ウサギバブル

タグ：バブル

posted at 11:27:21

#バブル教科書的にはチューリップバブルが有名。

アイザック・ニュートンさんまで大損こいていて笑える。

www.google.com/search?q=%E3%8...
チューリップバブル "ニュートン"

タグ：バブル

posted at 11:33:52

#統計

統計学入門の教科書を批判するときには、実際に批判するべき教科書で標準的に読まれているものが1つ以上あることを示す必要があるので東大出版会の『統計学入門』を引用しています。

そのとき、何が正しいかについてもほぼ常に詳しく説明しています。リンクでたどれるようにしてある。

タグ：統計

posted at 12:08:42

#統計ただし、数学がらみの事柄については、自分で議論を再構成したり、自分で例を計算した人だけが、まっとうな理解に至ります。

スポーツや芸術において自分でやってみて工夫・修正を続けた人だけが上達するのと同じ。

さらにその過程に数ヶ月～数年の期間が必要になるのも同じです。

タグ：統計

posted at 12:08:45

#統計だから、私が、何を正しいと思っているかを詳しく説明し、コンピュータでの計算するためのコードを示し、グラフやアニメーションを多数示していているのを見るだけだと、絶対にまっとうな理解には至らないと思います。

それは本質的に難しいことを勉強するときには仕方がないことだと思う。

タグ：統計

posted at 12:08:46

#Julia言語

function f(x)
xから～を計算
end

ではなく、xに型を付けて、例えば

function f(x::Float64)
上と全く同じコード
end

と書いても、計算速度は何も変化せず、Float64以外にも使えた可能性があったf(x)がFloat64にしか使えなくなるという不都合が生じるだけ。

タグ： Julia言語

posted at 12:52:02

#Julia言語以下のような感じで、引数の型が特別な場合の最適化を行う場合には、引数に型を指定する。

function f(x)
xからyを計算する一般的なコード
return y
end

function f(x::Float64)
xがFloat64の場合に特別に最適化されたコード
return y
end

タグ： Julia言語

posted at 12:54:23

最初から #Julia言語の型システムに合わせたコードを書こうとすると、お気楽に超高級電卓的に複雑な数値計算を高速にできるという利点の「お気楽さ」が失われるので、浮動小数点数は常にFloat64で整数はInt64であることを前提に、それらを区別しながら、函数の引数の型を指定せずに書くといいかも。

タグ： Julia言語

posted at 12:57:23

#Julia言語の開発者達は「複雑な数値計算を気軽に高速にできる超高級電卓が欲しい」と思っているユーザー達がいることをよく知っており、気軽に使っても実用的になるように、ものすごく気を使ってくれています。

リポジトリでの議論を読むとその点に感動することが多い。

github.com/JuliaLang/julia

タグ： Julia言語

posted at 13:01:34

adhara_mathphys @adhara_mathphys

CoCalc、Juliaも使えます。

タグ：

posted at 13:05:32

#Julia言語「函数の定義で引数の型を一切指定しなくても速い！」という特徴は「Juliaの開発者達が気軽に使えることを重視していること」から来ているのだと思う。

しかも、v1.0.0以降の最適化のおかげで、v1.0.0以前は気楽に書きすぎてひどく遅くなっていたコードの多くがv1.4.1では速くなっている！

タグ： Julia言語

posted at 13:07:25

#Julia言語

「計算速度の改善」という原始的な喜びを気軽に得たければ、

* 古いバージョンのJuliaと最新版のJuliaを比較
* よくないコードとまっとうなコードの比較

をやってみると良いです。

* このコードはもっと速くならないか？

という質問はJuliaユーザー間では最も歓迎される質問かも。

タグ： Julia言語

posted at 13:11:06

#Julia言語を試しに使ってみたい人は、公式バイナリを

julialang.org/downloads/

からダウンロードして、実行してみるとよいと思う。添付画像はJuliaのREPL(read eval print loop)のスクショ。 pic.twitter.com/zjz1cbV7QK

タグ： Julia言語

posted at 13:19:49

Otepipi @Otepipipi

はてなブログに投稿しました #はてなブログ, #Julia言語, #微分方程式
DiscreteモデルとContinuousモデルの違い - システムとモデリング
otepipi.hatenablog.com/entry/2020/05/...

タグ： Julia言語はてなブログ微分方程式

posted at 13:23:04

#Julia言語は気軽に超高級電卓のようにREPLで使用すると結構便利です。しかし、REPLで直接まとまったコードを入力するのは大変なので任意の別の方法でJuliaのコードが書かれたファイルを用意して、includeで読み込んで使えば良いと思います。

具体例→スクショ

shellには ; で行けます。 pic.twitter.com/yNAIXD2VyH

タグ： Julia言語

posted at 13:33:27

#Julia言語スクショ解説

(1) スクショ外で simpi.jl を作成。

(2) julia>に ; と入力して shell> にして、simpi.jl の存在と中身を確認

(3) include("simpi.jl")

(4) simpi.jl内で定義した円周率のモンテカルロ計算の函数を実行

この程度の使い方でも超高級電卓的には十分に便利。 pic.twitter.com/PGXxTIZZBK

タグ： Julia言語

posted at 13:37:26

#Julia言語 includeを主導で連発するのが苦しい人のために、面倒ごとを自動でやってくれる環境が幾つかあります。

junolab.org
Juno

jupyter.org
Jupyter

JupyterでJuliaを使うには

github.com/JuliaLang/IJul...
IJulia.jl

を使います。

初めて挑戦する人は苦労すると思う。

タグ： Julia言語

posted at 13:41:16

Ninja DAO | CryptoNi @CryptoNlnjaNFT

#Julia言語

JunoやJupyterの使用に失敗した場合には助けを借りる必要があると思います。しかし、見つけてもらえれば親切に教えてもらえる可能性が高い。

あと、

公式バイナリ+任意の方法でJuliaのコードを書いてinclude

という方法までであれば、大きな困難抜きで使えるようになると思います。

タグ： Julia言語

posted at 13:44:52

ケフっち＠Deterministic @__cheph__

で、あなたはどうだったの？ twitter.com/brahmslover/st...

タグ：

posted at 14:05:55

ケフっち＠Deterministic @__cheph__

基礎的な統計学の講義で2次元の話にアップデートていくときの図…、たかが二変数正規分布とその周辺分布、そしてその設定した二変数正規分布から発生させる乱数で作った散布図と周辺のヒストグラム。これだけ作図するのに2日かけたけど誰も気づくまい。フフフ、ようやく自己満足したぞ。

タグ：

posted at 14:11:47

ケフっち＠Deterministic @__cheph__

たった一枚のスライドのためにいったい何やってんだか。

タグ：

posted at 14:12:04

Ninja DAO | CryptoNi @CryptoNlnjaNFT

でもまたちょっと #julialang さんの心が理解できた気がする。

タグ： julialang

posted at 14:12:41

普通の常識人なら、教育機関への組織的天下りへの関与が発覚して、その責任を取って辞職したのなら、自ら身を引いて文教政策への発言を慎むのではないか。

タグ：

posted at 14:14:19

#Julia言語添付画像はJupyter上でのJuliaの使用例。3次元のランダムウォークのアニメーションを作っています。家庭内JupyterサーバーにiPad上のブラウザで接続して使用している。家庭外からもZeroTier経由で接続可能。

さらにその内容をワンボタンでGistで公開可能↓
nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/km8AH5R3sN

タグ： Julia言語

posted at 14:19:02

#Julia言語 1つ目のアニメーション

軸の変化がちょっとうざい。 pic.twitter.com/htL21floDx

タグ： Julia言語

posted at 14:20:11

Ninja DAO | CryptoNi @CryptoNlnjaNFT

#Julia言語 2つ目のアニメーション

xlim=extrema(X[1,:])などを追加して軸を固定。 pic.twitter.com/pQUf8K7ZZW

タグ： Julia言語

posted at 14:21:35

この人を有難がるメディアは本当にタチが悪い。

タグ：

posted at 14:24:15

#Julia言語更新

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/y28jB1IqGx

タグ： Julia言語

posted at 14:41:04

Masa Yamamoto予測誤差が大き @mshero_y

#Julia言語 3つ目のアニメーション

細かい調節をやるとこの手の作業はきりがない。

純粋な計算より、プロットやアニメーション作成の方に手間がかかることは少なくない。 pic.twitter.com/Qr0LMiJ8zl

タグ： Julia言語

posted at 14:41:09

Masa Yamamoto予測誤差が大き @mshero_y

みんなが欲しがっているもの(こと)なのは言うまでもない twitter.com/genkuroki/stat...

タグ：

posted at 14:42:07

多分、時系列データで扱う事象のほとんどは(少なくとも私の周囲は)i.i.dが成り立つ事は極めて稀。なのでむしろi.i.dではないことを指摘して、これまた喧嘩の元となることが多い。 twitter.com/genkuroki/stat...

タグ：

posted at 14:46:25

#統計非常に不思議なことに、中心極限定理の証明を、モーメント母函数や特性函数を経由する方法でやっている人が多い。証明の本質的部分がFourier解析に当たる事柄になってしまいます。

本質的にTaylorの定理しか使わない初等的な証明があります。

タグ：統計

posted at 15:11:38

#統計

以下、X_kはi.i.d.で各々の期待値は0で分散は1と仮定し、3次の絶対モーメントが存在すると仮定する。

Z_n = (X_1+…+X_n)とおく。

●特性函数を使う方法: n→∞のとき、

E[exp(itZ_n)]
= E[exp(itX_1/√n)]ⁿ
= (1-t²/(2n)+…)ⁿ
→ exp(-t²/2)
= (標準正規分布の特性函数).

続く

タグ：統計

posted at 15:11:52

#統計続き。ここまでは自明。ゆえに、Z_nの分布が標準正規分布に収束することがわかる。(この「ゆえに」の部分が本質的にFourier解析で、証明の難しい部分が全て詰まっていると考えられる。)

●本質的にTaylorの定理しか使わない方法: f(x)は有限区間の外で0になるC³函数であるとする。続く

タグ：統計

posted at 15:11:53

#統計訂正: Z_nの正しい定義は

Z_n = (X_1+…+X_n)/√n.

上の続き。標準正規分布に従う確率変数Zについて、

E[f(Z_n)] → E[f(Z)] as n→∞

を示したい。標準正規分布のi.i.d. Y_kについて、

(Y_1+…+Y_n)/√n

も標準正規分布に従うことを容易に示せる。ゆえに～続く

タグ：統計

posted at 15:17:21

#統計続き～、X_k,Y_lはi.i.d.で各々の期待値は0で分散は1と仮定し、3次の絶対モーメントが存在すると仮定し、n→∞で

E[f((X_1+…+X_n)/√n)] - E[f((Y_1+…+Y_n)/√n)] → 0

となることを示せば十分である。

コメント: (X_1+…+X_n)/√nを作る操作の不動点の標準正規分布に全てが吸い込まれる！

タグ：統計

posted at 15:22:17

#統計そのためには

E[f((X_1+…+X_{k-1}+X_k+Y_{k+1}+…+Y_n)/√n)]

とそのX_kをY_kで置き換えた

E[f((X_1+…+X_{k-1}+Y_k+Y_{k+1}+…+Y_n)/√n)]

の差の絶対値を

x=(X_1+…+X_{k-1}+Y_{k+1}+…+Y_n)/√n

におけるf(x)に関するTaylorの定理で評価し、それらをkについて足しあげればよい。

タグ：統計

posted at 15:28:39

#統計 X_iとY_jはどれも期待値0分散1なので、Taylorの定理の0次と1次の部分は差を取るとキャンセルし、3次以上の部分が残るが、分母の√nが3乗で効いてきて、残った部分は O(1/(n√n)) のオーダーになる。

その差で残った部分をkについてn個足し上げると、O(1/√n)のオーダーになり、n→∞で消える。

タグ：統計

posted at 15:35:21

#統計訂正：上でX_kはi.i.d.で、Y_lもi.i.d.で、X_kとY_kの分布は異なっていてもよいが、期待値と分散は0と1に揃えていると仮定しています。この辺の設定は、実は証明に必要な計算を知っていれば、そこから逆算して容易に出せます。0に収束して欲しい項を上から抑えるためにE[|X_k|³]<∞などを仮定。

タグ：統計

posted at 15:41:24

#統計以上の雑な説明をヒントに試行錯誤によって証明を見つける作業を一生のうち一回以上やっておけば、本質的にTaylorの定理しか使わない中心極限定理のself-conrainedな証明で、詳細を忘れてもその場で考えれば可能なものが得られます。

忘れても困らないような方向に進むと数学は楽です。

タグ：統計

posted at 15:46:00

#統計カンニングしたい人は

genkuroki.github.io/documents/Intr...
確率論入門

の第2.3節「正規分布の再生成」と第2.4節「中心極限定理」を参照。

タグ：統計

posted at 15:48:36

adhara_mathphys @adhara_mathphys

微妙にアイコン変わったんですね。 pic.twitter.com/yxyqeeUyOs

タグ：

posted at 15:50:50

ceptree @ceptree

マーカーの色をこの色にしてJuliaで三体問題の数値計算(誰かやってそう

タグ：

posted at 15:53:41

ceptree @ceptree

二重振り子のはJulia-1.0の方のアイコンだった

juliadynamics.github.io/DynamicalSyste... pic.twitter.com/omvFHW7Cq2

タグ：

posted at 15:56:46

#統計確率変数列 Z_n については期待値 E[f(Z_n)] の形で扱うと、取り扱いが易しくなる。

一般に

* X_1,…,X_nが確率変数であるとは、それらの函数の期待値 E[f(X_1,…,X_n)] について考えることができる変数なことである。

と了解しておくと、証明も含めて議論が易しくなることが多いです。

タグ：統計

posted at 16:00:37

毎回 {1,…,n} と書く派

タグ：

posted at 16:12:30

ceptree @ceptree

ルンゲクッタ同好会

タグ：

posted at 16:15:34

グラフのプロットにものすごく時間をかけてしまうことは #Julia言語に限らず、ありがちだと思う。

計算の仕方に習得よりも、プロットの仕方の習得の方が大変な場合は相当に多いと思う。

タグ： Julia言語

posted at 16:28:10

#統計ソースコードを見れば分かることですが、「時系列」をランダムウォークで生成しているので、期待値の予測において、多項式に限らず、任意の函数系によるフィッティングは無意味です。

このスレッドでそのことを詳しく解説しておきました。添付画像3,4はその一部。
nbviewer.jupyter.org/gist/genkuroki... twitter.com/guiltydammy/st... pic.twitter.com/f96Jv34962

タグ：統計

posted at 16:44:44

#統計添付画像に示したように、TJOさんは、ランダムウォークの時系列データについて【そこそこ適切に下降トレンドを予測できていることが分かります】と述べています。

だから、この件については「何もわかっていない人扱い」が妥当です。

批判された後の言い訳も酷過ぎ。

twitter.com/guiltydammy/st... pic.twitter.com/9cxCYP3JRt

タグ：統計

posted at 16:49:54

くられ @reraku

ニセ科学はそこの職員や運営者を狙って調べると、やばい話がゴロゴロでてくるので、そこから切り崩すのが一番かなと思ってる

タグ：

posted at 16:57:00

トレンドを持たないランダムウォークでデータを生成しているのに、「下降トレンド」について語る不思議。😅

人間は無意味なノイズにも意味を感じでしまふ。😭

タグ：

posted at 16:57:27

▩お酢 @kouya115

むっちゃ自己リプライでの説明が長いけど、統計学を仕事にしたい人は必読。 twitter.com/genkuroki/stat...

タグ：

posted at 17:01:17

TN @tomoak1n

@genkuroki 株価、、etc.なら下降トレンドについて語るとともに、ランダムウォークでもそう見えるもんだぜでしょう。
なので、語り方がいけないor「トレンド」はもともと気のせいのものと言う含意で語るべしでしょう。素で実在するかのように語っているように読める文はダメなんですね。

タグ：

posted at 17:12:59

Gregor Lenz @biphasi @gregorlenz

@LenaicCsl @gabrielpeyre @BachFrancis What did you use to animate that? Is that #JuliaLang ?

タグ： JuliaLang

posted at 17:30:26

TaKu @takusansu

twitter.com/temmusu_n/stat...
「求和」「減逆」「求大」「添加」と足し算を4分類していますが、
1947年度の学習指導要領(試案)にある引き算の4分類に対応させていませんかね。
8254.teacup.com/kakezannojunjo...
＞“幾つ残っているか”“幾つなくなっているか”“その差はいくつか”“もう幾つ必要か”の四つの質問の形式に

タグ：

posted at 17:36:46

#統計件のブログ記事ではも長さ360のランダムウォークのt=1～300部分からt=301～360まで続く【下降トレンド】を【予測】できたと主張している。

そこでt=301～360での擬似乱数の出目が違う場合にどうなっていたかをプロットしてみた。

このツイートは冗談話に近い😉

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/7a4obdViun

タグ：統計

posted at 17:45:39

#統計【101から探し始めて2つ目で終わった】と書いているのに、【seedを変えるという発想が全くなかった】らしい。何のためにseedを101,102と変えて探したのやら。

しかし、これを見れば確率が絡む統計的予測について何も理解していないのではないかと思われる。

交差検証について語るのは早すぎ。 pic.twitter.com/oUDTvkFKMc

タグ：統計

posted at 17:51:20

#統計【ランダムウォーク自体はトレンドになるので、結局トレンドを内包したモデルにする必要があると思うのです】

これも理解不能。😱😱😱

ランダムウォーク自体はトレンドになる？？？😅😅😅 pic.twitter.com/3qCrtTQ4Cp

タグ：統計

posted at 18:07:23

#統計件のブログ記事で扱っている時系列データはコンピュータで作ったランダムウォーク。

時系列データ(例えば添付画像の黒線部分)がランダムウォークである疑いがあるときには、これから観測される動きが色線のどれかにランダムに決まるかもしれないと考える必要があります。 pic.twitter.com/4zEqgwTZRG

タグ：統計

posted at 18:25:56

#統計 1つ前のツイートのようなプロットは他の場合にも作る価値があります。

すでに確定しているy[1],…,y[m]が全く同じであっても、擬似乱数の出目によってy[m+1], y[m+2], …は全然違う動きになるかもしれない。それらを適当にプロットすれば採用したデータ生成のための確率法則の様子が見える。

タグ：統計

posted at 18:30:39

相当古-Engineer @thoughtfulEng

私、データさいえんすのことは全く知らないけど、ランダムな系列だと過去の系列とは全く無関係になるだろうから予測は不可能じゃないの？　あ、数値の上限下限はある範囲に入ると言う前提で。

#検察庁法改正案に抗議します twitter.com/genkuroki/stat...

タグ：検察庁法改正案に抗議します

posted at 18:34:38

#統計学習で作ったモデルがどのようなサンプルを生成するかのプロットはそこそこよく見ると思う。

コンピュータで数値実験する場合には真の確率法則をカンニングできるので、自分が設定した真の確率法則がどのようにサンプルを生成するかを何らかのプロットで確認しておくべきだと思います。

タグ：統計

posted at 18:44:51

#統計

予測する先の法則がない状況で予測を考えても無意味。

コンピュータ実験では予測する先の真の法則の様子を前もって適切なプロットで確認しておけば、ランダムウォークについて「そこそこ適切にトレンドを予測できた」というような馬鹿げたことを言わずにすむはず。

タグ：統計

posted at 18:50:02

#統計「百聞は一見に如かず」で、前もってプロットして確認しておくべき事柄についてそうしていないせいで、単純バカなことをやってしまうことは誰にでもよくあることだと思います。

何度も強調していることだが、計算そのものより、プロットの方が大変なことはよくある。そして、プロット大事！

タグ：統計

posted at 18:52:39

#統計数学がめちゃくちゃ得意であれば、コンピュータでプロットしなくても、統計がらみの複雑な様子を適切に認識できる可能性があるかもしれませんが、少なくとも私には無理。

論理的に証明できても、プロットするまでよくわかっていないことがよくある。

プロットも慣れないうちは結構しんどい。

タグ：統計

posted at 18:55:36

Atsushi Sakai @Atsushi_twi

天むす名古屋 Temmus @temmusu_n

約5ヶ月、コツコツとissue報告やPRをしてきた結果、ついにSciPyのOrganizationに入れてもらいました🎉 これからはコミッターの一人として、自律移動屋さんにも便利な機能を追加していくつもりです😃 またあまり知られていない便利機能なども日本語で紹介していきます♪ People github.com/orgs/scipy/peo... pic.twitter.com/8VAlWSYdO6

タグ：

posted at 18:58:45

天むす名古屋 Temmus @temmusu_n

@takusansu #超算数掲示板スレッド「等分除・包含除」「求残・求差」などの概念・用語の起源・歴史でポスト5番 (TaKuさん)に反論があります。ここで1947年指導要領について【ちなみに、この頃は「増加」「合併」という概念は無さそう】と書いてありますが、【一群のものがある時それに他の群を添加する場合】と

タグ：超算数

posted at 18:59:06

@takusansu #超算数【二群の物が同時に存在するときに…一つの群にまとめる場合】という指導要領の記述は、増加と合併をそれぞれ意味するはずです。【即ち】直前の表現が拙劣なので気づきにくいですが。私が今日ツイートした藤野による足す、寄せるの区別は、戦前からそういう概念があった可能性を示唆。

タグ：超算数

posted at 19:06:52

#統計以下のリンク先補足

「どういう前提のもとで何から何を予測したいか？」は結構複雑な話題。多数のパターンがある。

同一の確率法則で独立に生成された時系列データが沢山あるとき、それらを使ってこれから得る同じ法則の時系列データを予測することは、i.i.d.に関する統計学に含まれる。続く twitter.com/genkuroki/stat...

タグ：統計

posted at 19:06:57

#統計訂正版(すみません！)

続き。しかし、多くの場合に欲しい予測は、観測された時系列データ y_1, y_2, …, y_n を使って、これから得られる y_{n+1}, y_{n+2}, … の値を予測することです。

これの一般的な場合はi.i.d.の統計学の範疇から完全に外れます。

「別の定理」が必要になるわけです。

タグ：統計

posted at 19:21:29

数学女子 @phasetrbot

何年前かも忘れたが、だいぶ前にMM2PからJuliaおすすめされたし、MM2P割とそういう情報への感度高いという感がある。

タグ：

posted at 19:24:29

#統計おまけ：既存のMCMCパッケージで生成した事後分布のサンプル経由でWAICやLOOCVを計算してくれるパッケージを利用する場合には、相当に注意しないと、自分がしたい予測とは異なる予測を扱っていることになって失敗します。

twitter.com/genkuroki/stat...

タグ：統計

posted at 19:27:09

#統計おまけ続き: Stanに代表される事後分布のサンプルを作ってくれるソフトを使ったモデルの記述だけで、「何から何を予測するためにそれを実行するか」はただ一つに決まりません。

WAICやLOOCV(およびその変種)を使いたければ、さらに追加の記述が必要になります。この辺も知らないと失敗する。

タグ：統計

posted at 19:31:34

#統計未来の統計パッケージは、Stanのような方法でモデルを記述するだけでは「何から何を予測したいか」が決まらないことにも配慮したものになって欲しいと思います。(多くの場合に内部パラメータで積分したものを予測のためのモデルとする必要がある。一般に数値積分が必要なので厄介な問題)

タグ：統計

posted at 19:37:23

#統計まあ、とにかく、ふんわりと曖昧に「予測」と言わずに、クリアに言い切る努力をしないと、誰でも失敗する可能性があるということです。

タグ：統計

posted at 19:40:24

Lénaïc Chizat @LenaicChizat

@gregorlenz @gabrielpeyre @BachFrancis Yes! The code is in Julia and the animations are made via PyPlot, the Julia interface for Matplotlib. Here is the link to the code : github.com/lchizat/illust...

タグ：

posted at 19:44:13

#統計ついでに述べておくと、AIC, WAIC, LOOCV(1個抜き出し交差検証), 自由エネルギー, BIC, WBICなどの基礎はKullback-Leibler情報量なので、そういう文脈での「予測誤差」は「モデルによる真の法則のシミュレーションの誤差」です。予測というより、シミュレーションと言う方がスッキリする。続く

タグ：統計

posted at 19:49:19

#統計「予測」というより、「シミュレーション」という方がスッキリすることの根拠はKL情報量に関するSanovの定理です。詳しくは以下のリンク先スレッドを参照。

数学的定理の利用によってクリアに言い切ると、「予測」という用語の意味が想像以上に非自明なことは印象的。

twitter.com/genkuroki/stat...

タグ：統計

posted at 19:53:25

#統計これだけ書けば、TJOさんに限らず、誰もが(例えば私も)失敗する可能性が高い話題であることがわかると思います。

バトル中心のマンガ・小説・映画では、登場人物Aがボコボコにされる前振りとして、敵の強さをAが全く認識出ていない様が描かれることが多い。

予測誤差の比較の問題は強敵。

タグ：統計

posted at 19:59:52

TaKu @takusansu

@temmusu_n ご指摘有難う御座います。

タグ：

posted at 20:04:13

誰でも「やばそうなこと」を言ってしまう機会があるのだから、「やばそうなこと」をちょっと言った程度で評価を逆転させちゃまずいと思う。

タグ：

posted at 20:07:29

角野隼斗 - かてぃん @880hz

おまけ：逆バージョン twitter.com/880hz/status/1... pic.twitter.com/GTlBF7cB98

タグ：

posted at 20:40:21

残り11件のツイートを見る

カイヤン @389jan

事後分布を作ったところで決着とするのかなり気持ち悪いと思うんですけどなんでまかり通ってるんですかね？

タグ：

posted at 20:53:32

Katsushi Kagaya @katzkagaya

@389jan あ、「なんで」を読み落としてました。主義的ベイズの影響かと思います。

タグ：

posted at 21:09:31

カイヤン @389jan

@katzkagaya そういう人もいるかもしれませんが，そうとは考えにくいところでもEAP予測分布なりベイズ予測分布を見ないで事後分布作って終わりというのを潜在変数モデリング界隈で散見するので……

タグ：

posted at 21:13:59

@389jan @katzkagaya 「予測分布を計算することは、多くに場合にライブラリ任せだと無理で、自分でコードを書く必要があること」が関係しているのだと思います。

Stanのようなスタイルで記述したMCMCに必要な分のモデルの情報だけで、予測分布に定義がただ一つに確定しない。 #統計

続く

タグ：統計

posted at 21:26:51

@389jan @katzkagaya 新型コロナの潜伏期間を推定しているある論文でも、予測分布を計算していないし、多分予測分布の定義を理解していないせいで、LOO ICの計算も間違っているっぽい。試していた3種のモデルがどれも同じような結果を出していたので実害はないのですが。

でも、このままだといつか事故ると思う。#統計

タグ：統計

posted at 21:36:01

@389jan @katzkagaya 私が独自にプロットした潜伏期間の予測分布 #統計

ただし、JuliaのTuring.jlのバージョンアップで同じコードでは動かなくなっているはず。

twitter.com/genkuroki/stat...

タグ：統計

posted at 21:40:27

@389jan @katzkagaya #統計予測分布の密度函数のプロットは、多くに場合に内部パラメータでの数値積分が必須なので完全自動化は絶望的。

予測分布のサンプルを生成することであれば、かなりの自動化が可能だと思う。ただし、Stan型のモデルだけで予測分布が決まらない点に注意が必要。誰かR用のライブラリを書くべき。

タグ：統計

posted at 21:49:58

#統計モデル

z ～ p₁(z)
w_k ～ p₂(w_k|z)
Y_k ～ p₃(y_k|w)
(k=1,…,n)

の事後分布のサンプル(w_{1i},…,w_{ni}, z_i)が得られたとする。

欲しい予測分布は

p(y|z) = ∫ p₃(y|w) p₂(w|z)dw

の事後分布による平均だとする。

その予測分布にサンプルは次の手続きを繰り返せば作れる。続く twitter.com/genkuroki/stat...

タグ：統計

posted at 22:00:01

#統計続き

(1) 事後分布のサンプルからz_iをランダムに選ぶ。

(2) p₂(w|z_i)に従う乱数wを生成。

(3) p₃(y|w)に従う乱数yを生成。

(p₁(z)とw_{ki}達は使用しない。)

このようにして得られるyを集めれば予測分布のサンプルが得られる。

一般の場合も同様。

タグ：統計

posted at 22:06:52

#統計モデルの記述に使える分布の擬似乱数を作る函数を自由に使えれば、プログラミングが得意な人ならあっというまに、予測分布のサンプルを生成するライブラリを作れると思う。

two language problemが起こっているR + Stanだとどこまで簡単なのか、私には分からない。

#Julia言語なら易しい。

タグ： Julia言語統計

posted at 22:10:14