黒木玄 Gen Kuroki(@genkuroki)/2021年02月05日

[Abrayama]@シナリオアーツ @cuz120

@kaoru6 @OokuboTact 高橋さん、さんきゅ！

大久保さん、file:///Users/～はまずいです(笑)

タグ：

posted at 00:00:20

@genkuroki この本ボクも持っているのですが、大抵ふむふむと読んでしまった初学者なのですが、ここはおかしいポイントを可能な限り教えて頂けないでしょうか、、(大抵は「そういう風に言い回すこともできるのか」と受け止めてしまう)

タグ：

posted at 00:05:53

[Abrayama]@シナリオアーツ @cuz120

@cuz120 細かい点については、このスレッドのトップからリンクされている私のツイログの検索の方を見て下さい。

そもそも統計学は【お墨付き】を得るためのツールではないので最初のページから問題があります。
twilog.org/genkuroki/sear...

タグ：

posted at 00:10:31

@genkuroki わあありがとうございます(´；ω；`)
本を片手に読ませてもらいます！

統計はどんな本だろうと元の理論が難しくて初学者であるうちはどれが正しいのかを判断できないので有識者のご指摘はありがたいです、、いつも参考にさせてもらっています、！！

タグ：

posted at 00:13:49

tdual(ティーデュアル)@Matri @tdualdir

@cuz120 私は統計学についてはど素人です。

逆に言えば私よりダメなことを言っている人はど素人よりダメだということになります。

ど素人なので、説得力を増すために、多くの場合にコンピュータを使って誰でも確認できる数値的な例を示しています。

ソースコードも全公開！(笑)

タグ：

posted at 00:18:46

(「・ω・)「がおー

タグ：

posted at 00:19:39

わややん @kiyobonda

#julialang 配列等のインデックス番号が1からってのがいいわ。

タグ： julialang

posted at 00:21:36

ceptree @ceptree

(　「・ω・)　「がおー

タグ：

posted at 00:21:41

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#統計 Galton (1886)の原論文を見たい人のために、以下のリンク先からリンクをはっておきました。

添付画像2はGaltonのグラフ(添付画像1)の擬似的な再現。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/JE78yre3Dg

タグ：統計

posted at 00:25:12

偽物です！twitter.com/ceptree/status...

タグ：

posted at 00:26:00

分岐 twitter.com/genkuroki/stat...

タグ：

posted at 00:26:23

河合祐介 @tkawai18_tkawai

今やってるディープラーニングの本は色んな手法を自分で関数を組み立てて進めていけるところだな．
パッケージの関数がどういうものであるかを理解できるために，ほかの言語へ移植しやすそう．
juliaは速いみたいだから，これに実装したら良さそう．
まあ，今はpythonで理解の段階だけど

タグ：

posted at 00:27:04

ceptree @ceptree

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

@bicycle1885 こっちにも偽物がいます！
twitter.com/tdualdir/statu...

タグ：

posted at 00:27:18

@ceptree あ、はい

タグ：

posted at 00:32:06

ceptree @ceptree

毎日新聞・将棋 @mainichi_shogi

@bicycle1885 塩対応やんけ

タグ：

posted at 00:35:07

Ｂ級１組、郷田ー松尾戦は郷田九段が敗れました。このため、首位の山崎隆之八段の初のＡ級昇級が決まりました。
松尾八段のＢ１残留も決まりました。
昇級の残り１枠は自力の可能性がある永瀬王座（対近藤七段）か、永瀬王座が負けた場合、木村九段（対深浦九段）が勝てば逆転でＡ級復帰となります。

タグ：

posted at 00:40:36

あ〜る菊池誠(反緊縮)公式 @kikumaco

@hhhzzzttt @kikumaco #Julia言語

函数内で

A = [1, 2]

と書くと、引数にAがあっても別にローカル変数Aを作ってしまいます。

引数にAがある函数内で

A[2] = 3

と書くと、引数のAに関するA[2]の内容を3に変える。 pic.twitter.com/kjvagi0MgQ

タグ： Julia言語

posted at 00:47:53

@genkuroki @hhhzzzttt [1,2]と書いた時点で新しい配列を作ってしまうところがポイントなんですよね、たぶん

タグ：

posted at 01:04:25

@kikumaco @hhhzzzttt #Julia言語ポイントはそこじゃないです。新たにローカル変数が作られる所がポイントです。

A = [3, 4]

と書いても

A .= [3, 4]

と書いても [3, 4] という配列は作られます。

函数内での初めての A = ～ではローカル変数Aが作られます。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/MgM82aek45

タグ： Julia言語

posted at 01:12:56

Hacker News記事題日本語翻訳 @hackernewsj

@kikumaco @hhhzzzttt #Julia言語添付画像 In[7], In[9]を見れば分かるように、引数にAがあっても、函数内の A = ～の行で別の変数が作られています。A@_2 が引数で A@_3 が新たに作られたローカル変数。 pic.twitter.com/zprC6bjIvv

タグ： Julia言語

posted at 01:18:01

Weave.jl –Juliaを使用したScientificReports weavejl.mpastell.com/stable/

タグ：

posted at 01:20:05

@kikumaco @hhhzzzttt #Julia言語が何をやっているかは @ code_warntype などを見ていれば自然にわかって来ます。@ code_warntype は基本中の基本。

自分で書いたあらゆる函数を @ code_warntype してみるべき。

タグ： Julia言語

posted at 01:20:14

yudai.jl @physics303

いいです twitter.com/takeokato719/s...

タグ：

posted at 02:04:27

【C++～テンプレートとか、よくわかっていない】

#Julia言語では自動的にかつ気楽にすべての函数が「テンプレート」化されます。

Juliaの開発者の一人は天文学でのスーパーコンピュータでJuliaを使った仕事について「最後の瞬間まで科学を感じていた」と言っています。これがJuliaの最大の利点。 twitter.com/takeokato719/s...

タグ： Julia言語

posted at 09:40:34

#Julia言語 Keno Fischerさんが天文学でのスパコン利用でJuliaを使った仕事について曰く【Could probably have done it in C++, but we were feeling the science until the last moment and I tend to find optimized C++ impenetrable to edit for non programming experts.】 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 09:40:34

私が知っている #Julia言語の最高の紹介文は

jkrumbiegel.com/pages/2020-10-...
Julia Helps To Bridge The Gap Between User and Creator

Juliaはお気楽に書けるので、高速計算のコア部分がJuliaで書かれていれば、プログラミングのエキスパートでなくてもそのコア部分の改良に参加できるようになります。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 09:48:06

#Julia言語計算速度が重要な人が最初に読むべき文書は、公式ドキュメントの

docs.julialang.org/en/v1/manual/p...
Performance Tips

これに書かれている方法に忠実に従うだけで、びっくりするほど簡単に、Juliaは速く計算してくれるようになります。

Juliaを理解するためにも重要な文書。

タグ： Julia言語

posted at 09:52:41

#Julia言語で高速に計算したい人が最初に覚えるべきことは

@ time
docs.julialang.org/en/v1/manual/p...

@ code_warntype
docs.julialang.org/en/v1/manual/p...

を使うことです。@ timeでは特にメモリアロケーションの数値に注目する。Juliaでは@ code_warntypeで見られる「引数の型の伝搬」が本質的に重要。

タグ： Julia言語

posted at 09:59:15

#Julia言語個人的な意見では、まだベータ版のJulia v1.6.0-beta1 でJulia入門しても良いと思います。

Juliaを使った人ならみんな知っている欠点である「最初のプロットが遅い」という問題がかなり改善されています。

using Plots; plot(sin)にかかる時間が10秒程度に減っている。

タグ： Julia言語

posted at 10:04:21

#Julia言語科学畑の人達は最初に微分方程式を数値的に解かせてみたりしたくなると思います。Juliaの超巨大パッケージのDifferentialEquations.jl (PythonやRでも使える)では、

ハミルトニアンと初期値

を与えるだけで正準方程式の初期値問題を数値的に解いてくれます。

これ、結構楽しいです。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 10:08:45

#Julia言語以下のリンク先は私が書いた波動方程式のコードによる正五角形上の自由境界条件の場合の数値解の動画。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 10:11:23

#Julia言語 FFTを使って計算した1次元での熱方程式、シュレーディンガー方程式、KdV方程式、Smith方程式の数値解↓

nbviewer.jupyter.org/github/genkuro... twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 10:14:29

#Julia言語おなじみのマンデルブロ集合

nbviewer.jupyter.org/gist/genkuroki... twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 10:17:18

#Julia言語私が書いた2D正方格子のIsing模型のサンプルパッケージ。シングルスレッドでこれより遅い2D Isingのコードはどこかで失敗している。

github.com/genkuroki/Isin...
↓
github.com/genkuroki/Isin...

詳しい使い方の例↓
nbviewer.jupyter.org/github/genkuro... pic.twitter.com/p5HgwIXu6U

タグ： Julia言語

posted at 10:21:50

#Julia言語 nが大きなとき、n次元球体内部に制限したランダムウォークによって正規分布を近似的に作れること(Maxwell-Boltzmann分布)は統計力学の教科書を見れば分かる。

制限の仕方を変えればガンマ分布など任意の指数型分布族の分布もランダムウォーク(MCMC法)で作れます。所謂カノニカル分布の話。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 10:28:02

#数楽 nが大きなとき、(x_1,…,x_n)∈ℝⁿについて、x_1,…,x_nをすべて非負とし、それらの相加平均に上限を設け、それらの相乗平均に下限を設けて、ランダムウォークさせると、平衡状態でx_1の分布はガンマ分布でよく近似されるようになります。

これはSanovの定理からの帰結だともみなせます。

タグ：数楽

posted at 10:31:58

#Julia言語

「角から出発して、桂馬飛びでさらにその次に動ける場所が最も少ない場所に移動することを繰り返すとすべてが埋め尽くされる」というデマが流れたときに反例をJuliaで作った。

nbviewer.jupyter.org/gist/genkuroki... twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 10:35:48

K.B.砂糖 @KB_satou

Documenter.jl をローカルで使う方法 (function の説明内の "source"リンクが github になってる)
(make.jl とかいじればいいんだろうけど, html のリンク踏んで vscode 立ち上げてソースの特定の場所を示すとか出来るんだろうか?)

タグ：

posted at 10:35:58

#統計ランダムに生成されているサンプルに基く統計分析では、サンプルサイズごとに見える世界が違っている。

サンプルサイズが小さい場合には解像度が低いので、解像度が高くないと区別できない異なるモデルの優劣を決定することはできません。サンプルサイズを大きくすると違いが見えて来る。 twitter.com/genkuroki/stat...

タグ：統計

posted at 10:44:22

#統計サンプルサイズごとに見えて来る世界が違う(解像度が違う)という話は、最尤法でのAICやベイズ統計でのWAICが一致性を持たないこととは別の話になります。

その辺は混同し易いことなので注意が必要だと思います。

タグ：統計

posted at 10:49:29

#統計最尤法でのAICやベイズ統計でのWAICが一致性を持たないことは、統計的検定での有意水準(許容する第1種の過誤の確率)の話と直接的に関係があります。

このスレッドで紹介したAICのケースでは、有意水準16%の尤度比検定の話と数学的に等価です。

タグ：統計

posted at 10:49:29

#統計統計的検定、信頼区間、最尤法でのAIC、ベイズ統計でのWAICは「主義や思想が互いに異なる本質的に異なる道具」だと思わせるような解説はひどく間違っています。

それらはどれも似た道具であり、ユーザー側が数学の知識と科学的常識に基いて自由に使い方を決めて構いません。

タグ：統計

posted at 10:52:32

#統計「主義や思想が互いに異なる本質的に異なる道具」という見方は「各場合ごとに特定のやり方を覚える」といういつものダメな考え方と相性がよいです。おそらく、そういう理由で広まってしまったチョー算数的な考え方の一種なのだと思う。

そういう代物を「哲学」の名のもとで広めるのはまずい。

タグ：統計

posted at 10:55:46

#統計私が個人的に最悪だと思ったのは、「Royallの3つの問い」と称して、尤度主義、ベイズ主義、頻度主義に統計学を分類してしまうことです。

そういうろくでもない考え方を宣伝する人達は「口がうまい」「温厚に見える」などの特徴を持っているように見えるので本当に要注意です。 twitter.com/genkuroki/stat...

タグ：統計

posted at 10:59:43

@genkuroki @kikumaco @hhhzzzttt 新しいローカル変数が作られてるのではなくて、コード最適化のための番号付けだと思いますよ。「静的単一代入形」を調べてみてください。

タグ：

posted at 11:13:45

@mrkn @kikumaco @hhhzzzttt ああ、なるほど「ローカル変数」と言ってはいけなかったということですか？

私はそういう言葉遣いには疎くて、ポイントは @ code_warntype の結果を見ることが大事だということだと主張しています。

タグ：

posted at 11:43:28

@kikumaco @hhhzzzttt 分岐 twitter.com/mrkn/status/13...

タグ：

posted at 11:43:57

@kikumaco @hhhzzzttt 私は言葉遣いには疎いです。 twitter.com/genkuroki/stat...

タグ：

posted at 11:45:02

@kikumaco @hhhzzzttt #Julia言語 @ code_warntype の結果を見ることが基本中の基本で、どのタイミングで何が作られているかを知ることができます。

タグ： Julia言語

posted at 11:46:17

@genkuroki @kikumaco @hhhzzzttt code_warntype を気にするような話ではないと思いました。code_warntype が提示してくれる情報は日常的に気にしないといけない類のものではないと思うんですよねぇ。特に、Julia の初学者が見る必要はないんじゃないかなと思っています。

タグ：

posted at 11:49:01

#Julia言語

クロージャgはAの内容を格納したstructのfunction-like objectになります。
docs.julialang.org/en/v1/devdocs/...

f(1)とF(1)の場合でgの型は違っている。続く

gist.github.com/genkuroki/b748... twitter.com/genkuroki/stat... pic.twitter.com/SD4pERH9P4

タグ： Julia言語

posted at 12:12:47

#Julia言語

F(1)でのgの型はInt64の引数A=1を格納するstructになっている。

f(1)では、A=[3,4]の行の影響で、引数のA@_2とは別に任意の型のものを包めるCore. Box型のA@_4が作られており、gの型はA@_4を格納するstructになっています。

A=[3,4]の行ではA@_4が変更される。 pic.twitter.com/QuZBZUkBfN

タグ： Julia言語

posted at 12:12:50

#Julia言語引数にAがあって、函数内部に A = ～の行があると、引数のA@_2とは別に内部でA@_4が作られるわけです。

A = [3, 4]

と

A .= [3, 4]

では、まず配列 [3, 4] が作られることには変わりがない。

A = [3, 4] では引数A@_2の他にA@_3が作られ、A .= [3, 4] では作られない。 pic.twitter.com/8GinIWFuA4

タグ： Julia言語

posted at 12:12:53

#Julia言語

function g!(A)
A .= [3, 4]
end

では引数の配列Aに関して

tmp = [3, 4]
A[1] = tmp[1]
A[2] = tmp[2]

が実行され、引数の配列の中身が書き換えられます。

function f(A)
A = [3, 4]
end

では引数のAとは別のAが作られる。クロージャの場合でも上で説明したように同様です。

タグ： Julia言語

posted at 12:12:54

@mrkn #Julia言語

①ええと「ローカル変数と言わなければ問題なかった」というのは正しかったですか？

複数の問題を混ぜて扱うと、私がいつもしているようなに雑な議論に戻ってしまいます。続く

タグ： Julia言語

posted at 12:15:14

@mrkn #Julia言語

② Juliaに興味を持つ人達は、コンピュータ以外の専門分野がすでにあって「楽に速く計算したい」と思っている場合が多い。

そういう人達にとって、@ code_warntype の出力は非常に重要だと思います。最初は意味が分からなくても、強い警告色が出るからどうかくらいは見た方が良いです。

タグ： Julia言語

posted at 12:19:14

@genkuroki それに返事してませんでしたね。「ローカル変数への代入によってローカル変数が指す対象が変わる」が正解だと思います。

タグ：

posted at 12:20:44

@mrkn ②続き

きくちさんにとって計算速度は重要なので、@ code_warntype は見た方が良いです。

それによって、A = [3, 4] と A[2] = 3 でどのような違いが出るかの情報も得られるので、一石二鳥！

初心者にも @ code_warntype を避けさせるのではなく、その易しい解説が増えた方がよいと思います。

タグ：

posted at 12:24:10

@genkuroki A = [3, 4] と A[2] = 3 の違いが分からない段階では code_warntype を見るより先にやるべきことがあると思うので、私は初心者にも進めるのは反対ですね。

code_warntype の見方の解説が増えるのは良いことだと思います。

タグ：

posted at 12:26:53

@mrkn 変数は単に名前にすぎず、それが指し示す対象が変わるだけですからね。そこが間違っていることは私もすぐに分かったのですが、それだけだと私の質問には答えていない。

ローカル変数という用語を使ったところ以外は本質的に正しいことを私が言っているかどうかを私は質問しています。

タグ：

posted at 12:27:47

@mrkn @ code_warntype の結果の読み方を私が間違っているなら、私は自分の考えを訂正する必要があります。

そうでなければ、私が言っていたことは本質的に正しかったことになると思います。

@ code_warntypeのややこしい出力を見ることをどれだけどのように他人に勧めるべきであるかは別の問題。

タグ：

posted at 12:30:21

@genkuroki 「新たなローカル変数を作る」は言語仕様の説明としては正しくないと思いますよ。関数内で引数と他のローカル変数が別のスコープを持つなんてドキュメントに書いてなかったと思います。

タグ：

posted at 12:32:51

@mrkn しかし、計算速度が欲しいならば、たとえ初心者であっても、@ code_warntype の結果を見ることは必須です。

自分の専門分野で必要な計算を楽に速く行いたいと思っている人達には、最初から @ code_warntype の結果を見ると良いことに触れておかないと不親切だと思います。

タグ：

posted at 12:38:02

@mrkn すでに私が誤りを認めている「ローカル変数」の話を繰り返しても私の質問に答えたことにはなりません。

ローカル変数という用語の使用部分を私の発言から削除した残りの部分の本質的な部分とその話は無関係ですよね？

タグ：

posted at 12:41:24