黒木玄 Gen Kuroki(@genkuroki)/2018年02月04日

#Julia言語免疫を持たない人が感染症患者に接すると必ず感染症にかかるというルールのセルオートマトン。黒色が感染症患者、赤色が免疫を持たない人。

初期条件で免疫を持っている人が5割の場合。
大変なことになってしまうwww pic.twitter.com/lmIoezxBBE

タグ： Julia言語

posted at 00:12:30

#Julia言語初期条件で、免疫を持っている人が6割の場合。
これも大変なことになってしまっているwww pic.twitter.com/eHkUKWlLwO

タグ： Julia言語

posted at 00:13:43

ʇɥƃıluooɯ ǝıʇɐs @tsatie

嗚呼なんかちょっと悔しいぞ♬ twitter.com/genkuroki/stat...

タグ：

posted at 00:15:55

#Julia言語初期条件で、免疫を持っている人が7割の場合。
感染症の封じ込めにかなり成功している。

以上は、単純なセルオートマトンごっこの遊びに過ぎないのだが、結構印象的。

ソースファイルは
gist.github.com/genkuroki/d651...
nbviewer.jupyter.org/gist/genkuroki...
後者もしばらくすれば更新されるはず。 pic.twitter.com/Tq4FWW3N7x

タグ： Julia言語

posted at 00:19:22

#Julia言語免疫保持者が8割の場合 pic.twitter.com/XijytrEmIQ

タグ： Julia言語

posted at 00:19:54

#Julia言語この手の動画を4秒で作れるというのは気分がいいな。

Plotsパッケージでは

anim=Animation()
plot(最初のコマのプロット)
frame(anim)
for t in 1:N
plot(tに対応するコマのプロット)
frame(anim)
end
gif(anim, gif_filename, fps=10)

のような感じでGIF動画を作れます。

タグ： Julia言語

posted at 00:28:54

闇のapj @apj

@Jem0211 満腹。先週忙しかったので、今日はのんびり出て来たら、照井は昼の分完売してたっぽかった。それでぐぐって見つけた満腹の方に行きました。

タグ：

posted at 01:06:37

twitter.com/hiding_koukyo/...

#Julia言語素晴らしいと思いました。勝手にJuliaでGIF動画にしてみました。ベクトル場(u,v)を描かせようとしましたが、Plotsでの矢印の大きさの変え方がわからなかったのでheatmapに。GIF動画作成も合わせて全部で90秒程度でした。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/C3cx97pUOD

タグ： Julia言語

posted at 02:21:05

#Julia言語へたにベクトル場表示するより見易いかも。

可視化のコードは

nbviewer.jupyter.org/gist/genkuroki...

にもあります。

goropikari.github.io/JuliaPlotsGall...

も参考になるはず。

タグ： Julia言語

posted at 02:26:25

#Julia言語ついにJulia界にカルマン渦きた！素晴らしいです！

twitter.com/hiding_koukyo/...

私は大域変数達に const を付けて定数扱いにして実行しました。
そしてファイルに保存すると遅いので配列に保存するようにした。
そして配列の内容をプロット。

動画作成も含めて計算時間は90秒程度でした。

タグ： Julia言語

posted at 02:35:47

カミケ @KKami1115

でもRの書き方に慣れると他所のスクリプト言語の書き方を覚えられなくなる危険性があるらしいので、全てが終わったらPythonとJulia本格的に学ぼうかな(実生活で使うストーリーが今んとこ思いつかないけど)

タグ：

posted at 02:43:49

ceptree @ceptree

freedomtsubasa.hatenablog.com/entry/2017/09/...

タグ：

posted at 03:31:12

高橋将宜 Masayoshi Takah @M123Takahashi

ジャーナリストが受講する統計学の授業において、何を教えるべきかについて論じたGelmanのブログ記事。標本と母集団、処置と統制、無作為化実験、観察研究、回帰、確率について教えて、p値と95%信頼区間も定義と問題点を教え、ベイズ統計学もコアなものまでは教えないとしても言及すべきとしています。 twitter.com/statmodeling/s...

タグ：

posted at 07:16:34

ceptree @ceptree

C++からPythonのmatplotlibを使うやり方できた。これはかなりいい。

github.com/lava/matplotli... pic.twitter.com/zAcQdnrJoG

タグ：

posted at 07:26:05

こうきょ @hiding_koukyo

@genkuroki 全部合わせて90秒は速いですね！
キモは大域変数の部分なのでしょうか？

タグ：

posted at 09:04:43

@hiding_koukyo #Julia言語確認してませんが、一つの理由はそうだと思います。

nbviewer.jupyter.org/gist/genkuroki...

nbviewer.jupyter.org/gist/genkuroki...

を見ればわかるのですが、大域変数を参照して計算する函数は物凄く遅くなる。続く

タグ： Julia言語

posted at 09:48:34

@hiding_koukyo #Julia言語大域変数をconst化した後でも、csvファイルに保存しながらの計算では180秒ほどかかりました。配列保存なら70秒。

保存したcsvを読み込みながらのプロットにも時間がかかりまくった(途中でやめたので計測していない)。一方、配列を参照しての120フレームの動画作成は20秒。

タグ： Julia言語

posted at 09:54:08

@genkuroki
先生のお勧めによりPkg.test("～")を実行したら12時間もかかりました。そんなかかるんですか。

タグ：

posted at 09:55:12

@hiding_koukyo #Julia言語では函数の定義で

function f(x::Array{Float64,2}) ～ end

のように書いても計算が速くなることは(私が知る範囲では)ないです。f([1.0 2.0; 3.0 4.0])のように函数を使った瞬間にJuliaはすでに引数xがどの型になったかを知っています。Juliaが知り得ない型を教えてあげると速くなる。

タグ： Julia言語

posted at 09:58:12

Yuki Nagai @cometscome_phys

Juliaで共役勾配法のコードを書くとCより遅くなってしまうのではないか疑惑。ベクトルを大量に演算するとなんか遅い気がするけど解決策がわからない #Julia言語

タグ： Julia言語

posted at 09:59:04

こうきょ @hiding_koukyo

@genkuroki ありがとうございます、勉強になります

タグ：

posted at 10:00:15

@hiding_koukyo #Julia言語でカルマン渦を見ることは私もやってみたいと思っていたことです。先をこされた！(笑)

すでに色々知っている人は仕事が速いと思いました。素晴らしいです！

タグ： Julia言語

posted at 10:00:57

@yasuokajihei どのパッケージの話ですか？

タグ：

posted at 10:02:39

Yuki Nagai @cometscome_phys

自分が書くとベクトル漸化式が妙に遅い。たとえばチェビシェフ多項式
j0=a
j1=H j2
jn+1=2H jn-jn-1
でHが疎行列の時、これはFortranより遅い気がする。なお2Hという演算はすごく遅くて、Hjnしてから2倍しないといけないのはわかった #Julia言語

タグ： Julia言語

posted at 10:05:31

たきたき, Ph.D. @taki__taki__

Juliaで二次元版合意形成と適用例 on @Qiita qiita.com/taki__taki__/i...

タグ：

posted at 10:18:30

WindowsでJuliaをJupyterから使う
2017-06-15
黒木玄　先生　です。
お願いいたします。 twitter.com/genkuroki/stat...

タグ：

posted at 10:22:06

現在の #Julia言語 v0.6.2 では配列の計算が結構メモリ効率的(ゆえに速度的に)問題になることが多いと思う。

基本的にdotを可能な限り限界まで(=にも付けることを忘れない)つけて、broadcastを使えば速くなります。

しかし、それだけだと足りない。続く

タグ： Julia言語

posted at 10:22:44

#Julia言語 v0.6.2ではすでに確保してあるメモリ上で計算して欲しいのに、新たに内部で配列を使ってしまうことがよくある。

例えば、すでに確保済みの配列a,b,cについて

c=a.+b

と書くと、a.+bの分だけメモリが余計に消費されて遅くなります。

c.=a.+b

とか

@. c=a+b

と書く必要あり。続く

タグ： Julia言語

posted at 10:27:37

Nyoho @NeXTSTEP2OSX

あ、Julia 0.6.2 が出ていたのか 0.6.1 から更新しておこう。

タグ：

posted at 10:28:28

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

#Julia言語配列a,bについての

sum(a.*b)

のような書き方をすると、a.*bの分だけ余計にメモリを消費します。それを防ぐには

sum(a[i]*b[i] for i in eachindex(a))

のように書く必要がある。broadcastをsumやmeanのような函数まで拡大する方法があると便利だと思う。

タグ： Julia言語

posted at 10:30:28

#Julia言語あと、部分配列の利用ではviewマクロの使用は必須。使わないと部分配列の分だけ余計にメモリを消費する。

以上で述べたことの再検証は

nbviewer.jupyter.org/gist/genkuroki...

の第1.4節を再実行すればできます。

タグ： Julia言語

posted at 10:33:07

#Julia言語謎なのは

nbviewer.jupyter.org/gist/genkuroki...

の1.4.4節の方法(さらに @ inline をつける)でメモリ効率が上がること。理由がわからない。その結果新たなメモリ使用量が305MiBから32bytesに激減している！

離散ラプラシアンの計算なのでよく出て来るタイプの計算。

タグ： Julia言語

posted at 10:39:22

Dr. Chris Rackauckas @ChrisRackauckas

#Julia言語函数の @ inline 宣言でメモリ効率が改善する理由がわからない。証拠に基いた理由の説明を希望。 (論より証拠。論よりコード！)

タグ： Julia言語

posted at 10:41:18

This is a great correction to an old #julialang blog post, showing how Julia has improved over the last 5 years to address the author's complaints. It also shows benchmarks against #cython and #numba, along with a careful explanation of the methodology.

tk3369.wordpress.com/2018/02/04/an-...

タグ： cython julialang numba

posted at 10:45:56

#Julia言語素朴に書いた離散ラプラシアンの計算では

memory: 1.10 GiB
allocs: 22868001
time: 2.735 s (41.19% GC)

私による最適化版なら

memory: 32 bytes
allocs: 1
time: 82.455 ms (0.00% GC)

これだけメモリ効率と計算速度で違いが出るので要注意。

タグ： Julia言語

posted at 10:48:02

#Julia言語こういう苦労はあるのですが、最適化の手段があるのは有難いことです。

nbviewer.jupyter.org/gist/genkuroki...

のIn [59]を見てもらえばわかるように、離散ラプラシアンのケースでは、可読性を下げる最適化は行なっていません。

タグ： Julia言語

posted at 10:56:44

#Julia言語 broadcast の dot は一ヶ所でも書き忘れると broadcast が途切れて無用にメモリを消費するので要注意。

よく忘れるのが、= を .= にすることと、2x.^2 を 2.*x.^2 にすること。

タグ： Julia言語

posted at 11:00:09

#Julia言語 = を .= に変えるためには左辺がすでに確保済みの配列である必要がある。これはin-place計算では常にそう。

前もって必要な配列を必要最小限確保して、その中で計算するように書かないとメモリ効率が下がって、遅くなってしまう。

タグ： Julia言語

posted at 11:03:46

闇のapj @apj

Loveブルバキ(ラブル) @lovebourbaki

いずれにしても福島は危険過ぎる。デブになる危険がががｗ

タグ：

posted at 11:06:58

juliaを導入したんだけど、どうやって勉強したら良いのか分からない

タグ：

posted at 11:25:44

@iconjack

hand-drawn graph of the absolute value of the gamma function from 1909 pic.twitter.com/8Wkli9Zwdt

タグ：

posted at 11:40:02

ʇɥƃıluooɯ ǝıʇɐs @tsatie

この機能は秀逸だけど音楽やら数学界隈では未だ未だ使えない。使えるけど。ただすぐ頭に浮かんだのは此れを「教育界隈ではどの程度周知利用されているのか」だ。国語や英語や社会、所謂文系とされる教科は勿論他教科でも。この辺りが今の教育界の程度の低さの所以だろう。其れでプログラミングなんて、 twitter.com/togetter_jp/st...

タグ：

posted at 11:43:37

goropikari @goropikari_

リリース時から度々ちょっかいを出している Latexify.jl の新バージョンが出ました。今までは Issues に要望出して、その機能を実現してもらうという形でしたが、今回の v0.2.0 では私のプルリクが通ったので contributors の仲間入りです😆 #julialang
github.com/korsbo/Latexif...

タグ： julialang

posted at 11:51:36

Rの本をJuliaに自力翻訳しないといけないので対応表作ってるけど日本語情報がアレな上に1.0が出てない分古い情報が信用できないのでreplで色々試しながら作成中

タグ：

posted at 12:05:42

@yasuokajihei twitter.com/yasuokajihei/s...

もうしわけない。理解不能なので質問の仕方を変えます。

Pkg.test("～")

の～の部分が具体的に何だったのですか？

あとその件が私とどのように関係あるかをピンポイントで正確に私が書いたものを引用して教えて下さい。

私と無関係の話題に感じています。

タグ：

posted at 12:06:17

@yasuokajihei nbviewer.jupyter.org/gist/genkuroki...
内をページ内検索しても

Pkg.test

という文字列を発見できませんでした。

理解可能な説明があればお力になれることがあるかもしれません。

タグ：

posted at 12:36:20

@yasuokajihei ああ、なるほど、理解できました。

genkuroki.github.io/documents/Jupy...

には

Pkg.test("～")

と書いてありますね。これは～の部分が何かをはっきりさせないと意味がない記述です。

～の部分を具体的に何にしたかを教えてください。

タグ：

posted at 12:40:11

@yasuokajihei genkuroki.github.io/documents/Jupy...

は古い v0.5.2 時代に私が初めてJuliaをインストールしたときの稚拙な試行錯誤の記録です。

nbviewer.jupyter.org/gist/genkuroki...

の方が参考になる情報が豊富だと思います。

何か不明な点があれば教えて頂くと助かるので、今後もよろしく。

タグ：

posted at 12:43:35

twitter.com/rukei_jima2017...

こういう目的にはJupyter notebookでJuliaを使った方が便利。コードと計算結果とプロット結果と数式を含む解説がまとめて記録に残る。RもJupyterで使える。

あと #Julia言語タグを使って「わからない」と発言することも効果的だと思う。

タグ： Julia言語

posted at 12:49:10

twitter.com/lovebourbaki/s...

例えばパンルヴェ方程式に興味があるなら、 #Julia言語でパンルヴェ方程式関係の計算をしてみれば勉強になると思います。

「〇〇を計算したい」と #Julia言語タグをつけて発言すれば反応があるかも。

タグ： Julia言語

posted at 12:54:12

adhara_mathphys @adhara_mathphys

julia言語について発言すると必ず黒木先生に捕捉されるシステムです。

タグ：

posted at 12:56:28

私は古典パンルヴェのことは何も知らないのですが、コンピューターで計算できそうなことは色々あるはず。

SymPy.jlを利用すれば簡単な数式処理もできます(機能的にはかなり弱い)。Maxima.jlを使えばMaximaを #Julia言語から利用できる。

タグ： Julia言語

posted at 12:57:56

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#Julia言語に限らず、岡本多項式の類が本当に多項式になるかをコンピューターでチェックすると面白いです。岡本多項式を漸化式で定義すると、定義自体は有理函数の形なのですが、分母を含む項がキャンセルして消えて全部多項式になる。

タグ： Julia言語

posted at 13:02:27

みんなJulia好きだな…（ちょっとひいてる）

タグ：

posted at 13:05:27

岡本多項式の漸化式による定義はリンク先の添付画像の中にある。

twitter.com/genkuroki/stat...

タグ：

posted at 13:05:31

コンピューターの使い方は無数にあるので(コンピューターはそういう類の道具)、各人が自分の目的に合わせて計算の仕方を調べて実行するのが効率のよいやり方だと思います。計算したいことがないと習得も難しい。

恥ずかしいコードも全公開しておくと有難い指摘をもらえる確率が高くなるのでよいです。

タグ：

posted at 13:10:15

Julia News @julialang_news

An Updated Analysis for the “Giving Up on Julia” Blog Post tk3369.wordpress.com/2018/02/04/an-... #reddit

タグ： reddit

posted at 13:11:08

@genkuroki そちらでやってみます。有難うございます。

タグ：

posted at 13:14:11

古典パンルヴェ系なら、数値計算した方が良いことは結構あるように思えます。詳しくないのすぐに適切な具体例を出せないのですが。

パンルヴェがらみで何か数値計算してみたいことがある人は #Julia言語タグをつけて発言すればよいと思います。私もそれを見て勉強します。

タグ： Julia言語

posted at 13:14:57

@genkuroki ()で実行しました。

タグ：

posted at 13:16:03

古典パンルヴェ系は、ハミルトン系ではあるのですが、ハミルトニアンが陽に時間変数を含む非自励系です。こういうケースでの適切な数値計算法について私は知りません。

そういうのを調べて #Julia言語で実装すればめちゃくちゃ勉強になると思う。

タグ： Julia言語

posted at 13:18:09

特殊函数の多くに数値計算用のパッケージが作られているのですが、パンルヴェ方程式の解のパンルヴェ函数についてそういう数値計算用のパッケージがあるかどうかについて私は知らない。

そういう方向で色々調べ、 #Julia言語でも書けばめちゃくちゃ勉強になると思う。

タグ： Julia言語

posted at 13:21:16

@yasuokajihei え！ Pkg.test() ですか！それだとインストールしたすべてのパッケージのテストを実行することになり、時間が膨大にかかる可能性が高い。

パッケージHogeのインストールに失敗している疑いがあるときに、Pkg.test("Hoge")は使えますが…

タグ：

posted at 13:26:25

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

#統計所謂「p値」の定義は「帰無仮説のもとでサンプル以上の偏りが生じる確率」なのですが、「サンプル以上の偏り」の定義だけではなく、「帰無仮説として何を採用するべきか」という問題も生じる点を明瞭に述べていない統計学の教科書には欠陥があると思う。続く

タグ：統計

posted at 14:03:40

#統計続き

二項検定はそういう問題が発生しない場合。AかBかの問題で「AとBの確率が五分五分である」という帰無仮説のもとで、サンプル以上の偏り(片側と両側の二つの流儀があるが、通常両側を使う)が生じる確率を計算すればよい。

タグ：統計

posted at 14:06:29

#統計 2×2の分割表での独立性検定は「帰無仮説として何を採用するか」という問題が生じます。2×2の分割表とはサイズnのサンプルを二種類の条件A,Bによって2×2の表

a b
c d

に分割したものです。Aを満たすものがa+c個あって、Bを満たすものがa+b個あることをこの表は意味するとします。続く

タグ：統計

posted at 14:14:50

#統計サンプル内ではAが満たされている割合は(a+c)/nなのですが、仮に母集団においてAが満たされる割合が(a+c)/nであったとしても(仮説)、そこからのサンプル抽出の結果、サンプル内でAが満たされている割合が(a+c)/nになるとは限りません。この点を無視した解説には欠陥がある。続く

タグ：統計

posted at 14:17:53

#統計実験計画として、最初からサイズnサンプル内でAが満たされている場合の数a+cが一定の数値になるようにしている場合には、帰無仮説としてそのような場合に制限した確率分布を採用することは正しい。(そうでない場合にはそのような場合に制限した帰無仮説の採用は要注意なことをやっている。)

タグ：統計

posted at 14:21:01

#統計実験計画によってサイズnのサンプル内でAが満たされる場合の数が一定になるようにしているとき、それと同時に同一のサンプル内でBが満たされる場合の数まで一定になるようにできることはほぼありません。続く

タグ：統計

posted at 14:24:11

#統計ところが、Aが満たされる場合の数とBが満たされる場合の数の両方が一定でゆらがない場合に制限した確率分布を帰無仮説として採用している場合がある。それが所謂Fisher's exact testです。帰無仮説の内容が非現実的なので exact という形容詞がむなしく響きます。続く

タグ：統計

posted at 14:25:29

#統計「p値の定義は帰無仮説の確率分部を決めないと決まらない」という当たり前のことに注意すれば、Fisher's exact testについて「カイ二乗検定よりも正確な検定である」と説明することは完全に間違っていることは明らかなのですが、そのような説明が結構伝統的に残っていたりする。

タグ：統計

posted at 14:27:07

#統計帰無仮説として採用可能な確率分布に1つ以上のパラメーターが入ってしまう実用的によく使われている例が2×2の分割表の独立性検定なのです。パラメーターが入っているので、帰無仮説は一意的には絶対に決まらない。帰無仮説が一意的に決まらないのでp値の定義も一意的に決まりません。

タグ：統計

posted at 14:29:06

#統計まあ実際に計算するときには、えいやっと厳密でも何でもないことをやってp値を計算してしまうことになっているんですが。

そうやって計算したものが正確に〇〇%未満か否かを気にするのはおかしいわけです。

タグ：統計

posted at 14:32:05

#統計個人的に、統計学を道具として使っている人達から、「Fisherの正確確率検定はカイ二乗検定より正確なので好きだ」のような発言が聞こえて来ると非常に残念に思います。自分が使っている道具の性質を全然理解せずに使っていることが明瞭。おそらくp値の定義のきちんと理解していない。

タグ：統計

posted at 14:34:26

#統計おそらくそういう人達は「みんなそう言っているから」「教科書にそう書いてあったから」のような理由で「Fisherの正確確率検定はカイ二乗検定より正確だ」と信じているのでしょうが、それは証拠と論理による判断ではなく、社会的に作られた判断に過ぎず、非科学的であることは明瞭だと思います。

タグ：統計

posted at 14:36:00

#統計数学が関わることは「本質的にややこしい話」であることが多いので、誰でも(もちろん私自身を含む)、簡単に誤りを犯してしまいがちだと思います。

「みんなそう言っているから」とか「教科書にそう書いてあったから」という理由で正しさを判断することをきちんと疑うことが大事。

タグ：統計

posted at 14:37:45

#統計の授業で先生が「Fisherの正確確率検定はカイ二乗検定と違って正確である」と述べていたら、p値の定義、帰無仮説の定義、などを順番につめて行くことによって、先生に対して論理的な爆撃を実行するべき。

若い次の世代が伝統的に通用している誤りを潰して行きべき。

タグ：統計

posted at 14:39:54

#統計扱っている状況がある程度複雑なら(例えば2×2の分割表)なら、帰無仮説として採用できる確率分布に1つ以上のパラメーターが入る可能性があります(2×2の分割表なら実際にそうなる)。そういう場合には帰無仮説として採用した確率分布が実験計画に合った適切なものであるかに注意する必要あり。

タグ：統計

posted at 14:44:09

#統計 2×2の分割表のカイ二乗検定がFisher's exact testの近似として得られる検定であるかのように解説しているものを見付けたら、それはひどい誤りなので注意が必要。カイ二乗検定はFisher's exact testの設定よりももっと広い範囲でうまく行く近似法です。

タグ：統計

posted at 14:49:38

#統計私は2×2の分割表に関する数値実験( #Julia言語を使った)は結構やっています。

twilog.org/genkuroki/sear...

のようなtwilog検索で探せばたくさん見つかります。

タグ： Julia言語統計

posted at 14:54:17

#統計「帰無仮説として採用できそうな確率分布に1つ以上の決定不可能なパラメーターが入ることがある」という事実は色々な意味で示唆的。帰無仮説の適切な定義は結構難しい。

タグ：統計

posted at 14:58:56

#統計本当は「帰無仮説」のような何を意味しているかが字面から不明でかつ「権威」を帯びているように感じられる用語は大嫌いなのですが、残念ながら普及しているので使ってしまいました。

タグ：統計

posted at 15:01:33

#統計「仮に確率分布が〇〇となっているなら調査結果(以上の偏り)が生じる確率は△△になる」のような計算をするときに採用される〇〇の確率分布を専門用語では「帰無仮説」と呼ぶようです。△△の確率は「p値」と呼ばれるらしい。

タグ：統計

posted at 15:04:08

#統計普遍的に役に立つのは「帰無仮説」やら「p値」のような専門用語ではなく、「仮に確率分布が〇〇となっているなら調査結果(以上の偏り)が生じる確率は△△になる」のような計算をするという発想の方だと思う。

タグ：統計

posted at 15:05:39

#統計「帰無仮説」と言わずに「確率分布」と呼べば個人的には問題解決。「帰無仮説」と言うと権威的な響きがあるので上手に使えば正確な定義を詳しく尋ねる質問を封じ込めることができる。しかし「確率分布」と言った途端に正確な定義に関する質問を誘発することになるだろう。

タグ：統計

posted at 15:08:23

#統計私のようなタイプの人間でもおおやけの場で統計用語を使って権威的に説明されると質問を躊躇してしまうことがある。「みんな知っていることを自分だけ知らなくて質問しているように思わないだろうか」と考える。そういう雰囲気を破壊することは科学的な考え方の普及のために非常に重要だと思う。

タグ：統計

posted at 15:10:26

Daisuke KATO @Dsuke_KATO

Julia言語からPyPlotを使う際の:set_titleとかはQuoted expressionsを利用したもの、ですか。en.wikibooks.org/wiki/Introduci...

タグ：

posted at 15:26:02

グエエ @2kill22death

Juliaってもしかしてすごい言語なのでは

タグ：

posted at 15:27:05

#統計話が変わりますが、20世紀の統計に関する考え方については、赤池弘次さんの次の論説が非常に参考になりました。

ismrepo.ism.ac.jp/index.php?acti...
統計的推論のパラダイムの変遷について(1980)
赤池弘次

こういう話を学生時代に聴きたかった。あと次も面白い。

www.jstage.jst.go.jp/article/butsur...

タグ：統計

posted at 15:27:43

QmQ @gejiqmq

@genkuroki 「データが〇〇という仕組みで生成されることを帰無仮説とし、対立仮説はxxとする」と明示的に述べれば弊害はないのでは。帰無、対立という用語が嫌ならば、番号でもアルファベットでもいいと思いますが。

タグ：

posted at 15:31:57

#統計もっと最近の話題ならば、情報をアップデートしていない私が知らなくても仕方がないのですが、どちらも1980年の赤池さんの論説なので、授業でそういう話が出て来ても不思議じゃなかったはず。

三十数年後の現代日本でも赤池さんの論説の内容は常識になっていないように見える。

タグ：統計

posted at 15:33:07

#統計「帰無仮説」よりも数学的に正確な定義に関する質問を誘発する「確率分布」の方が良いと**私個人**が思っている理由の説明が足りなかったので補足。

話を具体的にするために2×2の分割表の話に戻る。

「帰無仮説として条件Aと条件Bは独立であることを仮定します」と言うだけでは不十分。続く

タグ：統計

posted at 15:48:47

#統計なぜ不十分か？それは実際に帰無仮説として採用されている確率分布について正確な定義を述べていないからです。確率分布の正確な定義には分布の台が何であるかを明瞭にする必要があります。確率分布の定義を述べる場合には「どの集合上の」分布であるかを述べる必要がある。

タグ：統計

posted at 15:50:27

#統計例えばFisher's exact test では2×2の分割表

a b
c d

をa+b=r, a+b=s, r+s=n がすべて一定てあるようなa,b,c,dの組に確率分布を制限してしまいます。すなわち分割表のマージン(縦または横の合計)が揺らがないと仮定しているわけです。

単に条件Aと条件Bが独立だと仮定しているわけではない。

タグ：統計

posted at 15:52:38

#統計考えている確率分布が有限集合上の確率分布であれば「その有限集合が何であるか」を最初に述べていない説明は確率分布の定義を不鮮明にしている説明にすぎず不完全です。

「帰無仮説」という用語を使う場合にはその辺を曖昧にし易いことを**私個人**は問題だと思っています。

タグ：統計

posted at 15:54:11

#統計 **私個人**の希望としては、〇〇検定をおおやけの場で使う人達には常に帰無仮説として採用した確率分布の正確な定義(どの集合の上のどのように定義された確率分布なのか)を述べることを当然の義務として課すべきだと思っています。多くの場合にその説明は簡潔で短く済ませることができます。

タグ：統計

posted at 15:55:43

残り38件のツイートを見る

#統計〇〇検定を使っているのにその帰無仮説の確率分布の正確な定義を述べることができない場合には「この人は科学的な考え方ができていない」と厳しく評価されるべきだと思います。**私個人**がこういうことを言っても意味がないかもしれませんが。

タグ：統計

posted at 15:58:09

#統計で、Fisher's exact test の帰無仮説の確率分布の定義を正確に述べなければいけなくなった人は、分割表

a b
c d

において、「a+bとa+cは常に一定て揺らがないと仮定します」と言うことが強制されるわけです。たとえa+bまたはa+cが揺らぐ実験計画の場合であっても。これはとてもよいことです。

タグ：統計

posted at 16:00:14

#統計「Fisher's exact testは保守的だから問題ない」と言うだけですませるのではなく、常に繰り返し、実験計画に合わない帰無仮説を採用している事実を言わせることはとても大事なことだと思います。

Fisher's exact testと言うだけでそれが何なのか知っている人は世間一般では少数派なのですから。

タグ：統計

posted at 16:02:06

#統計以上では繰り返しの数値実験で状況を個人的によく知っているFisher's exact testを例に挙げて説明しましたが、他の場合でもすべて同様です。帰無仮説として採用されている確率分布が実際には何であるかはそれなりに非自明な問題なのできちんと説明させるべき。そうした方が社会的に好ましい。

タグ：統計

posted at 16:04:51

#統計余談。Fisher's exact testの設定のように

a b
c d

のa+b+c+d=n, a+b, a+cの3つが一定だと仮定すると4つのa,b,c,dで自由に動けるのは1つだけになる。その1つとしてaを採用したとしましょう。このときさらに帰無仮説として独立性の仮定を課すとaの分布が一意に決まる。これが所謂超幾何分布。

タグ：統計

posted at 16:15:24

#統計超幾何分布という専門用語を使うと何か恐ろしいもののように感じる人もいるかもしれませんが、「袋の中に赤い玉と白い球がそれぞれ〇〇個と△△個入っています。このときその袋から無作為に××個の玉を取り出したとき、赤い球が□□個になる確率は？」という話なので典型的な高校レベルの数学。

タグ：統計

posted at 16:18:03

#統計で、超幾何分布と呼ばれる理由は累積分布函数が超幾何函数で表わされるからです。

ja.wikipedia.org/wiki/%E8%B6%85...

私は最初その公式を #Julia言語で使うためにPythonライブラリを利用しました。しかし、試してみると遅い。結局、素直に初等的な計算法を採用しているDistributions.jlを使いました。

タグ： Julia言語統計

posted at 16:20:30

この余談で言いたいことは大したことではなくて、 #Julia言語からPythonライブラリを使えば(まるでJulia言語の機能に見える感じで簡単に使える)、超幾何函数も簡単に計算できるということを紹介したかっただけ。ライブラリが豊富というのは確かにとてもありがたいことです。

タグ： Julia言語

posted at 16:22:24

歩行者は右側通行 @JikanBae

PyCallでPythonが使えるけど、それ以外にも github.com/JuliaInterop を見ると #Julia言語から呼び出せる言語は多岐にわたることがわかる。C++、Java、Objective-C、R、Matlab、Mathematica...。僕がこれまで使ってきた言語にはだいたい対応しているので、とても良い。

タグ： Julia言語

posted at 16:23:03

Painleve numericalを検索すると色々見つかりますね。

タグ：

posted at 16:40:32

Mark-N @masatokun_markn

@genkuroki 採択された場合、それがほとんど意味をなさないので帰無仮説と呼んだのだと思います。

タグ：

posted at 17:12:54

twitter.com/dsuke_kato/sta...

plt[:hist](X)

などの :hist は単なる Symbol です。Pythonでplt.histと書いていたのをplt[:hist]と書けるようにしているだけ。深い意味はないです。

Symbol のもっと深い使い方については
bicycle1885.hatenablog.com/entry/2015/08/...

#Julia言語

タグ： Julia言語

posted at 17:29:00

#Julia言語たぶんPythonユーザーはJuliaでもa[:b]ではなくa.bと書けるようにして欲しいと思うのですが、v1.0からはそういうことが可能になるらしいです。

qiita.com/yatra9/items/0...
のうしろの方を参照。

個人的にはPythonライブラリをより楽に使えるようになることはありがたいです。

タグ： Julia言語

posted at 17:33:26

#Julia言語
x = :abc はSymbol (コンパイラが扱う「1つの記号」を意味する文字列)で、y = :(a ? b : c) はExpr (コンパイラが扱う式)になります。typeof(x), typeof(y)やdump(x), dump(y)で確認するとよいと思います。Meta.show_expr(y) とするとS式表示で少し見易くなります。

タグ： Julia言語

posted at 17:41:51

Daisuke KATO @Dsuke_KATO

@genkuroki typeofで:(x+1)を調べたらExprと出てきたのでそう思ったのですが、確かに:xはSymbolでした。いつも助かります。

タグ：

posted at 18:00:39

余談続き。で、Python SymPyで超幾何函数の名前は

hyper

でした。geometric と function はどこに行った！ 😅

docs.sympy.org/latest/modules...
Gauss以外の一般超幾何函数 pFq を扱えます。

タグ：

posted at 18:52:13

#Julia言語以前よりバージョンアップされたv0.6.2の基本性能を知りたければ、これを読むと良さそうです。よく読まれている時代遅れのブログ記事を読んでも現在のことはわからない。

An Updated Analysis for the "Giving Up on Julia" Blog Post tk3369.wordpress.com/2018/02/04/an-... @wordpressdotcomさんから

タグ： Julia言語

posted at 19:01:31

UFO教授 (藤木文彦 Fumihiko @UFOprofessor

#Julia言語あとこれの最近のコメントも↓
discourse.julialang.org/t/has-anyone-s...

タグ： Julia言語

posted at 19:05:26

@genkuroki 「帰無仮説」って、なんかもっと、分かりやすい呼び名はありませんかね？言ってるほうも混乱するし、聞いてるほうも、1回2回では分からない。

タグ：

posted at 19:09:47

Scilabで検算するマンからPythonで検算するマンになり、Juliaで検算するマンになる

タグ：

posted at 19:45:54

#統計

「帰無仮説」という用語を使用することよりも、「帰無仮説の中身である確率分布を正確に説明しなくてよい」「〇〇検定を使ったと言えば、帰無仮説の確率分布について説明しなくてよい」という慣習自体が有害なのだと思っています。

この慣習を壊すと困る人達が存在すること自体が問題。

タグ：統計

posted at 19:48:26

scilabとoctaveユーザーに限っては「 #Julia言語に引っ越した方がよい」と言うことについて結構自信がある。私自身がそういう引っ越しを半年ちょっと前に行って非常によかったと思っています。

タグ： Julia言語

posted at 19:57:23

これはホントにそうなので計算機としてのJuliaの便利さに震えてほしい

タグ：

posted at 20:11:40

計算機としてのJuliaは非プログラマにとっても使いやすいと思う

タグ：

posted at 20:12:10

ceptree @ceptree

古典と言われるような小説の話をすると、教養のために古典を読んでおきたい、という人がいるんだけど、教養のために古典を読んでも感動は失われてるのでは？と思ってしまう。

タグ：

posted at 21:00:37

非公開

タグ：

posted at xx:xx:xx

twitter.com/takuya_qiita/s...

#Julia言語素晴らしいです！

せっかくなのでGIFアニメを作成しました。PyPlot＋matplotlib.animationで90秒かかりました。

このGIFアニメを作成するために使ったJupyter notebookが
nbviewer.jupyter.org/gist/genkuroki...
で公開されています。 pic.twitter.com/tQqqxO9PMI

タグ： Julia言語

posted at 21:41:08

#Julia言語 Plots gr()版です。14秒かかりました。PyPlot + matplotlib.animation を使うよりもずっと速いです。そして、できあがったGIF動画のサイズも小さい。

GR は速いPythonでも使えるようですが、私自身は使ったことがりません。
gr-framework.org/julia.html pic.twitter.com/MZxsfSLABd

タグ： Julia言語

posted at 21:44:20

Tamas Gal (Tom) @tamasgal

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

Thanks Tom, this is a nice follow-up! Btw in all these #Python vs #JuliaLang comparisons people tend to forget that in Julia you have no drawbacks when using custom types. Try to pull in some custom classes and see how far you get with numba or even Cython tk3369.wordpress.com/2018/02/04/an-...

タグ： JuliaLang Python

posted at 21:45:55

Juliaのビルドは時間がかかるんじゃ

タグ：

posted at 22:04:22

twitter.com/cometscome_phy...

うちも家庭内マインクラフト体制。サーバーを立ち上げると複数人で遊べる。面倒なのでHamachiを使って繋げている。

パソコンでマインクラフトをやるとキーボードの扱いはすぐに上達する。

複数人で遊ぶと「どこに行った？座標を教えて！」とか言える。座標の有効性を知る。

タグ：

posted at 22:09:41

セルフ執事 @SF_yomi

ちなみにJulia本体だけのビルドだとRyzen8core16Tで10分くらい。

タグ：

posted at 22:10:59

マインクラフトの使い方がYouTubeにたくさん出ているらしく、チート可にしておくと、

/weather clear

とかを使い始める。

パソコンを子供に使わせたい方針の家庭なら、パソコン版のマインクラフトも買う価値があると思う。

サーバー立ち上げは最初の一回目は結構面倒。

タグ：

posted at 22:15:49

マインクラフトをクリエイティブモードで遊んでいても、モンスターが出る設定のままだと、村を偶然発見してしまったせいで、夜になって、村がゾンビにおそわれて全滅とかになったりする。湧き潰しは大変。

サバイバルモードだと簡単に死ぬ。

タグ：

posted at 22:38:40

Paul Painlevé @Paul_Painleve

"Funktionentafeln" by Jahnke and Emde has greatly influenced Wolfram Mathematica
www.stephenwolfram.com/publications/h... twitter.com/iconjack/statu...

タグ：

posted at 22:58:35

scilabとoctaveのユーザーの中には「本当はmatlabを使いたいのに」と思っている人がいるかもしれませんが、Julia + Jupyter notebook (+ Python + R)の環境に引っ越せば、matlabを使えている人達をうらやましいと思うことが全然無くなります。

タグ：

posted at 23:01:37

Fermat's Library @fermatslibrary