黒木玄 Gen Kuroki(@genkuroki)/2021年01月25日

教員に聞かない方が良いやつ。
デタラメを丁寧に刷り込まれるから。

＃超算数　＃掛算 twitter.com/yueravit/statu...

タグ：掛算超算数

posted at 23:51:42

他のデータ分析系のツール(PandasやR)はちゃんと使ったことがないので比較してどう、みたいな事が言えないのが残念。
ただ、テーブルからデータを抜いて加工、みたいな処理って、いろんなテーブルに似た操作をするからメタプログラミングが楽しそう。その点はきっと有利なんじゃないかな。
#Julia言語

タグ： Julia言語

posted at 23:51:04

とまあ、いろいろ言ったけど、数時間触ってみたら、普段やりたいことは大部分できるようになった気がする。手に馴染んだらかなり使いやすいんじゃないかな。ただ、コードもデータも小さい割に、毎回数秒待たされるので、その点は改善希望かな。#Julia言語

タグ： Julia言語

posted at 23:51:04

特定の列について値がmissingの時に0に更新する、みたいなupdateも簡単な構文がわからなくて、新たにベクトルを作ってテーブルに列付加してrenameして、みたいにちょっとぎこちない感じ。これも調べ方が悪いのかも。#Julia言語

タグ： Julia言語

posted at 23:51:03

複数列の情報を入力として新しい列を追加するところは少しハマった。テーブルのjoinもjoin時にキーを指定できなくて、テーブルのキーでしかjoinできなかった。今回は支障なかったけど、場合によってはキーを付け直した別のテーブルを作らないといけないのかな？調べてきれてないだけかも。#Julia言語

タグ： Julia言語

posted at 23:51:03

pythonのPandasに似ているツールだけど、かなり速いらしい。それは良いと早速インストールした。まあPandas使ったことないんだけど。
チュートリアルがかなり親切で、簡単な使い方(CSVからテーブルを作って、列を絞って、行を絞って、集計する、くらい)はすぐできた。#Julia言語

タグ： Julia言語

posted at 23:51:03

JuliaDBというライブラリを使ってみたけど、なかなか良さそう。
CSVで落とした二つの表を加工して比較したかったのだけど、Excelではちょっと面倒だった。
それでDBに入れてSQLを書こうと思ったけど、それはそれで大袈裟だし、Juliaで何かできないかと探したら見つけたのがJuliaDB。#Julia言語

タグ： Julia言語

posted at 23:51:02

Akinori Ito @akinori_ito

本当に全部書き直すならJuliaを使うべきだったけど一部だけ書き換えだったからなあ

タグ：

posted at 23:20:33

Akinori Ito @akinori_ito

Pythonで30分かかる計算を一生懸命Dで書き直したら5秒で終わった

タグ：

posted at 23:17:07

@tsatie ここに答えが書いてあった。

julia 1.6の方で

julia> ENV["JUPYTER"] = ""
julia> ]
pkg> add IJulia
pkg> build IJulia
pkg> バックスペース
julia> using IJulia
julia> IJulia.JUPYTER
julia> notebook()

してみても、ダメなんでしょうか？ twitter.com/tsatie/status/...

タグ：

posted at 23:16:39

@tsatie julia> using IJulia
julia> IJulia.JUPYTER

の出力結果を見せて下さい。見せたくない部分があれば伏せ字にしてよいです。

タグ：

posted at 23:11:32

@tsatie げげげ、そういうことを勝手にやったのか？

大丈夫かどうか、私はわかりません。

IJulia.jl の deps/build.jl の中身を読まないとわからない。 twitter.com/tsatie/status/...

タグ：

posted at 23:10:11

@tsatie ②③への答えがYesということは、疑うべきところを別にしなければいけないことがわかりました。

④JuliaをJupyterでどのようにして使っていますか？

julia> using IJulia
julia> notebook()

ですか？

タグ：

posted at 22:55:50

@tsatie おそらく①の問いには記憶が残っていないせいで答えることができないのだと思います。記憶は信用しちゃダメ。スクショを残すとか、そういう工夫が結構大事。 twitter.com/tsatie/status/...

タグ：

posted at 22:51:49

@tsatie ERROR: UndefVarError: IJulia not defined は using IJulia を正常に実行できていれば出ないはずのエラーメッセージなので、using IJulia を忘れたか、正常に実行できていないかのどちらかだと推測しました。

タグ：

posted at 22:50:12

@genkuroki ②③はその通り。Yesです。

タグ：

posted at 22:49:51

てる @eluLLLelu

「Julia言語以外だとPythonとFortranしか使えません」と言うと同業者は「まあ」と言う反応ですがそれ以外の方は「Fortran！なんであんな古い言語を！」と言われます。心外甚だしいです。

タグ：

posted at 22:48:18

@tsatie ええと、Yes/No で答えられる質問にはまず Yes/No で答えて欲しいです。

①Julia 1.6でusing IJuliaを忘れていたんですよね？

②そして、1.6でも忘れずにusing IJuliaしたら、IJulia.JUPYTERが表示されたと？

③その表示結果は1.5のそれと同じだったんですね？ twitter.com/tsatie/status/...

タグ：

posted at 22:47:34

てる @eluLLLelu

自分の周りではJulia言語を使用する人が少しずつ多くなっているようで良い傾向だと感じています。

タグ：

posted at 22:46:35

@tsatie using IJulia を忘れていませんか？

タグ：

posted at 22:34:24

1.6だとエラーになりました。で1.5.3で表示されるpathがENV[JUPYTER] = " " の中身か？という仮定の元実行して其れからaddとbuildしてusingしたら無事にIJulia.JUPYTERの結果が同じになりました♬ これでいけるかも♬ twitter.com/genkuroki/stat...

タグ：

posted at 21:42:05

@genkuroki 1.6の方は
julia> IJulia.JUPYTER
ERROR: UndefVarError: IJulia not defined
Stacktrace:
[1] top-level scope
@ REPL[2]:1
なんとエラーです… 此れは… 1.5.3と同じものを仕込めば良いと？

タグ：

posted at 21:10:17

くちなし @kuchinashi74

統計学者、プラグマティストとしてのナイチンゲールはかなり知られるようになってきたけど、茨木保『ナイチンゲール伝』(マンガ)を読むと、狂気を抱えた人間としてのナイチンゲールにも触れられる。壮絶。www.amazon.co.jp/%E3%83%8A%E3%8...

タグ：

posted at 20:51:08

@tsatie 訂正 ❌Ijulia ⭕️IJulia

タグ：

posted at 20:21:03

@tsatie IJulia.jlのバージョンが同じということは

julia> using IJulia
julia> Ijulia.JUPYTER

の結果も同じですよね？ twitter.com/tsatie/status/...

タグ：

posted at 20:20:13

yudai.jl @physics303

julia（に限らないと思うが）のdatafarameで
describe(df)で最大・最小・平均・中央値・データ型・欠損数わかるの優秀過ぎでは？

タグ：

posted at 19:26:02

@tsatie ①julia 1.5と1.6で使っているIJulia.jlのバージョンは等しいか？

pkg> st IJulia

で確認可能。等しいなら、どうしてうまく行かないかが不思議。

等しくないなら↓

②以下の結果は1.5と1.6で等しいか？

julia> using IJulia
julia> IJulia.JUPYTER

これも等しいならさらに不思議。 twitter.com/tsatie/status/...

タグ：

posted at 19:20:15

なるほど。一寸調べて試してみないとな。ところでこのenvの現在の設定はどないしたら分かるんやろ。あとは何故1.5の方は何もせずに動いてるのやろ... twitter.com/genkuroki/stat...

タグ：

posted at 18:27:16

@tsatie julia v1.6.0-beta1 がどんなに動いていても、さらにv1.6.0-beta1でIJulia.jlのadd, build, precompileがどんなにうまく行っていても、

julia> ENV["JUPYTER"] = ～
pkg> build IJulia

の設定を失敗していると、jupyter側でJulia 1.6.0-beta1がkernel deadになります。

同じことの繰り返し😭 twitter.com/tsatie/status/...

タグ：

posted at 18:08:33

yudai.jl @physics303

juliaで

img = load("hogehoge.png")

したあとに，r,g,b要素を取り出したかったら，それぞれ

red.(img)
green.(img)
blue.(img)

とするのね，全然分からなくてだいぶ悩んでしまった．

タグ：

posted at 17:48:23

非公開

タグ：

posted at xx:xx:xx

@EZX2FOFxVpvStIK おお！反応がちょっと遅れてしまいましたが、動画が面白いです！

中心極限定理による近似がよくない場合のアニメーションも作るとさらに楽しくなると思いました。

左右対称に近くておとなしめの分布だとものすごく速く中心極限定理が効いてくるのですが、そうでない場合の知識が結構重要。

タグ：

posted at 17:34:17

@tsatie 1.6.0-beta1で

pkg> build IJulia

すると、Jupyter側のメニューには

Julia 1.6.0-beta1

と表示されるようになります。

1.5の設定と違いことをやっていると、kernel dead の嵐になります。

そして、1.6.0-beta1でkernel deadの嵐になっているんですよね？

記憶を決して信用しないが基本。 twitter.com/tsatie/status/... pic.twitter.com/WOoM7RvPFp

タグ：

posted at 17:23:17

@tsatie 例えばWindowsで

C:\Anaconda3\Scripts\jupyter-lab.exe

を使っているなら、

julia> ENV["JUPYTER"] = raw"C:\Anaconda3\Scripts\jupyter.exe"
julia> ]
pkg> add IJulia
pkg> build IJulia

としたjuliaをjupyterで使えるようになります。

ここで失敗するとjupyterでkernel deadの嵐になる。

タグ：

posted at 17:10:39

@tsatie 私の場合には、Juliaが入れてくれた

~/.julia/conda/3/Scripts/jupyter-lab.exe

を常に走らせておいて

localhost:8888/tree

にブラウザから直接的にアクセスしています。

juliaで using IJulia; notebook(～) とすることは皆無。それだと複数のサーバーを走らせてがちになりやすい。

タグ：

posted at 17:06:43

@tsatie あと、jupyterへのブラウザからのアクセスが、localhost:8888 ではなく、localhost:8889 や localhost:8890 になっているということは、Jupyterサーバーが2つまたは3つ重複して走っていることになります。

何か変なことをやっている可能性があります。

タグ：

posted at 16:59:04

@tsatie 使用しているJupyterサーバーと、

julia> ENV["JUPYTER"] = ～
pkg> build IJulia

での設定が食い違っていると、kernel dead が繰り返されます。もろにその症状に見えます。

そのトラブルには私もはまりました。

タグ：

posted at 16:55:32

@tsatie 本当に同じ設定で同じように動かしているなら、1.5と1.6は同じようにJupyterで使えているはずです。

そうなっていないということは、どこかで違うことをやっていることが確定していると考えてよいわけです。

自分の判断を証拠に基いて疑うことは基本。 twitter.com/tsatie/status/...

タグ：

posted at 16:53:14

@tsatie Anacondaを入れてつかっているか？

への回答は

はい、使っています

なわけですか？

Yea, No, or Wakaranai? twitter.com/tsatie/status/...

タグ：

posted at 16:50:07

@tsatie 理解せずに「やり方」の暗記だけで処理していると、トンデモないことをやりがち。

localhost:8890 となっているだけで、相当に怪しい感じ。

タグ：

posted at 16:45:04

@tsatie 私が疑っているのは、1.5の方の設定と異なる設定を1.6の方でしているのではないかということ。

記憶に頼るとよくそれをやらかします。

記憶は信用しない。基本。 twitter.com/tsatie/status/...

タグ：

posted at 16:43:48

@tsatie localhost:8890 となっているということはおそらく、jupyterが2つ以上動いています。

一度、jupyter関係のプロセスを全部killした方がいいかも。 twitter.com/tsatie/status/...

タグ：

posted at 16:41:54

@tsatie Jupyterとして、Juliaが自動的に入れてくれたものではなく外部のAnacondaのJupyterを使っている場合には、

julia> ENV["JUPYTER"] = raw"Anacondaのjupyterバイナリの絶対パス"

と適切に設定してから

julia> ]
pkg> add IJulia
pkg> build IJulia

とする必要があります。

タグ：

posted at 16:35:49

[... NotebookApp] Kernel started: 93e91f20-1da9-4951-8d96-655dba6928c3
[... NotebookApp] 404 GET /nbextensions/nbextensions_configurator/config_menu/main.js?v=20210125162941 (::1) 10.46ms referer=localhost:8890/notebooks/Unti...
だと…

タグ：

posted at 16:33:40

@tsatie ありゃ？結局、だめだったんですね。

やはり、楽をしたければ、曖昧さのない日本語でやりとりした方が得だと思いました。

私がYes or No?と書いた質問やその他のコメントに答えが書いてあります。続く twitter.com/tsatie/status/...

タグ：

posted at 16:32:51

Kernel Restarting
The kernel appears to have died. It will restart automatically.
となりjulia-1.6betaが動作しない問題… #Julialang 何が不味いのやろか… JupyterNotebook には赤に白抜きでDead kernelと… あらまぁやん。1.5.3の方はちゃんと動いてるなぁ… 何やろ...

タグ： Julialang

posted at 16:21:00

はとば @hatobairo

計量経済の分析環境がRからpython・・・ではなくJuliaへ、急速に変わりつつある

タグ：

posted at 15:39:01

#統計実は、以上の「帰無仮説 p = 0.5」と「帰無仮説 |p - 0.5| < ε」の話は、このスレッドの最初の方で触れた次の考え方を前提にすれば重要性の低い話題になる。

* 科学研究において統計的検定は(お墨付きを得るための道具ではなく)「学習の手段」である(Fisher, Pearson)。

タグ：統計

posted at 15:29:00

#統計個人的な意見では、一般論としての極限の交換不可能性に神経質になるのは数学の理解において有害であり、極限の交換可能性を証明する前にもっともらしい計算をできない人は数学的に無能だと思う。

しかし、極限の交換不可能性は現実において重要な意味を持っている場合があるので要注意！

タグ：統計

posted at 15:22:32

#統計仮に真の表の出る確率が0.501ならば「帰無仮説 p = 0.5」はサンプルサイズn→∞で必ず棄却されます。

しかし、「帰無仮説 0.495 < p < 0.505」はn→∞とすると決して棄却されないようになります。

「帰無仮説 |p - 0.5| < ε」のP値について、ε→0とn→∞の極限は交換不可能なので注意が必要。

タグ：統計

posted at 15:18:33

産婦人科医@成田市 @syutoken_sanka

@tsatie 私の発言を読んでいれば、現時点で私が何を言っているか何も理解できてなくても、ミスリードされずに済むと思います。

統計学入門の教科書を色々読めば、私がミスリーディングだと指摘している解説のどれかに必ず出会うと思います。そのときに私が何を言っていたか思い出せれば大丈夫。

タグ：

posted at 15:07:50

私も打ちます twitter.com/invesdoctor/st...

タグ：

posted at 15:05:40

@tsatie 教科書を読んでいるレベル以上を前提にしているから、「教科書を鵜呑みせずに、自分の頭で考えるべきだ」と言えるわけです。

文字通りなーんにも理解していない人は、まずは、教科書を読んで、ミスリーディングされて批判されるレベルまで登って来ないとダメ。

タグ：

posted at 15:01:47

@tsatie 統計学入門の教科書を読んで十分に理解した以上の人達以外には理解できないはずの話をしています。

タグ：

posted at 14:58:43

ごまふあざらし(GomahuAzaras @MathSorcerer

@tsatie 通常、「2つのグループの母平均は等しい」という仮説の検定では、その仮説が棄却された方が面白い場合が多いです。

この辺は常識に属すことです。

タグ：

posted at 14:57:23

良いかも twitter.com/genkuroki/stat...

タグ：

posted at 14:55:38

数学は、体育や音楽や美術に近い科目で、自分の力で論理的推論・計算・試行錯誤をし続けた人だけが理解できる分野です。

数学でそうしないのは、自分で体を動かさず、自分で楽器を演奏したり歌ったりせず、自分でデッサンや彫刻の練習をしないのと同じ。

向き不向きというか好みの違いはあると思う。

タグ：

posted at 14:44:52

#統計「表が出る確率はぴったり0.5である」という仮説の代わりに「表の出る確率は0.49以上0.51以下である」という仮説の検定をどのように行えばよいかを自分で考えて、コンピュータで実装して遊んでみることは非常に有益な勉強の仕方。

入門的教科書に従うのではなく、自分の頭で考えることが大事。

タグ：統計

posted at 14:38:20

#統計数学の応用時に、p = 0.5 を文字通りの意味で「pがぴったり0.5に等しい」と解釈しなければいけない、としてしまうとほとんどの科学は瞬時に崩壊してしまうと思います(笑)

そのような非常識な考え方を最初からしないように気を付けないとさすがにまずいです。

数学＋科学的常識は非常に重要。

タグ：統計

posted at 14:34:33

#統計例えば「帰無仮説p=0.5」は現実への応用時には「帰無仮説 |p - 0.5|<ε」のようにゆるく解釈される必要があります。後者のゆるい仮説のP値のε→0の極限で前者のぴったり仮説版のP値が得られるので、実用的には計算が易しい前者のぴったり版のP値の方を使うわけです。

タグ：統計

posted at 14:29:35

#統計理想化された数学的状況を現実に応用する場合には、そうだと断っていなくても、各数値は微小な違いを許容するものだと解釈されるのが科学的な常識だと思います。

タグ：統計

posted at 14:27:21

#統計統計的検定やP値については、どこかで聞いたことのある自分の頭で考えた気配が見られないくだらないイチャモンが広く普及しています。

例えば「帰無仮説p=0.5が現実にぴったり成立している可能性はないので、その帰無仮説は無意味である」の類に頭の悪そうなイチャモンはよく見る。

タグ：統計

posted at 14:24:25

#統計「表が出る確率はぴったり0.5である」の代わりに「表の出る確率は0.5±εの間にある」(ε>0)という仮説の検定を自分で適切に作れば、ぴったり版の仮設検定にP値は後者のP値のε→0での極限に一致することも分かります。

実用的には計算が楽なぴったり版P値が便利なこともわかります。

タグ：統計

posted at 14:22:00

#統計「表が出る確率はぴったり0.5である」という仮説が現実のコインについて完璧に正確に成立しているはずがないので、その代わりに「表の出る確率は0.49以上0.51以下である」という仮説を扱うことは自然。普通はそう考えるものでしょう。

普通に考えるべきことをやらずに理解が進むはずがない。

タグ：統計

posted at 14:18:54

#統計あと、コイン投げでの「表の出る確率はぴったり0.5である」という仮説の検定法については、統計学入門の教科書に書いてありますが、「表の出る確率は0.49以上0.51以下である」という仮説の検定法を自分で考えてみるのも良い練習になると思います。

タグ：統計

posted at 14:14:10

#統計「正規分布である」という仮説の検定法も既知のものが色々有りますが、例えば「左右対称な分布からどれだけ離れているか」を基準に検定を作るにはデータのskewnessを検定統計量に採用するとよいです。P値はモンテカルロ法で求めればよい。

タグ：統計

posted at 14:10:20

#統計例えば、2つの正規分布で構成されたモデルにおいてWilks' theoremを使った「2つの平均は等しい」という仮説のχ²検定を作ることは容易に可能です。

タグ：統計

posted at 14:07:48

ごまふあざらし(GomahuAzaras @MathSorcerer

#統計例えば「2つのグループの母平均が等しい」という仮説の検定法はWelchのt検定など色々ありますが、自分で別の検定法を定義して、コンピュータで実装して性能がどの程度か確認するというようなことをやると理解が深まります。

検定のモデル依存性や近似の良し悪しの問題も見えるようになります。

タグ：統計

posted at 14:05:15

こういうの見ると微分幾何学のタスクをやりたくなる． twitter.com/genkuroki/stat...

タグ：

posted at 14:04:27

#統計統計学に限らず、数学の応用では、誰か偉い人達が決めたらしい「やり方」を受け入れるだけの勉強の仕方をするとまともな理解に至ることは絶望的になる。

「あなただったらどうするか？」というスタイルの問題に悪くない解答をできるようになることを目指さないとつらい。

タグ：統計

posted at 14:01:36

#統計有り得るデータ全体の集合の中に検定統計量という目盛りを導入したとき、モデル内標本分布について統計検定量が、実測データから得られた検定統計量の値以上になる確率が「モデルのデータに関するP値」になります。

目盛りの導入の仕方には一般に無数の選択肢がある。

タグ：統計

posted at 13:57:19

#統計統計学入門の教科書にはない検定法を自分で作れば、理解が深まると思う。特に、

* 検定したい仮説からの乖離の大きさをデータを使ってどのように測るかを決めることが、検定統計量やP値の定義を決定することになる。

という理解が得られます。さらにnuisance parametersのウザさも分かる(笑)。

タグ：統計

posted at 13:51:50

#統計統計学入門の教科書に書いてあるP値の計算の仕方を受け入れるだけの勉強の仕方だと、

　自分でどのようにP値の計算法を作ったら良いのか分からない

となってしまいます。P値は統計ソフトが計算してくれるもので、自力で制御不可能なものになる。

それだと理解しているとは言えない。

タグ：統計

posted at 13:44:37

#統計「P値は分かりにくい」は文脈によらず、ある程度正しいと思う。

おそらく、統計学入門の教科書で「やり方」が天下り的に与えられているP値の計算法だけをどんなに勉強してもまともな理解には到達しないと思う。

自分で検定統計量を定義して、どういう性質を持つかを調べる練習が必要だと思う。

タグ：統計

posted at 13:32:44

#統計仮に「棄却されない」を「自信を持って否定できない」という意味だと解釈できそうな場面においては、信頼区間は「このデータによって自信を持って否定できないモデルのパラメータの範囲」を意味することになる。

パラメータ付きモデルの妥当性も当然問題になることも、この見方ならば明らか。

タグ：統計

posted at 13:24:40

#統計「信頼区間は分かりにくい」は統計学入門の教科書の説明だと確かに正しいと思う。

しかし、信頼区間=「検定で棄却されないパラメータの範囲」という定義なら、誤解するのが難しいほどクリアだと思います。 twitter.com/genkuroki/stat...

タグ：統計

posted at 13:19:07

#統計『統計学入門』東大出版会1991のような、おかしな伝統的説明が多数含まれている教科書が30年以上生き残って来ていることは、この本を使って教えている側にも真っ当な批判精神または批判のための教養が欠けていたことを示唆していると思う。

みんなでこれからもっと頑張らないとまずい。

タグ：統計

posted at 13:12:37

#統計どんなに「やり方」を覚えても、統計ソフトの「使い方」を覚えても、チョー算数の「くもわ」や「きはじ」と同様で、統計学のまともなユーザーにはなれないと思う。

教科書に書いてあることもミスリーディングな場合があることに注意して、論理的に理解することが大事だと思います。

タグ：統計

posted at 13:07:41

#統計上でミスリーディングな教科書の典型例として挙げた『統計学入門』東大出版会1991も完全否定されなければいけない教科書__ではない__と思っています。

随所に具体的な良い解説が含まれています。

ミスリーディングだが良い点もある教科書については、自分で訂正しながら読むと良いと思います。

タグ：統計

posted at 13:04:12

#統計検定、尤度、信頼区間、などの基本概念についてことごとくミスリーディングな解説をしている教科書が多い。

だから、統計学入門に適したミスリーディングでない教科書はないと思う。少なくとも私は1冊も知らない。(難しめの本ならミスリーディングでない本はある。)

タグ：統計

posted at 13:04:11

#統計信頼度1-αの信用区間の1つの定義の仕方は(別の立場の定義も可能)、「モデルM(θ)がデータから有意水準αの検定で棄却されないパラメータθの範囲」です。コンピュータで実装するときにこれを知っていると便利。

パラメータ付きのモデルの検定を考えれば信頼区間の概念が自動的に出て来る！クリア！ twitter.com/genkuroki/stat...

タグ：統計

posted at 12:52:34

#統計 95%信用区間の95%はモデル内の標本分布で測った確率で、95%信用区間(確信区間)の95%はモデル内の事後分布で測った確率です。

どちらもモデル内での確率。分かりにくいのはベイズ統計における事後分布で測った確率の方です。信頼区間の理解は相対的にずっと易しいです。

タグ：統計

posted at 12:45:41

バッチ正規化にも正則化のような効果があるかもしれないけど，やっていることは正規化なので，あくまで「バッチ正規化」であると認識しておくと区別できていいかなと思いました。実際，「バッチ正則化」とググっても検索結果に出てこないと思います。

タグ：

posted at 12:43:59

バッチ正規化は，この論文が最初だと思います。この論文では，本書でご指摘いただいている通り，バッチ正規化を用いることでdrop outのような正則化効果が得られるとしています。
arxiv.org/pdf/1502.03167...

タグ：

posted at 12:43:59

正則化（regularization）は該当箇所の後で述べられている通り，正則化項を加えることでパラメータの値が過度に大きくならないようにする処理で，バッチ正規化はミニバッチ単位で平均0, variance1になるよう変換することで，正規化と正則化ではやってることが異なります。

タグ：

posted at 12:43:58

インヴェスドクター @Invesdoctor

統計学を哲学する本，p159にある「バッチ正則化」なるものは，おそらく「バッチ正規化(batch normalization)」のことを言っていると思う。（以下，自分のためのメモです。）

タグ：

posted at 12:43:58

情熱大陸に出演されていた3人全員が、新型コロナウイルスワクチンを
「打ちます」
と即答。 pic.twitter.com/ZWKUgdFGJC

タグ：

posted at 12:36:29

#統計以下の主張はトンデモ

❌頻度主義の95%信頼区間の95%はその区間に真の値が含まれる確率だとよく誤解されているが、そのように解釈してよいのはベイズ主義の95%信用区間の95%についてである。

これ伝統的には多分定説(笑)

伝統的定説を語るとバカにされる場合の良い例になっていると思う。

タグ：統計

posted at 12:30:18

#統計以下の主張は誤り。

❌尤度はもっともらしさの指標である。

❌尤度は英語でlikelihoodであり、分かりやすい。

実際には、尤度=「モデル内でデータと同じ数値が発生する確率もしくは確率密度」はモデルのデータへの適合の良さの指標に過ぎません。

タグ：統計

posted at 12:26:46

#統計以下の言説には要注意

❌Neyman-Pearsonの検定の理論について、第1種の過誤と検出力の制御についてのみ説明して、事前に決めた有意水準に従って機械的に意思判断することについても説明しないことの背景には、Fisher流の検定との悪しき混同がある。

私はこれは極めて有害な言説だと思う。

タグ：統計

posted at 12:26:44

Y Tambe @y_tambe

空気清浄機にしても何にしても、みんな「コロナで一儲けしたろ」くらいしか考えとらんのでは？

タグ：

posted at 12:23:18

Y Tambe @y_tambe

つか、今、抗ウイルスとか除菌とかのテレビCM打ってる製品は「あかんやつ」と判断しといた方が無難。

タグ：

posted at 12:22:04

#統計ところが、高等教育を受けたように見える人であっても、豊田『瀕死本』をP値の問題点を鋭く指摘した本だとみなして、まともな本であるかのように扱おうとしていたりすることがある。

これは掛算順序問題ではお馴染みのパターンで、高等教育でのチョー算数問題が発生しているのだと思う。

タグ：統計

posted at 12:17:45

#統計シンプルなモデルでサンプルサイズを十分に大きくした場合の「頻度主義」と「ベイズ主義」の違いは、まさにそういう意味でのくだらない違いに過ぎません。その辺を豊田『瀕死本』は完全に無視している。

タグ：統計

posted at 12:12:11

#統計背景にある思想や対応する数学的な定義が全然違っている2つの量が、特定の条件のもとで実践的には無意味な違いを除いて(近似的に)一致するというようなことは統計学においては結構起こります。

数学的には一致するのに、背景にある思想が違うから全然別物だと言い張るのは無理です。

タグ：統計

posted at 12:09:21

#統計某大生協内書籍部で確認してみたら、豊田『瀕死本』twilog.org/genkuroki/sear... が置いてあった。

その本は、P値を使った統計分析をやめて、ベイズ主義での「仮説が正しい確率」を使うべきだと主張しているのですが、その「仮説が正しい確率」は近似的に対応するP値に一致する(笑)。

タグ：統計

posted at 12:05:40

#統計シンプルなモデルでは、頻度主義(←くだらない言い方)の信頼区間とベイズ主義(←くだらない！)の信用区間はサンプルサイズが十分大きい場合には近似的に一致してしまうことが多いのです。

数学的には近似的に一致することが分かっているのに、主義の違いで別物になるという考え方はおかしい。

タグ：統計

posted at 11:58:35

#統計 frequentist view とか Bayesian view という言い方を恥ずかしいと思わずに使えてしまっている現状は、20世紀の不幸な統計学史の産物に過ぎず、単に数学的な道具を科学的常識に合わせて合理的に使えば良いと考える立場から見ると、まったくくだらない話に過ぎません。

タグ：統計

posted at 11:55:18

#統計ベイズであろうがなかろうが、分析用に用いたモデルの現実における妥当性が非常に重要な問題で、95%信頼区間や95%信用区間の95%と言う数値の現実での推測における信頼性はモデルの妥当性で決まります。

頻度主義とベイズ主義の違いはモデルの妥当性の問題と比較すれば小さな問題に過ぎません。

タグ：統計

posted at 11:51:59

#統計伝統的な主観主義ベイジアンの言い分を素直に受け入れた人達は

* 頻度主義の95%信頼区間の95%は真の値がその区間に含まれる確率ではないが、頻繁にそのように誤解されている。

* ベイズ主義の95%信用区間(確信区間)の95%は真の値がその区間に含まれる確率になる。

と言います。デタラメ！

タグ：統計

posted at 11:49:14

残り40件のツイートを見る

#統計『統計学入門』での説明では、95%信頼区間の95%を単純に確率だと呼んではいけないかのように誤解してしまいそうですが(モデル内標本分布での確率になっている)、そのような説明が跋扈することに背景に、主観主義ベイジアン達によるベイズ統計に関するおかしな説明があります。 pic.twitter.com/ZzCYa2PuQ4

タグ：統計

posted at 11:44:26

非公開

タグ：

posted at xx:xx:xx

#統計例えば、新型コロナ関連の推定結果を信頼区間で示されたときに、その信頼区間が分析用のモデルにも依存していることが常識になっている社会とそうでない社会では、その区間推定に対する健全なチェックの圧力は全然違うものになると思われます。

信頼区間はモデル依存である点の強調は重要。

タグ：統計

posted at 11:40:45

#統計統計分析用のモデル内でのみ正しい確率の数値である95%信頼区間の95%を現実での推測に使う場合には、モデルの現実における妥当性にも注意を払う必要があります。

この点を学べなかった人は、95%信頼区間を示されたときに、どのようにそれを健全に疑えるのかが分からなくなってしまいます。

タグ：統計

posted at 11:37:34

#統計 95%信頼区間の95%は、モデル内の標本分布で測った信頼区間が真の値を含む確率(の近似値)です。

「確率」という言葉を堂々と使って構いません。

ただし、その「確率」はモデル内の標本分布で測った確率に過ぎません！

モデルが不適当なら信頼できない数値になる！ pic.twitter.com/eI9VwOq1sd

タグ：統計

posted at 11:33:34

#統計例えば、東京大学教養学部統計学教室編『統計学入門』 twilog.org/genkuroki/sear... の尤度と信頼区間の説明はひどいです。 pic.twitter.com/K0sUEXSwtZ

タグ：統計

posted at 11:33:31

何して遊ぼうかと迷うてます。まぁ「何でも」となるのだろうけど... 高校生やら大学生？当たりが数学を楽しむのに良さげな題材でJuliaらしいものって...と（遂に下の嬢も高校生... もう2年生になるのか... ）まぁ探しながら基本的なとこを浚いますけど twitter.com/genkuroki/stat...

タグ：

posted at 11:26:05

#統計多くの統計学入門の教科書における信頼区間に関する説明もかなりひどくて、信頼区間がモデルに依存していることを強調していないせいで、95%信頼区間の95%という数値がどのような場合に信頼できないものになるかを統計学入門者が知ることができないようになっています。

タグ：統計

posted at 11:15:53

@tsatie おお！それは素晴らしいです！

せっかくv1.6.0-beta1にも挑戦したのに使えていないのではないかと心配していました。

v1.6.0-beta1なら、それより前のバージョンと違って、

@ time using Plots
@ time plot(sin)

が全部で10秒程度で済むはず。

タグ：

posted at 11:11:45

#統計続き～、尤度はデータにモデルがどれだけフィットしているかの指標に過ぎないのに(データに無駄にぴったりフィットしているモデルはもっともらしくない)、尤度がもっともらしさを意味するかのように説明していたり、統計学入門の教科書の説明はミスリーディングな方が普通です。

タグ：統計

posted at 11:08:50

#統計せっかく第1種の過誤の確率や検出力といった「学習の手段」として重要な考え方について解説していてかつ、非科学的な機械的意思決定について説明していないのに、「FisherとNPの混同」というような悪しきちゃぶ台返しをしていたり、～続く

タグ：統計

posted at 11:05:39

ninomiya . @nmilog

初めて習う学生はアンダーラインしとくこと　『「尤度」は「もっともらしさ」だと説明している統計学入門の教科書は間違っています』 twitter.com/genkuroki/stat...

タグ：

posted at 11:04:44

#統計統計学用語としてのlikelihoodがもっともらしさの指標として不適切になる場合が多数あるので、その用語選択はものすごくミスリーディング。

likelihoodは統計モデルのデータへの適合度の指標に過ぎません。

「尤度」は「もっともらしさ」だと説明している統計学入門の教科書は間違っています。

タグ：統計

posted at 11:02:03

#統計私はMayoさんによる引用を見て、Neyman-PearsonのPearsonさんが「採択」(accept)「棄却」(reject)という強い意思決定を示唆する用語の選択は失敗だったと言っていたことを知りました。

個人的には、likelihoodという用語選択(おそらくFisherさんによる)もひどい失敗だったと思う。

タグ：統計

posted at 10:58:53

@genkuroki いやいや。解決しましたよ。1.5と1.6betaを同時に入手。安定板だろう1.5の方で先にIJulia導入（addとbuild）してそれは難なく済む。で其の儘1.6betaもと同じ事をしたら詰まった。でどうやって解決したか？はMacの再起動しただけ。あとは同じ手順でクリアでした。「困ったら再起動」テレビ叩くみたいな!

タグ：

posted at 10:55:12

こなみひでお @konamih

論文はこれ．リンクされたPDFで全文読めるが，この図とキャプションだけでも大体わかる．

“Go To Travel” Campaign and Travel-Associated Coronavirus Disease 2019 Cases: A Descriptive Analysis, July–August 2020
by Asami Anzai and Hiroshi Nishiura

www.mdpi.com/2077-0383/10/3...

タグ：

posted at 10:51:35

@tsatie 何を言っているかわかりません。再質問。

v1.6.0-beta1でadd IJuliaがうまく行かない？(Yes or No?)

Juliaと別に入れたAnacondaのJupyterを使っているのですか？それとも、初めてusing IJulia; notebook(～)としたときに自動的にJuliaがインストールしたものを使っているのですか？(Yes or No?)

タグ：

posted at 10:49:52

#統計このスレッドに書いたことについては、有害な言説の側が統計学入門という分野で広まっているように思えます。

特に統計学がお墨付きを得るための道具であるかのようにも聞こえる言説には強く反対して行く必要があると思う。

タグ：統計

posted at 10:47:38

こなみひでお @konamih

西浦教授が先日言及していた論文が公開されたとのこと．

「Go Toトラベル」感染者増加に影響か京都大学のグループ発表 | NHKニュース www3.nhk.or.jp/news/html/2021...

タグ：

posted at 10:47:05

（月末迄は濃厚接触者なので自宅待機中... ずっと雨で身体動かしてないので少し歩いてこようかな。Juliaもちゃんとなったみたいだし。）

タグ：

posted at 10:46:11

#統計統計学史的には、Fisher版検定とNeyman-Pearson版検定の思想の違いについて語ることもできるのでしょうが、現代の科学者達が、第1種の過誤の確率を低く抑えながら検出力を上げようとしてかつ、統計的検定による機械的な意思決定を否定する態度は極めて合理的で好ましいものだと思います。

タグ：統計

posted at 10:41:43

#統計ところが非常に困ったことに、科学者達が、検定を機械的な強い意思決定の道具とみなすことを拒否しながら、第1種の過誤の確率を低く抑えながら検出力を高くする検定の枠組みを講義することを、「FisherとNeyman-Pearsonの悪しき混同」のようにみなす言説が跋扈しているように見える。

タグ：統計

posted at 10:38:13

#統計統計学入門の講義をする人は統計学は専門ではなく、一般の科学者である場合が結構多い。

まともな科学者なら、検定を機械的な強い意思決定の道具とみなすことを拒否すると思う。そして、それと同時に、第1種の過誤の確率を低く抑えながら検出力を高くすることに合理性を感じると思う。

タグ：統計

posted at 10:38:12

#統計本当はベースになるモデルが正しいのに間違っているかもしれないと思ってしまう確率(第1種の過誤の確率)を低く抑えながら、有益な知見を得る確率(検出力)を最大化しようとすることは、統計的検定を「学習の手段」(by Fisher)として使いたい人なら当然考えたくなることでしょう。

タグ：統計

posted at 10:29:19

#統計 Neyman-Pearsonが整備した「第1種の過誤の確率を低く抑えながら、検出力を出来るだけ上げる」という考え方は、Pearsonさんが賛成しているFisherさんの「科学研究において統計的検定は『学習の手段』である」という考え方とも整合的です。

タグ：統計

posted at 10:29:17

#統計だから、Neyman-Pearsonの意味での検定が、前もって決めておいた有意水準に基く機械的な強い意思決定の枠組みであるかのように説明することは、統計学史的には不当な行為になると思われます。

不当行為を行なっている統計学入門の教科書は珍しくないと思う。

タグ：統計

posted at 10:22:17

#統計統計学の哲学者のMayoさんが好んで引用するNeyman-PearsonのPearsonさんの言葉によれば、Pearsonさんは「採択」(acceptance)、「棄却」(rejection)という強い意思決定を示唆する用語の選択は不適切であり、不幸な失敗だったと認めているようです。

errorstatistics.com/2017/11/19/eri... pic.twitter.com/UZjytNvZ2B

タグ：統計

posted at 10:20:00

#統計 Tarotanさんが正しくかつ常識的に指摘しているように、たった1度の実験で統計的に有意な結果が得られても、お墨付きが得られるわけではない。

これはベイズ統計を使っても同じことです。

タグ：統計

posted at 10:13:25

#統計さらにひどい誤解になると、統計的検定に限らず、統計学における他の手法でも【お墨付き】が得られると思うようになってしまう。そして【お墨付き】が得られる理由を知りたくなってしまったりする。

しかし、統計的検定も含めて統計学は【お墨付き】が得られる道具ではないのです。

タグ：統計

posted at 10:09:03

#統計ツイッター上でもちょっと統計に詳しい人が出て来て、「～を前提にするとと～は統計的に有意ですよ」のように言うシーンを見ることがある。

統計学の社会的権威や「統計的有意」という権威的な響きを持つ言い方などから、統計的検定でお墨付きが得られるかのように誤解しがちだと思う。

タグ：統計

posted at 10:06:36

#統計このスレッドの1つ目で引用したTarotanさんの発言や2つ目で引用したNeyman-PearsonのPearsonさんの発言に共通していることは、統計的検定をお墨付きを得るための手段ではないとしていることです。

PearsonさんはFisherさんの統計的検定は学習の手段であるという見方に賛成している！

タグ：統計

posted at 10:02:37

#統計統計学の哲学で有名なMayoさんは、検定についてFisherさんと論争していたNeyman-PearsonのPearsonさんの以下の言葉を繰り返し引用しています。

errorstatistics.com/2017/11/19/eri...
【最初から我々は、科学研究において統計的検定は「学習の手段」であるというFisher教授の見方を共有していた。】 pic.twitter.com/rAbUQQX9H2

タグ：統計

posted at 10:02:36

#統計大事な話題再掲

tarotan.hatenablog.com/entry/2020/07/...
【Fisher（1935a）の紅茶実験は～＜ある1つの実験の有意性検定で有意になったからといって，常識的に考えて，我々の紅茶論争は終わらないでしょ．科学での議論も，紅茶論争と同じですよ＞ということを伝えるための例になっている，と私は思います】 twitter.com/genkuroki/stat...

タグ：統計

posted at 10:02:34

Hideshi Akasaka @akasakahideshi

@musorami @genkuroki これが一番許せない。画一的な思考を植え付けて何がしたいのか。
中学生時代に感想を書けというテストで、バツを付けられた記憶は60過ぎても消えず、今でも間違ってなかったと思ってる。

タグ：

posted at 09:31:21

@tsatie v1.6.0-beta1でadd IJuliaがうまく行かない？

Juliaと別に入れたAnacondaのJupyterを使っているのですか？それとも、初めてusing IJulia; notebook(～)としたときに自動的にJuliaがインストールしてくれたものを使っているのですか？v1.6.0-beta1でのIJuliaの入れ方が変わる。

タグ：

posted at 09:15:22

非公開

タグ：

posted at xx:xx:xx

Qiita_Python @qiita_python

Julia日本語記事まとめ @julia_kizi

julia v1.5.3から始めるJupyter Notebook - qiita.com/doorei/items/4...

タグ：

posted at 02:31:06

新しい記事がQiitaにアップされました！qiita.com/doorei/items/4...👈

タグ：

posted at 01:46:36

smj_tcBt @smj_tcBot

julia v1.5.3から始めるJupyter Notebook
qiita.com/doorei/items/4...

タグ：

posted at 01:35:14

Josef Heinen @josef_heinen