黒木玄 Gen Kuroki(@genkuroki)/2020年12月01日

#統計こういう「主義」によらない手堅い知識を積み重ねた後に、手堅い知識と矛盾しないでかつ自分自身が合理的だと感じる「主義」について考えるのであれば良いと私は思います。

個人的な意見ではこういう経路をたどると「主観確率のベイズ主義」の出番が無くなったり、非常に稀になる。

タグ：統計

posted at 00:02:14

#統計尤度函数や事後分布の形が複雑になる場合を知っていると、最尤法やMAP法の数値計算が結構面倒なことにも気付きます。局所的に最大になるだけの点と真に最大になる点の区別が必要になる。「面倒だからベイズ法をMCMC法で数値計算した方が気楽かもしれない」という気分になるかもしれない。

タグ：統計

posted at 00:06:58

#統計あと、サンプルサイズnを実際の研究で得られるデータ以上に大きくしても、尤度函数や事後分布が全然単峰型になってくれない場合には、最尤法やMAP法よりもベイズ法の方が性能が優れている可能性も出て来ます(渡辺澄夫『ベイズ統計の理論と方法』)。

タグ：統計

posted at 00:09:53

#統計尤度函数や事後分布がたとえ単峰型にならなくても、サンプルサイズnを大きくして行くとその台(値が「ほぼ0」ではない点の集合)は小さくなって行きます。(単峰型にならない場合には細く広がったかたちになる)

尤度函数や事後分布の台のサイズは推測の収束具合の指標になっていることもわかる。

タグ：統計

posted at 00:12:57

#統計さらに、色々計算してプロットを続ければ、通常の信頼区間と対応するベイズ法での信用区間(事後分布の広がり方の要約の一種)が十分大きなnではほぼ等しくなる場合が多数あることにも気付きます。

タグ：統計

posted at 00:15:40

#統計尤度函数や事後分布の広がり方は推測の収束し具合の指標になっており、ある場合には事後分布の広がり具合で定義される信用区間と通常の信頼区間が近似的に一致することもわかるわけです。

これから、事後分布の広がり具合は、通常の信頼区間と同じように使えそうなことがわかる。

タグ：統計

posted at 00:18:59

#統計「定義が違っていても、実践的にありそうな状況では、近似的に一致する」というようなことは数学の解析学においては定番の結果です。純粋に数学的結果なので、誰にも否定不可能。非常に手堅い知識だと言えます。

そして「近似的に一致しない場合にどうなるか」も数学では定番の問題です。

タグ：統計

posted at 00:22:00

#統計前もって、ありがちな状況で数学的に近似的に一致することが分かっている2つの量は実践的には「近似的に等しいはずなので、同じようなものとして扱ってよい」となりがちなのです。

これは、どんな「主義」を持ち出しても、論理的には絶対にひっくり返せない。手堅い知識はこの意味で重要。

タグ：統計

posted at 00:25:40

#統計コンピュータ上で整備されているツール群の都合で楽に使えて、尤度函数や事後分布が全然単峰型にならなくても安全に使えるベイズ統計を利用しようとする人は、どの段階においても「主観確率のベイズ主義」を取り入れる必要はありません。

タグ：統計

posted at 00:28:46

ほりたみゅ (mastodonも見てね) @Hyrodium

#統計そして、実際に科学研究でベイズ統計が役に立っているのは、「複数の意味で楽に使えるから」という理由で使い始める研究者達によるものでしょう。そこでは「主観確率のベイズ主義」は全然必要ない。

タグ：統計

posted at 00:31:42

Julia Advent Calendar 2020 の一日目の記事を公開しました。
「Juliaでエッジ検出や射影変換などの画像処理をやっていきます」
zenn.dev/hyrodium/artic...

タグ：

posted at 00:35:13

#統計例えば、いわゆる「8割おじさん」の西浦博さん達の新型コロナに関する共同研究のリポジトリ github.com/contactmodel/C... を見に行くと、scriptsフォルダの下に最尤法を使っているノートブックとベイズ統計を使っているノートブックの両方が置いてあり、同じような推定を行なっています。

タグ：統計

posted at 00:36:44

#統計西浦博さん達のような科学者達は「最尤法とベイズ統計では主義が違う！」のような立場に立っておらず、似たような道具として最尤法とベイズ法を使っているわけです。そしてそのような使い方をサポートしているのがそれらの数学的性質です。「主観確率のベイズ主義」はお呼びじゃない。

タグ：統計

posted at 00:39:45

#統計すでにこういう形で我々の社会(もしくは我々の生命)に直接的なインパクトを持つ科学研究において、最尤法とベイズ統計が並行して使用されているわけです。

そういう状況を正しく理解して、理性的に反応できるようになるためには、「主観確率のベイズ主義」じゃあダメなんです‼️

タグ：統計

posted at 00:44:29

#統計統計モデルを使って出した予測は、一般にモデル内でデータと同じ数値が生じた場合の条件付き確率分布を使って行われます。信頼区間であろうが、ベイズ信用区間であろうが、モデル依存。

モデルが妥当でなければ予測も大外しになるでしょう。

我々はそういうリスクを気にする必要が常にある。

タグ：統計

posted at 00:53:22

#統計多くの人達は「科学者達による統計分析によって～という予測が得られた。論文も査読を通過済み」と聞くと、何か非常に信頼できる結果が得られたと信じるか、科学者達の言うことも何も信用できないと思い続けるかの両極端でダメな思考に走りがちだと思います。続く

タグ：統計

posted at 01:00:34

#統計続き。しかし、

統計学はお墨付きを得るための道具ではない

ということを真に理解し、統計分析の結果はデータの質とモデルの妥当性に大きく依存しており、常に失敗するリスクを伴うものだということを、「1か0か」のような低レベルな思考に陥らない形で理解しておく必要があります。

タグ：統計

posted at 01:00:34

#統計我々の社会が必要としている以上で述べたような事柄に関する理解度の高い人が出て来やすくするためには、「主観確率のベイズ主義」からベイズ統計の話を始めたり、「頻度主義」「尤度主義」の類の話に時間を割くのは邪魔にしかならない。

統計学をお墨付きを得るための道具とみなすことは最悪。

タグ：統計

posted at 01:10:26

@hidekatsu_izuno #統計「主観確率のベイズ主義」の良質な定式化として「意思決定論」の話があります。教科書にもよく書いてある標準的な話。

実はそういう意味でのベイズ主義的なベイズ統計の詳しい解説を私がツイッターに何度か書いています(笑)。

私のツイログを関連キーワードで検索すれば見つかると思います。

タグ：統計

posted at 01:17:01

@hidekatsu_izuno 要するにあなたは私が何を詳しく解説したかさえまだ全然わかっていないということ。

タグ：

posted at 01:18:38

@kou5600 #統計教科書によく書いてある確率測度の意味の「確率」概念の位置付けについて私はすでにツイッターに詳しい解説を書いています。私のツイログを関連のキーワードで検索すれば見つかると思います。

確率測度の意味での「確率」には「全体を1としたときの部分の割合」という意味しかないです。続く

タグ：統計

posted at 01:21:49

@kou5600 #統計よく見る「コルモゴロフの公理」が確率測度の意味での「確率」概念の定式化です。そこでは「ランダムに起こる現象」の数学的定式化の部分が一切ありません。

上の意味での「割合」概念が通用すれば、「ランダムに起こる現象」でなくても、確率測度を基礎とする確率論は応用可能になります。

タグ：統計

posted at 01:25:44

朝起きたら誰かがjuliaでKL-NMF用意しておいてくれますように
(マジでRA雇いてぇ)

タグ：

posted at 01:28:02

#統計私がものすごい手間をかけてツイッター上に書いた解説はこういうときに役に足つ。

「主観確率」「ベイズ主義」「意思決定論」によるベイズ統計の解釈について最も詳しい解説をツイッター上に書いているのは俺。

確率測度の意味での「確率」概念の位置付けの解説についても同様。 pic.twitter.com/BGLdtW0q92

タグ：統計

posted at 01:33:58

#統計

ベイズ統計の「主観確率」「ベイズ主義」「意思決定論」による解釈の解説。

主観内での期待リスク最小化なので主観内では合理的(笑)」

しかし、未知の法則の推測・予測をどのように合理的に行うかという問題はその枠組みだと原理的に考えることができない。 twitter.com/genkuroki/stat...

タグ：統計

posted at 01:43:54

#統計確率測度(もしくはコルモゴロフの公理)による「確率」概念の位置付けの解説。

「全体のサイズを1としたときの部分のサイズ」という意味での「割合」という意味しかない。

確率測度の定義の中には「ランダムに起こる現象」の定式化に当たることが何も含まれていません。 twitter.com/genkuroki/stat...

タグ：統計

posted at 01:48:29

Marten Lienen @martenlienen

I just wanted to transport a sine wave along a periodic domain but instead I produced this abomination. I am sorry, sine wave. #diffeqgonewrong #diffeq #julialang pic.twitter.com/dVWDztGGhe

タグ： diffeq diffeqgonewrong julialang

posted at 04:05:30

@physics303 #Julia言語ググったら、Julia v0.6 版なら

qiita.com/sumita_v09/ite...
↓
github.com/T-Sumida/nmf-j...

にそれらしきものが見つかるのですが、これじゃあダメ？

v0.6→v1.* の改定はそう難しくないはず。

タグ： Julia言語

posted at 05:21:07

しぶちょー @sibucho_labo

【両手起動スイッチ】
両手を使わなければ機械を操作できないようにすることで、両手が安全な位置に置かれるまで機械を動かせなくする仕組み。

手を挟む可能性がある機械には特に欠かせない。客先では時々、片側のスイッチが改造されて、片手起動になっていることも。本当危ないからやめてね。 pic.twitter.com/jCkMothrI8

タグ：

posted at 07:29:27

非公開

タグ：

posted at xx:xx:xx

OpenCV の Julia バインディング

docs.opencv.org/master/d8/da4/...

を動かすサンプルを作りました．(Linux環境でのみ動作)

Python の `cv2.hoge` のようなものを `OpenCV.hoge` にして Julia っぽい書き方に置き換わった感じになります．

gist.github.com/terasakisatosh...

#Julia言語 #JuliaLang

タグ： JuliaLang Julia言語

posted at 11:29:46

C++のAPIとCxxWrap.jlによるJuliaの関数の対応をいい感じにしてくれているらしいので大抵の OpenCV の機能は利用できるようになっている理解です．欠点は特定のプラットフォームでしかビルドできないことですね．Windows環境をはじめとしていろんなところで動くと素晴らしい

タグ：

posted at 11:36:32

バインディングを手動で作ると多くのプラットフォームでサポートできますが，提供できるAPIは著者の力量に依存します．(・ω・｀)・・・

#Julia言語

 github.com/terasakisatosh...

タグ： Julia言語

posted at 11:36:32

こいなぎ @naginyan135

【級位者向け実戦型詰将棋part341(木村義雄先生作)】
サービス問題じゃ😡

オラ💢解けや💢 pic.twitter.com/uBbXxhyJws

タグ：

posted at 12:07:21

Yossy @Yossy_K

これは学生でなく採用活動をする企業に訴え、指導するのが筋では twitter.com/asahicom/statu...

タグ：

posted at 12:12:40

@genkuroki ありがとうございます．動きました！ pic.twitter.com/Ax7NsvpUrC

タグ：

posted at 12:13:54

走る！空心菜 @faidaeng

#julialang で日本文字を変数として使えると聞いたので、ならば #タイ文字もいけるんじゃないかとやってみたらいけた～😃残念ながら ๑ ๒ ๓ 等のタイ数字は対応していないようですが ก.ไก่ はいけそう。母音は ะ า ไ など文字の横に単独で書けるものは単独でOK。声調符号は文字とセットなら使える模様 pic.twitter.com/baNgsGFepz

タグ： julialang タイ文字

posted at 12:27:20

非公開

タグ：

posted at xx:xx:xx

走る！空心菜 @faidaeng

ちなみにUnicodeの入力についてはこちらのドキュメントを参照。ここにタイ文字は乗っていないけれど、いろいろな記号が使えるみたい。
docs.julialang.org/en/v1/manual/u...

タグ：

posted at 12:33:36

走る！空心菜 @faidaeng

ペンギンとか（笑） pic.twitter.com/5Eh2m0hegt

タグ：

posted at 12:34:42

PythonのsklearnのKL-NMFでrankを2にした場合と，Juliaで実装したKL-NMFでランクを2に落とした場合とで，得る解が違う．

うーん． pic.twitter.com/iUgT49ABej

タグ：

posted at 12:57:44

Yoshumility @yoshumility

処理水が流されることが決まると彼らの大合唱が始まります。気をつけましょう。 pic.twitter.com/aXTKphUYun

タグ：

posted at 13:00:49

ぐぐってでてくる更新式と違うのでは？？？
qiita.com/sumita_v09/ite... pic.twitter.com/PRXCR0gNJ0

タグ：

posted at 13:06:32

さかめがね＠「鬱ｻｷｭ」単行本発売中！ @sakamegane

ただしい更新式はこれでないだろうか．arxiv.org/pdf/2010.01935... pic.twitter.com/B0rtXFOPtT

タグ：

posted at 14:29:00

「電車内でお腹壊してもう絶対漏れてしまう！」って状況になった時にそのままズボンの中で漏らしてしまうよりも、カバンからコンビニ袋を取り出してパンツを下ろして袋に排泄してキッチリ縛る方が自分も周囲も被害が少なく合理的ですが、何故かそちらの方が狂人感が否めないんだよな…正しいのにね

タグ：

posted at 15:00:54

Matsuda Hajime @mazda_h

この結果が、今の大阪の医療崩壊か。 twitter.com/hashimoto_lo/s...

タグ：

posted at 15:15:54

Nazuna @Nazuna715

nbextension入れられない状態でjupyter notebook使うのがツラすぎる

タグ：

posted at 15:30:04

導出はこれが分かりやすい．www.jjburred.com/research/pdf/j... pic.twitter.com/prSR9IVKTb

タグ：

posted at 15:39:05

@MathSorcerer @TomiyaAkio とりあえず，作ってみましたが，sklearnの標準仕様と比べてとっても性能が悪いので，どこか問題があると思ってます． pic.twitter.com/xAmE0BWRze

タグ：

posted at 16:23:31

うし、帰ったらQiitaのもみよう twitter.com/physics303/sta...

タグ：

posted at 16:29:42

非公開

タグ：

posted at xx:xx:xx

KL情報量をみると，sklearnよりもjuliaで適当に実装した方が性能が良いと分かった(3枚目がjuliaによる実装の結果)．sklearnの方が正しいと思ってたけど，そうじゃなくて，juliaの方がよく近似できてる．

sklearnはサンプリングしてるのかな？
github.com/scikit-learn/s...
更新式
www.jjburred.com/research/pdf/j... pic.twitter.com/wIr0GiM9c0

タグ：

posted at 16:56:48

@MathSorcerer ありがとうございます．でも，解決したっぽいです．sklearnの結果と一致せず，自分のコードに問題があるとばかり思ってましたが，コスト関数を書いてみると，自分の実装の方が良く近似できていることが分かりました．twitter.com/physics303/sta...

タグ：

posted at 16:58:06

多分、sklearnは、大きい行列でも使えるような近似アルゴリズムとか使ってるんかな…

タグ：

posted at 17:01:41

TaKu @takusansu

#超算数は、読解力を鍛えずに曲解力を鍛えます。
式では表現出来ていないものを読み取るので、妄想力も身に付きます。

タグ：超算数

posted at 17:05:38

@physics303 W, H を更新する = の部分を .= とするだけでも少し改善されますね．

gist.github.com/terasakisatosh...

タグ：

posted at 17:36:14

ワトソン @wtsnjp

LaTeX の \@ の正しい使い方が知られていなすぎる件について……

大文字の直後にピリオドが来るが，略語ではなく文の終わりで，単語間スペースではなく文間スペースを入れたいときに使います．

例：I love NLP\@.

タグ：

posted at 17:39:16

ワトソン @wtsnjp

関連して，強制的に単語間スペースを入れたいときは \␣（なお ␣ は半角スペースを表す）を使います．単語間スペースで，かつその位置での改行を禁止したい場合が ~ です．

タグ：

posted at 17:43:46

Julia自体は公式ページからダウンロードし直す必要ありますね。 twitter.com/cloez_uya/stat...

タグ：

posted at 17:46:44

Hiroyasu Kamo @kamo_hiroyasu

国立大学志望の高校生だそうですが、数学について「解き方を覚える」なんて言っていて理学部とか工学部とかに進んだら入学してからまずいですよ。卒業研究でつみます。 twitter.com/juken_misaki03...

タグ：

posted at 17:46:52

mardi4nfdi @mardi4nfdi

15/n Mathematical #ResearchData #MathRDM: SuiteSparse Matrix Collection -- Set of sparse matrix #benchmark. Includes a matrix #searchengine and #dataAPI for #matlab and #julialang. Maintained by @TAMUEngineering. See: sparse.tamu.edu #linearalgebra #numerics #FAIRdata^tk pic.twitter.com/FREwoQ6zsD

タグ： benchmark dataAPI FAIRdata julialang linearalgebra MathRDM matlab numerics ResearchData searchengine

posted at 17:47:32

OpenSourcES @opensourcesblog

@mardi4nfdi @TAMUEngineering Wow what a timing. I'm currently downloading data with:
github.com/JuliaSmoothOpt...

タグ：

posted at 18:02:57

@MathSorcerer 本当ですね！知らなかったです．単に .= ってelement-wiseに更新するだけで，= による代入と差はないと思ってたのですが，そうじゃないのですね

（もっと恒常的にドキュメントを読まねば...）

タグ：

posted at 18:03:27

長谷川　尚弘 @hoyahoy11532152

クラファン進捗報告　あと3万2000円！！ #拡散希望

みなさん、応援ありがとうございます。サードゴール150万円まで【あと約3万円】です！残り期間があと1週間になりました！最後の追込み、情報拡散にご協力ください！！
HPはこちらacademist-cf.com/projects/202
#感謝 #ホヤ #クラファン pic.twitter.com/SlulDow2QP

タグ：クラファンホヤ感謝拡散希望

posted at 18:06:34

@hidekatsu_izuno #統計私は、私の考え方を知るために必要な検索に使える適切かつ十分なキーワードをを示しています。

この件であなたとやりとりするメリットは私の側にはないことが分かったので、この件について私宛に返答することをやめて頂ければ助かります。このツイートへの返答も無用。

よろしくお願いします。

タグ：統計

posted at 18:13:38

OokuboTact　大久保中二病中年 @OokuboTact

@Fukuso_Sutaro 複素数太郎さんにお願い。

この件でhidekatsu_izunoさんとのやりとりを私はこれ以上したくないので、このスレッドで議論を続ける場合には、手動で私を返答先から外して頂けると助かります。

よろしくお願いします。 twitter.com/genkuroki/stat...

タグ：

posted at 18:18:04

＃超算数

指導要領が大きく変わったので、指導要領・解説も大きく変わった。
算数の「指導要領・解説」はダメな部分が増えた感じ。

タグ：超算数

posted at 19:06:05

Wow, Dash.jl runs on arm32 bit system. Good to know #JuliaLang

タグ： JuliaLang

posted at 19:15:32

julia の matrix で 3×3行列の2行目と2列目を消して，2×2 行列を得るにはどうしたらよいですか？

タグ：

posted at 19:16:05

Yuki Nagai @cometscome_phys

@physics303 julia> a = [ 1 2 3
4 5 6
7 8 9 ]
julia> a[[1,3],[1,3]]
2×2 Array{Int64,2}:
1 3
7 9
でできます。引数に配列が入れられますので。

タグ：

posted at 19:18:36

こうかな？ pic.twitter.com/ePlm70XSNz

タグ：

posted at 19:20:20

@cometscome_phys あー，なるほど！ありがとうございます！！

タグ：

posted at 19:20:34

#超算数引用ツイートなどで適切なコメントが沢山付いているようですが、数学が得意な人達が優れている点は「未知の問題に出会ったときにどうすればよいかを理解していること」と「数学の内容をより深く理解していること」。

解き方を覚えてパターンマッチで処理しようとする人は数学が苦手になる。 twitter.com/juken_misaki03... pic.twitter.com/bM8aI7Rzgy

タグ：超算数

posted at 19:21:46

Daisuke KATO @Dsuke_KATO

どーやらImageMagick.jlの地雷をまた踏み抜いたみたい。png画像を9枚保存すると必ず落ちるって言う。8枚まではプロセス生きてた。

タグ：

posted at 19:23:21

#超算数高校生くらいで数学が好きで得意だと思っている人がいかにも言いそうなことは、

　　数学なら覚えなくて良いから楽❤️

多分、みさきさんの周囲にもそのように言う人がいると思うので、「覚えなくて良いから楽❤️」が具体的にどういうことなのかを聞いてみると良いと思います。 twitter.com/juken_misaki03...

タグ：超算数

posted at 19:30:50

砂___の___女 @vecchio_ciao

永田啓一【永田式英語の本、KADOKA @nagata_k1

@temmusu_n 仰る通りで、「噂に聞いていたアレがついに我が家にも…」みたいな文言を良く見かけるようになりました。
そうやって認知度が上がって、気にして見る保護者が増えると、子供の被害が減ると思うので、それは良い傾向だと思うのですが、一方でこんなにも広く浸透してしまっているという絶望感も…

タグ：

posted at 19:35:12

@kale_aojiru @genkuroki これ、DM送ってくる業者垢です。

タグ：

posted at 19:38:58

#統計このスレッドの主張の1つは、「Fisher's exact testは正確な検定で、χ²検定はその近似に過ぎない」という考え方はひどく間違っているということです。どちらも不正確なので誤差の大きさが問題になる。

Fisher検定とχ²検定にはそれぞれ長所と短所があります。詳しくはスレッドの中身を参照。

タグ：統計

posted at 19:41:57

#統計このスレッドでは、Cochranさんの1952, 1954の論文を引用しただけで自分自身でその正しさを何も確認していないくせに(コンピュータで確認例を1つも計算していないくせに)、「分割表の独立性検定では所謂Cochranルールに従うべきだ」と他人に教える行為を非難しています。世界中で蔓延している。

タグ：統計

posted at 19:47:14

#統計私は大学で「数学については教科書に書いてあるという理由で正しいと判断してはいけない。その正しさを自分自身で確認してみることが大事である」という教育を徹底的に受けました。

これは統計学を学ぶときにも当然のことだと思います。

タグ：統計

posted at 19:50:25

#統計大学で「自分の力で証明をフォローできないんですが…」と相談すると、「シンプルな例でその主張が成立していることは確認してみましたか？」と言われるのが基本パターン。

タグ：統計

posted at 19:54:01

#統計

 www.jstage.jst.go.jp/article/dds/30...
連載第3回
医学データの統計解析の基本 2つの割合の比較
朝倉こう子・濱﨑俊光
【常用的にFisherの直接確率計算を使用することは避けたほうがよさそうである】

Cochranルールを鵜呑みにせずに自分で計算して確認すればこういう結論が自然に出るものと思われる。 twitter.com/genkuroki/stat...

タグ：統計

posted at 20:32:26

今日わかったこと

Dash.jl はラズパイでも動く
Pluto.jl も自明な変更で動作する

#Julia言語

タグ： Julia言語

posted at 20:45:42

#統計

信頼度1-αの信頼区間
= 有意水準αで棄却されないモデルのパラメータの範囲

の1つの適切な使い方は、「リスクに関わる予測において、使用したモデルを前提としたときに、パラメータが信頼区間にふくまれることは覚悟しておかなければいけないと判断すること」だと思います。続く twitter.com/genkuroki/stat...

タグ：統計

posted at 20:50:51

#統計もちろんモデル自体の妥当性も常に検討する必要あり。

そして、信頼区間でなくても、「モデルを前提としたときに、パラメータが含まれていることを覚悟しなければいけない範囲」のように解釈可能なものは信頼区間と同様の使い方をできると考えられます。ベイズ統計ではベイズ信用区間が使える。

タグ：統計

posted at 20:50:52

#統計ただし、ベイズ統計でのベイズ信用区間は事後分布という数学的にはモデル内部でしか意味を持たないものを使って定義されているので、その数学的性質を十分に理解して使う必要があります。

数学的に信頼区間は誤解し難い易しい概念ですが、ベイズ統計の理解は全般的に難しくなります。

タグ：統計

posted at 20:54:41

#統計現実には、豊田秀樹さんのように、通常の信頼区間よりも、ベイズ統計の信用区間=確信区間の方が易しいと主張するおかしな人たちが珍しくないので、すでに本を購入して読んでしまった人達は注意が必要です。

信頼区間自体は検定について理解していれば易しい。
ベイズ統計は数学的に難しい。

タグ：統計

posted at 20:57:41

Massimo @Rainmaker1973