Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2020年03月12日(木)

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 この長大なスレッドの最初↓

このスレッドでは関連の参考になりそうな話題を雑多にまとめたつもり。雑多過ぎるかも。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:02:17

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 関連スレッド。

ベイズにしても研究の再現性の危機の問題が解決しないことは自明だと思う。

ベイズ統計を理解していない人だけがベイズにすればバラ色であるかのようなことを言えるのだと思う。

理解している人が適切に使えば強力な道具になり得るとは思いますが。

twitter.com/momentumyy/sta...

タグ: 統計

posted at 01:05:07

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 当然の指摘。当該の本ではプロローグでベルヌーイ分布モデルのベイズ版でひどい説明をしていると思う。

意図1~4で異なる確率モデルを使う必要があるのは、ベイズであろうがなかろうが同じこと。めちゃくちゃ、当たり前の話。

twitter.com/ykamit/status/... pic.twitter.com/wSyXYinP92

タグ: 統計

posted at 01:11:41

竜田一人 @TatsutaKazuto

20年3月12日

しかしよりにもよって今日(もう昨日だけど)、9年前にこの空間で大ブレイクしてた人が謎の復活で頓珍漢な計画ブチ上げて、それ見た人達からアッという間に叩きのめされて撤退って、彼が留守にしてた間のこの場所の変化を垣間見るようでしたね
でも今日(もう昨日だけど)ぐらいは静かにしてて欲しかったよ

タグ:

posted at 01:12:01

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 件の本のプロローグの内容は、

* 単純なベルヌーイ分布モデルにおいて、頻度論では無理だが、ベイズ統計にすれば研究仮説が正しい確率を求められる。

と要約できます。続く

twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:16:31

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 続き。ベルヌーイ分布モデル(成功・失敗の確率を扱う最も簡単な確率モデル)では、

(1) 通常の「頻度論」での信頼区間と同じ意味での確率(モデル内標本分布で計算した確率)



(2) おとなしめの事前分布でのベイズ統計での事後分布で計算した確率

が互いに相手をよく近似することを示せます。

タグ: 統計

posted at 01:20:20

htachii @htachii

20年3月12日

@genkuroki 読んでいないのでこの本の批評はできませんが(私ごときが批評するのもどうかと思いますが)数学的に正しくない事を用いて議論がなされている統計の本をよく見かけます。

タグ:

posted at 01:24:57

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 続き。実際、二項分布の正規分布近似に基くベルヌーイ分布モデルにおけるP値函数(Normalの線)と、それに対応するベイズ統計での事後分布でのP値函数の類似物(Posteriorの線)を同時にプロットするとn=100ではほとんどぴったり重なります!

twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:25:01

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 上の動画中のPosteriorの線を描くために使った事後分布はJeffreys事前分布の事後分布です。おとなしめの他の事前分布(例えば一様事前分布)でも同じような感じになります。

要するに、ベルヌーイ分布モデルのような単純なモデルでは、ベイズ統計を行っても新しいことは出て来ないということ。

タグ: 統計

posted at 01:28:38

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 それなのに、ベイズにすれば研究仮説が正しい確率を計算できるなどと言っているのはひどい。

プロローグでベイズ統計を使っている部分は(「7割以上云々」の部分)は「頻度論」の片側検定と本質的に同じことです。

公開されているプロローグだけでひどい内容であることが一目瞭然だと思う。

タグ: 統計

posted at 01:33:01

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 動画解説。Normalの青の線は「100回中k回成功した」というデータが得られたときの「成功確率はθである」という仮説のP値です(横軸がθ)。二項分布の正規分布近似で定義。

Posteriorの橙の破線は、Jeffreys事前分布の事後分布で計算したP値函数の類似物。定義についてはソースファイルを参照。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:38:33

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 ベルヌーイ分布モデルでの動画を作ったソースファイルは

nbviewer.jupyter.org/gist/genkuroki...

にあります。

事後分布のCDFを F(θ) と書くとき、P値函数の類似物 pval_post(θ) を

pval_post(θ) = min{2F(θ), 2(1-F(θ)), 1}

と定義しています。両側検定のP値の類似物です。

これが通常のP値にほぼ一致。 pic.twitter.com/lEwKAVRI48

タグ: 統計

posted at 01:43:52

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 世間一般では、ベイズ統計に関するまともな理解は全く浸透しておらず、成功と失敗の確率を扱う最も単純な確率モデル(ベルヌーイ分布モデル)の場合でさえ、ベイズ統計にするとどういう感じになるかを理解している人は少ないと思う。

そういう弱い人達をターゲットにして騙すための本にも見える。

タグ: 統計

posted at 01:46:53

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 「頻度論」と「ベイズ」で定義は異なるがリンク先動画のようにほとんど一致している値があるとき、ベイズにした途端に「研究仮説が正しい確率の値とみなせる」となるはずがない。

豊田秀樹さんがやっているのはそういうこと。

騙されずにみんなで批判しないとトンデモ側が普及してしまう。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:51:30

斉藤久典 @saitohisanori

20年3月12日

保健衛生の話は専門の方に譲るとして、最近のソフトバンクは米国CNBCでも評判が悪い。「経営者を見る目があるのか?」とか、かなり批判の声も。日本のテレビは孫正義に優しいけど。 twitter.com/masason/status...

タグ:

posted at 02:10:06

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 #Julia言語 豊田秀樹さんの本の話題だけだと「くだらないトンデモ本がまた出たのか」と思われるだけになってしまいそうなので、Gibbsサンプリングの動画にリンク。

私は数学動画を公開するときにはソースコードも公開しています。

みんなで数学動画を作る社会は良い社会だと思う。 twitter.com/genkuroki/stat...

タグ: Julia言語 統計

posted at 02:28:26

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 たぶん、理系も含めて世間一般では、正規分布分布モデルの尤度函数(もしくは事後分布)の形さえ見たことがない人の方が多数派だと思う。

リンク先動画は、正規分布モデルの尤度函数をそのまま正規化して確率密度函数にしたものに従う「乱数」を生成する動画になっています。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 02:33:02

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#Julia言語 #Turing

turing.ml/dev/docs/using...
Turing compiler design

これを見ておくとTuring.jlを使い易くなりそう。

タグ: Julia言語 Turing

posted at 02:44:55

おばけ @triwave33

20年3月12日

やっとベイズ推定っぽいことを(Juliaで)できるようになってきた pic.twitter.com/f00PMN4aI5

タグ:

posted at 08:04:34

おばけ @triwave33

20年3月12日

ほとんどのコーディング時間を、プロットの仕方に費やしている

タグ:

posted at 08:05:17

polieco arche @polieco_arche

20年3月12日

@genkuroki 某統計学本が、スペンサーブラウンのようにぶった斬られている。恐ろしやーー杜の都近くの首斬り浅右衛門(おい)

タグ:

posted at 09:15:45

松永 和紀 @waki1711

20年3月12日

考えさせるとてもよい記事。食品業界では昔、検査を推し進めることが、一部の人たちの責任逃れの手段となっていた。業界は今、検査の功罪を知っている。でも、消費者は検査を求める。安心のために。新型コロナウイルス問題も同じ構造になっている→→www.newsweekjapan.jp/kankimura/2020...

タグ:

posted at 11:40:26

荻野幸太郎 / OGINO, Kotar @ogi_fuji_npo

20年3月12日

「ゲーム依存症」の議論を見ていると、一部の教育関係者の苛立ちを感じる。発達障害とか不登校の議論で、「学校が変わるべき」という論調が高まってきたことへの、いわば「復讐」として、スマホとゲームに依存した問題のある家庭と子供を懲罰的に指導するという物語に流れていて、とても危険に思える。

タグ:

posted at 11:48:18

荻野幸太郎 / OGINO, Kotar @ogi_fuji_npo

20年3月12日

メカニズムの説明も突飛な上に、疫学的な検討も不十分な、「ネット・ゲーム依存症」なる問題を、ごく一部の臨床医が提唱し、そこに教育関係者が群がって、さらには親学系の政治家が乗っかってしまう。解決されるべき社会病理は、むしろ「そっち側」の人たちにあるのではないか。

タグ:

posted at 11:51:30

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 #Julia言語

須山敦志『ベイズ推論による機械学習』p.80のPlots.jlによる再現!

nbviewer.jupyter.org/gist/genkuroki...
Bernoulli分布モデル

も参照するといいかも。このノートブックは、渡辺澄夫『ベイズ統計の理論と方法』の話+α (AIC, WAIC, LOOCV, 自由エネルギー, WBIC)も含む。 twitter.com/triwave33/stat...

タグ: Julia言語 統計

posted at 11:57:17

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 正値パラメータwの事前分布φ(w)として半Cauchy分布

φ(w) = if w > 0 then (2/π) 1/(1 + w²) else 0

がよく使われているのですが、「共役事前分布」でのこれの類似物が欲しい場合には

φ(w) = if w > 0 then 1 else 0

を使うと良いと思います。w大での重みが半Cauchyより増えますが。

タグ: 統計

posted at 12:10:47

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 #Julia言語 数式による解説部分を更新。私が書いた数式は間違っている可能性が高いが、有益なヒントにはなっていると思う。他人が書いた数式は信用せずに自分で計算して確認するのが普通。

添付画像2のようにJulia(左辺)と数式(右辺)の対応表が必要になることは多い。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/tx0VO8dL9H

タグ: Julia言語 統計

posted at 13:07:58

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 #Julia言語 using Distributions した後で

?InverseGamma

とか

?TDist

のように入力すれば数式を含む解説が表示され、分布の解説が書いてある Wikipedia へのリンクも表示される。

この機能は Distributions.jl を使った確率分布プログラミングではほとんど必須だと思う。 pic.twitter.com/8KWxJgbcVe

タグ: Julia言語 統計

posted at 13:13:57

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 #Julia言語 数学部分が本質的な事柄のプログラムは数式を使った解説がないと理解できないことが多いと思う。プログラムのコードだけだと解読するのが非常に大変になる。

数式を含む解説を参照しながらコードを読める環境が必須だと思う。

実際には絵や図も必要だと思う。

タグ: Julia言語 統計

posted at 13:16:54

黒木玄 Gen Kuroki @genkuroki

20年3月12日

自分で書いたコードでさえ、ひと月後には数式を使った解説や印象的なプロットがないと理解できないことが多い。

数式や図を含まない言葉によるコメントだけでは圧倒的に不十分。

みんな一体どうしているんだろうかと思います。

タグ:

posted at 13:19:09

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#Julia言語 「余りにも沢山ある名前の付いた確率分布達」について「うげえ」となる人は多いと思う。

JuliaのDistributions.jlのユーザーになって、そのヘルプを読んだり、using StatsPlotsして

plot(Chisq(3), 0, 15: label="Chisq(3)")

とかしてみると楽に勉強できる。

twitter.com/genkuroki/stat... pic.twitter.com/CGFV52GwK5

タグ: Julia言語

posted at 13:24:54

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#Julia言語

添付画像1: dist = Beta(10, 20)でベータ分布 dist を作成し、その乱数を発生させ、ヒストグラムと確率密度函数を同時にプロット。

添付画像2: 同分布の乱数を100個発生させ、その経験累積分布函数と真の累積分布函数を同時にプロット。

これと ?Beta を合わせて読めば楽に勉強できる。 pic.twitter.com/bnDco457fH

タグ: Julia言語

posted at 13:37:12

黒木玄 Gen Kuroki @genkuroki

20年3月12日

「確率分布」のオブジェクト dist が与えられたときに、その乱数 rand(dist) とか、そのn個の乱数 rand(dist, n) とか、その確率密度函数 pdf(dist, x) とか、累積分布函数 cdf(dist, x) とかを使えるようになっていると嬉しい人は結構いるはず。 #Julia言語 のDistributions.jlはそういう仕様。

タグ: Julia言語

posted at 13:39:09

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 陽性的中率について説明するときに「事前確率」「事後確率」のような言い方は緊急時には特に避けるべき。我々にとって必要な情報は

* 全体の何パーセントが罹患していているか
* 検査が陽性になった人の何パーセントが罹患しているか

であり、これを「事前」「事後」と略すのはよくない。

タグ: 統計

posted at 13:50:31

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 統計学と言うには余りにも初歩的で容易な単なる割合の計算に過ぎないことに、「ベイズ」の名をつけて難しく見えるようにするのはよくない。

どんなに難しくても大学入試問題レベルで、実際には小学生レベルだろう。

「事前」「事後」という形容詞は必要な情報を適切に表していない。

タグ: 統計

posted at 13:50:31

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#Julia言語 ベルヌイ分布モデルの n=10000 での尤度函数のプロット。lik(p) の定義が注意深く行われている。そこをテキトーにやると n=100 とか n=1000 程度までしかうまく計算できなくなる。

確率の計算ではオーバーフローやアンダーフローに細心の注意が必要になることが多い。 pic.twitter.com/r0dqhvt4Aq

タグ: Julia言語

posted at 14:05:54

柳 時熏【囲碁プロ】 【YouTuber @ryu_shikun

20年3月12日

10日に出した問題の解答です。
難問ですが、解答は棋力向上に役立つと思います✨
youtu.be/gu9RPW7BvHo

今日の問題です。
2問ともレベル3くらいだと思います😌

#ニコちゃん問題 #囲碁 pic.twitter.com/NFi1NQR8jM

タグ: ニコちゃん問題 囲碁

posted at 15:58:07

(「・ω・)「ガオー @bicycle1885

20年3月12日

みんなリモートワークでラボに人がほとんどいない。俺はクソデカモニターを使いたいので通勤してる。

タグ:

posted at 17:17:57

Thomas Koprucki @TOMSKI2718

20年3月12日

Bring Your Own Analysis: inspired by @MarkJHandley's tweet, Jürgen Fuhrmann (Weierstrass Institute, @FVB_adlershof) provided a julia-script to make your own analysis github.com/j-fu/coronaplot directly accessing the data repository by @JHUAPL #COVID19 #JuliaLang twitter.com/MarkJHandley/s...

タグ: COVID19 JuliaLang

posted at 17:21:57

MasaTam @masatam81

20年3月12日

#Julia のif分の代わりに&&とか||使えるのさりげに秀逸。

n >= 0 || error("n must be non-negative")
n == 0 && return 1

みたいなやつ。可読性は慣れるまであれかもですが。

#julialang

タグ: Julia julialang

posted at 17:22:39

VoxelKei @VoxelKei

20年3月12日

これ「近眼シミュレーター」作れますね。近視の人はこんな風に世界が見えてますよというのを第三者に実際に体験してもらえるかもしれない。何かの設備や施設などでの安全面の検討にも使えるかもしれない。 pic.twitter.com/mDR3smReKO

タグ:

posted at 17:34:21

Yuki Nagai @cometscome_phys

20年3月12日

行列のトレースはランダムベクトルで挟めば計算できるが、行列を変数とするような関数f(A)もランダムベクトルで挟んでトレースを計算できることがわかったしJuliaで実装して確かめた

タグ:

posted at 17:56:49

Tirol Craft @tirol_craft

20年3月12日

ちなみにウチのチロルさんの瞳は
金環日食の様です☺️ pic.twitter.com/UR7VYTewmC

タグ:

posted at 19:46:12

荻野 暢也 @oginonobuya

20年3月12日

今年の慶応大医学部の問題。
高校数学の範囲でバーゼル問題を扱った問題を初めて見た。
見事な誘導。 pic.twitter.com/aZ7x7bBbsk

タグ:

posted at 20:30:26

安田峰俊 @YSD0118

20年3月12日

習近平武漢視察、影の方向がおかしいと一部で話題に。 pic.twitter.com/OEASWBPECK

タグ:

posted at 20:49:19

ごまふあざらし(GomahuAzaras @MathSorcerer

20年3月12日

@triwave33 @genkuroki わかります(泣)一回作ったら再利用はできるんですけれどその壁がウォールマリア

タグ:

posted at 21:43:56

おばけ @triwave33

20年3月12日

@MathSorcerer @genkuroki 情報収集の効率もpythonとjuliaでまだちょっと違う気がしますね。それで優劣とは思わないのですが、パッケージの公式doc含め、やりたい事のベストプラクティスが溜まってない気がします。だからこそ自分がやったらSOTAなんですが。

タグ:

posted at 21:51:44

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 【須山ベイズもq(x)は持ち出してないですよね】

ポイントは「真の分布がモデルで実現不可能な場合」も扱っているか否かです。

モデルp(y|x,w)によってq(y|x)=p(y|x,w₀)の形で実現できない真の分q(y|x)が実質的に出て来ているかで明瞭に判別できる。続く twitter.com/m_ero_n/status... pic.twitter.com/Ru2lzRzLMZ

タグ: 統計

posted at 22:03:05

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 須山敦志『ベイズ推論による機械学習』pp.108-109では

y = sin x + noise, 0 ≦ x ≦ 2π

という法則で生成したデータと

y = M-1次の多項式 + noise

という多項式回帰モデルで作った予測分布を扱っています。このようにデータを生成した法則がモデルに含まれない場合も扱っています。

タグ: 統計

posted at 22:03:07

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#統計 そもそも機械学習の文脈では「真の法則を含むモデルを我々が得ることができる」という想定は最初から馬鹿げていると思う。本のタイトルにも「機械学習」とある。

モデルは単なる道具であるという割り切りがあった方が、科学的に怪しげな言説を排除し易いと思う。

タグ: 統計

posted at 22:03:08

ごまふあざらし(GomahuAzaras @MathSorcerer

20年3月12日

何気に数式レンダリングされているという点にも注目です. twitter.com/genkuroki/stat...

タグ:

posted at 22:03:22

Fermat's Library @fermatslibrary

20年3月12日

The way to correctly generate a random point on the surface of a unit sphere is not to pick uniform distributions θ in [0,2π) and φ in [0,π), but instead choose u and v from uniform distributions on [0,1). Then

φ = cos⁻¹(2v-1)
θ = 2πu pic.twitter.com/Y6IX23ZGIv

タグ:

posted at 22:04:04

twinrail @twinrail_ut

20年3月12日

@YSD0118 タイルの目地に沿って平行線を引くと、二人の影がほぼ同じ大きさの長方形に収まっていることが分かるので、ちゃんとこの影が平行であることが分かります(ネットストーカー初級編) pic.twitter.com/Gv8n6WnsJT

タグ:

posted at 22:08:25

ごまふあざらし(GomahuAzaras @MathSorcerer

20年3月12日

構造体を引数とするCの関数をJuliaから呼ぶ時,適切な方を作る必要がある(はずなんだ)けれど大量の関数を作る時
Clang.jl でヘッダー生成してもらうしかないんだろうか?

VideoIO.jl のヘッダー類を見て絶望している

タグ:

posted at 22:29:01

太田 伸二 @shin2_ota

20年3月12日

あまり不安を煽りたくはないのですが、この状態が続くと経済が悪化して生活困窮する人の数が激増しないかと心配しています。
そうなった時には生活保護の利用支援の重要性が増します。これまで取り組んでいなかった法律専門家にも取り組みをお願いしたいと思います。

タグ:

posted at 23:06:54

黒木玄 Gen Kuroki @genkuroki

20年3月12日

#Julia言語 訂正

❌ plot(Chisq(3), 0, 15: label="Chisq(3)")

⭕️ plot(Chisq(3), 0, 15; label="Chisq(3)")

⭕️ plot(Chisq(3), 0, 15, label="Chisq(3)")

: → ; or ,

twitter.com/genkuroki/stat...

タグ: Julia言語

posted at 23:10:59

Ninja DAO | CryptoNi @CryptoNlnjaNFT

20年3月12日

もう経済への影響の方が深刻なんじゃないかな。不況で死ぬ人の方が遥かに多くなりそう。

タグ:

posted at 23:13:54

Hidehiko MURAO @HidehikoMURAO

20年3月12日

「Pythonで学ぶあたらしい統計学の教科書」のPythonコードを #Julia言語 に書き換えてみようと思います。

タグ: Julia言語

posted at 23:22:06

(「・ω・)「ガオー @bicycle1885

20年3月12日

Juliaさっぱり分からん。皆さんの50倍くらいしか分からん。

タグ:

posted at 23:29:20

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました