黒木玄 Gen Kuroki(@genkuroki)/2022年02月15日

#統計このスレッドの意味での quantile(X, p) を例えば #Julia言語の Distributions.jl での DiscreteNonParametric 型について実装することは有益だと思います。

juliastats.org/Distributions....

タグ： Julia言語統計

posted at 00:02:05

#統計正直な話。以前、中央値の正しい定義が自力で考えてなかなか分からなくて、3日くらい悩んだことがあります。

中央値の正しい定義ひとつだけでも十分に面白い話になっていると思いました。

累積分布函数の不連続部分を線分で結んだものを考えることは他の場合にも有用です。

タグ：統計

posted at 00:05:38

#統計累積分布函数 F(x)=P(X≤x) の不連続部分を線分で結んだグラフに例。

真の累積分布「函数」はこれらの図のようなものだと思っておくと便利な場合があります。 pic.twitter.com/rV8Ywrocji

タグ：統計

posted at 00:13:59

#統計やっと見つけた！これを思い出していた。

このスレッドに、ℝ上の一般の確率分布の中央値(より一般にquantile)の定義があります。

有限個の値ごとに全体に対する割合(確率)の数値が与えられている場合は、ℝ上の確率分布の特別な場合とみなせるので、一般的な定義を適用できます。 twitter.com/h_okumura/stat...

タグ：統計

posted at 00:19:14

#統計中央値の信頼区間を二項分布で扱うことはRのDescToolsのソースコードでは "SAS-way" と表現されていました。

SAS由来の伝統的な方法らしい。

二項分布とベータ分布の自然な関係(rand()を繰り返す設定から出る)を使えば、その辺は極めて簡潔に実装できます。続く

github.com/cran/DescTools... pic.twitter.com/hiCfg9i1ur

タグ：統計

posted at 00:32:54

積分定数 @sekibunnteisuu

@Eiryu0924 @lingo66 @Yta8Ntion1FKvR0 @hgn_no_otaku 再度質問してやっと回答を得られました。
twitter.com/lingo66/status...

で、この回答だと、掛け算順序云々じゃなくて、非難することがまずい、と言う話になってしまう。それだと掛け算順序どうこうは関係ない。

タグ：

posted at 00:37:16

#統計確率分布distのサイズnの標本の中央値の分布のcdfは、#Julia言語のDistributions.jlを使えば

cdf(Beta((n+1)/2, (n+1)/2)), cdf(dist, x))

の1行で実装できます。

タグ： Julia言語統計

posted at 00:41:33

#Julia言語標本X::AbstractVector{Float}}の経験分布はStatsBase.jlも使えば、

c = countmap(X)
Xdist = DiscreteNonParametric(collect(keys(c)), values(c) ./ length(X)

で作れる。

タグ： Julia言語

posted at 00:41:33

#Julia言語標本Xの信頼度 αの信頼区間の下限Lと上限Uは

n = length(X)
beta = Beta((n+1)/2, (n+1)/2)
L = quantile(Xdist, quantile(beta, α/2))
U = quantile(Xdist, quantile(beta, 1-α/2))

で求まります。

タグ： Julia言語

posted at 00:41:34

#Julia言語「ヒストグラムの分布」は各[k, k+1)上の一様分布の混合分布として実装できる。

MixtureModel(...)

タグ： Julia言語

posted at 00:49:42

#統計 rand()の実行を繰り返す設定を使えば、中央値やquantileの分布の理解に役に立つ「ベータ分布と二項分布の自然な関係」を直観的に理解可能になることについては以下のリンク先を参照。 twitter.com/genkuroki/stat...

タグ：統計

posted at 00:51:32

#統計【既知なんだろうか云々】

中央値の分布は、教科書にある順序統計量の分布の特別な場合になっており、ベータ分布で自然に書けます。

二項分布を使う方法はベータ分布と二項分布の自然な関係から出て来る。

既知であるか否かと無関係に自分で考えれば誰でも自然に思い付く方法だと思います。 twitter.com/h_okumura/stat... pic.twitter.com/ACTKEFrGsg

タグ：統計

posted at 01:07:32

【お知らせ】
#碁会所
 #福岡
※最後まで読んでいただけると幸いです。

福岡県の中心地、天神にある碁会所がコロナの影響で閉店のピンチを迎えてます。
一等地でありながら昔ながらの高齢席主の碁会所経営で集客が思うように出来ず、採算が合わないということで継続を断念しようとしています。
(続く)

タグ：碁会所福岡

posted at 01:13:09

#統計標本分布から派生する分布として、標本平均や標本の不偏分散の分布があります。それらは極めて基本的。

それと同様に、標本分布から派生する基本的な分布に、サイズnの標本中のk番目に小さな値(順序統計量)の分布もある。中央値名どの分布はこちらに属する。

タグ：統計

posted at 01:15:10

#統計中央値の区間推定の場合には、母集団分布が未知なので、その未知の母集団分布の「推定値」(確率分布全体の無限次元空間の1点)として、標本の値達自体の分布を採用すれば、自然に中央値の信頼区間を定義できます。

タグ：統計

posted at 01:15:11

#統計ちょっと計算してみたところ、そのようにして作った中央値の信頼区間はn=10程度の標本サイズが小さい場合には誤差が非常に大きくて使うと危険な感じ。95%信頼区間ならn=30程度は欲しい感じ。

この辺はまだ十分に確認していないことなので要注意。

タグ：統計

posted at 01:15:12

#統計この辺の基本的なことにも興味を持ってくれる人が結構いそうなので、時間を見つけて #Julia言語版を公開したいと思っています。

タグ： Julia言語統計

posted at 01:16:26

#統計所謂『数理統計学』のようなタイトルの本には、伝統的に基本的なことだとされている順序統計量の話も書いてあって、そういう基本的な知識があれば、ベータ分布(もしくは二項分布)を使った中央値の信頼区間の作り方は基本の単なる応用問題になってしまい、自分で考えれば分かることになります。

タグ：統計

posted at 01:18:44

碁会所の経営自体はお店に碁盤を並べてお客さんを待っているだけの状態で、正直に言ってお客さんが増えないのも仕方ないのかなあという印象でした。

しかしこのままだと福岡の中心地にある碁会所は(ほぼ)ゼロという囲碁界にとってはなんとも寂しい状態になってしまいます。
(続く)

タグ：

posted at 01:21:12

#統計やはり「誰か偉い人がすでに考えていて、知られていることであるか」という発想にいきなり行かずに、基本に戻って「これは基本的なことの組み合わせでどのように適切に解決するべき問題であるか」のように考える方が健全。

自力で考えてから調べると楽に理解できることが実に多い。

タグ：統計

posted at 01:21:56

#統計しかし、自力で考えるためには、難しいことは知らなくても、基礎的な事柄についての直観的な理解が必要。単に論理的であるだけでは足りないことが多い。

地道に計算していることは非常に大事。

タグ：統計

posted at 01:23:47

そこで
『天神プロジェクト』
と題しまして碁会所再生計画をスタートすることにしました。今までの碁会所を超えて魅力的な場所を作っていけたらと思ってます。

しかし、私1人では時間と資金が足りないため今回仲間になってくれる人を募集します！
志ある方は是非力を貸してください！
(続く)

タグ：

posted at 01:28:39

#統計ベータ分布Beta(m, n)が、0～1のm+n-1個の一様乱数の下からm番目(=上からn番目)の大きさの数値の分布になっていることは、ベータ分布に関する最も基本的な事柄だと思います。

m+n-1個からm個選ぶ話と関係があるので自然に二項分布とも関係するがベータ分布を直接使う方が楽です。 twitter.com/genkuroki/stat...

タグ：統計

posted at 01:38:05

#統計そして、任意のℝ上の確率分布は0～1区間の一様分布から作れる。rand()から一般の分布の乱数を作れることも非常に基本的なこと。

タグ：統計

posted at 01:39:47

【募集の詳細】
必要経費を出し合って、碁会所経営を共同でおこなっていく仲間の募集になります。

・福岡市在住の方
・囲碁の普及に自信のある方、したい方
・インストラクター志望の方

【締め切り】
2022年3月末日

興味ある方はコメントもしくはDMにてご連絡ください。

タグ：

posted at 01:41:49

#統計以上を合わせると、一般の分布distの長さm+n-1の乱数列の値の中で下からm番目の値の分布を、ベータ分布に帰着して作れることが分かります。

タグ：統計

posted at 01:47:48

#統計母集団分布distの中央値の点推定値として標本の中央値が取れるだけではなく、母集団を標本で代替して標本からの無作為抽出した結果の中央値の分布をベータ分布に帰着して求めれば、中央値の信頼区間も容易に得られます。

基本に戻るだけでよい。

B君曰く「全部、イロハを使えば出るんだよ」 twitter.com/genkuroki/stat... pic.twitter.com/JbDpyMZAYW

タグ：統計

posted at 01:47:52

#統計 0～1のN個の一様乱数の中央値は、N=2m-1ならその下からかつ上からm=(N+1)/2番目の値になり、その値はBeta((N+1)/2, (N+1)/2)の乱数になります。Nが偶数の場合にもえいやっと中央値の分布はBeta((N+1)/2, (N+1)/2)であることにしてもよいでしょう。

中央値の信頼区間の計算ではこれを使う。

タグ：統計

posted at 01:53:19

#統計 0～1の一様分布のサイズNの標本の中央値の分布は、Nが奇数の場合には二項分布でも書けるのですが、ベータ分布のBeta((N+1)/2, (N+1)/2)にぴったりなります。

二項分布でのNと違ってベータ分布のパラメータは非整数でもよいので、これをそのまま使えばNが偶数の場合も同じコードで扱えます。 twitter.com/h_okumura/stat... pic.twitter.com/a7pPehTFTC

タグ：統計

posted at 01:59:08

#統計二項分布ではなく、ベータ分布を考えた方が色々な意味で自然です。

ベータ分布を使えば標本サイズ→大で標本中央値がの分布が正規分布で近似されることもすぐに分かる。

ベータ分布の多変量版であるディリクレ分布を使うと四分位数(Q₁, Q₂, Q₃)の同時確率分布も扱えます。
↓ twitter.com/genkuroki/stat...

タグ：統計

posted at 02:03:22

おすまん @othman_yamamoto

@genkuroki せっかく、黒木せんせいにご紹介いただいたので、昔のハードカバー版を買うことにしました！（九割九分、ディスプレイ状態でしょうし… (^^; )

神保町が生活圏内なので、週末散歩がてら見てこようと思います！（なければ、密林で）

タグ：

posted at 02:29:43

#統計 #Julia言語での中央値の信頼区間の実装例

本質的に

beta = Beta((n+1)/2, (n+1)/2)
L = quantile(Xdist, quantile(beta, 0.025))
U = quantile(Xdist, quantile(beta, 0.975))

の3行で、サンプルXから中央値の信頼区間が計算されています。

github.com/genkuroki/publ... pic.twitter.com/NlYFORVjXr

タグ： Julia言語統計

posted at 04:57:46

#統計 #Julia言語ヒストグラムのデータしか残されていない場合にも、ヒストグラムから確率分布オブジェクトhdistを適切に作れば、信頼区間の計算は完全に同じコードで可能です。

Juliaの多重ディスパッチの便利さがよく現れています。

nbviewer.org/github/genkuro... pic.twitter.com/5EAZa5KHGq

タグ： Julia言語統計

posted at 05:00:39

#統計 #Julia言語

 nbviewer.org/github/genkuro...

では、信頼区間と表裏一体であるP値を計算する函数も定義してあります。

第一種の過誤が起こる確率は母集団分布によらず、こんな感じ。

n=10の有意水準5%でこの方法は使わない方が良さそうです。n=20は必要にであるように見える。 pic.twitter.com/rHljPwDKIm

タグ： Julia言語統計

posted at 05:04:00

#統計 #Julia言語

 stats.stackexchange.com/questions/5029...

の "SAS-way" (=binom=exact)な計算結果と私の実装による計算結果が一致することの確認。

nbviewer.org/github/genkuro... pic.twitter.com/X4JlXE96IB

タグ： Julia言語統計

posted at 05:08:38

#統計 #Julia言語私のシンプルな実装法

beta = Beta((n+1)/2, (n+1)/2)
L = quantile(Xdist, quantile(beta, 0.025))
U = quantile(Xdist, quantile(beta, 0.975))

の良いところは、累積分布函数cdfの逆函数であるquantile函数しか本質的に使っていないので、概念的に極めてクリアであることです。

タグ： Julia言語統計

posted at 05:11:13

#統計 ”SAS-way" にbinomという別名が付けられているところから、もしかしたら、順序統計量の分布が本質的にベータ分布になっているという基本を無視して、概念的に二項分布の側を使う実装の方がよく知られているのかもしれませんね。

順序統計量の分布であるベータ分布という基本に戻るべき。

タグ：統計

posted at 05:14:56

#統計二項分布の累積分布函数がベータ分布の累積分布函数で書けるという事実は、P値を片側二項検定のP値の2倍で定義した場合の信頼区間(Clopper-Pearsonの信頼区間)の公式としても有名です。

二項分布とベータ分布の関係はrand()の実行の繰り返しで理解できる。

タグ：統計

posted at 05:20:06

The Julia Language @JuliaLanguage

10 years ago, the original "Why We Created Julia" blog post was published. Today, we released a new blog post highlighting community members sharing "Why We Use Julia, 10 Years Later":

julialang.org/blog/2022/02/1... #JuliaLang

タグ： JuliaLang

posted at 05:34:45

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

#統計累積分布函数 F(x) = P(X≤x) (広義単調増加函数になる)とその「逆函数」としてのquantile函数については、広義単調増加函数の一般論を説明した方が分かりやすかったか？

広義単調増加函数の不連続点(値がジャンプする点)は高々可算個で、正の幅で定数になる所も高々可算個。 twitter.com/genkuroki/stat...

タグ：統計

posted at 17:19:58

#Julia言語のDistributions.jlでは、

　有限個の値の集合からその各々が等確率で生じる確率分布

を作ったり、

　ヒストグラムのデータからビンごとに一様分布になる確率分布

を作ったりできることが、フルに活かされています。

プログラミングで確率分布を扱えることは大きい。 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 17:24:54

#Julia言語 Distributions.jl

添付画像① テストデータが入っている配列Xから、それに対応する確率分布オブジェクトXdistを作っている。

添付画像② テストデータXからヒストグラムデータhを作り、hが表現しているヒストグラムに対応する確率分布hdistを作っている。

nbviewer.org/github/genkuro... pic.twitter.com/nnBsCvazfR

タグ： Julia言語

posted at 17:34:38

#Julia言語個人的な意見ではDistributions.jlは相当に「オブジェクト指向」的な設計になっています。Juliaで「オブジェクト指向」的なことをやりたいなら、Distributions.jlを実際に使ってみて、ソースコードを見るのが良いと思う。

Juliaでは多重ディスパッチのおかげでさらに柔軟に色々できる。

タグ： Julia言語

posted at 17:37:51

#Julia言語

c = countmap(X)はXに含まれる値にその個数を対応させる辞書になります。

u = collect(keys(c))はXに含まれる値達になり、collect(values(c))はその各々の個数になります。w = values(c) ./ length(X) で確率の表が得られる。 pic.twitter.com/cuSUucZavD

タグ： Julia言語

posted at 17:41:17

#統計ブートストラップ法は、標本の値そのものを母集団分布の近似物(確率分布全体の無限次元空間の1点としての推定値)とみなして使うことです。

私のコードでその部分は、データX(もしくはヒストグラムh)から確率分布オブジェクトを作る数行で実装されています。(以上で詳しく解説した。)続く

タグ：統計

posted at 17:47:56

#統計未知の母集団分布の代替物として利用する任意の確率分布distを使って中央値の信頼区間を計算するのが次の3行：

beta = Beta((n+1)/2, (n+1)/2)
L = quantile(dist, quantile(beta, 0.025))
U = quantile(dist, quantile(beta, 0.975))

quantileは累積分布函数の逆函数です。非常にシンプル。

タグ：統計

posted at 17:50:30

#統計ブートストラップ法は

①未知の母集団分布の代わりに使うデータから作った確率分布を設定する。

②そのようにして得られた確率分布を使って検定や推定を行う。

の2段階で行う。

コンピュータでの実装でもこの2段階を分離したい。

そして私は中央値の信頼区間の実装で実際に分離しました。

タグ：統計

posted at 17:53:33

#統計そのように実装を2段階に分解する御利益は凄まじいです！

中央値の信頼区間を求めるコードがたったの3行になり、しかも、「数理統計学」の教科書に書いてある順序統計量の分布の記述の基本をそのまま書き下したものになってしまった！

教科書に書いてある基本だけでコードの実装が終了！

タグ：統計

posted at 17:58:33

#統計実装の面倒な部分は #Julia言語の確率分布フレームワークのDistributions.jlに押し付けた格好になっています。

そして、そのような押し付けを可能にしたのが、教科書に書いてある基本的な事柄だったわけです。(具体的には標本分布における順序統計量の分布の知識)

色々絡みあっている。

タグ： Julia言語統計

posted at 18:02:50

#統計このスレッドを理解するために必要な順序統計量の分布の記述は以下に書いてあります。

竹村彰通『現代数理統計学』pp.82-86

竹内啓『数理統計学』pp.140-143

ウィキペディアの順序統計量 ja.wikipedia.org/wiki/%E9%A0%86...

標準的教科書にもウィキペディアにも書いてある基本的なことです。

タグ：統計

posted at 18:07:21

sako @SSako86

まあ、論証の方法を理解していればそもそも掛け順強制を支持できるはずはないですよね。
この人は象徴的ですが、他の順序支持をする人にも共通する特徴ですね。 twitter.com/sekibunnteisuu...

タグ：

posted at 18:12:45

optical_frog @optical_frog

読みが難しい単語は，最初に登場するときだけルビふっておしまいにせずに，その後もちょいちょいルビをつけてた方がいいんだろうと思う．（「尤度」とか）

タグ：

posted at 18:42:11

#統計

この件での以前の私のコメントは間違っていました。ごめんなさい。

驚くべきことに、【とりあえずnを1増やして奇数】にするという処方箋が正しいようです！

nが偶数に場合の中央値(=(下からn/2番目 + 上からn/2番目)/2)の分布の正確な公式を数値積分で計算して比較してみました。

続く twitter.com/h_okumura/stat... pic.twitter.com/sPvul8yLXh

タグ：統計

posted at 20:30:40

#統計 nが偶数のときの中央値の分布も0～1の一様分布の場合に近似的に帰着できるので、一様分布に場合を計算してみました。

#Julia言語のソースコードと計算結果↓
nbviewer.org/github/genkuro...

続く

タグ： Julia言語統計

posted at 20:32:46

#統計以下、nは正の偶数であるとし、m=n/2とおきます。このとき、0～1の一様分布のサイズnの標本の下からm番目の値xと上からm番目の値yの同時分布の密度函数は

pdf(Dirichlet(m,1,m), [x, y-x, 1-y])

になります。これを (x+y)/2=zという条件のもとで積分すれば、中央値zの真の密度函数が得られる。

タグ：統計

posted at 20:40:18

#統計 #Julia言語実際にその積分を数値積分で実行して、

* Beta((n+1)/2, (n+1)/2)分布(nの場合)
* Beta((n+2)/2, (n+2)/2)分布(n+1の場合)

を比較するグラフを描いてみました。nを1増やして奇数にした側が真の分布をより正確に近似していることが分かります！

nbviewer.org/github/genkuro... pic.twitter.com/b5FWCKzYgK

タグ： Julia言語統計

posted at 20:40:21

#統計 #Julia言語 1つ前のツイートにはn=2,4,6,8,10,12の場合のプロットのみを示しましたが、48までのプロットも示しておきます。

nbviewer.org/github/genkuro... pic.twitter.com/xmQVk4rrm4

タグ： Julia言語統計

posted at 20:43:31

悪意を感じる記事なので誤解なきよう説明します。私は決して大阪府を糾弾しようと、この分析をしているのではありません。一義的には、感染状況分析をアップデートする中で、現在のサーベイランスの入力が遅れて詳細情報のリアルタイム分析が厳しくなっている程度を　1/4
dot.asahi.com/dot/2022021300...

タグ：

posted at 20:45:26

定量化するという科学的目的で実施しました。後に公開されるだろう議事録を見ていただければわかりますが、厳しい状況の都道府県に対しては厚生労働省のほうからトップダウンで声をかけて人員のカバーアップをしていただけないかと提案をしています。厳しい流行 2/4

タグ：

posted at 20:45:27

状況の中で政治的責任を糾弾する気持ちや役割も理解できますが、その議論にデータ分析を何とか実施しようとしている私たちを巻き込まないでいただきたい。個人的には、京阪神が厳しい状況にあることに心を痛めており、どうにかして力になれないかと常々考えています。 3/4

タグ：

posted at 20:45:27

医療者には当然のことですが、苦しい人には手を差し伸べ、共に流行を駆け抜けられる日本であって欲しい、です。少なくとも、その状況を目指して各自の持ち場で努力する日々でありたい、と願っています。 4/4

タグ：

posted at 20:45:27

#統計

nが奇数の場合の一様分布の標本中央値の分布は正確にBeta((n+1)/2, (n+1)/2)分布になります。

これをnが偶数の場合にも使うことはnが20程度以上なら間違いではないと思うのですが、nが小さな場合にはnを1増やした場合のBeta((n+2)/2, (n+2)/2)分布の方が誤差がずっと小さい！

タグ：統計

posted at 20:46:36

#統計いやあ、びっくらこいた！

思い込みを廃して全部計算してグラフを描いてみることはやはり大事です。

nが偶数にとき、(n+2)/2は整数になるので、Beta((n+2)/2, (n+2)/2)分布の累積分布函数は、試行回数n+1(←奇数)の二項分布の累積分布函数で表せます。

タグ：統計

posted at 20:49:15