黒木玄 Gen Kuroki(@genkuroki)/2019年10月/Page 23

#統計いまさら「尤度」や「自由度」という用語を他の言葉に置き換えるのは無理だと思うので、それらの字面とは異なる意味で使うことを教科書にはっきり書いた方が親切だと思う。

「ベイズ統計」も同様。「ベイズ統計」で「ベイズの定理」は本質的ではないが、それ以外の言い方の普及は難しい。

タグ：統計

posted at 23:51:22

#統計尤度関連のリンク↓

多分、統計学入門書で「尤度」や「自由度」という用語のニュアンスがよく分からなかった人は多いと思う。

それらの用語はミスリーディングなのでよくわからなかった人の方がよくわかっている可能性が高いと思う。

twitter.com/genkuroki/stat...

タグ：統計

posted at 23:38:55

#統計

* 「尤度」(likelihood)はデータへの適合度に過ぎないので、「尤度」=「尤もらしさ」という説明はミスリーディング。

* カイ二乗検定における「自由度」は実際には確率モデルのパラメーター空間とその部分空間の次元の差に過ぎないので、「自由度」という用語もまたミスリーディング。

タグ：統計

posted at 23:34:01

#統計「自由度」(degree of freedom)はFisherがPearsonの誤りを訂正するために使った用語で、「どのカイ二乗分布を使うべきであるか」については正しい結果を得たが、その理屈は間違っており、その間違った理屈のもとで「自由度」という用語を使ったので、ミスリーディングな用語になっている。

タグ：統計

posted at 23:34:00

#統計このスレッドの話題は自由度。最初の方の話は易しいが、「途中からはパラメーター付き確率分布(確率モデル)を認識できないと自由度の概念を正しく理解できませんよ」という話になっている。

タグ：統計

posted at 23:33:59

#統計カイ二乗検定で使うカイ二乗分布の自由度は、帰無仮説に対応する確率モデルに入るパラメーターの個数を、帰無仮説の否定に対応する確率モデル(パラメーターの特殊化で帰無仮説に対応する確率モデルを含む)に入るパラメーターの個数から引いた値になります(本質的にはこれがWilksの定理)。

タグ：統計

posted at 23:24:06

MSNBC @MSNBC

ごまふあざらし(GomahuAzaras @MathSorcerer

Sometimes unexpected breaking news happens while you're reporting breaking news. #MSNBCMoms #workingmoms pic.twitter.com/PGUrbtQtT6

タグ： MSNBCMoms workingmoms

posted at 23:08:22

秘密鍵プッシュしてTwitterに拡散・・・Oh twitter.com/abap__/status/...

タグ：

posted at 22:00:44

言迷水 @genmeisui

ＥＭ菌の裁判の記録は暗黒通信団のサイトに詳細にまとめられているのですね。暗黒通信団訴務部の仕事ぶりに感心します
謎水事件が裁判になったときのために勉強しておきます
ankokudan.org/d/d.htm?samaki...

タグ：

posted at 20:59:12

ちぇしゃお @cheshiredoe

台風の進路や直撃する時間ってイマイチはっきりしなかったんだけど、気象庁の台風情報ページにある「暴風域に入る確率(分布表示)」が判りやすいと気づいた。
12日18:00〜21:00頃に関東直撃かな。千葉やばくね？
www.jma.go.jp/jp/typh/1919p0... pic.twitter.com/vDTYpNHrPC

タグ：

posted at 20:10:59

大石雅寿 @mo0210

岩永直子 Naoko Iwanaga『言 @nonbeepanda

菊池さんが論座に出した論考も引用されている模様。 -- 福島県民必読！放射能不安を煽って生れた　福島「甲状腺がん災害」 www.dailyshincho.jp/article/2018/0... #デイリー新潮

タグ：デイリー新潮

posted at 18:53:43

岩永哲（気象予報士） @iwanaga_tenki

今、東京電力が登録希望者のために電話相談窓口を伝えてきてくれたので追記しました。この電話窓口はこの登録制度について把握しているそうです。電気が必要な医療機器を使う方で台風19号による停電対応が心配な方、早めにご相談ください。
www.buzzfeed.com/jp/naokoiwanag... @nonbeepandaさんから

タグ：

posted at 18:20:10

マイナビ出版　囲碁・麻雀担当 @mynavi_igo

現在、猛烈な勢力となっている台風19号と1か月前に関東を直撃した台風15号。 pic.twitter.com/6pHVPignm8

タグ：

posted at 18:14:34

芝野虎丸八段の名人獲得を記念して、978STOREでは関連書籍5冊の半額セールを開催！
【祝！芝野虎丸八段　最年少名人獲得！】関連書籍半額セール実施！【10月23日まで】
｜978STORE #978STORE book.mynavi.jp/978store/detai... pic.twitter.com/nW86v5p9VV

タグ： 978STORE

posted at 17:40:05

モト@PPMMPP @29silicon

左巻健男（サマキタケオ） @samakikaku

@pmagshib @coXpAFm1VBN283t 馬鹿げてるし、デマとしても古すぎ。ツイッター社は通報の項目に「デマ」と「パクツイ」を入れるべきですね。

タグ：

posted at 17:12:35

FB左巻健男（友達限定）に。
↓
【覚えておくとタメになる情報】
デマ的なのの信者はFBに「山田正彦」の記事を紹介するからすぐわかるよ。
共産も山田正彦のデトックス・プロジェクトに深く関係している。
「山田正彦」は前、民主党政権のとき、EM菌比嘉照夫氏に感謝状をあげた農水大臣だったよ。

タグ：

posted at 16:44:36

杏仁まぜそば @an_nindouph

@Inetgate すみません…母集団（店舗の評価の集合）の分布が不明なのでヒストグラムを書いていると思うのですが、なぜ正規分布を仮定できるのでしょうか

タグ：

posted at 15:52:16

Kohta Ishikawa @_kohta

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

標本平均が正規分布に近づかない場合もあるよ pic.twitter.com/1vnAOWa1VF

タグ：

posted at 15:50:27

ループの内側でこれにさらに浮動小数点数をかけてたので、一部の式の計算結果が2倍だけ異なるという分かりにくいアレでした。 pic.twitter.com/L2IB1zMhu9

タグ：

posted at 15:23:18

杏仁まぜそば @an_nindouph

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

これ、中心極限定理で分布が正規分布に収束していく話と混じってるんじゃないか感ある twitter.com/inetgate/statu...

タグ：

posted at 15:22:05

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

計算が合わない原因はこれでした…

タグ：

posted at 15:19:33

こ…これは… pic.twitter.com/JKTmyPlunX

タグ：

posted at 15:15:47

Yasuhiko TAKANASHI @YTAKANASHI4

査読者の統計センスを疑うことはしばしばある。 twitter.com/genkuroki/stat...

タグ：

posted at 14:10:09

Yasuhiko TAKANASHI @YTAKANASHI4

定番の教科書なのだが、この方の指摘はなるほど、と思う。
読み飛ばしていた、と言うか、適当に読んでいたことを反省しなきゃ。 twitter.com/genkuroki/stat...

タグ：

posted at 14:04:25

Hiroyasu Kamo @kamo_hiroyasu

胸糞悪い自称芸術作品を展示することも表現の自由の行使です。それを胸糞悪いとボロクソにけなすのも、表現の自由の行使です。 twitter.com/kamo_hiroyasu/...

タグ：

posted at 12:26:14

Uryu Shinya @u_ribo

Rで気象情報を扱うパッケージに、熱帯低気圧地区特別気象センターが公開するベストトラックを読み込む関数を追加しました gitlab.com/uribo/jmastats また、台風の個別の観測点を軌道として扱う関数も用意しました。
👇過去10年間のデータを可視化（1959年から記録されています）gist.github.com/uribo/47c4127c... pic.twitter.com/1MRzHei3PR

タグ：

posted at 12:22:54

Hiroyasu Kamo @kamo_hiroyasu

@kikumaco チンポムについては、広島の空に飛行機で「ピカッ」と書いて以来、そういう連中と理解しています。

タグ：

posted at 12:18:26

#統計私が心配しているのは、論文の査読者達が非科学的な理解のもとで非科学的な内容の論文を素通ししているのではないかということです。

2×2の分割表の独立性検定でサンプルサイズが小さい場合にFisher's exact testを使用することが、論文の査読者の間で「常識」になっている疑いがある。大丈夫？

タグ：統計

posted at 12:02:28

#統計仮説を数学的に不適切に定式化してしまうと、データを用いた仮説の評価は最初から出発点で瓦解してしまうことになります。

2×2の分割表で周辺度数をすべて固定することをあっさりやってしまう人達は科学のイロハのイの時点で失敗していることになります。

タグ：統計

posted at 12:02:27

#統計以上は「仮説をデータを使って評価する」という科学の基本の話でもある。

A(例えば喫煙)とB(例えば癌)が独立であるという仮説をデータを使って評価するのが、2×2の分割表における独立性検定なのですが、そのときに独立性の仮説をどのように数学的に定式化するか明瞭にする必要がある！

タグ：統計

posted at 12:02:27

#統計こういう仕組みになっているのに、2×2の分割表において、独立性の帰無仮説に対応する確率分布をただ一つに確定させるために周辺度数をすべて固定するという非現実的な仮定を導入することは、帰無仮説に対応する確率分布がただ一つに確定しない困難の存在を隠す非常に困った行為だと思います。

タグ：統計

posted at 12:02:26

#統計続き。その場合の「分散が未知である」という困難は、t分布に従う統計量をうまく作ることによって回避される。

2×2の分割表では、漸近的に自由度1のカイ二乗分布に従うPearsonのカイ二乗統計量の構成によって、帰無仮説に対応する確率分布がただ一つに確定しない困難を回避するわけです。

タグ：統計

posted at 12:02:25

#統計帰無仮説に対応する確率分布にパラメーターが入る他の例として、平均μのみが固定されていて分散は未知の正規分布の場合があります。

分散という未知のパラメーターが帰無仮説に対応する確率分布に残されている。続く

タグ：統計

posted at 12:02:25

#統計一方、2×2の分割表におけるPearsonのカイ二乗検定は、周辺度数をどのように固定しても帰無仮説に入るパラメーターが何であってもPearsonのカイ二乗統計量が漸近的に自由度1のカイ二乗分布に従うことを使うことによって、帰無仮説に対応する確率分布が確定しない困難を回避します。

タグ：統計

posted at 12:02:24

#統計 2×2の分割表の独立性検定は、周辺度数がすべて固定されているという非現実的な仮定を捨てると、帰無仮説の確率分布としての定式化にパラメーターが1個以上残るのです。

パラメーターを決めるごとに異なるP値が得られることになるわけです。その意味でのP値のどれが適切であるかは決められない！

タグ：統計

posted at 12:02:23

#統計 P値を__確定した__(パラメーターを含まない)確率分布における確率として計算したければ、最後の周辺度数をすべて固定する非現実的な仮定が必要になります。

そしてそういう非現実的な仮定は現実に大きな誤差をもたらす。

twitter.com/genkuroki/stat...

タグ：統計

posted at 12:02:23

#統計周辺度数a+b,c+d,a+c,b+dをすべて固定するという通常の調査では不可能な場合を想定すると、2×2の分割表に入る確率分布全体は、パラメーターが1個の超幾何分布になります。

そのうち独立性の帰無仮説に合致する確率分布では、その1個のパラメーターが確定して、パラメーターが0個になる。

タグ：統計

posted at 12:02:22

#統計 a+bとc+dを固定するときに、2×2の分割表に入る確率分布全体は、(a,b)に関する二項分布Bin(a+b, q₁)と(c,d)に関する二項分布Bin(c+d, q₂)の対全体なので、パラメーターは2個。

そのうちの独立性の帰無仮説に合致する確率分布ではパラメーター1個q=q₁=q₂に減る。

twitter.com/genkuroki/stat...

タグ：統計

posted at 12:02:21

#統計 2×2の分割表

a b
c d

の確率分布は、サンプルサイズn=a+b+c+dだけを固定するとき、2×2=4個のそれぞれが生じる確率を与えると決まります。4項分布。パラメーターは3個入る。

そのうちの独立性の帰無仮説に合致する確率分布ではパラメーター2個分だけある。

twitter.com/genkuroki/stat...

タグ：統計

posted at 12:02:20

#統計「帰無仮説の定式化とみなされる確率分布」と「データ以上の偏り」の定義を確定させればP値が確定する。

2×2の分割表の自由度が何かという問題は「帰無仮説の定式化とみなされる確率分布」を決める問題にもなっている。

帰無仮説の定式化とみなされる確率分布にパラメーターが入ることが問題。

タグ：統計

posted at 12:02:19

#統計以上の話題は数学的にややこしいのですが、

* 仮説検定における帰無仮説の正しい数学的定式化

という概念的にも極めて基本的な問題にもなっています。仮説検定におけるP値の定義は「帰無仮説の定式化とみなされる確率分布においてデータ以上の偏りが生じる確率」です。

続く

タグ：統計

posted at 12:02:13

まあこれは明言しておきますが、僕はチンポムに対して「やらかす集団」という偏見を持っていますし、東京視点での「被災地アート」には不信感を持っています。
今回のはその合わせ技なので、相当な偏見を持って見ていることは認めますし、しかも作品の一部しか見ていないことも認めます

タグ：

posted at 11:26:30

栗原裕一郎 @y_kurihara

今度はChim↑Pomの「気合い100連発」が槍玉にあがっているのか。あれは発表当時見たけど、当時の文脈では不快感を招くようなものではなかった。逆に言うと文脈を取ってしまうと招く可能性はある。そんなこと言ったら何でもそうだが。結局のところキュレーションの問題になるんじゃないですかね。

タグ：

posted at 11:16:08

#統計 2×2の分割表の「自由度」に関する誤った説明に関するより詳しい説明へのリンク。

2×2の分割表

a b
c d

の周辺度数をすべて固定することによる説明は誤りで、確率分布に入るパラメーターの個数の差を見る必要がある。

帰無仮説の正しい数学的定式化の問題になる。

twitter.com/genkuroki/stat...

タグ：統計

posted at 10:49:32

arXiv math.NT Number @mathNTb

Kathrin Bringmann, Chris Jennings-Shaffer, Karl Mahlburg : On a Tauberian Theorem of Ingham and Euler-Maclaurin Summation arxiv.org/abs/1910.03036 arxiv.org/pdf/1910.03036

タグ：

posted at 10:30:07

ごまふあざらし(GomahuAzaras @MathSorcerer

#数楽ただし、統計学、機械学習、統計力学、情報理論の中で入門的解説に問題があるケースが多いのは圧倒的に統計学だと思う。

「未知の分布」と「推測のために使われる数学的モデル」を明瞭に区別する気がないように見える入門的解説が多い。他にも色々雑。具体例↓

twitter.com/genkuroki/stat...

タグ：数楽

posted at 10:18:43

JuliasぁckのMakieチャンネルでみんなのアイコン猫にしようぜな話になってる。あざらしでもええか？

タグ：

posted at 10:05:50

もっとも、全部観れば印象が変わるという意見には、それはそうかもしれませんねと言うしかありませんが、今のところネットに公開された部分でしか判断のしようがないので、その部分だけで言います。対抗する方法としては、チンポム側が全編をネットに公開する手があり、それは考えてみていただきたい

タグ：

posted at 09:45:02

@annTINKIYOHIME いえいえ。私も最初に「被災者を愚弄した作品が展示されている」というツイートが流れてきたときは騙されました。

タグ：

posted at 09:42:00

ぴえこ@連珠（競技五目ならべ） @pieco_renju

ただ、マルチアングルで撮られているらしいことから、その場で自然発生したことをたまたまその場に居合わせた彼らが記録したものではないことは分かります。したがって、とにかく演出はなされている

タグ：

posted at 09:41:03

将棋の女流棋戦も映像中継欲しいよ(´°̥̥̥̥̥̥̥̥ω°̥̥̥̥̥̥̥̥｀)
露出がもっとあれば人気も今の何倍にもなると思うのに(´°̥̥̥̥̥̥̥̥ω°̥̥̥̥̥̥̥̥｀)

タグ：

posted at 09:38:44

作品は作品として独立して存在するし、それを作品とするのは結局は制作者の意図なので、「作者はこのように叫ばせたかった」と解釈するしかないし、うつっているのが地元の人間なのかあるいは作者が東京から連れていった人間なのかすら我々には判断のしようがないと思います twitter.com/makotoaida/sta...

タグ：

posted at 09:38:21

畠山勝太/サルタック @ShotaHatakeyama

短縮版をＵＰしたアカウントはチンポムのものではなく、他のさまざまな作家による作品の動画も挙げています。くわしい経緯はわかりませんが、誰かが現代アートを紹介するためにつくったアカウントで、編集もおそらくチンポムによるものではないのだろうと思います。

タグ：

posted at 09:37:38

今年一番の驚きかもだけど、NJ州でのパソコンを使った数学の個別学習で効果が出ないという結果になったらしい。パソコンを使った個別学習は、米国内の他の研究だけでなく、インドでも大きな成果が出ていて、文脈を超えて普遍的に効果的な学習方法だと思っていた…。
hechingerreport.org/new-study-cast...

タグ：

posted at 09:18:07

またyoutubeには気合百連発のＤＪリミックス版がUPされているのですが、これを聴くと、若者たちは放射能最高とかもうちょっと浴びたいとかのあと、
「放射能最高じゃないぞ！」
「ふざけんな！」
と叫んでいたのに、例の短縮版ではカットされていることがわかります。
youtu.be/7CEKnqSExaU?t=...

タグ：

posted at 09:05:05

あとyoutubeにあがっているバージョンは二分四〇秒しかありませんが、全編は十分半あるようです。

タグ：

posted at 08:34:09

非公開

タグ：

posted at xx:xx:xx

土と油 @tutitoabura

これは松本御大の戦場漫画にあったやつそのものだ。尾栓と照準器を処分する暇が無いから砲弾を弱装発射して高射砲を使用不能にするの。この姿のまま現存しているとは。＞RT pic.twitter.com/3HQZx4QzAK

タグ：

posted at 06:39:09

Wikunia @Wikunia_de

I love the `Animation` function in #julialang
youtu.be/H9KRIrIALWE
So simple to create a nice looking animation. Unfortunately it's a bit off center. Don't know how to change that
Thanks again to @3blue1brown pic.twitter.com/gyyzB0jDCE

タグ： julialang

posted at 06:22:59

Wikunia @Wikunia_de

@3blue1brown or a small animation:
youtu.be/H9KRIrIALWE pic.twitter.com/WIKC4qclQJ

タグ：

posted at 06:19:36

Wikunia @Wikunia_de

@3blue1brown It looks gorgeous. I just had to try it out myself. Playing with it a little bit using #JuliaLang pic.twitter.com/oCGLIgM7vT

タグ： JuliaLang

posted at 03:36:48

現地の若者だったらなに叫んでもいいのか！という意見もあるかもしれませんが、同作の悪評をひろめてる連中は、作品にかんする重要な情報を（おそらく故意に）隠しているわけですからね。まずはそちらを責めるべきでしょう。

タグ：

posted at 03:32:52

Lucas Moore @LucasCMoore

@curiouswavefn That’s just one example, but the point is that the scripts can swap any two conformations’ energy levels – they might be much further apart than that.

タグ：

posted at 03:32:13

チンポムの気合百連発、別に好きではないが「瓦礫撤去する被災者の若者たちとアーティストが、勢いまかせで思ったことを叫んでいる」という状況を隠して、「放射能最高！」といった悪ふざけ発言だけをピックアップし、被災地を愚弄した作品だという評判をひろめてる連中はアンフェアだな。

タグ：

posted at 03:27:57

Grant Sanderson @3blue1brown

Polar plots of primes. Wait for it...

Can you guess what's going on? See the new video: youtu.be/EK32jo7i5LQ pic.twitter.com/SvcB74wnED

タグ：

posted at 02:08:24

Lucas Moore @LucasCMoore

ごまふあざらし(GomahuAzaras @MathSorcerer

Holy crap. Huge bug uncovered in computational chemistry software because different operating systems sort files differently and the published scripts don’t handle it well. If you do or rely on calculated NMR chemical shifts, this is a must-read.

pubs.acs.org/doi/10.1021/ac...

タグ：

posted at 02:00:44

最後まで読んでしまった twitter.com/hikikomori_/st...

タグ：

posted at 01:51:02

ファインマンbot @feynmannnn

どの概念が直接検証のできないものであるかを知っておくことは、いつの場合にもよいことではある。しかし、だからといって、それらの概念を全部除去してしまう必要はない。直接実験に関係している概念だけを利用して、科学の追究ができると考えるのは正しくない。

タグ：

posted at 01:01:24

Toshi.Ishikawa @Phi5525

@genkuroki この方法で解決しました。ありがとうございます。

タグ：

posted at 01:00:22

ɯǝɟʇǝƃ@010ɐɯɐʎoʞʇ(he @tkoyama010

#Julia言語すでにインストール済みのJupyterでJuliaを使う場合には

julia> Env["JUPYTER"] = "jupyterバイナリのフルパスの文字列"
julia> ]
pkg> add IJulia
pkg> build IJulia

のようにすれば、JupyterでJuliaを使えるようになります。フルパス入力ではTABで補完可能。

twitter.com/phi5525/status...

タグ： Julia言語

posted at 00:48:42

@public_inabower 今は Gitpitch が人気ですよ。
paiza.hatenablog.com/entry/2017/06/...

タグ：

posted at 00:20:50

非公開

タグ：

posted at xx:xx:xx

#数楽もう一つの基本定跡は、理解したことを誰かに話すのではなく、理解するために誰かに話すこと。

この基本定跡2は1人でできない。誰か話を聞いてくれる人が必要。

基本定跡1の「教科書を書く」も読者がいた方がうまく行くと思う。

タグ：数楽

posted at 00:13:38

yamazaks @yamazaksv2