黒木玄 Gen Kuroki(@genkuroki)/2019年08月13日

#統計上の例1、例2では検出力は出て来ない。

検出力の話が出て来るのは、安全のために安易に捨てられない仮説に対応する確率分布p₀と別の仮説に対応する確率分布p₁の2つの確率分布を、現実から得たデータを使って比較する場合です。

「θ≠a」型の「対立仮説」は確率分布一発で定式化できない。

タグ：統計

posted at 23:53:39

#統計上の方の例では帰無仮説が「p=1/2」や「p=1/3」の両側および片側検定の話をしていますが、いっそのこと「p=a」の両側検定で棄却されないaの範囲を一挙に求めてしまうことが考えられます。そういうaの範囲がpの信頼区間になります。

信頼区間のこの解釈ではpの真の値との関係に触れずに済む。

タグ：統計

posted at 23:47:49

@genkuroki あ、ご丁寧にご案内いただきありがとうございます。

タグ：

posted at 23:43:55

ないしはFisher流の有意差検定とNeymann-Pearson流の統計的仮説検定の意義の違いを区別せよという言い分かもしれぬ。難しいな。

タグ：

posted at 23:42:09

#統計上の方の例を見て下さい。

twitter.com/utaka233/statu...

タグ：統計

posted at 23:41:40

#統計「帰無仮説」という意味不明の専門用語だとか、「対立仮説」に関する曖昧な説明のような事柄にこだわらずに、

自分の説を数学的に定式化し、
現実世界からデータを得て、
そのデータで自分の説を評価する

という

科学の基本中の基本

を

確率計算で遂行する

と教えれば良いのではないか？

タグ：統計

posted at 23:40:26

そうか、ツイートは片側検定だとわかるけどっていう意味なんかな。両側検定だと最強力検定がないことは示せて、一旦不偏検定に限るけど、そこではLehmannの定理からz検定やt検定を導く話だな。こういう議論の流れがダメという意味だろうか。

タグ：

posted at 23:38:59

#統計そして、自分の説を確率分布の形式で数学的に定式化し、その確率分布(これは数学的モデルの一種、現実とは厳密に区別される)において、現実から得たデータ以上の偏りが生じる確率(=所謂p値)を計算すれば、自分の説の信憑性を評価できるということも、上の例を見れば明瞭です。

これが仮説検定。

タグ：統計

posted at 23:36:34

Build Status of Julia
Good to go pic.twitter.com/xDMks0YVXl

タグ：

posted at 23:32:18

これよく分かんなくなったけど、ここで例になっている対立仮説なしで説明すべき仮説検定ってどんな例なんだろう。z検定は尤度比検定から導出できるものだから違うっぽい？あと対立仮説を準備しない場合の検出力はどうなるんだろう。 twitter.com/genkuroki/stat...

タグ：

posted at 23:31:02

#統計以上の例であれば、両側検定と片側検定のどちらが適切であるかがわかりやすい(と思う)。

タグ：統計

posted at 23:28:05

#統計例2

サイコロBは偶数の目が出る確率が1/3以下のイカサマに使える優れたサイコロだと思っていたが、実際にサイコロを振ってみたら、偶数が51回、奇数が49回出た。そこで、仮に偶数が出る確率が1/3だと仮定して、100回中偶数が51回以上出る確率を計算してみた。
↓
片側検定に発展

タグ：統計

posted at 23:28:05

#統計例1

サイコロAでは偶数と奇数が同じ確率で出ると思っていたが、実際にサイコロAを振ってみたら、偶数が66回、奇数が34回出た。そこで、仮に偶数と奇数が同じ確率で出ると仮定したときに、100回中偶数または奇数が66回以上出る確率を計算してみた。
↓
両側検定に発展

twitter.com/genkuroki/stat...

タグ：統計

posted at 23:28:03

動いた！ twitter.com/ITF_Q/status/1... pic.twitter.com/jcuW7fSjXN

タグ：

posted at 23:13:09

Shuhei Kadowaki @kdwkshh

@MathSorcerer それ知らなかったです！Base module中のbindingだけ特別に変えてるっぽいですね。他のだとローカルのファイルパスを返すだけなので。
何にせよ便利ですね :)

タグ：

posted at 22:46:04

Akinori Ito @akinori_ito

津田和俊／急激に進行した網膜剥離と闘って @kaztsuda

@kaztsuda おそらく文系から入ってくる学生用だと思います。入ってから何をするのか不安な感じではありますが

タグ：

posted at 22:24:21

@akinori_ito うーん、数理科学概論も、大学３年くらいまでには身に付けてもらわないと困る内容のカリキュラム。。。ですよねえ？
きちんと勉強して来なかったけど間違って大学院に入ってきてしまった学生さんの補講用、なのかしら？？？

タグ：

posted at 22:13:02

@kdwkshh 確かに．ノートブック上だと which マクロが示すコードがGitHubのリポジトリのリンクに飛ぶので便利ですね．

タグ：

posted at 21:50:59

非公開

タグ：

posted at xx:xx:xx

@y_bonten @genkuroki たぶん、私は「最大勾配方向のベクトル」を、斜面に接するベクトルだと勘違いしていました

タグ：

posted at 21:39:24

こうしてJuliaは生成される

#Julia言語

公式リポジトリのスクショ pic.twitter.com/vmKn6xEVIa

タグ： Julia言語

posted at 21:27:29

大石雅寿 @mo0210

朝日新聞上層部のことですか？ twitter.com/nonbeekaerucci...

タグ：

posted at 21:19:23

Akinori Ito @akinori_ito

まにゃpy@Pythonコース講師 @uuyr112

今日の夜は2階を作成中。あとは窓枠をはめれば・・・ pic.twitter.com/7ltI0u10JU

タグ：

posted at 21:13:50

Julia見てみたらかなり便利じゃないか

2*x+1じゃなくて2x+1って書けるとか、スピードめちゃくちゃ早いとか。

Juliaという速くて書きやすい言語をちょっとだけ覗いてみたんだが、なにやらワクワクするものがあったので報告しようと思う qiita.com/sadayuki-matsu... #Qiita

タグ： Qiita

posted at 21:07:51

栗原裕一郎 @y_kurihara

犯人の容姿への嘲笑に警告　9万件のコメントを集めたマグショット | ワールド | 最新記事 | ニューズウィーク日本版オフィシャルサイト www.newsweekjapan.jp/stories/world/...

タグ：

posted at 21:06:07

Shuhei Kadowaki @kdwkshh

まにゃpy@Pythonコース講師 @uuyr112

@MathSorcerer generic functionそこらへんが分かりにくいですよね。
強力なんだけど、コードのぱっと見の理解しやすさには難しいところがあるというか。
未だにいちいち@which使わないと分からなかったりします。

タグ：

posted at 20:59:49

@genkuroki 圧倒的負けた感あります笑

タグ：

posted at 20:59:25

#Julia言語そのネタでPythonは分が悪過ぎ。コードのシンプルさでも計算速度でも不利過ぎ。

Julia言語では

sum(x for x in 1:100 if iseven(x))

とか

sum(2:2:100)

と書ける。超シンプル。後者は前者より1500倍上速い。コンパイラの最適化のおかげ(笑)

twitter.com/uuyr112/status... pic.twitter.com/vQGeRVzMPM

タグ： Julia言語

posted at 20:57:53

@genkuroki ありごとうございます。
一連のツイートを見ながら、実際に手を動かしてみたいと思います

タグ：

posted at 20:57:40

ちょっと何してるかわからない。。。 pic.twitter.com/IoSsCnohO8

タグ：

posted at 20:54:33

@y_bonten @genkuroki このイメージを持ったまま、黒木さんの一連のツイートを追ってみようと思います

タグ：

posted at 20:45:11

@y_bonten @genkuroki なるほど、イメージが掴めてきました。ありがとうございます

タグ：

posted at 20:44:44

スタンフォード監獄実験に引導を渡すために書かれた論文

psyarxiv.com/mjhnp/
Debunking the Stanford Prison Experiment
AUTHORS
Thibault Le Texier

CREATED ON
August 08, 2019
LAST EDITED
August 08, 2019

タグ：

posted at 20:32:34

@YamamotoShuhasu #数楽 (x,y)をベクトル(-2,3)と同じ方向に動かすと、z=-2x+3y+1 は最大勾配で大きくなる。

y = -2x+1 の場合がわかれば、z = -2x+3y+1 の場合も「同様」だと理解できると思います。

タグ：数楽

posted at 20:28:48

@YamamotoShuhasu #数楽すみません。質問への直接的回答については以下のリンク先を見て下さい。

xy平面上の直線 y=-2x+1 では最大勾配方向は負の方向です。xを負の方向に動かすとyが大きくなる。

xyz空間内の平面 z = -2x+3y+1 では最大勾配方向はベクトル (-2,3) の方向になります。

twitter.com/y_bonten/statu...

タグ：数楽

posted at 20:26:47

rei @0018____

@genkuroki @MathSorcerer これです！！！
ずっと探してたのに出てきませんでした。。。
アドバイスありがとうございました！

タグ：

posted at 20:17:37

春 @sunbluesome

ぼんてんぴょん(Bontenpøn) @y_bonten

Plots.jl芸人…

タグ：

posted at 20:12:12

上木敬士郎 / Keishiro Ue @KeishiroUeki

ひとつ目の質問への直接の答えは、「想像していらっしゃる3次元ベクトルの、xy平面への正射影の話をしている」ということでよさそう twitter.com/YamamotoShuhas...

タグ：

posted at 20:09:22

pic.twitter.com/ai9Tc2GI3E

タグ：

posted at 20:07:30

UFO教授 (藤木文彦 Fumihiko @UFOprofessor

素晴らしい笑 twitter.com/genkuroki/stat...

タグ：

posted at 19:38:22

@genkuroki 昔ゼミで、日本地図に近い形に展開する研究をしました。

タグ：

posted at 19:26:20

@CSvrb7xtm @MathSorcerer #Julia言語これですか？(笑)

Plots.jl gr()ではマージンを開けてannotate!を使うハック。

PyPlot.jl なら簡単。

私はPlots.jlもPyPlot.jlも使っています。

nbviewer.jupyter.org/gist/genkuroki...

See also github.com/JuliaPlots/Plo... pic.twitter.com/AxO7aDvHXa

タグ： Julia言語

posted at 19:22:03

rei @0018____

@MathSorcerer @genkuroki 返信ありがとうございます。が、違います.
やりたいことを以下の図にのっけます.
字汚くてすいません. pic.twitter.com/nkzPYA9xN6

タグ：

posted at 19:13:10

@kdwkshh ですです。Cだと昔はCodeでない方のVisualStudioのGo to definition 機能でやっていました。Pythonだと目視でもimport 文で定義を探すことができていいのです。

タグ：

posted at 18:59:15

Shuhei Kadowaki @kdwkshh

@MathSorcerer コードを読むってことですか？
レポジトリのザラ見とか、JunoのJump to definition的なサポートがない場面だと難しいですよね。

タグ：

posted at 18:55:17

@CSvrb7xtm @genkuroki これですかね？
discourse.julialang.org/t/plots-font-r...

タグ：

posted at 18:52:53

Discourceで相談かな？

タグ：

posted at 18:43:38

juliaのパッケージ
ファイル分割して依存関係を include で済ましてるんだけれど、こういう系の言語ってみんなどうやって読んでるん？

タグ：

posted at 18:43:38

rei @0018____

@genkuroki すいません、Plotsでy軸のラベルを縦に表記したいのです...
ylabel =: "y" の "y"を縦表記にしたいのです...

タグ：

posted at 17:43:33

@YamamotoShuhasu #数楽数学は本質的に難しい分野だと思いますが、時間をかけて色々慣れてくれば、慣れた部分については主観的に易しく感じるようになります。

狭い範囲でもいいから、そうなることを目指すといいと思います。

タグ：数楽

posted at 17:41:22

@YamamotoShuhasu #数楽他にも、高校生～大学1年生レベルの数学の本を色々見て、コーシー・シュワルツの不等式の等号成立条件を調べても良いです。

さらに、(cos θ, sin θ)と(cos φ, sin φ)の内積をcosの加法定理で書き直すとcos(θ-φ)となり、cos(θ-φ)が最大になる必要十分条件を考えてもよいです。

タグ：数楽

posted at 17:39:33

@YamamotoShuhasu #数楽 (a,b)≠(0,0) かつ ak=bh のとき、(h,k)=(λa,λb) となるスカラーλの存在を示す、という演習問題に時間をかけてみるのも良いことだと思います。

素朴には、a≠0の場合にはλ=h/aとおき、b≠0の場合にはλ=k/bとおけば、欲しいλが作れていることを確認すればOKです。

タグ：数楽

posted at 17:35:30

@YamamotoShuhasu #数楽以下h=Δx, k=Δyと書きます。

ah+bk = √(a²+b²) √(h²+k²) となるベクトル (h,k) (すなわち最大勾配方向のベクトル)がどうなるかを計算してみてください。

0=(右辺)²-(左辺)²=(中略)=(ak-bh)² なので、a:b=k:h となります。後少し考えれば、ベクトル(k,h)と(a,b)の方向は同じだと分かります。

タグ：数楽

posted at 17:29:40

#Julia言語「軸のラベル回転」の意味がわからないのだが、もしかしてこれのこと？

docs.julialang.org/en/v1/base/arr...

docs.julialang.org/en/v1/base/arr... twitter.com/CSvrb7xtm/stat... pic.twitter.com/adclYONLQR

タグ： Julia言語

posted at 17:15:08

Akinori Ito @akinori_ito

深層学習が必修なのに情報科学概論が選択とか（そちらではエントロピーとかKL情報量とかが入ってる）いろいろ歪みがありそう twitter.com/akinori_ito/st...

タグ：

posted at 17:04:42

#統計関連

2×2の分割表の独立性検定について、

「もしもフィッシャー検定を使えるならば、その近似に過ぎないカイ二乗検定ではなく、正確なフィッシャー検定を使うべきである。」

という教科書的説明は__誤り__。

帰無仮説の正しい定式化について考えが足りない。

twitter.com/genkuroki/stat...

タグ：統計

posted at 15:56:42

#統計 2×2の分割表は、データを喫煙の有無と肺がんの有無で分割した2×2の集計表を例に説明されることが多いです。

その場合に周辺度数をすべて固定するという仮定は、データの中の喫煙者、非喫煙者、肺がん有り、肺がん無しの人数をすべて固定する研究計画を意味し、非現実的です。

タグ：統計

posted at 15:50:01

#統計現実の研究計画ではあり得ない仮定をこっそり忍ばせている例↓

2×2の分割表の独立性に関するフィッシャー検定では、周辺度数がすべて固定されているという非現実的な仮定を使っています。

このことを注意してある教科書があるなら教えて欲しい。

タグ：統計

posted at 15:35:48

#統計帰無仮説は現実を(近似的に)説明できる可能性があるものを選ぶ必要があるので、その定式化としての確率分布に現実の研究計画ではあり得ない非現実的な仮定をこっそり忍ばせておくことはルール違反になります。

タグ：統計

posted at 15:07:32

#統計帰無仮説の定式化とみなされる確率モデルは確率分布の形式で明瞭に定式化される必要があります。そうでなけらば、その中での確率としてp値を定義できない。

タグ：統計

posted at 15:04:15

#統計 p値の説明もかなり不明瞭だと思う。対立仮説抜きに説明できる場合の仮設検定での、p値の定義は

帰無仮説の定式化とみなされる確率モデル内部で『データ以上の偏り』が生じる確率

です。『データ以上の偏り』の定義は色々あって、両側検定と片側検定の違いはそこで生じる。

タグ：統計

posted at 15:01:52

#統計「帰無仮説」という用語もものすごくわかりにくいと思う。

「安全のために安易に捨てたくない仮説」(もしくはもっとよい言い方)

のように説明した方がずっとわかりやすいのではないか？

タグ：統計

posted at 14:46:18

#統計対立仮説無しで説明するべき仮設検定と、対数尤度比検定のように対立仮説が確率分布として明瞭な場合の仮設検定の区別を明瞭に説明するべきだと思う。

タグ：統計

posted at 14:45:32

#統計対立仮説として「θ≠a」を採用するケースでは、対立仮説とい言葉を一切出さずに、単に両側検定の考え方について説明した方が、無駄な概念を登場させずに済むので良いと思う。

タグ：統計

posted at 14:45:29

#統計パラメータθ付き確率分布p(x|θ)について、「θ=a」という仮説は確率分布を確定させるが、「θ≠a」という対立仮説はそうではない。

対立仮説として「θ≠a」を採用することの意味が非常に曖昧。

「対立仮説云々」とか言わずに、「θ=aという仮説に両側検定を適用する」と言った方がクリア。

タグ：統計

posted at 14:45:24

#統計続き

帰無仮説として確率分布p₀を採用し、対立仮説として別の確率分布p₁を採用して、対数尤度比検定(易しい議論で最強力検定になることを示せる)を行う場合については大納得。論理的に非常にクリア。

続く

タグ：統計

posted at 14:45:21

#統計学部生向けの教科書の伝統的な説明で納得できないのは、信頼区間の節だけではなく、仮設検定の節にも納得できない。

例えば、帰無仮説を「θ=a」とする所までは納得できても、対立仮説を「θ≠a」にするのは納得できない。続く

twitter.com/genkuroki/stat...

タグ：統計

posted at 14:45:19

#超算数　これに関してはこの数教協の人と同意見。
kiyotaka6.exblog.jp/16534256/

タグ：超算数

posted at 14:19:16

ほりたみゅ (mastodonも見てね) @Hyrodium

#超算数　教科書　学校図書　算数　2年上
こういうスタイルが多い。
「計算のしかたを考えよう」というタイトルなのに、見開き右側に3人の考えが書いてある。

生徒への質問は「3人の考え方で同じところはどこでしょうか。」

なんだかな～ pic.twitter.com/NKhmwGDUnT

タグ：超算数

posted at 14:15:19

pic.twitter.com/bv4RZg8Y7B

タグ：

posted at 13:34:31

ほりたみゅ (mastodonも見てね) @Hyrodium

JuliaでPOV-Rayのラッパー作ってるやつ, ナマでPOV-Ray書くよりも楽に描けるようになってきてる pic.twitter.com/sRatVz4XA1

タグ：

posted at 13:34:16

#Julia言語にはビット単位での配列型のBitArrayがある。その定義のソースコードを真似すれば、各要素が0,1,2,3の4つの値しか取れないメモリ効率のよい配列の型も定義できるはずである。興味を持った人は自分で実装してみるとよいと思います。

タグ： Julia言語

posted at 13:12:53

お父さんな自動微分使って線形回帰しようと思うんだ．

Reference:

github.com/FluxML/Zygote.... pic.twitter.com/bFI69mFZ9h

タグ：

posted at 12:47:22

加藤岳生 @takeokato719

学生向けに物性物理の教科書のまとめをしているのだが、いい本はだいたい絶版になっているのが大変惜しい。出版社は大変かと思うが、思いつき企画で出版後に売り切ったあとに絶版にするくらいなら、絶版後になんらかの形で読めるような方策を考えてほしい。有償でもいいので。

タグ：

posted at 12:33:49

miyamath @miyamath84

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#GeoGebra で作成。楕円の基本的な性質です。見て楽しい。動かして楽しい。それが一番大事。 pic.twitter.com/TaTYuQtDD1

タグ： GeoGebra

posted at 12:29:26

Julia v1.2のRC3が出てる。きっとそのまま1.2になるのでは。
Julia v1.2.0-rc3 is now available discourse.julialang.org/t/julia-v1-2-0...

タグ：

posted at 12:24:05

非公開

タグ：

posted at xx:xx:xx

GERO.G.J☀️ @GEROJORGE6

阿部公彦 ABE Masahiko @jumping5555

💤🐷⛈️✨💚 pic.twitter.com/8Ih3jA3EMV

タグ：

posted at 11:47:11

あ〜る菊池誠(反緊縮)公式 @kikumaco

「大学入試を変えれば、高校生の学びは変わる」への大きな疑念。濱中淳子さんの記事です。なお、詳しい分析は『大学入試改革は高校生の学習行動を変えるか:首都圏10校パネル調査による実証分析』（ミネルヴァ書房）に（amzn.to/2YKdp6A）。

www.nikkei.com/article/DGXMZO...

タグ：

posted at 09:26:20

各メディアやジャーナリストの反応が極端に「ない」のですが、福島で行われている甲状腺検査は大規模な人権侵害です。ぜひ関心を持ってください。「論座」に甲状腺検査の中止を提言する記事を寄稿しています。ぜひご一読ください。結論は無料で読める冒頭部にまとめてあります
webronza.asahi.com/national/artic...

タグ：

posted at 09:25:46

ps20xx@（末広良好） @ps20xx

知らんうちに安倍ちゃんの責任だいぶ薄味になっててワロタ。君ら２年も何してたんw twitter.com/datsugenp/stat...

タグ：

posted at 09:13:48

津田和俊／急激に進行した網膜剥離と闘って @kaztsuda

#超算数　「筆算の正しいやり方では六四とするのは間違い」だったりしてｗ

まさかそんなことないよね？

長方形の面積を横×縦でバツ、なんてのもあるから、有っても不思議はない。 twitter.com/flat__white_/s...

タグ：超算数

posted at 08:44:34

（つーか、ホントに知らない人が多いのか。。。
仙台市の下水処理場も、震災で浄化設備が壊れてしまい、しばらくの間、塩素を混ぜただけで海に流していたぞ。原発なんかよりこちらの方がはるかに影響が大きいだろ、とはみんな思わないのが、とても不思議。。。）

タグ：

posted at 08:19:04

SQLインジェクションし放題？ twitter.com/t_taisyou/stat...

タグ：

posted at 07:39:31

大将(Taisyo) @T_taisyou

“ナンバープレート読み取り装置を混乱させることができたら面白いと思って”

「NULL」というカスタムナンバープレートを取得したところ、大量の駐車違反切符を受け取る結果に | スラド idle.srad.jp/story/19/08/12...

タグ：

posted at 07:34:48

goropikari @goropikari_

Julia 1.2.0-rc3 が来た
github.com/JuliaLang/juli...

タグ：

posted at 07:02:46

mk @mkuze

最後「おおっ」てなる。 twitter.com/dannydutch/sta...

タグ：

posted at 06:21:07

@takusansu Takuさんが紹介してくれたこれも、意味が取りにくいと思いました。
fabcross.jp/news/2019/2019...

仕事算と言われるものも、非現実的な設定が多い。

超算数の類いとは別に、この手の文章問題の杜撰さ、というのは色々ありそう。

タグ：

posted at 04:43:49

ʇɥƃıluooɯ ǝıʇɐs @tsatie

@genkuroki うぎゃあには多分何種類かあるのやないのかと。分からないなりに／分かった上で／更にその先も知ってて／その上で次を模索していててな感じで。だからまぁ先ずは分からないと何もとついつい思うてしまう。

タグ：

posted at 02:30:10

栗原裕一郎 @y_kurihara

古市憲寿と芥川賞選評、および木村友祐作の件について何か書こうかと思ったのだが（いちおう全部読んでる希少者でもあるので）。ああ、なんということだろう！　気力がわいてこない！　どうやらインセンティブが足りないようだ。今の場合、それは、原稿料とかそういったものかもしれない。

タグ：

posted at 02:28:57

Steven Pinker @sapinker

mathematica_command @mathematica_bot

This is the UN International Year of Indigenous Languages. They are culturally, humanistically, and scientifically precious, yet massively endangered. Hear Indigenous language speakers from around the globe through Google Earth ca.news.yahoo.com/hear-indigenou... via @YahooCanada

タグ：

posted at 01:24:34

FiniteGroupData[name,"property"] : nameで指定された有限群の指定特性の値を返す

タグ：

posted at 01:05:52

ceptree @ceptree

牛丼といえば

タグ：

posted at 00:56:55

matsumatsu @matsumatsu1977

ゴルシウィーク@ウマ娘 @gorushiweek

@genkuroki 自分も、対局終了直後、感想戦に入る瞬間の言葉のやりとりが好きです。

タグ：

posted at 00:45:56

これ何に使うのか分かる人リツイート pic.twitter.com/uCIFu7mr1U

タグ：

posted at 00:35:14

非公開

タグ：

posted at xx:xx:xx

#数楽手書きのノートにはTeX化されたノートとは異なる価値があると思う。TeX化する前の詳細な手書きのノートがあるなら、TeX化した後も手書き版も公開してくれた方がみんな楽しいと思う。

タグ：数楽

posted at 00:13:35