黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2017年09月30日(土)
先に GL(2; R) の [-1, 1]^4 の部分を見てみた。w = 0 のとこで境界は yz = 0 ってなってる感じは見えるけど、 w を動かしたときに境界がどう動くか見えないと連結成分が 2 個なのは見えづらい。 pic.twitter.com/yj40oi3xxp
タグ：
posted at 00:29:05
#数楽 #統計 #JuliaLang
drive.google.com/drive/folders/...
の「岡田先生資料」の例2に4つの確率モデルを適用し、最尤法で解いてみました。
「7人の科学者の測定の中にひどい外れ値がぁー！」の問題です。
nbviewer.jupyter.org/gist/genkuroki...
posted at 00:48:10
#数楽 #統計 #JuliaLang 7人の科学者が同一の物理量を測定したら、それぞれ次の数値を得た：
-27.020, 3.570, 8.191, 9.808, 9.603, 9.945, 10.056
-27.020というひどい外れ値が含まれています。続く
posted at 00:49:51
#数楽 #統計 #JuliaLang 「岡田先生資料」はベイズ統計推しで、私もベイズ統計は好きなのですが、今回は4種類の確率モデルを使った最尤法で推定してみた。
正規分布モデル
Cauchy分布モデル
t 分布を使った2種類のモデル
外れ値には裾野が重い分布が便利です。
posted at 00:53:22
#数楽 #統計 #JuliaLang 私は「尤度函数も見せろや！」「予測分布はどうなったんだ？」と言いたくなるタイプなので、最尤法の結果だけではなく、尤度函数そのものもプロットしているし、予測分布もプロットしています。みんな、そうして欲しいと思います。
posted at 00:55:26
#数楽 #統計 #JuliaLang 尤度函数はベイズ統計における一様事前分布のもとでの事後分布と(定数倍の違いを除いて)一致するので、「尤度函数も見せろや！」と言うことは、「ベイズ統計の結果も見せろや！」と言うことにかなり近いです。「予測分布」についても同じ雰囲気があります。
posted at 00:58:07
#数楽 #統計 #JuliaLang 我々が扱っているケースにおける7人の科学者の測定結果から作った「予測分布」は、さらにもう1人の科学者が同一の物理量を測定したときの測定結果の推定確率分布になります。その予測精度はAICの小ささで推定できる。
posted at 01:00:06
#数楽 #統計 #JuliaLang 正規分布モデルのAIC(もしくはもっと単純に対数尤度の-1倍)は裾野が重い確率分布を用いた残りの3つと比較すると、かなり大きな値になっています。AICは小さい方がよいので、正規分布モデルは予測精度が他の3つより低いと推定されます。
posted at 01:02:02
#数楽 #統計 #JuliaLang サンプルサイズがn=7のケースなので、十分信頼できることは何も言えないと思うのですが、ひとまずの判断をしたい場合にはこんな感じで分析をするしかないと思う。
posted at 01:03:07
#数楽 #統計 #JuliaLang
正規分布モデルの尤度函数
平均値μの範囲がものすごくひろい。
外れ値の影響です。 pic.twitter.com/vLQPvpYoxu
posted at 01:07:52
#数楽 #統計 #JuliaLang
「Cauchy分布に従う確率変数のσ倍足すμ」のモデルの尤度函数
外れ値の影響が減って、μの範囲が狭くなっています。 pic.twitter.com/qdUbMbEKva
posted at 01:09:34
#数楽 #統計 #JuliaLang
「自由度νのt分布に従う確率変数足すμ」のモデルの尤度函数
Cauchy分布によるモデルほどではないのですが、μ方向の幅が狭くなっています。 pic.twitter.com/yN3V40ONoG
posted at 01:11:27
#数楽 #統計 #JuliaLang
「自由度νのt分布に従う確率変数のσ倍足すμ」の尤度函数
これは以上の2つのモデルの同時拡張になっています
パラメーターが3つあるので切断面をプロットしました。
さらにμ方向の幅が狭くなりました。 pic.twitter.com/RICISjaBIE
posted at 01:13:36
#数楽 #統計 #JuliaLang
予測分布のプロット
外れ値はこの範囲のプロットに含まれていません。
正規分布モデルによる予測分布は平べったく薄く広がってしまっていています。 pic.twitter.com/PfYRhokuyy
posted at 01:15:36
#数楽 #統計 #JuliaLang
４つの確率モデルを最尤法で解いた結果を紹介したのですが、それらのモデルは単純な正則モデルなので、ベイズ推定で解いても(すなわちベイズ推定の方法で予測分布を求めても)ほとんど同じ結果しか得られないと思います。
posted at 01:17:56
#数楽 #統計 #JuliaLang 以上で扱った裾野が重いt分布を用いた確率モデルは次の形の階層モデルと同値です。
y ～ Normal(μ,σ²)
σ² ～ invGamma(θ,k)
θとkはパラメーター (ベイズ推定では事前分布を与える)
続く
posted at 01:21:21
#数楽 #統計 #JuliaLang 「科学者ごとに測定したときの分散σ²が違っていて、σ²は逆ガンマ分布に従ってばらついている」という仮定に基づいたモデルは、内部変数のσ²について積分すれば、我々が扱ったt分布を使ったモデルと同値になります。
posted at 01:23:15
#数楽 #統計 #JuliaLang 階層モデルとの関係の解説も含めて、詳しいことについては、
nbviewer.jupyter.org/gist/genkuroki...
を見て下さい。「最尤法を使う場合であっても尤度函数と予測分布の形をきちんと他人に見せる」という習慣になるとよいと思う。
posted at 01:24:43
#数楽 #統計 #JuliaLang ベイズ推定のMCMCの方法ならば内部変数で積分する前の情報をコンピューターに教えてあげれば事後分布が得られます。しかし、AICのベイズ版のWAICを計算しようとすると内部変数での積分が必要になってしまうのだ。その辺は面白い問題だと思います。
posted at 01:27:55
#数楽 #統計 #JuliLang 正規分布モデルの予測分布のプロット。他の3つと同時にプロットすると平べった過ぎるので単独でプロットしてみました。外れ値のせいで、μ=3.5、σ=13になってしまっています。裾野が重い他の3つのモデルでのμはどれも10弱になっています。 pic.twitter.com/ubfdwQFUQK
posted at 01:38:21
#数楽 #統計 #JuliLang 正規分布モデルの予測分布のプロットにサンプルの位置も付け加えました。正規分布モデルだとこういう感じになります。「外れ値を出した科学者は特別に実験が苦手である」と考えるなら、他の裾野が重いモデルを採用する必要があります。 pic.twitter.com/fwrvfuitBh
posted at 01:43:25
#数楽 #統計 #JuliaLang 裾野が重い t 分布を使ったモデルは、「各々の科学者は測定スキル σ² を持っており、測定値の分布は真の値を中心とする正規分布に従っている。そして、科学者ごとの σ² は逆ガンマ分布に従ってばらついている」というモデルと同値。
posted at 02:01:47
#数楽 #統計 たぶん以上のような作業は #JuliaLang を使うよりも、Rにおける既存のパッケージを使った方がずっと楽に行えると思います。しかし、統計用のパッケージにあまり頼らずに様々な量を計算する函数を自前で書くと勉強になると思う。
posted at 02:04:34
固体量子(研究室公認VTuber) @QM_phys_kyoto
ラピュタ。超伝導バージョン。
#天空の城ラピュタ pic.twitter.com/XhbIUueUeF
タグ： 天空の城ラピュタ
posted at 09:55:49
金子洋一先生は素晴らしいよ。沈没寸前の民進党に落選の身でいながら、今回の騒動の中でも微動だにしなかった。腹の据わり方が他の議員とは違う。そう、彼はモノが違う。うろうろしている奴ばっかりだから、尚更彼の凄さが際立つ。自民党は是非、彼をリクルートすべき。
タグ：
posted at 10:01:59
「安倍政権をぶっ潰せ」と運動するのはよい。大賛成だ(笑)。しかし、雇用を増やすことに成功した政策=金融政策を重視せずに「ぶっ潰せ」と言う人達は極めて有害。緊縮財政でもこれだけの成果を出せたのだから、財政赤字を思いっ切り増やす政策をやればさらに素晴らしい成果を出せるだろう。
タグ：
posted at 10:36:36
自分の方が知的に優っていると思っている人達が実は知的なレベルの低さのせいで政治的に負けている場合の典型例は、「国も借金で大変なので予算削減も仕方がない」「自分達だけ予算を要求できない」とか言っている大学の先生達だな。そろそろ自分自身の知的レベルの低さに気付くべきだ。
タグ：
posted at 10:39:59
山内太地『偏差値45からの大学の選び方』 @yamauchitaiji
シビアな話ですが、自分でお金を稼ぐ能力のある人が生き残るのです。 twitter.com/genkuroki/stat...
タグ：
posted at 10:51:23
twitter.com/corollary2525/...
twitter.com/genkuroki/stat...
ラピュタもぼくがお気に入りのプロットもでっぱりは7個だじぇ！
タグ：
posted at 10:55:43
雇用状況が改善し始めた時には実質賃金というのはまずいったん下がるものなのですが、「実質賃金ガー」の人も「ドル建てGDPガー」の人と同じく、まず何を言われても理解を拒みますよね。なぜなんだか。
しかしどうやら実質賃金も上がり始めてきたようですけど。 twitter.com/ranrando/statu...
タグ：
posted at 11:18:32
たとえば、（アベノミクスが始まる前の）不況期に実質賃金が「上がった」のは、低賃金の非正規雇用者からまず解雇されていくため、平均の賃金が上がったからだとか。
twitter.com/kuri_kurita/st...
タグ：
posted at 11:24:30
回線が繋がらないときにテザリングしまくったので、今月は結構容量を使った。いつもは1GBすら行かないので契約をミスったかと思っていたけど、お陰で助かった… pic.twitter.com/DkuSYQtnG0
タグ：
posted at 12:02:43
twitter.com/yamauchitaiji/...
マクロ経済政策との関係を理解せずにこういう反応をする人達は、まさに「知的レベルに問題がある人達」(カギ括弧付き)だと思うのですが、どうなんでしょうかね？
自覚が無いのか、それとも自分にとって都合が悪いからとぼけているのか？
タグ：
posted at 12:21:55
まあ、いずれにせよ、「国も借金で大変なので予算削減も仕方がない」「自分達だけ予算を要求できない」とか言っている大学の先生達はどちらかと言えば(大学の行く末と無関係に)社会的に負の貢献をしてしまっていることは間違いないと思う。財政緊縮を当然視する発言を平気でできることが大問題。
タグ：
posted at 12:26:38
@Angel_takenyan いきなりで失礼します。
【タイヤの数が前に来なきゃいけないから2×5なんよね】
そう言われるかたにはこれをお聞きしたいと思います。
この受験研究社の本は間違っているのでしょうか？ #掛算 pic.twitter.com/CZHel8lZq3
タグ： 掛算
posted at 12:34:12
@Angel_takenyan 「１０分間の２倍 は １０×２」
「１０分間の３倍 は １０×３」が正しいのでしょうか？
どうして「自宅での学習時間は 学年×１０分」と言われるのでしょうか？
www.pref.chiba.lg.jp/kyouiku/shidou...
#掛算 pic.twitter.com/T7UDtlRhiW
タグ： 掛算
posted at 12:38:56
@Angel_takenyan どうして、餅の数を求める計算が
８臼×５５個×６学年
なんでしょうね？ #掛算
e-school.e-tokushima.or.jp/awa/es/donari/... pic.twitter.com/3BcxGbOteU
タグ： 掛算
posted at 12:42:07
@4rikodama @genkuroki @RyoUchida_RIRIS ちさな事だからと握りつぶしていたら、いずれ学校に警備員や警察官を常駐させなくてはならなくなるかもしれません。
学校にも割れ窓理論を活用してこのような事を減らす努力をしないとなりませんね。🤔
タグ：
posted at 13:07:37
@golgo_sardine ２年生までは順序固定にしてるとあるのでこの回答を作った人も昨日の発言のようなクレーム対策として書いてるんだと思います。
実際昨日の発言は小学2年生のテストの回答で順番が違うから×になったという記事に対するもので今回は5年生用と言うことで別の話かと
タグ：
posted at 13:17:54
#数楽 #統計 #JuliaLang
nbviewer.jupyter.org/gist/genkuroki...
測定スキルの異なる7人の科学者たち
を更新しました。(一個抜き)交差検証(LOOCV)の節を付け加えました。
交差検証をしてみると、分析結果をどれだけ外れ値が支配しているかがわかります。
posted at 16:10:25
#数楽 #統計 #JuliaLang 一個抜き交差検証(LOOCV)とは、もとのサンプル全体から数値を1つを取り除いて作ったデータから得られる予測分布で取り除いた数値をどれだけ予測できているかを確認することです。取り除く数値はサンプルに含まれる数値全体を動かす。
posted at 16:13:19
@Angel_takenyan 【5年生用と言うことで別の話かと】
何年生で解除になるのでしょうか？
明文化されていないのではないですか？
そのことが明文化されていれば、#掛算 の順序強制ハンターイ！ と言っている人々の騒ぎはもうすこし沈静化するのですが。
タグ： 掛算
posted at 16:17:53
#数楽 #統計 #JuliaLang
loocv_モデル名
の数値が以上で説明した計算の結果です。正規分布モデルの LOOCV の数値だけが跳ね上がっている！(数値が大きいほど悪いと考えられる。)
aic_モデル名
は所謂AICです。 pic.twitter.com/6lVLUbOAmz
posted at 16:23:29
#数楽 #統計 #JuliaLang 正規分布モデルの場合だけ、交差検証の結果がとても悪いものになってしまった理由と、他の裾野が重い分布を使ったモデルではそうなっていない理由を知るために、サンプルサイズが7しかないことを利用して一個抜き予測分布をすべてプロットしてみました。続く
posted at 16:25:29
@golgo_sardine 単純に求めるからこそ順番が大事になるんじゃないですか？ 式が増えてくれば当然掛け算の順番なんて答えに直結してくるところではないのでそこが採点の基準にならないから順番は気にしなくてもいいんじゃないかと
タグ：
posted at 16:27:34
#数楽 #統計 #JuliaLang 正規分布モデルの場合
左上の黒線はサンプル全体から作った予測分布の対数の-2倍です。丸印はサンプルです。それ以外は一個抜き予測分布の対数の-2倍です。
上段左から二番目だけ、縦軸の縮尺のオーダーが違っており、お椀の底の位置もずれています。 pic.twitter.com/5ar4rheTEs
posted at 16:33:29
#数楽 #統計 #JuliaLang 続き。そのことは、正規分布モデルの場合には、外れ値を外して作った予測分布は当然外れ値以外を除いた場合および何も除かなかった場合の予測分布(左上端)とは全然違ったものになることを表わしています。続く
posted at 16:35:25
#数楽 #統計 #JuliaLang 上段左から2番目のグラフは、外れ値を除いて作った予測分布で外れ値がどれだけ予測できるかを表わしています。その場合には損失は200を軽く超えており、これがLOOCVの数値が跳ね上がる原因になっています。正規分布モデルは外れ値にものすごく弱い。
posted at 16:37:15
#数楽 #統計 #JuliaLang それでは他のモデルではどうなっているのでしょうか？
Cauchy分布モデルの場合
上段左から二番目の外れ値の場合も含めて一個抜き予測分布(の確率密度函数の対数の-2倍)の形はほぼ同じになっています。Cauchy分布モデルは外れ値に強い。 pic.twitter.com/p7WYp8rBqM
posted at 16:39:11
#数楽 #統計 #JuliaLang
t分布モデル1(Cauchy分布モデルとは異なる方法で2個のパラメーターを入れた場合)
やはり、外れ値での挙動も安定しています。 pic.twitter.com/eRhgibBijk
posted at 16:40:36
#数楽 #統計 #JuliaLang
t分布モデル2(パラメーターの個数は3)
これの成績が一番よいのですが、やはり、外れ値での挙動が安定しています。 pic.twitter.com/uuztfeRbpA
posted at 16:41:36
#数楽 #統計 #JuliaLang
詳細は次のリンク先のソースコードおよび数式入りの解説を見ればわかると思います。ちょこまか無断で更新しているので注意して下さい。
nbviewer.jupyter.org/gist/genkuroki...
posted at 16:43:52
#数楽 #統計 #JuliaLang 正規分布をCauchy分布やt分布に置き換えることの「意味」はCauchy分布やt分布がある種の階層モデルに同値であることを見ればわかります。
ある科学者は特別に実験がへたくそでその人の測定結果は全く信用できないかもしれない。続く
posted at 16:51:22
#数楽 #統計 #JuliaLang 測定スキルに個人差があるという事実をモデルに組み込みたければ、自然に階層モデルを考えることになります。測定スキルの分布の仕方にある仮定をおくと、Cauchy分布やt分布が自然に出て来ます。その辺のことも公開したファイルに書いてあります。
posted at 16:52:49
「一家に１枚元素周期表」stw.mext.go.jp/series.html は，写真入り．どんな元素がどこで使われているか解説しています．無料ダウンロードできます． twitter.com/ogugeo/status/... pic.twitter.com/otxwb67gpL
タグ：
posted at 17:23:19
@Angel_takenyan 【式が増えてくれば当然掛け算の順番なんて答えに直結してくるところではないのでそこが採点の基準にならないから順番は気にしなくてもいいんじゃないかと】
そこでですが、何年生から順序どうでも良いのですか？明文化されているのではないですか？ とお聞きしているのですが。#掛算
タグ： 掛算
posted at 17:41:20
@golgo_sardine 順序はずっとどうでもいいことなんてないと思いますけど文科省にでも問い合わせたらどうですか？ 自分はいつから気にしなくなったのかわかんないですし。
タグ：
posted at 17:49:07
@sekibunnteisuu @AS_Insects #超算数
なんか発火点の低そうな可燃物をばらまいてるような。そういうのは言及せずにあいまいなままほっとくほうがいいのでは。-3の-は符号なのか演算子なのか-aならどやねん、とか。
タグ： 超算数
posted at 17:51:07
@Angel_takenyan 【順序はずっとどうでもいいことなんてないと思いますけど】
いいえ。中学以降の勉強では小学校での #掛算 の順序のルールはむしろ通用しません。そして、小学校の範囲内でもけっこう違反しているのは、先に示した通りです。
タグ： 掛算
posted at 17:51:59
@Angel_takenyan 【文科省にでも問い合わせたら】
それは #掛算 の順序強制反対と言っている人の一部がやりました。
そして「文科省は順序アリとは言ってない」という結論が出ているのです。私がAngel_takenyanさんに申しあげたいのは「間違った説に加担するのはやめてください」という事です。
タグ： 掛算
posted at 17:55:06
内田良：新刊『だれが校則を決めるのか』 @RyoUchida_RIRIS
学校内での生徒の暴力。
対応できない場合は，さっさと警察等に相談すべきという旨の啓発資料。国がそう言ってるんだ。学校が丸抱えする必要なんてない。
▼文部科学省国立教育政策研究所：生徒指導リーフ「学校と警察等との連携」
www.nier.go.jp/shido/leaf/lea... pic.twitter.com/15Bp2ATTej
タグ：
posted at 18:20:41
#算数 #超算数 たまたま見かけたフランス語での数のまとめ。自然数は{1,2,3,…}または{0,1,2,3,…}のどちらかと説明しています。 pic.twitter.com/RqXvVwGhiC
posted at 18:39:22
辻元清美「小池氏は寛容な保守の立場、私は現実的なリベラルの立場で、安倍晋三政権を右と左から挟み撃ちに…」
あ～あ辻元、言っちゃった。右と左に挟まれた安倍政権が中道だって認めちゃった。
『民進・辻元清美氏、希望の党に公認申請せず』
www.sankei.com/politics/news/...
タグ：
posted at 19:15:03
#算数 #超算数 別なところにこんなのも。
villemin.gerard.free.fr/Calcul/Operati... pic.twitter.com/GnRyNOelh8
posted at 19:42:28
#数楽 #JuliaLang
nbviewer.jupyter.org/gist/genkuroki...
測定スキルの異なる7人の科学者たち
を再更新。t分布を使ったモデルを正規分布と逆ガンマ分布の階層モデルとみなしたときの、正規分布の分散の予測分布をプロットしました。各モデルの「気持ち」がわかります。
posted at 20:03:31
#数楽 #JuliaLang 更新で追加されたのは1.6.2節です。
正規分布モデルさんは、すべての科学者は標準偏差が13もの誤差を出すと推定してしまっています。正規分布モデルさんは外れ値の存在をそのように解釈している。
posted at 20:05:28
#数楽 #JuliaLang TDist1さんは、標準偏差1以下の測定誤差しか出さない科学者は3割もいないと思っていますが、準偏差30以上の測定誤差を出す科学者はTDist2さんより少し多いと思っています。
posted at 20:07:57
#数楽 #JuliaLang TDist2さんは、Cauchy分布モデルさんよりも、標準偏差が0.25以下の科学者がずっとたくさんいると思っていますが、それと同時に標準偏差が30以上の科学者もずっとたくさんいると思っています。
posted at 20:09:37
#数楽 #JuliaLang 添付画像はそれぞれのモデルにおける標準偏差の予測分布の累積分布函数のグラフです。よく見ると各モデルが科学者達をどう思っているかの「気持ち」が分かって来る(笑)。 pic.twitter.com/97SFt2eiNM
posted at 20:11:55
#数楽 #JuliaLang 登場して来る逆ガンマ分布は、0<α<1 の場合なので期待値は無限大になっています。分散の期待値が無限大(笑)。
en.wikipedia.org/wiki/Inverse-g...
posted at 20:16:36
もしかしたら、
gist.github.com/genkuroki/bc35...
測定スキルの異なる7人の科学者たち
は #JuliaLang によるグラフのプロットの仕方の良いexampleになっているかも。PyPlotを使っているので #Python 初心者にも参考になるかもしれません。
posted at 20:22:54
新潟県上越市で発生した、竜巻のたまご「ろうと雲」を捉えた動画がこちら。段々と消えていく様子が、間近の視点から撮影されています。
weathernews.jp/s/topics/20170... pic.twitter.com/x2JYJLTzBe
タグ：
posted at 20:24:05
非公開
タグ：
posted at xx:xx:xx
美文書第7版のTeX（TeX Live 2016）を入れたMacをHigh Sierraにしてしまってヒラギノが使えなくなって困っているかたのためのダーティハックをとりあえず書きました okumuralab.org/bibun7/ （あわてて書いたのでやや心配）
タグ：
posted at 20:54:45
#数楽 #JuliaLang
nbviewer.jupyter.org/gist/genkuroki...
測定スキルの異なる7人の科学者たち
を更新。optimize函数で最小化する函数が定義域を外れたとき値無限大を返すように変更した。最尤法をoptimize函数を使ってやっている。
posted at 21:25:45
非公開
タグ：
posted at xx:xx:xx
@kankichi573 @AS_Insects #超算数
ちなみに、中学数学では単項演算としての「－」を扱わないようです。
－（ー３）＝３ というような式が見た範囲では教科書の殿にも書いてありません。
ーｘ にｘ＝－７を代入する場合は
ーｘ
＝（ー１）×ｘ
＝（ー１）×（ー７）
＝７
としています。学校図書１年教科書より
タグ： 超算数
posted at 22:36:10
#算数 #超算数 commutativité -- 可換性 pic.twitter.com/9skSg49Yon
posted at 22:42:23
下がるよりいいでしょ。😐
まだ足りない、もっと上げろ、と言えばいいのであって（実際、今の傾向が続けば確実にそうなる）、「これだからアベノミクスは失敗、やめるべき」とか言いたがる人がいるのはナゼなのか。 twitter.com/mugu_ri/status...
タグ：
posted at 22:48:29
#数楽 #JuliaLang 定義域を外れたときに無限大の値を返すようにしおかないと、optimize函数が定義域を外れたところを調べようとしたときにエラーが出て止まってしまう。この問題のせいで、変更前には初期条件をうまく選ばないと最尤法が実行不可能なコードになっていた。😭
posted at 22:50:36
