黒木玄 Gen Kuroki(@genkuroki)/2020年03月09日

永田啓一【永田式英語の本、KADOKA @nagata_k1

#Julia言語

[ANN] Turing 0.9.0 discourse.julialang.org/t/ann-turing-0...

タグ： Julia言語

posted at 01:49:11

柳　時熏【囲碁プロ】【YouTuber @ryu_shikun

最近、将棋も必修にしたほうがいいのではと思い始めてきました。あらゆる可能性を考え、最善手を探し出すトレーニングとしては最適です。

常に「数手先」を読まないといけないし、1か所でも穴を開けるとそこから崩壊します。ミスが許されない現代人も合っている。

別に将棋じゃなくてもいいけど。 twitter.com/tmaita77/statu...

タグ：

posted at 07:58:31

ニコちゃん問題をレベル１〜７まで分類することにしました。
１が一番やさしく、６以上はプロレベルです✨
どのレベルでも、初心者でも楽しめるように解説いたします。

では今日の問題です。
１問目はレベル2
２問目はレベル4です。
#囲碁　 #ニコちゃん問題 pic.twitter.com/ks9u3kY0d6

タグ：ニコちゃん問題囲碁

posted at 09:24:43

@kuri_kurita

Dr. Chris Rackauckas @ChrisRackauckas

ロイターの元のツイートに現在1万7千、こんなツイートにまで何千と「いいね」がついているんだから、「キモチよくてやめらんない」だろうな。

「ニセ科学」や「ニセ医療」がどれだけ害をなそうが“需要”が常にあるように、こういう“報道”にも確実にマーケットがあるわけだよな。 twitter.com/rathamham/stat...

タグ：

posted at 09:40:59

You know that a system is mature when it's working on all of the little details. Here's the #julialang differential equation solvers and their progress bar support, but with a twist: the progress bar automatically adapts to your environment. pic.twitter.com/duTJffUgIs

タグ： julialang

posted at 10:39:24

飯田泰之 @iida_yasuyuki

あ〜る菊池誠(反緊縮)公式 @kikumaco

@hosono_54 一時101円台まで上昇しました．日本は対外純資産が大きいので相場が混乱すると「いったん円に戻して積んでおく」という動きが円高要因になりやすい構造です．

コロナ関連の実需低下には財政ですが，為替問題には金融政策が必要です．

タグ：

posted at 11:05:23

しかし、新型コロナはこれだけ騒ぐのに、年間3000人が亡くなる子宮頚がんを相当防げるHPVワクチンが普及しないのは、リスク認知が誤っているとしか思えません

タグ：

posted at 11:31:09

モト@PPMMPP @29silicon

@kuri_kurita ロイターの日本語版は程度が低いんですよね。

タグ：

posted at 13:29:11

田中秀臣 @hidetomitanaka

柳　時熏【囲碁プロ】【YouTuber @ryu_shikun

いいことをお教えしましょう。財務省関係が「注視」というときは、「当面何か対策することは中止」の意味です。メモしとくべき。 twitter.com/ReutersJapan/s...

タグ：

posted at 13:51:30

数年前、アルプスの少女ハイジが乗っているような大きいブランコを作ろうとしましたが、周囲の反対で断念。普通サイズのブランコを製作しました。
そろそろ子供達も大きくなったし、夢を叶えたい✨
しかしハイジのブランコは高さ27m、時速68kmだとか…
#diy #ブランコ pic.twitter.com/bQeWauV68O

タグ： diy ブランコ

posted at 14:23:04

#統計 #Julia言語ああ、なるほど、それは面白いな。

実際に試してみました(瞬殺！笑)。

ヒストグラムをnの分割とみなしたときの多項分布モデルでのAICを最小化して分割の幅を最適化。

nbviewer.jupyter.org/gist/genkuroki...
AICで最適なヒストグラムの分割数を求める

twitter.com/katzkagaya/sta... pic.twitter.com/89Nfx8fE2O

タグ： Julia言語統計

posted at 14:31:59

#統計解説: 5%の例外的外れ値を含む母集団分布のn=30の標本平均の分布のサイズ1000のサンプルのヒストグラムを描く問題を扱った(ややこしいが統計学では普通の状況)。

その場合は、中心極限定理が十分に効いていない状況なので「正規母集団の仮定」のもとでの平均の推定の誤差は無駄に大きくなる。

タグ：統計

posted at 14:31:59

#統計「正規母集団の仮定が成立していなくても、平均の推定は中心極限定理が効いて来るので、正規分布の仮定のもとでの平均の推定は十分に使える」と安易に述べる人をたまに見かけるが、「安易な発言ではない！」と言いはるためには

うまく行かない場合

についてよく知っていなければいけない。

タグ：統計

posted at 14:32:00

#統計標本平均の分布の様子をヒストグラムで確認するときには細心の注意が必要になることが、上で示した例で確認できる。

ビンの区切り方によっては、中心極限定理が結構効いてきているように誤解してしまう危険性があるのだ。

一般にヒストグラムによる確認の信頼性は低い。

タグ：統計

posted at 14:32:00

#統計多項分布はKullback-Leibler情報量に関するSanovの定理の出身地でもあるので、ヒストグラムの刻み幅の調整をAICで行う例題は結構教育的だと思いました。

タグ：統計

posted at 14:32:00

#統計科学者の卵のための統計学入門では「どのような場合にそれがうまく行かなくなるのか」が非常に重要だと思います。

まるで「きはじ」や「くもわ」(算数教育では悪名高い)のように統計学を科学者の卵に使わせるのは非常にまずい。

ヒストグラムにも危険が含まれている。

タグ：統計

posted at 14:35:20

#Julia言語サンプル sample を [-2, 0, 2, 4] に区切って分割するには

using StatsBase
h = fit(Histogram, sample, [-2, 0, 2, 4])

のようにすればよいです。h.weights に分割結果が格納される。確率的に正規化するには

using LinearAlgebra
h_norm = normalize(h)

juliastats.org/StatsBase.jl/s...

タグ： Julia言語

posted at 14:44:11

#統計 #Julia言語

サイズ10000のサンプルのヒストグラムをAICで調整。

表示の解像度と比較して分割が細かくなり過ぎ(笑)。

実用的には表示の解像度にも配慮した方が良さそうです(笑)。

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/2TZQYFe8Kq

タグ： Julia言語統計

posted at 15:03:51

#統計 5%の例外的外れ値を含む母集団分布のサイズ30のサンプルの標本平均の分布。幅の狭い山が連なる形状になる。そうなる理由はサイズ30のサンプルに5%の例外が含まれる個数の分布が

0個→21%
1個→34%
2個→26%
3個→13%
4個→4.5%
5個→1.2%

となっているから。各々に対する狭い山が見える。 pic.twitter.com/8cm0KDKL4A

タグ：統計

posted at 15:11:58

#統計続き。これは、5%の例外的外れ値を含む母集団のサイズ30のサンプルの標本平均の分布は、混合正規分布で近似されることを意味しています。

「標本平均の分布は中心極限定理によって正規分布で近似される」という思い込みはこの場合にはきれいに否定されるわけです。

gist.github.com/genkuroki/8719... pic.twitter.com/d3J8Nc4NLv

タグ：統計

posted at 15:27:30

#Julia言語の確率分布を扱うパッケージのDistributions.jlの基本は

　確率分布の型を定義して、
　確率分布のオブジェクトを作って、
　確率分布を扱う

です。混合分布のオブジェクトは

mixdist = MixtureModel([dist1, dist2, ...], [p1, p2, ...])

で作れます。

タグ： Julia言語

posted at 15:31:08

もりちゃん @morichanemorich

さすが麻生太郎。期待を裏切らない。分かりやすく言うと「目の前で溺れてる人が居るけど本当に沈むかどうかを慎重に見極めたい」と言ってる様なもの。アホですよ。 www3.nhk.or.jp/news/html/2020...

タグ：

posted at 15:37:14

#統計あなたが計算したサンプルの標本平均は、中心極限定理によって正規分布で近似される確率分布の実現値ではなくて、複雑な確率分布(上では混合正規分布で近似される場合を示した)の実現値かもしれない(笑)。

例外的な外れ値を母集団が含む可能性がある場合にはそもそも正規分布モデルは不適切。

タグ：統計

posted at 15:42:40

#統計このスレッドの主題は、ヒストグラムのプロットにも確率モデルの考え方が役に立つという話。

平均と分散をサンプルの代表値とすることは、正規分布モデルによる最尤推定そのものになっています。

中央値を代表値とすることは、Laplace分布モデルによる最尤法の一部分になっています。

タグ：統計

posted at 15:45:16

#統計サンプルの様子を記述することの背景にも、確率モデルの考え方が隠れている。

通常の伝統的な統計学入門の解説では、実際には使いまくっている確率モデルを軽く扱い過ぎているせいで、何をやっているのかわからなくなっていると思う。

「正規母集団を仮定する」という言い方はひどすぎ。

タグ：統計

posted at 15:47:47

#統計未知の確率分布が正規分布だと勝手に仮定してしまっては証拠に欠けた非科学的な推論になってしまう。

実際にやっていることは、

　よくわからないので、◯◯分布モデルで分析してみる。

統計学入門では正規分布モデルが多用される。

◯◯分布モデルでダメなら別のモデルを使う必要がある。

タグ：統計

posted at 15:50:10

#統計 #Julia言語

「AIC (赤池情報量規準)」のような専門用語が出て来るとものすごく高級なことをやっているように誤解してしまいがち。

実際にコードを見てもらえればわかるように計算の内容は超シンプルです。

loggamma(n+1)=log Γ(n+1)=log n! に注意。

gist.github.com/genkuroki/8719... pic.twitter.com/Mi5oNilvnM

タグ： Julia言語統計

posted at 16:02:44

#統計 AICはその大小比較だけが重要なので、log n! - n log n の項は必要ないのですが、わざと残してあります。何らなかのパッケージを作る場合にはそれらの項は落とすべきです。

タグ：統計

posted at 16:05:19

Katsushi Kagaya @katzkagaya

黒木さんの #julialang での瞬殺実例：
twitter.com/genkuroki/stat...

タグ： julialang

posted at 16:10:07

#統計 #Julia言語ヒストグラムと同様の使い方をされる道具に kernel density 法があります。添付画像は KernelDensity.jl パッケージのデフォルトの bandwidth を使ったプロット。ヒストグラムはAICで最適化してあります。

AICで最適化されたヒストグラムよりkernel density法のプロットは粗い。 pic.twitter.com/GJN2xtlurs

タグ： Julia言語統計

posted at 17:12:03

#統計以上はサンプルサイズ1000の場合。以下は10000の場合。AICで最適化したヒストグラムは細部の構造(実はノイズ)にまで適合しており、オーバーフィッティングぎみに見える。それにkernel density法のbandwidthを合わせると添付画像2,3のようになる。 pic.twitter.com/e1Nf30flqy

タグ：統計

posted at 17:20:26

#統計ヒストグラムやkernel density推定のプロットで

「もっと細部の様子が見えるようにするべきなのかなあ？」

とみんな悩んだことがあると思う。このスレッドで示した内容は粗い素描に過ぎないのですが、本気で「どうプロットするべきであるか」を決めるには何らかの確率モデルが必要になる。

タグ：統計

posted at 17:25:27

#統計確率統計の文脈では x log y 型の演算がよく出て来るのですが、 x = 0 のときは y = 0 でも x log y = 0 と約束しておくことが結構大事。

コンピュータで計算するときに、そのことを忘れると

0.0*log(0.0) → 0.0*(-Inf) → NaN

となってハマります。

タグ：統計

posted at 17:50:17

画像処理系，人がもっと介入して盛り上げていって欲しい．そうすると私が喜びます．

タグ：

posted at 18:26:07

もしかしてホモロジー群計算できちゃうのか？

github.com/wildart/Comput...

タグ：

posted at 18:27:51

カイヤン @389jan

見つかっちった twitter.com/genkuroki/stat...

タグ：

posted at 19:13:01

github.com/julia-vscode/j...

github.com/julia-vscode/j...

タグ：

posted at 19:52:37

｜・ミ ◆MotH/SqY @kaikoga

頑なに設計図共有サイト扱いされるGitHubについて www.nikkei.com/article/DGXMZO...

タグ：

posted at 20:05:35

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

I like this #Julialang Sub2Index.jl package by @antimon2

github.com/antimon2/Sub2I... pic.twitter.com/uHchiGt7Vl

タグ： Julialang

posted at 20:37:25

これがJuliaの力...
github.com/chriselrod/SLE... pic.twitter.com/JPBfYEQoAP

タグ：

posted at 21:04:55

天むす名古屋 Temmus @temmusu_n

#Julia言語 #Turing

Turing.jl ではデータ＝サンプル中にmissingが含まれていると、その部分を勝手にモデルのパラメーター扱いして推定してくれるんですね！

これはちょっと面白いかも！

あとpsampleでスレッド並列でのMCMCも非常に簡単。

turing.ml/dev/docs/using...

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/oxjhB0CqxT

タグ： Julia言語 Turing

posted at 21:23:27

#超算数少し古いツイなので、スレッドを改めて論じようか。#掛算の順序強制指導は、指導上の便宜による考案物であるよりも、杜撰な考え方の産物である蓋然性が高い。戦前の中川銓吉編1919は既出。戦後には一層露骨な日本書籍1949年twitter.com/temmusu_n/stat...あり。 twitter.com/genkuroki/stat...

タグ：掛算超算数

posted at 21:25:49

#統計ベイズ統計の基本は

(1) 「分からないことは確率的に決まっている」という非現実的な数学的仮想世界をモデル化する。

(2) その仮想世界の確率分布を「現実から得たのと同じデータが生成された場合」に制限した条件付き確率分布を考える。

データの一部がmissingでもそのまま通用する。

タグ：統計

posted at 21:26:58

#統計データ中のmissingの部分は(1)で定式化した仮想世界中では「分からないこと」扱いされ「確率的に決まっている」ことにされてしまうわけです。(2)でデータのmissingでない部分によって仮想世界の確率分布が制限される。

こういう手続きをTuring.jlは自動的にやってくれるように設計されている！

タグ：統計

posted at 21:32:20

#統計 #Julia言語これはベイズ統計の成り立ちからして、ベイズ統計のパッケージは当然そういう仕様になっているべきなのですが、Turing.jlはすでにそうなっていたと。

これに気付いたのがついさっき。

タグ： Julia言語統計

posted at 21:33:40