黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2020年11月15日(日)
非公開
タグ：
posted at xx:xx:xx
Julia Cheat Sheet 多言語対応しているのね...
juliadocs.github.io/Julia-Cheat-Sh... pic.twitter.com/JOxGBkWfbO
タグ：
posted at 22:43:06
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
大阪府の対策本部会議では、まだ、K値が生き残っているのか。そりゃ後付けで山を足していけば、どんな変動でも記述できるでしょう。 twitter.com/cere_1982/stat...
タグ：
posted at 22:13:55
そういやアメイジングスパイダーマンにはこういう式が出てきましたが、これはゴンペルツ関数の拡張だそう。
wired.jp/2012/07/05/spi...
トム・ホランドも毎回科学ジョークTシャツ来てたりするし。 pic.twitter.com/essdDiMXtT
タグ：
posted at 21:54:18
#統計
www.mext.go.jp/content/140707...
高等学校学習指導要領解説 平成30年7月
条件付き確率の定義を書き直しただけの自明でつまらない(知らなくても自然に使えないと困るレベルで自明な)結果に過ぎない「ベイズの定理」に「主観確率を計算する」ものとして不当な権威を与えているクズのような説明がある。 pic.twitter.com/zuoPpgP86J
タグ： 統計
posted at 21:50:42
#統計
「外れ値」の意味はケースバイケースで違う。
www.mext.go.jp/content/140707... の同ページ(添付画像1)の添付画像2の部分のプロットで箱ひげ図を使っているが、現代的には添付画像3のようなプロットが普通だと思う。
箱ひげ図使用へのこだわりは異様な感じ。 twitter.com/f_sei/status/1... pic.twitter.com/MkTAOK5qum
タグ： 統計
posted at 21:19:06
スパイダーバースに出てきた数学（微分方程式）。
dy/dx=5x√(y²+3) /yをx=2,y=1を通るとして解く。
z=y²+3と置くと簡単に解けて
√(y²+3)=5x²/2-8
になる。がちょっとホワイトボードに誤植がある。 twitter.com/AlainGoriely/s...
タグ：
posted at 21:17:47
Julia で Pkg.test("PackageName") とすると test/runtests.jl が実行されるが、この中で using Test しても Package Test not found in current path エラー。
docs.julialang.org/en/v1.0.0/stdl...
にあるように Test への依存関係を追加したら直った。パッケージの名前解決の仕組みを理解する必要がありそうだ
タグ：
posted at 20:32:19
高原ユウ（不撓不屈のシンデレラ） @you_takahara
今回の竜王戦の延期については不戦敗にすべきではないかという声もありますが、この告知を知らない人が大半なようで、考慮の上で判断すべきでしょうね。
実際に延期の前例もありますので、羽生九段だからと唐突に出てきた対応ではないです。
匙加減が難しい案件ですが……
www.google.com/amp/s/www.shog...
タグ：
posted at 20:29:36
#統計 同ブログ記事
www.autodesk.com/research/publi...
では、代表地を変えずにデータを好きな形に変える方法が解説されている。添付動画はその作品の1つ。素晴らしい！
代表値による要約によってもとのデータの情報がどれだけ失われるかを知っていることは非常に重要だと思います。 twitter.com/genkuroki/stat... pic.twitter.com/KkKJ6ii7Zr
タグ： 統計
posted at 20:18:26
#統計 箱ひげ図に関する添付動画は
www.autodesk.com/research/publi...
Same Stats, Different Graphs: Generating Datasets with Varied Appearance and Identical Statistics through Simulated Annealing
より。
箱ひげ図が同じデータで全然違うものを幾らでも作れることを示す動画(笑) twitter.com/f_sei/status/1... pic.twitter.com/rLztFvn7fg
タグ： 統計
posted at 20:12:38
#統計 デルタδじゃなくてシグマσです。
もはや「シグマσ」はジャーゴンになっていて、定義を説明しなくても「シグマ」と言うだけで通じる場合がある。 twitter.com/f_sei/status/1...
タグ： 統計
posted at 20:07:20
#統計 みんな使っている統計ソフトでも、表示されるP値と信頼区間のあいだに整合性がないことが結構普通。
#R言語 の binom.test と fisher.test はそのような典型例。fisher.test については以下のリンク先スレッドを参照。 twitter.com/genkuroki/stat...
posted at 19:38:03
#統計 2×2の分割表の独立性検定に関するデタラメは1970年代以降にきちんと正式に出版された文献で指摘されているのだが、ノーダメージの「無敵な人達」が堂々と居座っていたりする。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 19:33:54
#統計 関連の話題
「2×2の分割表のχ²検定は正確なFisher検定の近似なので、特に小サンプルではχ²検定ではなくFisher検定を使うべきである」のようによく教えられているようですが、昔からなぜかそう教えられているだけで、コンピュータで確認するとひどいデタラメであることが分かる。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 19:28:49
#統計 私が、正直、理解できないのは、
【データの分布が非対称形の場合】には【代表値として平均値より中央値のほうが適切】である
という主張。
全体の平均を知りたい場合には平均値を知りたいし、順位的に真ん中の値を知りたい場合には中央値を知りたい(トートロジー)なら理解できるが、～続く pic.twitter.com/Xiz6E2BVd6
タグ： 統計
posted at 19:03:12
#統計 その引用はページ全体に拡張した方が意図がくみとり易いと思います。
x_1,…,x_nの平均は差の二乗和 Σ (x_i - a)² を最小にするaとして特徴付けられ、中央値(一般に一意に決まらない)は差の絶対値の和 Σ |x_i - a| を最小にするaとして特徴付けられます。
www.mext.go.jp/content/140707... twitter.com/f_sei/status/1... pic.twitter.com/sr2JQ4mWJF
タグ： 統計
posted at 19:03:09
「そのような場面では、速度の速い言語というのは選択肢に上がってきます。Julia は習得が比較的容易であることから、プログラミングの入門としても適していると思われます。本書はその観点から、Julia を取り上げ、解説を試みています。」
タグ：
posted at 18:32:27
「さて、Julia というプログラミング言語ですが、Python や R に較べて計算速度が速く、容易に習得できる次世代のデータサイエンス用のプログラミング言語として注目されています。大量のデータを計算処理するためにデータ分析では計算速度がどうしても必要になってきます。」
タグ：
posted at 18:32:20
「R や Python を用いた Juliaの使用法の解説は、本書の読者として想定される一定の人たちのニーズに添うものと考えています。また、データサイエンスを使用するには、線形代数や、解析学、数理統計学の知識が必要になってきます。」
タグ：
posted at 18:31:54
「実際には、データサイエンスを学ばれる方は、R か Python を使用されることが多いですし、また、データサイエンス言語として、R や Python に満足できずに、Julia の仕様を考える方圧倒的に多いと思われますので、」
タグ：
posted at 18:31:41
「しかし、Juliaを使用するにあたってPython や R など他のプログラミング言語のライブラリやパッケージをインストールして、パスを通す必要があることも紹介していますので、そのような部分は、Python や R など他の言語の知識が多少あれば便利です。」
タグ：
posted at 18:31:10
第２章 プログラミング言語Julia
2-1 Julia のREPL
2-2 プリミティブデータ型と演算子
2-3 関数
2-4 Julia のデータ型
2-5 コレクション
2-6 モジュール
2-7 メタプログラミング
2-8 外部プログラムの呼び出し
2-9 パッケージ
2-9-1 パッケージの管理
タグ：
posted at 18:30:23
第１章 Julia をはじめよう
1-1 Julia の特徴
1-2 Julia のインストール
1-3 Julia の起動と終了
1-4 Jupyter Notebook にJulia を追加するには
タグ：
posted at 18:30:14
Juliaの新しい入門書です！ 機械学習・深層学習関連パッケージとその使い方も解説されています。
『基礎から学ぶJulia ~基本文法からデータサイエンスまで』
「5-1 機械学習・深層学習関連パッケージとその使い方
5-2 Knet.jl の使用例
5-3 ScikitLearn.jl の使用例」
amzn.to/3nn3I5Z
タグ：
posted at 18:29:50
サイズ固定でサンプルの現れ方で変わる事後分布のばらつき。サイズが小さくても推測はできるが情報は当然少なくなる。「ベイズだとサンプルサイズ設計は必要ない」という危険な文言を見たことがあるので注意が必要と思う。 twitter.com/katzkagaya/sta...
タグ：
posted at 18:10:03
非公開
タグ：
posted at xx:xx:xx
#統計 既出の添付画像は『統計学を哲学する』の本文の最初の部分より。
【良かれ悪しかれ、～】の部分は正しくは「悪しかれ悪しかれ」であり、【お墨付き】へのろくでもない期待における哲学の重要性について説明することを出発点にした時点で、非常にまずい方向に進んでしまっていると思う。 pic.twitter.com/VGRNJQiMDr
タグ： 統計
posted at 17:03:10
#統計学 関連
ギャンブル(確率が絡むゲーム)での例えは多くの場合に適切。
統計学は決して「お墨付きを得るための道具」ではない。
社会的・制度的に「お墨付きを得るための道具」として使われてしまっていることは、「お墨付きを得るための道具」として適切であることを意味しない。 twitter.com/genkuroki/stat...
タグ： 統計学
posted at 16:47:26
#統計学 以下のリンク先の話題に限らず、
【いずれの手法にも一長一短があり、データ解析者は、よりよい判断をくだすために、適用する手法の特徴を十分に理解し、データの様相をよく観察せねばならない】
というアドバイスは、
安易に「主義」の話にしてはいけないこと
を含むと思います。 twitter.com/genkuroki/stat...
タグ： 統計学
posted at 16:33:03
#統計 このスレッドに関係した事柄を私以外の人による解説で読みたい人には
www.jstage.jst.go.jp/article/dds/30...
がお勧め(添付画像)。
引用【いずれの手法にも一長一短があり、データ解析者は、よりよい判断をくだすために、適用する手法の特徴を十分に理解し、データの様相をよく観察せねばならない】 twitter.com/genkuroki/stat... pic.twitter.com/5qzEPJoKW3
タグ： 統計
posted at 16:28:05
麻雀で「🀓が捨てられていればスジで🀐が通る可能性が高くなる」という推測の仕方を知っている人が、その推測法をどのように使うかについては、実際に麻雀を遊んでいる人の側が神経質になるべき事柄であるのは当たり前の話。
「スジだから🀐は通る！」などと安易に考える奴は負け組一直線だろう。 twitter.com/nnunununun/sta...
タグ：
posted at 16:19:11
@KenoFischer @Blender @MakiePlots I remember someone tried to make fluid simulation (?) with Julia and found it to be visibly faster than Python. Maybe this plug-in business is an immediately valid application.
タグ：
posted at 15:51:29
Somebody should write a @blender add-on that exposes the @MakiePlots scene graph and lets me do proper 2D animation of plots. Totally doable in pure #julialang code, but seems like it would be so much easier to just use a proper animation tool.
タグ： julialang
posted at 15:46:57
@madfish19 つとむの数学の部屋
nakaguntta.main.jp/index.html
ページの下のほうにある、算数研究レポート第１弾・第２弾で、 #超算数 情報が纏めてあります。
現在、１１号まであります。
タグ： 超算数
posted at 15:29:53
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
#統計 『統計学を哲学する』については、文献を正しく引用していないのではないかという疑いも持っています。
実際には、『統計学を哲学する』の著者が書いているようなことが書かれていない文献をあたかも書かれているかのように引用している可能性がある。
どなたか確認して下さると助かります。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 14:54:34
#統計 実際には、標準的な事柄のまともな説明さえできておらず、どうしてこのような質の段階で出版されてしまったかについて疑問が出るような本になってしまっています。
この本を誉めている人達がこの本を順番に丁寧に読んだとは思えない。
例えば【期待値】【回帰直線】の説明が明らかにおかしい。 pic.twitter.com/XouFSw8fuN
タグ： 統計
posted at 14:49:34
#統計 添付画像2,3は『統計学を哲学する』の最初の部分より。
その本は、統計学の不適切な使用法である「お墨付き」の取得を正当化するために使用可能な哲学っぽい俗説を真面目な哲学の話題として扱ってしまっている極めてずさんな内容の本だと私は考えています。続く twitter.com/genkuroki/stat... pic.twitter.com/qYQdMpfUtF
タグ： 統計
posted at 14:44:53
#超算数 渡辺靖敏氏は、高校数学は「お手上げ」と言っているような人。「数学・算数のプロ」とは言い難い。19452051.at.webry.info/201801/article...
高校数学をまともに理解していない人が、
数学教育協議会の役員をやり、大学で教員志望の学生に算数指導法の講義をしていたというのも、凄い話ではある。
タグ： 超算数
posted at 13:47:48
#超算数 okazaki-oha.jugem.jp/?eid=74
＞渡辺靖敏さんという先輩に依頼されたからだ。渡辺さんは一時期一緒の職場にいていろいろと教えを請うた。数学・算数のプロで研究会にも参加させてもらったことがある。
タグ： 超算数
posted at 13:44:37
#超算数
中日新聞11月13日(金)朝刊に岡崎 勝氏 @umemoridai のコラムが掲載されているらしい。掛け算の順序にも言及されているようだから、取り寄せて読んでみたい。
タグ： 超算数
posted at 13:43:01
もし自分がデータサイエンスなりの教育にかかわる場合（共同研究者に説明することも多いけれど）この確率変数列の関数値というところの例を多くして直観ができるようにできるだけ時間をかけたいとは思っている。
タグ：
posted at 13:39:11
事後分布の現れ方もサンプルサイズ次第で変わりますよね。自分がベイズ統計学び始めたときこれは中々明確に捉えられなかったし入門段階では難しく感じると思うんですけど、そうでもない？
タグ：
posted at 13:03:42
非公開
タグ：
posted at xx:xx:xx
【級位者向け実戦型詰将棋part316(佐藤 大五郎先生作)】
こ の 最 難 関 ７ 手 詰 め も
下 の 動 画 を 見 れ ば 一 瞬 で 解 ける
◯参考動画
youtu.be/sDR-5rxv3n0 pic.twitter.com/To4IJ0k59q
タグ：
posted at 11:51:51
今日は、Statistician-ja の統計学勉強会第1回です。LTすることになったので、資料を作りました。1時間くらいの即席で作った資料ですが、発表を楽しんでもらえると嬉しいです。
speakerdeck.com/utaka233/stati...
タグ：
posted at 10:58:59
オカルト・疑似科学団体と密接な下村博文自民党政調会長。ワールドメイト系から500万献金の大臣も｜ニフティニュース news.nifty.com/article/econom... #経済総合 #ニフティニュース
posted at 09:04:33
非公開
タグ：
posted at xx:xx:xx
John Bonner (1920-2019), was professor emeritus at Princeton and studied slime molds for 70 years. Beyond their remarkable ability to “think” and problem-solve, slime molds are just beautiful. This is a selection of molds films captured by young Bonner: buff.ly/2H1msZ8 pic.twitter.com/Zavd8MDiu2
タグ：
posted at 06:30:55
非公開
タグ：
posted at xx:xx:xx
#統計 χ²検定における期待値のオッズ比ωのP値函数と信頼区間函数を定義するためには、Wilks' theoremを使う議論(最尤法の計算)をやり直す必要がある。
Wilks' theoremを使わずに超幾何分布経由でχ²検定を理解することにこだわると、こういうこともできなくなります。Wilks' theoremは基本中の基本。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 04:54:35
#統計 以上のストーリーにおけるFisher検定におけるP値函数と信頼区間函数は #Julia言語 ならば実質1行で書けます。詳しくは以下のリンク先を参照。 twitter.com/genkuroki/stat...
posted at 04:50:03
#統計 Yates補正がダメなことについては以下のリンク先スレッドを参照。Yatesさん自身が1984年の論文にダメなことを書いているという事実を紹介しています。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 04:26:43
#統計 2×2の分割表の独立性に関する自由度1のχ²検定は、χ²検定の全体の基礎になっている非常に一般的な定理であるWilks' theoremから直接的に出ます。超幾何分布を経由する必要はありません。
Wilks' theoremについては私の過去ツイートを参照
twilog.org/genkuroki/sear...
コンピュータで遊べるネタ twitter.com/genkuroki/stat...
タグ： 統計
posted at 04:09:17
#統計 以上の計算で使った #Julia言語 カーネルのJupyter notebook を
gist.github.com/genkuroki/085e...
で公開してあります。
そこで採用した数値を色々変えれば、特に小サンプルにおいてFisher検定は常にひどく不正確で、χ²検定は概ね正確である極端な場合にのみひどく不正確になることを確認できます。
posted at 03:45:31
非公開
タグ：
posted at xx:xx:xx
#統計 a+b+c+dの期待値が20という小サンプルの場合に、データの生成のされ方についてより現実的な想定をしたならば、Fisher検定はひどく不正確であり、χ²検定の方がずっと正確であることが分かりました。
Fisher検定が正確だと書いてある教科書は間違っています。 pic.twitter.com/V2lcFqpAeA
タグ： 統計
posted at 03:42:06
#統計 添付画像は、そのような周辺度数が何1つ固定されない場合(サンプルが独立性の帰無仮説を満たすPoisson分布の直積で生成されている場合)に、P値がx未満になる確率をプロットしたものです。a+b+c+dの期待値は20．
45度線に近い検定がより正確。
gist.github.com/genkuroki/085e... pic.twitter.com/rO4i0kvXZY
タグ： 統計
posted at 03:38:42
#統計 a+b=7, c+d=13, a+c=9 を満たすサイズ20の超幾何分布に従うサンプルの場合の、χ²検定のP値がx未満になる確率のグラフだけを見ると、小サンプルにおいてχ²検定はひどく不正確で使うべきではないという俗説を信じてしまうかもしれない。
しかし、それは短慮であり、間違っています。 pic.twitter.com/0AlLxMS4tE
タグ： 統計
posted at 03:31:07
@redrapids @StefanKarpinski Yeah, I find when working in other environment this kind of style of coding where you rapidly iterate towards a solution by adding one little thing at a time, is much harder. That Julia is very friendly towards functional programming helps a lot.
タグ：
posted at 03:30:09
#統計 添付画像は、a+b=7, c+d=13, a+c=9 を満たすサイズ20の超幾何分布に従うサンプルの場合の、χ²検定のP値がx未満になる確率のグラフです。
45度線に近いと正確なのですが、そこから大きく外れており、しかも有意水準5%で第1種の誤りが生じる確率は7%を超えている。
gist.github.com/genkuroki/085e... pic.twitter.com/O3yLWHvxCa
タグ： 統計
posted at 03:28:59
#統計 a+b=7, c+d=13, a+c=9 を満たすサイズ20の超幾何分布に従うサンプルの場合には、Fisher検定において有意水準5%で第1種の誤りが生じる確率は1.7%を切っています(5%に近い方がよい)。 pic.twitter.com/Q39ZTHgHBV
タグ： 統計
posted at 03:25:01
#統計 添付画像は a+b=7, c+d=13, a+c=9 を満たす分割表
a b
c d
の超幾何分布について、P値がx未満になる確率のグラフです。P値がx未満になる確率はxに一致して欲しいのですが、全然そうなっていない。
Fisher検定は強い有限離散性が原因でひどく不正確になります。
gist.github.com/genkuroki/085e... pic.twitter.com/K0H2X9GQQV
タグ： 統計
posted at 03:21:31
Bruce Tate: grox.io @redrapids
@erikengheim @StefanKarpinski I like Julia's attention to making exploration like this easy.
タグ：
posted at 02:49:14
Hydodynamic levitation is not caused by the Bernoulli effect, which relies on the object being completely immersed in the upward-flowing fluid. It's more about Newton’s third law buff.ly/2OhUHd5 [source of the gif, Doseum, San Antonio, Texas, buff.ly/2Of2JDJ] pic.twitter.com/qhSDzADUF7
タグ：
posted at 01:50:01
非公開
タグ：
posted at xx:xx:xx
I notice a lot of people don't seem to get how #REPL based #development works, meaning you develop using a command line. Here is an example of making a camel case to snake case function in #JuliaLang which can be pasted into text editor afterwards. #programming pic.twitter.com/Zv781wOUwi
タグ： development JuliaLang programming REPL
posted at 01:19:31
こっちは試していないけれど参考になりそう：
Google ColaboratoryでRを使う
www.marketechlabo.com/google-colabor...
タグ：
posted at 01:09:34
nvidia-smi が出るようにしてこの通りやってみてGPU使ってRでの行列計算を速くできた：
Accelerated R with CUDA on Linux
clint.id.au/?p=1900
#rstats
タグ： rstats
posted at 01:07:13
If you’re interested in learning more about Cymatics, this is the book to get. It’s expensive and hard to find—but an indispensable guide to Hans Jenny’s 14 years of meticulous experiments into the formative and organizing power of sound. pic.twitter.com/qdZ85OstUq
タグ：
posted at 00:45:03
People are justifiably curious about this process—because it looks like magic. Here's a brief account from my book Healing Songs. pic.twitter.com/ebqA3g2PH4
タグ：
posted at 00:30:34
