黒木玄 Gen Kuroki(@genkuroki)/2021年01月27日

tsujimotter 日曜数学者 @tsujimotter

Khatri–Rao product ってなんやねん．Juliaにあんの？

タグ：

posted at 23:58:09

平成を忘れないbot @HEISEI_love_bot

@hyuki @genkuroki ありがとうございます。おかげさまで整理できて面白いです！

タグ：

posted at 23:00:34

間に指入れたら同じ色になる pic.twitter.com/u3F92UDljR

タグ：

posted at 22:50:06

#Julia言語

 nbviewer.jupyter.org/gist/genkuroki...
統計力学におけるカノニカル分布の最も簡単な場合
をコンピュータシミュレーションで作る

その最初の部分では単体上の一様分布乱数をJuliaで実装する方法が書いてあります。情報量が多い(笑) pic.twitter.com/xkYTmf4ege

タグ： Julia言語

posted at 22:11:50

#統計逆温度を入れた場合のベイズ統計の事後分布も

exp(-βw)φ(w)/Z(β)

の形になります。

統計学と統計力学の相性は結構よいです。統計力学を学生時代にマスターした人は、普通に統計学を勉強した人とはちょっと異なる理解が可能になると思います。

タグ：統計

posted at 21:59:44

#統計 #数楽

元の密度函数がφ(w)の等確率の原理を仮定しない場合のカノニカル分布の密度函数は

exp(-βw)φ(w)/Z(β)

の形になるのですが、φ(w)のエッシャー変換と呼ばれたりします。さらに、統計学では分布族のパラメータβの個数も1以上に増えることが多く、指数型分布族と呼ばれたりする。

タグ：数楽統計

posted at 21:57:01

ʇɥƃıluooɯ ǝıʇɐs @tsatie

宇宙と科学の世界 @space_kagaku

（何故小学生は対象にならんのやろ... ） twitter.com/ysmemoirs/stat...

タグ：

posted at 21:52:03

【守護神】木星は地球を守り続けている、彼がいなければ今の地球は存在しない

太陽系最大の惑星である木星が、たくさんの小天体を引きつけていることが分かる映像。木星が存在しているおかげで、隕石衝突確率が木星の８０００分の１まで少なくなっていると言われています。 pic.twitter.com/obdfaxjRmi

タグ：

posted at 21:50:11

#統計正規分布に限らない指数型分布族に属する分布がどのような場合に自然に出て来てしまうかを説明する1つの考え方を、統計力学におけるカノニカル分布が出て来る仕組みが与えています。

タグ：統計

posted at 21:49:52

#統計 #数楽 #Julia言語

カノニカル分布を作るコンピュータシミュレーションで正規分布を作る計算は、中心極限定理の計算でもないし、正規分布の確率密度函数の定数倍を使ったMCMC法の計算でもありません。

カノニカル分布について理解することはそれらの統計学定番の話題とは別になります。 twitter.com/genkuroki/stat...

タグ： Julia言語数楽統計

posted at 21:47:55

#統計 #数楽 #Julia言語ガンマ分布における log x を √x で置き換えてできる名の無い分布をカノニカル分布として出す計算。

コンピュータを使った計算はそう難しくないです。

楽で速いことが重要なら #Julia言語がお勧め。 twitter.com/genkuroki/stat...

タグ： Julia言語数楽統計

posted at 21:43:37

#統計 #数楽 #Julia言語コンピュータでのMCMC法である種の熱浴作ってカノニカル分布としてガンマ分布を出す計算。 twitter.com/genkuroki/stat...

タグ： Julia言語数楽統計

posted at 21:40:13

#統計 #数楽 #Julia言語コンピュータでのMCMC法である種の熱浴作ってカノニカル分布として正規分布を出す計算。 twitter.com/genkuroki/stat...

タグ： Julia言語数楽統計

posted at 21:39:11

#統計統計学の知識と統計力学の知識をすりあわせたければ、Kullback-Leibler情報量のSanovの定理(およびより一般の大偏差原理)の話とカノニカル分布(=指数型分布族！)の話を繋げるとよいです。

私のよる解説が

genkuroki.github.io/documents/2016...
Kullback-Leibler 情報量と Sanov の定理

にあります。 twitter.com/icr3_5/status/...

タグ：統計

posted at 21:35:32

非公開

タグ：

posted at xx:xx:xx

Robert Smallshire @robsmallshire

天むす名古屋 Temmus @temmusu_n

@JanStette #OpenCV #JuliaLang bindings. See the comment here: gist.github.com/terasakisatosh...

タグ： JuliaLang OpenCV

posted at 19:30:59

【異符号の加法は絶対値の差に絶対値の大きい方の符号をつけます】は、なんか言葉を書か必要があるから書かれているだけで、言っていることは馬鹿すぎな説明。これを観点別評価の知識理解に引っ掛けようとすると超低レベルの暗記数学のできあがりとなるんじゃないの。#超算数

タグ：超算数

posted at 18:47:23

Hiroyasu Kamo @kamo_hiroyasu

あと、「学問としての『数学』」なんて書いちゃったら「学問としての『数学』」を生業とする人が出てくることが想像できないのも、なんだかな〜。

タグ：

posted at 18:01:35

#Julia言語

Juliaの特徴の1つはブロードキャストが便利なこと。

関連：第一引数に函数を取る函数が非常に沢山あること。

open(函数, ファイル名)の使用例：

using Base64
open("a.gif") do f
display("text/html", """<img src="data:image/gif;base64,$(base64encode(f))" />""")
end

タグ： Julia言語

posted at 17:46:07

#Julia言語 v1.5.3までは、空のcollectionに函数を作用させた結果の和は

① sum(i->i^2, 1:0; init=0)

のように書けず、

② mapreduce(i->i^2, +, 1:0; init=0)

と書く必要があったのですが、v1.6.0-beta1では①が使えるようになっています。空集合上の函数の値の和が生じてしまう場合は多い！ pic.twitter.com/6U1iSbrptO

タグ： Julia言語

posted at 17:38:22

KTYD @KTYDRCB

Julia 1.6にしてみた。package upしたら、こんなかわいらしい表示だったっけ？ってのがクルクルしてる。 pic.twitter.com/knom3pfywh

タグ：

posted at 17:36:56

#Julia言語行列Aの各列に函数sumを作用させて1次元配列を得るだけなら

sum(A; dims=1) |> vec

が効率的だが、任意函数fを列に作用させたい場合にもmapslicesは使える。

mapslices(f, A; dims=1)

タグ： Julia言語

posted at 17:24:40

#Julia言語

numpy. select のJulia版ソースコード↓

nbviewer.jupyter.org/gist/genkuroki...

タグ： Julia言語

posted at 17:14:03

#Julia言語 map(函数, 配列など)はブロードキャストで代用可能。

maximum(函数, 配列など)
minimum(函数, 配列など)
sum(函数, 配列など)
mean(函数, 配列など)
all(ブール値函数, 配列など)

なども便利。

行列Aの各列に函数sumを作用させて1次元配列を得るには

mapslices(sum, A; dims=1) |> vec

タグ： Julia言語

posted at 17:08:33

#Julia言語ブロードキャスト化で同じことをするなら

x = 0:9
y = (x -> x < 3 ? x : x > 5 ? x^2 : -1).(x)

または

x = 0:9
y = x .|> x -> x < 3 ? x : x > 5 ? x^2 : -1

Juliaでは難しく考えずにシンプルに考えればうまく行くことが多い。 twitter.com/kenjixx/status... pic.twitter.com/BcMVERDsev

タグ： Julia言語

posted at 17:03:32

#Julia言語

Juliaの文法について情報を得る最も簡単な方法は

:(a ? b : c)

のように :( ) で囲んだ結果を見てみること。

三項演算子は if a b else c end と等価になります。(b, c がブロックになるかどうかは違う。) pic.twitter.com/8D80lj9iJX

タグ： Julia言語

posted at 16:57:07

#Julia言語 mapを使えば楽だったかも。

# Python
import numpy as np
x = np.arange(10)
y = np. select([x<3, x>5], [x, x**2], default=-1)

↓

# Julia
x = 0:9
y = map(x -> x < 3 ? x : x > 5 ? x^2 : -1, x)

Juliaの「三項演算子」は内部では if else end 構文と等価になります。 twitter.com/kenjixx/status... pic.twitter.com/quc9jiS9ds

タグ： Julia言語

posted at 16:57:05

結城浩 / Hiroshi Yuki @hyuki

@genkuroki @tsujimotter ありがとうございます😊

タグ：

posted at 16:36:33

『ネイピア数というものはよく分かりません』が『学問としての「数学」について』語ってくれるツワモノ、鍵かけちゃったのか。　こんなのばっかり。 pic.twitter.com/YedEltNwli

タグ：

posted at 16:06:27

@tsujimotter @hyuki 集合Xから生成される自由モノイドM(X)は、集合Xを文字集合としたときの有限の長さ(0を許す)の文字列全体の集合になります。

XからモノイドNへの任意の写像はM(X)からNへの準同型(文字を写像で置き換える準同型)に一意に拡張される。

M(X)を集合とみなしたものをT(X)と書くとTはモナドになる。

タグ：

posted at 15:38:53

たかはし @anomalo_takhs

GeoStats.jl なるものがあるのか…
知らなかった…

使ってみようかしら

#julialang

タグ： julialang

posted at 15:34:11

@tsujimotter @hyuki (基底になる)集合Xで生成される体K上の自由ベクトル空間の普遍性になります。

自由モノイド、自由群、自由加群、自由○○の普遍性について調べるとよいです。

集合Xを基底とするベクトル空間を集合とみなしたものをT(X)と書くと、函手Tには自然にモナドの構造がが入ります(自由○○に一般化可能)。

タグ：

posted at 15:33:27

#超算数普通の常識に従うことにして、独自の非常識なスタイルや考え方を持ち込まないことにしてくれるだけで十分なのだが、現実は教科書レベルでその逆になってしまっている。

タグ：超算数

posted at 14:41:10

#超算数小学校の算数の教科書がひどいことを知っているので、中学校の数学の教科書も疑うことが容易になっているのですが、予備知識がないと正常性バイアスによって見逃してしまいがちだと思う。

タグ：超算数

posted at 14:37:45

#超算数負の数を -5 のように書くだけではなく、正の数も +5 と書いて、それらの絶対値を符号±を±5から取り除いたものだと教えている場合があるのではないか？

絶対値の答えを +5 と書くとバツにされる場合もあるらしい。

中1の最初から教科書に従ってトンデモ数学教育が始まるようになっている。

タグ：超算数

posted at 14:35:24

ごまふあざらし(GomahuAzaras @MathSorcerer

#超算数これから普通に使うことになるスタイルの式を書いて理解することではなく、普通は書かないスタイル(+5 と書いて括弧を使うより単に 5 と書く方が楽)で教えるスタイル。

勝手に非常識なスタイルを作って教えるいつものアレ。

しかも、その裏には +5 と 5 を区別するトンデモが隠れている。

タグ：超算数

posted at 14:31:50

reminds me of The Matrix movie twitter.com/pottolama/stat...

タグ：

posted at 14:00:19

非公開

タグ：

posted at xx:xx:xx

pic.twitter.com/TO9G8WmaWa

タグ：

posted at 13:35:14

#超算数まさかこんなことになっているとは全然思ってなかった！

社会のど真ん中で十分な社会的地位を得た人達が、よりにもよって、子供達を害する仕事に堂々と従事している、なんてことを誰が想像できたでしょうか？

タグ：超算数

posted at 13:32:42

#超算数学習指導要領の解説(警告！解説には学習指導要領と違って拘束力がない)の算数編の編集・執筆はチョー算数に帰依している「算数教育に詳しい」とされている人達によって行われています。

ベネッセにいる算数教育が専門の人もチョー算数な人っぽい。

社会の中にチョー算数マスターは浸透済み。

タグ：超算数

posted at 13:29:49

#超算数算数教育界が100年以上の伝統のもとで育て上げて来た算数に関する非常識な考え方(チョー算数)に帰依している人達は、我々の社会における算数教育に関わる仕事(民間を含む)の多くに浸透しており、そういう人達を排除すると算数教育関連の仕事を進めることが不可能になってしまっています。

タグ：超算数

posted at 13:25:18

#超算数もしも、教科担任制が実現し、算数教育ワールドにおけるカースト上位の人達が主に算数を教えるようになってしまうと、どうなってしまうのだろうか？

このリスクに十分な配慮が必要だと思います。

教科担任制を実現したい人は、同時にチョー算数を潰す政策も同時に提案する責任があると思う。

タグ：超算数

posted at 13:19:53

#超算数算数を教えるのが苦手だと思っている先生が算数について頭の狂った教え方をしているのではなく、算数教育界で最高の権威と地位を持っているように見える人がデタラメな教え方を一般教師に指南する仕組みが社会的に整備されているせいで、おかしな教え方が普及してしまっているのです。

タグ：超算数

posted at 13:17:01

#超算数括弧の内側を先に計算することが天下り的に与えられる約束に過ぎないことさえ理解できない人が、【与えられていない数値を使っての立式は不十分である】と問題文にない数値を常識的に使うことを否定しているわけ。

そういう人が尊敬されているのが算数教育の世界。

証拠が示されている。

タグ：超算数

posted at 13:14:12

#数楽そして、確率変数X_1,…,X_nの独立性は

E[f_1(X_1)…f_n(X_n)] = E[f_1(X_1)]…E[f_n(X_n)]

を(適切な条件を満たす)任意の函数達f_1,…,f_nについて満たすことだと思っておけばよい。

以上を知っていれば、中心極限定理を示すための確率変数に関する知識は十分です。

タグ：数楽

posted at 12:25:18

#数楽 Xが公平なサイコロの確率変数なら

E[f(X)] = (f(1)+…+f(6))/6.

Xが標準正規分布に従う確率変数なら

E[f(X)] = (1/√(2π))∫_{-∞}^∞ f(x)exp(-x²/2)dx.

この2つの例を知っておいて他の場合はこれの一般化だと思っておけばよい。

タグ：数楽

posted at 12:25:17

#数楽本質的にTaylorの定理のみを使った中心極限定理の証明の概略については以下のリンク先を参照。

terrytao.wordpress.com/2015/11/02/275...
にも詳しい解説があります。

Lindebergさんの方法。 twitter.com/genkuroki/stat...

タグ：数楽

posted at 12:06:20

#統計データの分布を直接見たときに、左右の非対称性が極度に大きな分布になっていたり、極端な外れ値が含まれているように見える場合には、中心極限定理による近似が危険であることについては以下のリンク先のスレッドを参照。 twitter.com/genkuroki/stat...

タグ：統計

posted at 11:22:10

#統計統計学のツールの多くで何らかの近似(どんぶり勘定)が使われており、さらにそこに確率的な失敗の許容という直観的に把握が難しい事柄が絡んでくる。

ギャンブルになる！

ギャンブルで致命的な失敗を犯さないような知識が重要。道具の数学的性質の理解もその線に沿えばよいと思います。

タグ：統計

posted at 11:15:11

#統計中心極限定理は統計学のツールの基礎としてよく使われているので、中心極限定理による正規分布近似がどのような場合に十分正確でどのような場合に不正確であるかの例を沢山知っていれば、間違った使い方をしてしまう可能性を減らせると思います。

タグ：統計

posted at 11:11:26

#統計さらに、中心極限定理の数学的性質を理解するためには、数学的に厳密な証明をフォローするだけでは全く足りないことも強調している。

n→∞での理想化された結果だけ知っていても、現実への応用時に使われる有限のnでの様子はよく分かりません。具体例をコンピュータで作ることは非常に重要。

タグ：統計

posted at 11:09:16

#統計あと、なぜか日本語の統計学入門の教科書にある中心極限定理の証明がモーメント母函数または特性函数を経由する本質的にFourier解析に依存した難しいものになっている点も指摘している。

実際には中心極限定理は本質的にTaylorの定理だけで易しく証明できます。

タグ：統計

posted at 11:06:38

#統計数学の応用時には、うまく行く場合とうまく行かない場合の両方の例を知っていることが重要だと思います。

例えば、中心極限定理を使った正規分布による近似がうまく行く場合とうまく行かない場合の両方の例を知っていることが大事。

私はコンピュータでそういう例を作る実演を見せています。

タグ：統計

posted at 11:03:12

#統計私のような大学で数学を教えている人が「数学的」のような用語を使うと、「厳密な証明の理解の要求」だと勝手に誤解して、極めて不快なことを言われることが多い。

例えば私は「統計学の理解のために測度論の理解が必須であるかのように言うのはよろしくない」と繰り返し言っています。

タグ：統計

posted at 10:59:50

#統計「P値 < α」(rejection)も「統計モデル内でデータと同じ数値が生成される確率または確率密度」(likelihood)も、結構繊細な数学的性質を持っており、十分な理解がないと容易に誤用してしまうと思う。

理解抜きに統計ソフトも使い方を覚えて使うのは不健全であることは確実だと思う。

タグ：統計

posted at 10:56:05

#統計 likelihoodについても同様です。

応用時に「likelihoodを大きくした方が統計モデルの現実における予測精度が上がる」と期待しているのに、そうなりそうもない可能性が十分あり得ることが数学的に言えるなら、その応用の仕方はまずいことになるわけです。(オーバーフィッティングの問題)

タグ：統計

posted at 10:51:53

#統計「P値 < α」の数学的性質とは例えば「～という状況のもとで、そのP値 < α という結果が得られる確率はどの程度か」のような事柄です。

応用時に「仮説～のもとで P値 < α となる確率はα程度になる」と期待していても、そうなりそうもないことが数学的に言えてしまうならまずいわけです。

タグ：統計

posted at 10:47:24

#統計理解不足であっても様々な事情によって、十分に理解していない統計学の道具を使わざるを得ない場合もあると思います。

そういう場合には、統計学が社会的に持ってしまった権威を不当に利用してしまわないように、自分自身を倫理的に縛ってくれればよいと思います。

タグ：統計

posted at 10:36:53

#統計ある目的にその道具を利用するときに、その道具のどの数学的性質を使ったかを十分に理解していれば問題ないと思う。

特に統計学の利用はギャンブルの一種になりやすいので、どのように運が悪ければデータとモデルから暫定的に導き出した結論が妥当でなくなるかについて理解しておくことが大事。

タグ：統計

posted at 10:36:52

#統計 #数楽「P値 < α」(rejection)とか「統計モデル内でデータと同じ数値が生じる確率または確率密度」(likelihood)のような数学的道具の使い方の基本は、

* それが持っている数学的性質を理解して、その性質を通常の科学的常識に従って利用すればよい

でよいと思います。

タグ：数楽統計

posted at 10:36:50

#統計 #数楽おそらくこういう私の発言は、rejectionやlikelihoodの概念を理解せずに統計学が持つ権威的な力を行使してしまっていたり、学生にそうすることを教えてしまった人達には、「非常に困ったことを言う人だ」のように感じられると思います。

特に教えてしまった人達にとって都合が悪い。

タグ：数楽統計

posted at 10:22:59

#統計 #数楽 rejection(棄却)やlikelihood(尤度、日常用語としての意味はもっともらしさ)などの概念を、数学的に理解できず、日常用語的にしか理解できない人達に、統計学が社会的に持ってしまっている権威的な力を行使させてしまうのは、社会的に非常に危険なことだと思います。

タグ：数楽統計

posted at 10:18:05

#統計 #数楽同様に、likelihood(尤度)は単に「統計モデル内でデータと同じ数値が生成される確率または確率密度」を意味するだけであり、「統計モデルの妥当性」の意味での「もっともらしさ」を消して意味しないと理解しておく必要があります。

数学的に理解し、日常用語的な解釈を捨てないとダメ。

タグ：数楽統計

posted at 10:14:00

#統計 #数楽例えば、検定におけるrejection(棄却)は単に「P値 < α」を意味するだけで、強い意思決定をすることを意味しないとみなす必要があります。

Neyman-PearsonのPearsonさんは「統計的検定は『学習の手段』である」というFisherさんの考え方に賛成していました。

タグ：数楽統計

posted at 10:13:59

#統計 #数楽分野の開拓者達は沢山の誤りを犯しながら後世の人達にとって有益な考え方を提供してくれています。その過程で不適切な用語を選択してしまい、そのまま普及してしまう場合がある。

だから、勉強するときには、専門用語を日常的な意味で解釈してはいけないことに常に注意を払うべきです。

タグ：数楽統計

posted at 10:13:58

#統計 #数楽統計用語のlikelihoodは「統計モデルのデータへの適合度」の指標とはみなせますが、「統計モデルがどれだけ妥当であるか」という意味での「もっともらしさ」の指標ではありません。自明にそうでなくなる例を作れます。(作れない人はlikelihoodの概念を何も理解していない。)

タグ：数楽統計

posted at 10:13:58

#統計 #数楽「統計モデル内でデータと同じ数値が発生する確率または確率密度」を意味する用語が likelihood (尤度(ゆうど)と訳される)になってしまったことも、不適切な用語選択の一例とみなせると思います。

専門用語としてのlikelihoodを「もっともらしさ」だと解釈するとおかしなことになる。

タグ：数楽統計

posted at 10:13:56

#統計 #数楽 Neyman-PearsonのPearsonさんによれば、検定で使われる「採択」(acceptance)、「棄却」(rejection)という強い意思決定を示唆する用語の選択は不適切だった。

専門用語の決定と普及は歴史的偶然で不適切なものになってしまっている場合が少なくないです。

errorstatistics.com/2017/11/19/eri... twitter.com/genkuroki/stat... pic.twitter.com/b5vPigzV3w

タグ：数楽統計

posted at 10:13:54

寺沢拓敬 @tera_sawa

「小学生200人じゃまだ少ない、1000人くらいは欲しい」ということなら、上のグラフでは中学生がそれに近い。約900人。で、中学生のリスニングは341点で院生よりハイスコアw

タグ：

posted at 09:12:24

寺沢拓敬 @tera_sawa

右のグラフをよく見ると、リスニング（淡い水色）のスコアは平均383でさらに突出した高さ。ケース数が100以上集まろうがなんだろうが、グループ別平均てのは簡単に歪むという好例として使えそう。

タグ：

posted at 09:06:12

k @musicisthebest_

類似した事例として、中学の証明において「教科書の文言通りに書かないとバツ」という指導も存在すると聞く。何のため?

タグ：

posted at 08:44:55

k @musicisthebest_

例によってこのような謎採点でも擁護者がでるわけですが、彼らが主張する「問題文に出ている数字しか使っちゃだめ」という謎ルールについて考えてみる。新井紀子さんがそういうことを書いていたのは知っているが、それが広まった、というわけではまさかないだろう。 twitter.com/rikateacherpoi...

タグ：

posted at 08:41:45

「割合」のような重要な概念を身につける事が出来なかった子供の割合はそれこそ悲惨なほどだと思えるけど、それに対して大多数の小学校の教員は「算数は指導しやすい教科だと感じる」と。🤷‍♂️ twitter.com/temmusu_n/stat...

タグ：

posted at 08:07:05

これなんか、どこかのイカレた教員の特異な例というより、小学校の教師に算数教育について教えてるような立場の人間による授業研究だよ。 twitter.com/kuri_kurita/st...

タグ：

posted at 07:54:33

案の定、好意的な評価が多いようだけど、算数教育に関しては「まず現状の酷さを認識してくだされ」と思う。

恐らくカタギの人たちには想像も出来ない状況だから。😬 twitter.com/nhk_news/statu...

タグ：

posted at 07:42:46

だい⊿ @daisuzu

2/3から2と3を取り出して使うのは算数ではNGなのか・・・ twitter.com/genkuroki/stat...

タグ：

posted at 07:29:11

積分定数 @sekibunnteisuu

@nananao2236 @kale_aojiru 算数が分からなかったという数教協の教師が私に向かって「計算ができればいいという結果論」などと言ったことがあります。

　彼らは、数学とは別の似非理論体系を作り上げることで

「我々こそが真に理解しているのであって、数学ができるとされている人は計算ができるだけ」と思っているようです。 pic.twitter.com/F3cvt5C1xR

タグ：

posted at 00:51:30

非公開

タグ：

posted at xx:xx:xx

積分定数 @sekibunnteisuu