黒木玄 Gen Kuroki(@genkuroki)/2017年12月24日

何とかしたい方はちゃんとした産婦人科を受診することが1番大切です。
生理痛は和らげるべきものではありません。
完全に無くすべきものです。 twitter.com/seiritu1017/st...

タグ：

posted at 23:54:07

積分定数 @sekibunnteisuu

twitter.com/sugar57527/sta...
掛け算の順序で市教委と話し合ったときも、教え方や採点に対して意見があればまず担任に、そのあと校長に、とか言われた。それじゃあ問題は顕在化しないでいいように丸め込まれるのがオチ。

タグ：

posted at 23:49:57

Naoki_O @nananao2236

昼間、嫁様が「旅人算って何のこと？」からググりはじめて、「お弁当を忘れて家を出たたかし君にお母さんが追いつくのはどこ？」的アレの中学お受験的呼び名だとわかったのだけど、そのいちいち名前のついた無数のバリエーションに地獄を垣間見た気分になるなど。例→ juken-sansu.net/tabibito/ #超算数

タグ：超算数

posted at 23:00:33

@genkuroki ちなみに市街地距離を使う識別をしたい場合には分布形状からすべて違う用語で説明をするのでしょうか。「○○距離」という言い方をしてよければ、「市街地距離を使った」「マハラノビス距離を使った」「ユークリッド距離を使った」という言い方だけで済みます。その分野での説明の簡潔さの問題です

タグ：

posted at 22:59:48

小形克宏 @ogwata

Vivliostyle.jsを用いることで、Webベースの美しいCSS組版を実現しています。 viola.pub

タグ：

posted at 22:56:54

@akinori_ito * 混合正規分布の各山ごとに別のマハラノビス距離が定義される。

* 混合正規分布の各山ごとに別の内積が定義される。

後者の文字数の方が少なくてかつみんな知っている内積という用語だけですみます。

タグ：

posted at 22:55:57

@akinori_ito 情報量的には

1つ山の正規分布の山の形状
=分散共分散行列
=内積
=そのノルム
=その単位球面

です(2つ目の等号の理解は正規分布の理解そのもので特に重要)。そこにさらに「マハラノビス距離」を付け加える必要はないと思います。しかしすでに広まった言い方なので使ってもよいとは思います。

タグ：

posted at 22:53:16

@genkuroki 距離ベースのパターン認識を考えると、距離尺度を変えることで識別全体の枠組みを変えることができるので、数学的にはその距離尺度自体に特別な名前をつけるほどではないとしても、ちょっと違う距離にそれぞれ名前がついていてくれたほうが使う方は楽です

タグ：

posted at 22:47:36

@akinori_ito 内積を与えることは ||x||=1 で定義される「単位円」を与えることとも同じなので、各山を違う「単位円」で表示していると言っても良いです。「単位円」と言いながら一般には斜めに傾いた楕円になる。そういう図はプレゼンテーションでよく見ます。「マハラノビス距離」という用語はいらない。

タグ：

posted at 22:42:22

@genkuroki 「マハラノビス距離による識別」というのは通常「クラスごとに異なる共分散を使った識別」ということを含意しています。「マハラノビス距離」という言い方を使わずに表記することは不可能ではありませんが、不便じゃないかなあ。

タグ：

posted at 22:42:15

@akinori_ito それはクラスターごとに二つの異なる距離を使っていることが原因です。

多変量正規分布の混合分布の各山ごとに別の内積のノルムがあるだけ。

「山ごとに別の内積があるだけ」なので、「マハラノビス距離」と言う必要はないと思います。

タグ：

posted at 22:36:19

@genkuroki しかしd(x,p_c1,Σ_c1)とd(x,p_c2,Σ_c2)でΣ_c1 ≠ Σ_c2 の場合にはBが超平面にならないことがあります。一般には2次の超曲面です

タグ：

posted at 22:23:49

@genkuroki クラスの数が２つのとき、d(x,y)がユークリッド距離ならばBは超平面です。d(x,y)がマハラノビス距離であってもd(x,p_c1)とd(x,p_c2)が同じ共分散を使えばやはりBは超平面です

タグ：

posted at 22:21:30

@genkuroki 入力ベクトルxをクラスc1またはc2に分類するときに、それぞれのクラスの代表点p_c1, p_c2を用意し、距離尺度dを使ってd(x,p_c1)とd(x,p_c2)を計算して、xを値が小さいクラスに分類するということをよくやります。B={x|d(x,p_c1)=x(x,p_c2)}が識別境界です

タグ：

posted at 22:18:49

Takayuki Uchiba @utaka233

数学とコンピュータⅡ advent calendarの投稿記事です。遅くなって申し訳ございませんでした。Python使用予定でしたが、すでに沢山のscriptが存在するので、Rで書きました。

連分数とplain RSA暗号の攻撃について｜内場崇之｜note（ノート） note.mu/utaka233/n/n08...

タグ：

posted at 22:12:38

@akinori_ito 識別境界の定義がわからないのですが、識別境界がノルム||・||によって

||x|| = c

のような式で表されるならば、Euclidノルムでは円周(や球面)になります。

定義がどうであれ、「直線」と「2次曲線」の違いが出る理由は座標とは別にノルムの使い方に違いがあるからでしょう。

タグ：

posted at 22:11:40

@genkuroki このスライドの6ページ以降とか（きれいな図があります） research.cs.tamu.edu/prism/lectures...

タグ：

posted at 18:56:16

新帯秀樹 Hideki Shintai @hs_heddy

@genkuroki Euclid距離とMahalanobis距離は空間を線形変換しただけなのはその通りなのですが、パターン認識で距離尺度をMahalanobis距離にしてクラス固有の共分散行列を使うとEuclid距離とは識別境界の形が変わります。Euclidの識別境界は直線ですがMahalanobisだと2次曲線です

タグ：

posted at 18:52:44

「PyCallパッケージの入れ方」は非常に有り難いですね。多くのJuliaコードの紹介でいきなりusing PyCallとやるとエラーメッセージが出てしまう。この辺りがJuliaビギナーの生死の分かれ道かもしれないですね。 twitter.com/genkuroki/stat...

タグ：

posted at 16:08:22

@Vannyamoto

ポアソン分布とRule of Three（統計学ワード） noirvan13.xsrv.jp/2017/12/24/%e3... pic.twitter.com/4x9VI6AOX5

タグ：

posted at 15:01:44

落合陽一 Yoichi OCHIAI @ochyai

「計算機能のないスパコン」
「公知の新事実」

Pezyニュースからは記者の無学さが生み出すパラドキシカルなパワーワードが毎週出てくる．

タグ：

posted at 14:40:58

#統計実際に使われている方法を見ると、

* 統計力学
* 情報理論
* 機械学習
* 統計学

だけでもまだ狭い感じで、

* 代数幾何
* 代数解析

なども付け加えておいた方がいい感じ。そして、大学1年生のときに習う微積分や線形代数が非常に重要なこともわかります。

タグ：統計

posted at 14:04:14

Python＠IMFも認めた！日本の財政 @65Python

#統計渡辺澄夫『ベイズ推定の理論と方法』には所謂「変分ベイズ法」(平均場近似)についても解説があるが、具体例が足りないので、須山敦志『ベイズ推論による機械学習』のような良書で補うとよいと思う。渡辺さんの本も筋を追うだけではなく、自分で実際に数値計算してみないと理解できないと思う。

タグ：統計

posted at 13:53:10

日本経済新聞「大機小機」でマトモな論者のひとり「カトー」氏のコラムです。

（大機小機）教育論議に論理と実証を：日本経済新聞 www.nikkei.com/article/DGKKZO...

タグ：

posted at 13:51:12

Python＠IMFも認めた！日本の財政 @65Python

#統計

13. 現代ではAICの正しい拡張がベイズ推定法に対して構成されている(渡辺澄夫さんのWAIC = widely applicable information criterion)。渡辺澄夫さんによる教科書『ベイズ推定の理論と方法』に解説がある。AICの解説もまとめて書いてあるのでAICについて知りたい人にもおすすめ。

タグ：統計

posted at 13:50:00

@kiyoshi_fujii 筆者は誰かなと思ったらやっぱり「カトー」さんだった(笑)

タグ：

posted at 13:48:32

#統計

11. その場合には大数の法則による近似は有効ではなく、過学習が起こる。だから、「対数尤度の-1/n倍」よりも精密な「KL情報量D(q||p)+定数」の推定量が必要になる。

12. AIC(=赤池さんが発見した "an information criterion" (笑))はまさにそのような推定量の嚆矢である！

タグ：統計

posted at 13:48:00

#統計続き

9. だから「対数尤度の-1/n倍」は「KL情報量D(q||p)+定数」の推定量になっている。対数尤度の大小でKL情報量(=予測誤差)の大小を近似的に比較できるだろう。

10. しかし、現実の推定では、qが独立生成したサンプルのサイズの大きさに応じて、pの推定モデルの側も複雑にすることが多い。

タグ：統計

posted at 13:44:56

#統計続き

8. 未知のqが生成したサンプルをX_1,…,X_nとする。このとき対数尤度の-1/n倍

(-1/n)Σ_{i=1}^n log p(X_i)

は大数の法則より、n→∞で

- ∫ q(x) log p(x) dx = D(q||p) + S(q)

に収束する。ここで

S(q) = - ∫ q(x) log q(x) dx

はqのShannon情報量でpによらない定数。

タグ：統計

posted at 13:41:51

#統計続き

7. もしもKL情報量 D(q||p) が計算できれば、pによるqの近似的シミュレーションの誤差が正確にわかる。しかし、D(q||p)そのものの計算にはqの情報が必要。qが既知なら最初からp=qとすればよいのでこの議論は無意味。qが未知の場合にはD(q||p)そのものは計算できない。

タグ：統計

posted at 13:36:13

#統計続き

5. Sanovの定理：pによって独立生成したサイズnのサンプルの分布がqに近い確率の対数は n D(q||p) + o(n) のように振る舞う。ここで D(q||p) はKullback-Leibler情報量。

6. pによるqの近似的シミュレーションの誤差(予測誤差)をKL情報量 D(q||p) で定義するとよい。

タグ：統計

posted at 13:34:09

#統計続き

3. p≠qの場合には、pによるqの近似的シミュレーションは発生させた乱数の個数(サンプルサイズ)が大きくなると、「qとは違うこと」が明瞭になる。

4. そうなる速さが遅いpでqを近似的にシミュレートした場合にシミュレーションの誤差は小さくなると考えられる(予測誤差の定義)。

タグ：統計

posted at 13:31:52

#統計大事なことだと思うので繰り返し

1. 確率分布pで乱数を発生させて確率分布qの近似的シミュレーションを行う状況を考える。

2. pとしてqそのものを取れれば正確にシミュレートできるのだが、qが未知の場合にはサンプルから推定したp (データを学習させたp) を使うしかない。

続く

タグ：統計

posted at 13:28:34

#統計 #JuliaLang

nbviewer.jupyter.org/gist/genkuroki...
ロジスティック分布の2通りの正規分布近似の比較

を更新した。

左側がKL情報量の意味でのロジスティック分布の最良正規分布近似の場合で、右側はsupノルムによる最良近似の場合。前者の方がロジスティック分布だと誤認してもらいやすい。 pic.twitter.com/B6Oi9ZujLr

タグ： JuliaLang 統計

posted at 13:01:17

積分定数 @sekibunnteisuu

#超算数要するに、掛け算の順序はどっちでもいいし、割り算の確かめ算も好きにすればいいのに、それぞれ固定されていると思い込んでいて、しかも両者が矛盾してしまって混乱している、という話。

くだらない

タグ：超算数

posted at 12:25:56

積分定数 @sekibunnteisuu

#超算数 oshiete1.nifty.com/qa5520251.html
＞【３．１４の円周倍】になっちゃうんです。

「【３．１４の直径倍】になっちゃうんです。」の間違い。つまらないミスで面白さが半減しているのが残念。「直径倍」に修正して読むと、じわじわくる。

タグ：超算数

posted at 12:24:41

riso @aoriso

超算数(掛け算の順序等)の話題見てると、小学生の算数に式と答しか回答させないのが問題な気がしてきた。算数とは別に、言葉で説明させる数学が小学生にも必要なのではという気が。

タグ：

posted at 12:03:54

牙龍一:脱財政再建！ @kiba_r

普通は、率で見ますけどね。

／／…低所得層でも高負担な、税(公的保険料含む)負担率pic.twitter.com/1za8GYrQ7U twitter.com/Isseki3/status...

タグ：

posted at 11:50:46

友好第一 @2191hirokun

「ニコ生シノドス」第１回「ホメオパシー騒動とニセ科学論争の行方」 - 荻上チキ×菊池誠×久保田裕｜WEBRONZA - 朝日新聞社の言論サイト webronza.asahi.com/science/articl...

タグ：

posted at 11:50:44

稲葉振一郎 @shinichiroinaba

“（カトー）”安定の日経の良心 / 他1コメント b.hatena.ne.jp/entry/s/www.ni... “（大機小機）教育論議に論理と実証を　　：日本経済新聞” htn.to/5VGnVDDr

タグ：

posted at 11:41:38

非公開

タグ：

posted at xx:xx:xx

#統計赤池さんが

AIC (an information criterion の略記)

とはっきり書いている件(笑)については次のリンク先を参照。

twitter.com/genkuroki/stat...

タグ：統計

posted at 11:34:55

#統計脱線したので「距離」の話に戻る。

Sanovの定理より、KL情報量D(q||p)は「pによるqのシミュレーションの誤差」を意味します。

pでqをシミュレートすることと、qでpをシミュレートすることは違うので、D(q||p)≠D(p||q)であることは不思議でも困ったことでも何でもないわけです。

タグ：統計

posted at 11:31:18

#統計

 ismrepo.ism.ac.jp/index.php?acti...
統計的推論のパラダイムの変遷について

で赤池さんは「頻度主義 vs. ベイズ主義」というくだらない対立図式の原因は「理解が足りないこと」であったことを明らかにしています。現代の大学においても変な講義が結構あるので要注意。

twitter.com/genkuroki/stat...

タグ：統計

posted at 11:27:22

#統計で、その赤池弘次さん自身による解説を我々は以下のリンク先のリンク先で読めます。日本語圏の関係者は必読だと言って過言じゃないと思う。

twitter.com/genkuroki/stat...

タグ：統計

posted at 11:22:17

#統計以上のような話を知っていれば

* 統計力学
* 情報理論
* 統計学
* 機械学習
などなど

の広範な分野の違いを強調することは、創造性の源泉の一つを失いかねない危険行為であることは明らかだと思います。

タグ：統計

posted at 11:19:09

#統計赤池さんも指摘していることですが、KL情報量のSanovの定理は物理における統計力学の教科書によく書いてある事柄に過ぎません。赤池さんのAICに関する仕事は、統計力学と情報理論と統計学を綺麗に繋げた仕事の一つともみなされると思います。

タグ：統計

posted at 11:16:55

#統計「統計学における対数尤度の-1倍」と「Kullback-Leibler情報量+定数」の直接的な関係を見抜いて、統計学における基本的な考え方を刷新したり、AIC(an infomation criterion)を考案したのが赤池弘次さんです。

KL情報量のユーザーである我々は全員赤池さんの後輩だということになります。

タグ：統計

posted at 11:13:50

#統計 Kullback-Leibler情報量がそのような意味を持っていることは、Sanovの定理(有限集合上の確率分布の場合にはとても易しい定理、証明は中心極限定理より易しい)と呼ばれています。私による解説が次の場所にある。

genkuroki.github.io/documents/2016...

タグ：統計

posted at 11:08:42

#統計 KL情報量D(q||p)について、

D(q||p_1) < D(q||p_2)

ならば、p_1によるqのシミュレーションにおいて「qじゃない」とばれる速さはp_2よりも遅くなります。この意味でp_1はp_2よりもqをよく近似しているとみなせるわけです。

タグ：統計

posted at 11:05:09

#統計続き。近似精度が高いpによる乱数発生は、近似先のqによる乱数発生とほとんど区別がつかず、「qじゃない」とばれるまでの時間(サンプルサイズ)が大きくなるでしょう。KL情報量の意味での確率分布間の距離はまさに「qじゃない」とばれる速さを意味しています。続く

タグ：統計

posted at 11:00:38

#統計機械学習の基本的な使い方は、未知の確率分布qを近似していると推定される確率分布pをコンピューター上で実現し、pに従う乱数を発生させることによってqを近似的にシミュレートすることです。その近似的シミュレーションの誤差は「qと違う」とばれてしまう速さで測れます。続く

タグ：統計

posted at 10:57:50

Shuuji Kajita @s_kajita

これは全面的に支持。
　・教育論議には論理と実証が欠けている
　・「選択と集中」政策は負の効果しかなかった
　・予算削減には断固として反対し有効に反論すべきだった twitter.com/kiyoshi_fujii/...

タグ：

posted at 10:54:18

#統計 KL情報量の意味での「距離」の適切な応用先がわかれば、それが距離の公理の対称性を満たしていないことは欠点でもなんでもなくて、当然そうなるべきであることがわかります。対称性の成立にこだわっている人達は理解していない人達なので要注意。

タグ：統計

posted at 10:51:14

#統計 Kullback-Leibler情報量(divergence)の意味での「距離」とL^∞距離(supノルムでの距離)の違いについては以下のリンク先を参照。

KL情報量の意味での「距離」は、確率分布pによる確率分布qのモンテカルロシミュレーションを行うときに適切な「距離」です。

twitter.com/genkuroki/stat...

タグ：統計

posted at 10:48:12

#統計 #JuliaLang #Anaconda #Jupyter

私によるAnaconda+色々のインストールの記録が次のリンク先にあります。

nbviewer.jupyter.org/gist/genkuroki...

これを見れば、Anaconda3のJupyterで、Python3, Julia, R, Ruby を使う方法がわかります。

タグ： Anaconda JuliaLang Jupyter 統計

posted at 10:42:08

Robert Geller; ロバート・ @rjgeller

#統計

 www.procrasist.com/entry/23-dista...
を書くことには大変な手間がかかったと思う。

GitHubでは大量にJupyter notebooksが公開されている。
github.com/hokekiyoo/adve...

WindowsユーザーがちょっとPython+Jupyterを試してみたいならAnacondaをインストールするのが楽だと思う。

タグ：統計

posted at 10:38:17

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

TBSサンデーモーニングは先週政府が公表した北海道の沖合の巨大地震予言を揺るがない真実のように報道した。

ファクトチェック:
1。予言は間違った「周期説」モデルに基づいているので無視すべきだ。
2。日本は地震国で、いつでもどこでも不意打ちに大地震発生があり得る。 pic.twitter.com/I4VgEtdoPU

タグ：

posted at 09:55:56

#統計数学を教える職業の人は

www.procrasist.com/entry/23-dista...

のまとめを読んで、自分が数学を教えた人達がこういうものを将来必要とする可能性について知っておいた方がよいと思う。

どれだけ知っている？

知らないことが出て来たら素直に自分の無知を認めることが大事。

タグ：統計

posted at 09:55:15

#統計 ℓ^∞ノルムやL^∞ノルムもよく使われる。

||x||_∞ = max{x_1,…,x_n},

||f||_∞ = sup_{a≦x≦b} |f(x)|.

supの意味がわからない人は「数値計算ではmaxで計算される」と覚えておけば何とかなると思う。

タグ：統計

posted at 09:50:17

#統計コメント続き

ミンコウスキー距離

||x-y||_p = (Σ |x_i - y_i|^p)^{1/p}

は「ℓ^p 距離」と呼ぶことが多いと思う。

||f-g||_p = (∫|f(x)-g(x)|^p dx)^{1/p}

は「L^p 距離」。人の名前を付けて権威的な響きを強くしなくてもよいと思う。

タグ：統計

posted at 09:43:35

斉藤ひでみ・現職教師（西村祐二） @kimamanigo0815

#統計多変量正規分布は本質的に内積の話に過ぎないという理解は大事。複雑に見える事柄が大幅に単純化される。

一般論として、簡単なことを難しく考えるスタイルを広めるのは良くない。

「みんな偉そうに◯◯(←権威的に響く専門用語)とか言っているが、大した話じゃない」というスタイルが重要。

タグ：統計

posted at 09:37:43

内田良さんと何度かお話する機会があって、感じたのは、この人は名誉欲とか金銭欲で動いているのではないということだ。辛い立場に立たされている人の為に、という気持ちのみで、諸々の活動をなさっている。
信頼できるし、尊敬に値する。

僕もそうありたいと思う。 twitter.com/RyoUchida_RIRI...

タグ：

posted at 09:36:15

#統計線形代数の教科書に書いてある座標系に依存しない内積の定義を知っていれば、

多変量正規分布の分散共分散行列(の逆行列)

を与えることと

有限次元実ベクトル空間に内積

を与えることは同じであることがわかる。

タグ：統計

posted at 09:33:41

#統計

要は「目的に合わせて合理的であればよい」だけのこと。

脱線した。

タグ：統計

posted at 09:29:28

#統計 ←私は「統計力学」も「統計的学習理論」(機械学習)も伝統的な「統計学」もまとめて扱いたいときに、このタグを使っている。

「世間一般」では「統計学と機械学習の違い」のような話題が出ていることがあるが、私には「社会的に構成された違い」に関する下らない話題に感じられる。

タグ：統計

posted at 09:27:07

#統計

 twitter.com/genkuroki/stat...

機械学習に登場する権威的な響きを持つ用語の多くは特別に名前を付ける必要がないほど数学的に単純な概念を意味するに過ぎない。

科学者や技術者は、つまらない権威を否定し、権威的な響きをするものを嫌い、単純でぶっちゃけた話をすることで社会貢献できる。

タグ：統計

posted at 09:23:01