黒木玄 Gen Kuroki(@genkuroki)/2016年10月27日

#数楽私が書いたKullback-Leibler情報量とSanovの定理の易しい場合の解説はこちら→ www.math.tohoku.ac.jp/~kuroki/LaTeX/...

KL情報量は相対エントロピーの-1倍と同じものです。統計力学を学んだ人は相対エントロピーについては知っていると思う。

タグ：数楽

posted at 23:58:24

#数楽過剰学習による予測精度の悪化の問題を扱う場合には、まず、予測分布による真の分布のシミュレーションの誤差を表すKL情報量について学ぶ必要があると思いました。サンプルだけから予測誤差を見積もる方法はKL情報量+定数(=汎化誤差)の推定法になっています。

タグ：数楽

posted at 23:55:25

#数楽 LOOCVも汎化誤差の推定量です。一個抜き交差検証そのものが特権的な重要性を持っているわけではない。交差検証のアイデアはわかりやすいので、この点は誤解し易い点なのかなと思いました。

タグ：数楽

posted at 23:51:59

#数楽真の分布が未知であるからこそ、それを推定したいので、自前で数値実験するとき以外には、汎化誤差を推定するときに真の分布をカンニングすることはできません。しかし、サンプルだけから汎化誤差を推定する手段が複数開発されています。最初のAICのアイデアは画期的だったと思う。

タグ：数楽

posted at 23:49:04

#数楽用語説明。未知である真の分布Qが生成したサンプルをもとに作った予測分布Pによる真の分布Qの予測誤差D(Q||P)とQのエントロピーの和(それは-∫Q(x)log P(x) dxに等しい)を汎化誤差(generalization error)と呼ぶようです。

タグ：数楽

posted at 23:45:03

#数楽予測誤差を測るための各種情報量規準の正しい比較の例が watanabe-www.math.dis.titech.ac.jp/users/swatanab... の注4にあります。ソースも公開で素晴らしい。しかしMatlabには一般人は高価なので手が出ない。RStanで検証するためのコードを誰か公開すると社会貢献になると思う。

タグ：数楽

posted at 23:32:08

#数楽続き。サンプルだけからは知ることができない本当の予測誤差は予測分布と真の分布のKL情報量で測られます。数値実験するときには真の分布をカンニングできるので真の予測誤差を数値計算できます。これとの比較が重要。その辺のことは常識になっているのかなあと思いました。

タグ：数楽

posted at 23:25:34

#掛算　本体とは別にプルタブだけを集めるなんて、何か変だと思わなかったのかな？

タグ：掛算

posted at 23:24:49

#数楽続き。サンプルを生成した真の分布は未知のままなので、サンプルだけから予測分布による真の分布の予測精度を推定しなければいけない。サンプル内で予測精度を測ってみる一個抜き交差検証LOOCVは直観的に非常にわかり易いと思う。しかし、LOOCVも予測誤差の推定値でしかない。続く

タグ：数楽

posted at 23:21:19

#掛算　最初に紹介された小学校は、今まで一生懸命集めてきたけど、「プルタブ厚めはしないでくれ」と業界から手紙が来て、困惑するというのをやっていた。後に出てきた小学校よりも遙かにましだが、それでも「これは本当に意味があるのか？」とネットで検索したりしなかったのかな？

タグ：掛算

posted at 23:20:07

#数楽続き。一個抜き交差検証LOOCVは直観的にわかり易い考え方なので、これこそが予測誤差の計測法の決定版だと誤解してしまう危険性があると思う。サンプルから1個抜いて(その1個はサンプル全体を動かす)残りを使って予測分布を作り、抜いた1個の予測精度を見るのがLOOCV。続く

タグ：数楽

posted at 23:16:46

#掛算　目的が、子供たちの心の教育なら、そんなことはどうでもいいのかな？

江戸しぐさ、ＥＭ菌、プルタブ、　みんな同じだね。

タグ：掛算

posted at 23:14:34

#掛算　ところで、車いすが貰えるらしいくて、集めて車いすを施設などに寄付するようだけど、車いすって足りないの？以前のタイガーマスクのランドセルや、災害時の迷惑な物資援助と同様のことになっていないのかな？

タグ：掛算

posted at 23:12:19

#掛算　プルタブ集めをしている小学校に取材に行くと、教師が「心の教育」だという。「最初からアルミ缶を集めた方が効率がいいのでは？」というと、「小さなものをみんなで集めることに意味がある」とかいうような回答。もう、何が目的だか分からない状態。

タグ：掛算

posted at 23:08:44

#数楽続き。だから、LOOCVの近似計算などを含む「予測誤差の大きさを比較するための情報量規準」どうしを正しく比較する方法を理解するためには、予測誤差がKL情報量で測られるということ(実質的にSanovの定理)を知っている必要があります。これが理解のための第一の関門。続く

タグ：数楽

posted at 23:07:45

#掛算　むしろ無理に切り離そうとしてバリで指を切ったりするし、再処理工場でもプルタブは迷惑な存在とのこと。でも今でもプルタブ集めが続いている。

タグ：掛算

posted at 23:05:32

#数楽続き。確率分布Pによる確率分布Qの予測誤差(シミュレーションの誤差)の大きさをKullback-Leibler情報量D(Q||P)=∫Q(x)log(Q(x)/P(x))dxで測るという考え方はSanovの定理(←決定的に重要)を知っていれば非常に納得できることです。続く

タグ：数楽

posted at 23:03:43

#掛算　かつての缶はプルタブが取れて、その辺に捨てられたので、それをナントカしようと言うことで、プルタブを集めようという動きが広がった。しかし今はプルタブは取れないので、プルタブを本体から切り離してそれだけ集める意味がないらしい。

タグ：掛算

posted at 23:03:36

Re:RT LOOCV(一個抜き交差検証)と他の規準を比較するときにはそれらが予測分布と真の分布のKullback-Leibler情報量(+定数)の推定値であることを忘れてはいけない。LOOCVがどんなにうまく近似計算できていてもそれだけだと肝腎なことがわからない。続く #数楽

タグ：数楽

posted at 22:59:12

さだまさしの一言で広がった？プルタブ集めが大問題♢所さん！大変ですよ社会の片隅で起きている小さいけれど見過ごせない“事件”の数々その、意外な真相をあぶり出す。 www6.nhk.or.jp/nhkpr/post/tra...　 #掛算

タグ：掛算

posted at 22:56:21

ピアジェは超早熟の学者で、１１歳のときには博物館の雑誌に論文載せてるのよ。確か貝の生態の研究についてだったかな。それ読んだ海外の学者がピアジェに会おうとしたんだけど「中学生だから会えない」って返答もらったというエピソードが残ってる。

タグ：

posted at 22:49:22

河野太郎 @konotarogomame

内閣府に競争的資金に関する問題に対応するチームが設営され、科研費の申請書及び科研費をはじめとする競争的資金に関する問題提起が内閣府の窓口に寄せられると、実現可能なものについては対応し、対応できないものについてはその理由が明記されることになっています。

タグ：

posted at 22:45:13

#将棋竜王戦。封じ手は△3一玉でそれに対して▲5二とを予想。コンピューターに答えを教えてもらうのが良いかもしれないのですが、もう寝床だ。

タグ：将棋

posted at 22:06:22

データ解析・統計・機械学習のRSS @datasci_blogs

おっしゃるとおりだと思います。ピアジェの理論が教育現場に浸透しにくいのは、難しいことの他に彼の理論があくまで自然発生的なもので、それ自体では教育理論・治療理論にならないことにもあると思います。そこを「思考と言語」で鋭く批判したのがヴィゴツキーですね。@allergen126

タグ：

posted at 21:08:02

【六本木で働くデータサイエンティストのブログ】モデル選択とAICとcross validationの関係を大雑把に実験してみる ift.tt/2ePmOzZ

Stanの開発者でもある統計学界の重鎮、Andrew Gelmanがこんなブログ記事をupしてい…

タグ：

posted at 20:58:13

#将棋竜王戦第2局1日目は先手の攻めが続けば先手有利、攻めが切れれば先手苦しいということでいいのかな？封じ手は後手3一玉の一択？
kifulog.shogi.or.jp

タグ：将棋

posted at 20:56:50

やねうら王 @yaneuraou

先日、私がアルゴリズムの名前をど忘れして「ここは、墾田永年私財法みたいな名前のやつでやっといてよ」と弊社プログラマに伝えた案件、ちゃんと気を利かせて平均化確率的勾配降下法(ASGD)で実装してくれてた。弊社プログラマ、マジでエスパー。FBIとCIAから引っ張りだこになるレベル。

タグ：

posted at 19:54:02

#囲碁攻めているように見えている黒の側もあちこちに気持ち悪い弱点があってさっぱりわからない。解説が必要。
mimiaka.herokuapp.com/ja/live-games#...

タグ：囲碁

posted at 18:58:18

#囲碁昨日の封じ手の局面で、黒は左下の数子を捨てて中央を厚く打っていれば優勢なんじゃないかと思っていた。
mimiaka.herokuapp.com/ja/live-games#...

タグ：囲碁

posted at 18:54:23

#囲碁名人戦第6局、黒番井山名人の中押し勝ち。
なんでこんな超激戦になっているんだ？？？
後で棋譜を見てみよう。

タグ：囲碁

posted at 18:51:19

@kuri_kurita

シリコンバレーで「一流」なら一千万どころじゃなくもらえるけど、そのアメリカでも「Science, Technology, Engineering, Math」の分野に進む女性が少なすぎると言われてんだから、「一千万」ごときで解決するとも「バラ色の未来が待っている」とも思えない。

タグ：

posted at 15:15:41

@kuri_kurita

.@claw2003 さんのコメント「▼女性が理系の研究に進むことが「殴り込み」と表現されているうちは、「そのようなヤクザな道には進めない」と思う人がいるのは自然なことだし..」にいいね！しました。 togetter.com/li/1041192#c31...

タグ：

posted at 14:37:37

ピアジェってどうしても幼児教育の文脈で語られることが多いけど、それは多分学齢以降の理論が複雑になりすぎちゃってついてこれる人が少ないからで、ピアジェ自身は乳児から青年期までの非常に綿密な研究をしている。とくに学齢期から青年期についての記述は療育・教育のヒントに溢れている。

タグ：

posted at 13:44:44

あ〜る菊池誠(反緊縮)公式 @kikumaco

ピアジェ「思考の心理学」を再読。「青年は空虚なものを愛するにせよ実際のものを愛するにせよ、常に作り話（ロマン）を通して、愛する」　二次元も三次元もまとめてぶったぎっていくピアジェ先生、素晴らしい切れ味です。

タグ：

posted at 13:43:13

「私があなたが選んでいないドアを1つ開けると羊がいた。」の部分が曖昧ですね。モンティホール問題では「必ず羊がいるドアを開ける」のがポイント twitter.com/sekibunnteisuu...

タグ：

posted at 13:12:21

@kuri_kurita

本日の目標達成。（あと100個） pic.twitter.com/7OjFNiEGsn

タグ：

posted at 13:07:17

Haruhiko Okumura @h_okumura

向川まさひで（大和高田市議・日本共産党） @muka_jcptakada

きっと出てくると思ったご要望 RT @jseita: @noricoco @h_okumura API公開してください。

タグ：

posted at 09:59:45

皇族の立場からではありますが、戦前の日本の誤りについて率直な証言を残しておられます。また戦後、歴史学者として自ら日本の建国史を編纂し、紀元節復活など「皇国史観」復古の反動に対して、対決の論陣を張られました。ご冥福をお祈りします。
www3.nhk.or.jp/news/html/2016...

タグ：

posted at 09:50:04

さのたけと @taketo1024

「「情報」がやりたくて電子情報工学科に入った人の末路」 www.slideshare.net/mobile/okayan0...

タグ：

posted at 08:44:07

ぼのきち @bono_kichi

女性特有の原因が明らかにされるのかと思いきや「社会に出ることは男性にとっても大変つらく自殺することもある。女性にもその覚悟を持ってほしい。」とあって心底ガッカリした｜「尻P「理工系の女ひでりには女性側にも原因があると思う」 togetter.com/li/1041192

タグ：

posted at 08:28:38

松浦健太郎 @hankagosa

デカい行列を小さい行列のクロネッカー積で（場合によっては近似して）表すことで尤度の計算が高速化できるんですな。ガウス過程はクロネッカー積そのものだから高速化しやすい、と。
www.cs.cornell.edu/cv/ResearchPDF...
mlg.eng.cam.ac.uk/pub/pdf/Saa11....

タグ：

posted at 08:24:43

「トイレツマル」縦書きはトリックねた。テレビ版のトリックと劇場版トリックは大好きです。くだらないネタを波状攻撃のごとく連発しながら、悪質なカルトのくだらさもあらわにする連続ドラマ。

タグ：

posted at 08:21:55