黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2019年12月06日(金)
1/ Why do wide, random neural networks form Gaussian processes, *regardless of architecture*? Let me give an overview in case you are too lazy to check out the paper arxiv.org/abs/1910.12478 or the code github.com/thegregyang/GP4A. The proof has two parts… pic.twitter.com/cKtfpRGMQd
タグ：
posted at 00:18:44
2/ Part 1 shows that any architecture can be expressed as a principled combination of matrix multiplication and nonlinearity application; such a combination is called a *tensor program*. The image shows an example. Thread 👉 pic.twitter.com/lGAc7hCdua
タグ：
posted at 00:18:46
3/ Part 2 shows that any such tensor program has a “mean field theory” or an “infinite width limit.” Using this, we can show that for any neural network, the kernel of last layer embeddings of inputs converges to a deterministic kernel. Thread 👉 pic.twitter.com/xSFukk0aUz
タグ：
posted at 00:18:49
4/ Finally, given the deterministic kernel limit, it’s easy to show that the output of the NN converges in distribution to a GP with that kernel.
タグ：
posted at 00:18:50
5/ The NN-GP correspondence has a very long history, so let me also *briefly* summarize the prior works up to this point and give credits to the pioneers (see paper for full bibliography). It all started with Radford Neal in 1994... pic.twitter.com/e4EFmov6XY
タグ：
posted at 00:18:51
5.1/ …who famously showed a wide, randomly initialized 1-hidden layer NN is a GP: each hidden preactivation is an iid random var because the weights are iid, so the NN output is a sum of large number of iid random vars, so by Central Limit Thm it should b Gaussian. That's it!
タグ：
posted at 00:43:15
5.2/ With a bit more math, you can generalize this argument to multiple layers, if you are fine with taking the (somewhat unnatural limit) limit as layer 1 width -> infty, then layer 2 width -> infty, and so on. This is the approach of Lee et al. 2018 arxiv.org/abs/1711.00165
タグ：
posted at 00:43:15
Tagging the authors with twitter accounts @hoonkp @yasamanbb @sschoenholz @jaschasd
タグ：
posted at 00:43:16
5.3/ Concurrently, Matthews et al. arxiv.org/abs/1804.11271 proved the more natural limit when all widths tend to ∞ simultaneously. Their proof also inductively shows that the preactivations of each layer are GPs, like in the case of the sequential limit above. @alexggmatthews
タグ：
posted at 00:43:16
5.4/ Matthews et al. relied on a Central Limit Thm for exchangeable sequences in order to avoid having to take the widths to infinity sequentially. Actually, 2 years before either paper, Daniely et al. arxiv.org/abs/1602.05897 already showed ...
タグ：
posted at 00:43:17
5.6/ Novak et al. arxiv.org/abs/1810.05148 and Garriga-Alonso et al. arxiv.org/abs/1808.05587 further extended the NN-GP correspondence to convolutional networks in ICLR 2019. @AdriGarriga
タグ：
posted at 00:43:19
5.7/ In all of these works above, however, it was important to use fresh randomness in each layer to make the GP argument. What if there’s weight sharing in different layers, like in an RNN? What about attention? What about batchnorm? Layernorm? … pic.twitter.com/9Ws9RYBNZM
タグ：
posted at 00:43:21
5.8/ At the time it seemed like each new architecture required a paper completely devoted to it. Color me surprised when I found that any architecture can be expressed in a tensor program and one can prove such a GP limit once and for all! pic.twitter.com/XDn9L1ivns
タグ：
posted at 00:43:25
@apj @kawai_yusuke @Yossy_K @dero2173 算数の教科書(小5)には割合に関する3つの公式(言葉の式)が書いてあります。その公式のうちの1つを使って
500×0.15
という式をわざわざ経由してしまう人達は割合の概念をあまり理解していないと評価する方が私は正しいと思う。
分かっていれば普通500×0.15のような式は思い浮かばない。
タグ：
posted at 02:21:06
@apj @kawai_yusuke @Yossy_K @dero2173 割合については直観的な処理をできないと後で非常に困るのに、算数の教科書に忠実な教え方では「3つの公式のどれかを使う」のような教え方になってしまいます。私はそういう教え方も
悪しきチョー算数
だと思っています。
タグ：
posted at 02:23:37
@apj @kawai_yusuke @Yossy_K @dero2173 そういう観察と考察の過程で発見したのが吉田甫氏達の、対照群の授業を設定した授業の比較研究です。その研究結果は教科書通りの教え方には問題があることを示すと同時に、公式に頼らずに日常生活で得た知識や視覚的直観を重視すると割合教育はうまく行くことを示していました。
タグ：
posted at 02:27:14
@apj @kawai_yusuke @Yossy_K @dero2173 私が知っている理系の文化圏では、割合がらみの事柄で公式に頼るのはダメなやつ扱いされ、直観的にスマートに処理できないといけないと言われているのですが、そういう方針は小学生相手にも効果的だということが既に実証されているということだと私は解釈しています。
タグ：
posted at 02:29:29
If Mars was as close to Earth as our moon, this is what it would look like
Credit: Ron Miller pic.twitter.com/5xsc0e4ggv
タグ：
posted at 02:44:29
#超算数 掛け算の式順序を気にするようになれば割り算の式の順序を間違わなくなるかのように思っている人は、リンク先で紹介されているように、ある調査の小3では
* 掛算順序問題正答率=23.8%
* 割り算の式の正答率=83.3%
だったことを見て、考え方を改めた方がよい。
twitter.com/temmusu_n/stat... twitter.com/temmusu_n/stat...
タグ： 超算数
posted at 03:01:12
@apj @kawai_yusuke @Yossy_K @dero2173 吉田甫氏達の研究のもっと詳しい紹介↓
twitter.com/genkuroki/stat...
タグ：
posted at 03:39:39
掛け算順序問題の一番嫌いなコアってどこだろうなって思ったけど、こう自分が愚かだからって、子供達も同じように愚かだからこのように教えないと間違っちゃう～ってところが、「子供に対して失礼で、敬意も誠意もゼロ」なところだな。その差別心に気付かないところとか。 twitter.com/sachimiriho/st...
タグ：
posted at 06:36:29
「自然罹患で一生ものの免疫♡」とか抜かしてる麻疹パーティー勢！みろやこれが現実やぞ！！
>今回の麻疹の流行では既に62人が死亡し、うち54人が4歳以下の乳幼児
はしかで62人死亡のサモア、全国で予防接種の緊急作戦 www.afpbb.com/articles/-/325...
タグ：
posted at 08:25:56
乳幼児が大半！4217人中62人に入らない自信をお持ちか？
>今回の流行での感染者数は4217人で、乳幼児が大半。
>世界保健機関（WHO）によると今回の流行前、サモアの予防接種率は30％まで低下していた。背景には反ワクチン運動があるとされる。
タグ：
posted at 08:29:22
ナウシカ歌舞伎、激推しできる…！！！となったのは2時間で全部演じられる筈のアニメ映画版ではなく、12年にわたり連載された壮大な漫画原作のほうを昼夜で歌舞伎化しようという狂気の発想から
タグ：
posted at 10:00:54
OokuboTact 大久保中二病中年 @OokuboTact
たぶん箝口令が出ているのでは
＃トンデモ算数 ＃超算数
twitter.com/daffodi8528001...
posted at 10:45:21
交換法則があるから順番を入れ替えられるんじゃねえ 順番を入れ替えられるというクソ地味な事実を交換法則と呼んでいるだけだ twitter.com/kale_aojiru/st...
タグ：
posted at 13:29:50
はしかで62人死亡のサモア、全国で予防接種の緊急作戦 www.afpbb.com/articles/-/325... @afpbbcomより 反ワクチン運動の影響で接種率がかなり下がっていたという話もある。しかし乳児中心に62人は多すぎ。
タグ：
posted at 13:43:37
この前うちの高２生が、「n>=2の時、a(n)=S(n)-S(n-1)・・・がどうして成り立つのか？」という投げかけに対して、『公式でそう決まっているから』と答えたことを思い出した。 twitter.com/kale_aojiru/st...
タグ：
posted at 13:53:51
じ ょ す ( J o s - a k @joschiaki_swym
そういうことか。「数学至上主義」とか言う言葉が出てくる人がよくわからなかったんだがそういう発想してるんだな。つまり先に数学というルールを勝手に決めつけて押し付けてると思ってるわけだ。
twitter.com/kamo_hiroyasu/...
タグ：
posted at 13:57:28
「数学科の体験講義で、1×1と1×1×1は答えが同じでも意味が違う」などと嘘出鱈目を教えたのは誰だろうか？ twitter.com/nico_sou_sou/s...
タグ：
posted at 14:18:48
#統計 話題にしているG検定のWilliams補正の原論文は
www.jstor.org/stable/2335081
Improved Likelihood Ratio Tests for Complete Contingency Tables
D. A. Williams
1976
サンプルサイズNに関して modulo O(N⁻²)でG統計量/qと対応するχ²分布の期待値が一致するようなqを求める話です。
タグ： 統計
posted at 14:20:37
一連の騒動（年中行事とも言う）があって、一通り通り過ぎたかに思えた後のこの発言にもまた、
「物理では（外積か？演算子か？）」
「発注書では」
「行列では」
順番が大事なんだぞ（元は小学生の話だよ？）というコメントがついていて、
ああ、どこまで言っても同じ話になってんだな、と嘆息。 twitter.com/ayafuruta/stat...
タグ：
posted at 14:49:29
なおこの掛算問題への反応として、
「これは小学校の算数だから順序が大事なんだ」
という反応と、
「あとで非可換な掛算が出てくるから順序が大事なんだ」
という反応が両方できているので、できたらまずこの二者が戦って欲しい。
「戦ったらどうなるんですか」
「勝った方が我々の敵になる」
タグ：
posted at 14:51:19
ミシンでドリフトしろ!!!＠closet @tw_hanamizuki
再提出する時に「□ほん」の下に「ふさ」って書いて持って行かせたら「もともと教材がこうなんだから９本が正解だよ」と説明を受けたようで。そういうことを聞きたいんじゃないよ😠
タグ：
posted at 15:01:31
何度か「後で行列・外積等を教えるのだから『掛算は可換』と教えるのは嘘を教えることだ」と主張する人に出会ったことはあるが、「掛算」の意味するところが文脈依存（同じ名前で呼ばれてても中身は違う計算）だというだけの話だから、小学生に「掛算は可換」と言うのは嘘でも有害でもあるまい。
タグ：
posted at 15:02:15
いわゆるRのdplyr::selectとかいうやつでしょうか。juliaではDataFaramesMetaかQueryパッケージのマクロとして提供される機能です。
どうやらQueryのほうが機能は充実していそうです。
#julia言語 twitter.com/kozo2/status/1...
タグ： julia言語
posted at 15:13:51
小2で掛け算順序を強制すると、先生の指示に従うだけの自ら考えることを放棄する子供のできあがり。
むしろ、いろいろなアプローチがあり得ることを教えるのが子供の将来のためになる。 twitter.com/Tyupalero_rilk...
タグ：
posted at 16:22:16
ここ数日ツイートが少ないのは、2歳に向けて突然本気出して来た娘②が
姉のリカちゃん人形セットを家中にばら撒き
更にシルバニアハウスを破壊
そして兄のベイブレードを米櫃に隠匿
などの暴挙を同時発動、家庭内を混沌の渦に巻き込んでいる為で娘②は大変元気です。
私は死にました。
タグ：
posted at 16:30:31
＞過去２年間に起きたはしかの感染や流行は、主に予防接種を受けなかった学齢期の子どもや若者の間で発生
昨年のはしかによる死者、前年比増の１４万人、大半が５歳未満 ＷＨＯ www.cnn.co.jp/world/35146495...
タグ：
posted at 16:39:45
この手のやり直し本も結局「問題の解き方」が載ってるだけで、基礎学力をつけ直すという目的にはぜんぜん適ってないんですよね。「みはじ」とか載ってたりするし twitter.com/kamo_hiroyasu/...
タグ：
posted at 17:47:03
しょせん算数なのでそんなやり方で大人がやればスイスイ解ける（答えが載ってるに近いんだから当然）ので満足感みたいなものが得られてそこそこ売れたりするわけです。「目から鱗」的感動をしちゃう人もいるし
タグ：
posted at 17:47:04
そもそも、中高くらいの数学で躓いた人は算数の時点で理解（≠得点能力）が足りてないんだから、よほどの目的意識がないと独力で学び直しても同じ道をたどるだけなんだよね
タグ：
posted at 17:48:41
村）４６歳で初タイトルを獲得した木村王位。謝辞の中で、ちょっと意外な事柄を快挙達成の要因の一つに挙げました。就位状を手渡した日本将棋連盟の佐藤康光会長の自虐ネタも。
「将棋ソフトやＳＮＳに救われた」 木村王位が就位式：朝日新聞デジタル www.asahi.com/articles/ASMD6...
タグ：
posted at 18:05:36
非公開
タグ：
posted at xx:xx:xx
山田太郎 ⋈（参議院議員・全国比例） @yamadataro43
【拡散希望】未婚のひとり親も寡婦控除を認め、寡婦の用語をひとり親に直すべき。未婚の子を守れ！更に事実婚で死別離婚の場合は寡婦控除認めるのに、未婚のひとり親の場合を認めないのは苦労し子育てするひとり親への差別。自民党税調は平場で発言した多くの声を聞くべき！
news.yahoo.co.jp/byline/akaishi...
タグ：
posted at 19:03:26
日銀の国債引受について聞かれて財政法第5条但書について英語で説明するハメに遭うとかそういうヤツかな（経済クラスタなら誰かやってそうだな...
#フォロワーが体験した事が無さそうな体験
posted at 19:05:02
Today we launch an early alpha version of Makepad basic! Play with Rust+Wasm live. Compile and run the makepad desktop application for mac/win/linux yourself with Rust: makepad.nl pic.twitter.com/4nntv2IClC
タグ：
posted at 19:30:46
#統計 Williams補正版のG検定に関する最近の私の計算は以下のリンク先で閲覧できます。
#Julia言語
nbviewer.jupyter.org/gist/genkuroki...
nbviewer.jupyter.org/gist/genkuroki...
posted at 19:59:42
一般に、数学的にややこしい事柄についてまとめられた分厚い本を書くときに、間違いを犯さずにすむという状況は私には全く想像できません。
人間は必ず間違う。
数学的にややこしい事柄だとなおさらよく間違える。
逆に言えば少々の誤りは本の価値を減じません。
twitter.com/genkuroki/stat...
タグ：
posted at 20:04:00
@genkuroki 「必ずしも信用できない」:Stuart H. Hurlbertさんによる4edの批判的書評
doi.org/10.1002/lob.20...
でもいろいろ問題が指摘されています。
ただし、この本なら良いといえる本もないそう。
タグ：
posted at 20:29:34
（KをRBFのカーネル行列として）左が
L = cholesky(Symmetric(K), check=false).L
x = randn(MersenneTwister(), size(L)[1])
L*x
でサンプルしたガウス過程
右が
np.random.multivariate_normal(zeros(size(K,1)), K)
でサンプルしたガウス過程 pic.twitter.com/fceJgvGEij
タグ：
posted at 20:33:57
U,S,V = svd(K)
x = randn(MersenneTwister(),size(K)[1])
U*Diagonal(sqrt.(S))*x
と特異値分解を使ってサンプルしたガウス過程。
やっと変なノイズが乗らなくなった。
これでMvNormalのPosDefExceptionで苦しまなくて済むかも。
#Julia言語 twitter.com/sunbluesome/st... pic.twitter.com/s9R9ODIm71
タグ： Julia言語
posted at 20:57:17
非公開
タグ：
posted at xx:xx:xx
弁護士のくせにデタラメ言うなよw
・そもそも無期懲役と終身刑は概念的にも同じもの
・仮釈放で出られるかという観点から見ても、日本の無期懲役の運用は一生出られない方がずっと多い
以上について俺のブログに以前書いたので、素人同然の吉村さんも参考にしてくれよな。
miurayoshitaka.hatenablog.com/entry/2017/06/... twitter.com/hiroyoshimura/...
タグ：
posted at 21:48:51
「3を4回足す処理と4を3回足す処理は別物」
ブロックでもおはじきでも並べてみれば、それが「同じ」という事は“一目瞭然”。
それを分からせる事が算数教育の目的のはず。
ところがどういうわけだか算数教育界隈では、「同じに見えるかもしれませんが、実は違う物なのです」などと言いたがる。🤷♂️ twitter.com/chosi812/statu...
タグ：
posted at 22:18:50
「３人のグループと４人のグループが合わさった」時と、
「３人のグループに４人のグループが加わった」ときは、
“別の種類”の足し算なのです、
などとバカな事を言ったりする。
常人には「何言っんだか分かんないですねー」案件だと思うが、これが日本の小学一年生に教えられていること。
タグ：
posted at 22:23:32
教える側がそれを「違う種類の足し算」と認識するのは結構だが、子供にそれを強制するとは、もはや狂気。
「足し算の順序」‼︎ - togetter.com/li/901635
タグ：
posted at 22:32:15
掛算順序、「ずっとこの方法が教科書（指導書）に載っているということは、ある程度の教育的効果が有るってことじゃないの？」って意見、確かに教科書のことを知らない人ならそう思うのかも知れないなあという感じはある。
タグ：
posted at 22:33:00
「これ、どうやって解くんですか？」→「これ、『なんで』こうやって解くんですか？」→「これ、こうやってもイケますよね？」→「これがこうなのって、こういうことですかね？」という進化は見ていて楽しいし、こっちが楽になるので嬉しい。
タグ：
posted at 22:41:07
思わないy=f(x)のとき∫f(x)dxって割とよく書く #掛算
＞χ軸とy軸を掛け合わせて面積を出そうという場合に、y軸の数を先の項にするのは不自然だと思いませんか？ twitter.com/keiqua/status/...
タグ： 掛算
posted at 22:47:55
セクシュアルデビューは年々年齢があがってはいるのだけれど（統計の話なので個々人のことではない）、20才までに接種できるといいなあ。
高校でセックス開始→高リスクHPVに感染→最初の子宮頸がん検診でもう子宮摘出の話になるケースもあるからやっぱり中学高校のうちに接種できるのが理想。
タグ：
posted at 22:52:26
Taka Tachibana @taka_tachibana
#Blender学習 55個目の作品。オープンソースの3DCGソフトBlenderを、仕事の合間にコツコツ勉強しています。
学習し始めて3ヶ月。今まで学んだことを生かして限界までリアルな流水の表現に挑戦しました。
何度も言いますが、このソフトは無料です＾＾
高画質版：vimeo.com/377792046 pic.twitter.com/0QicAqxuHP
タグ： Blender学習
posted at 23:22:42
