黒木玄 Gen Kuroki(@genkuroki)/2020年12月04日

Wow, finished day 4 of #AdventOfCode with the help of github.com/BioJulia/Autom....

The resulting parser can parse 2.5 million records per second with zero allocations!

#julialang #Automa

タグ： AdventOfCode Automa julialang

posted at 22:59:34

小山裕己 | Yuki Koyama @bravery_

#統計色々、脱線したけど、BICもKL情報量を基礎とする情報量規準だということ。

あと、以下のリンク先のモデル内条件付き確率分布で予測分布を定義する方法を知っていると、ベイズ統計をベイズの定理抜きで理解可能になる。事前分布が表に見えないGauss過程回帰ではそのスタイルで予測分布を作る。 twitter.com/genkuroki/stat...

タグ：統計

posted at 21:35:42

天むす名古屋 Temmus @temmusu_n

先ほどVisual Computing 2020でのスライドで使ったベイズ最適化の適用例（GIF）を生成するのに使ったソースコードはこちらのレポジトリで公開しています。

github.com/yuki-koyama/ma... pic.twitter.com/THghxnMRYU

タグ：

posted at 21:12:50

@OokuboTact #超算数長岡氏、足し算でも増加の場合に交換法則が成立しないと示唆していますね。(寄せ算とは合併のことです8254.teacup.com/kakezannojunjo...)。

タグ：超算数

posted at 21:11:34

OokuboTact　大久保中二病中年 @OokuboTact

@OokuboTact 長岡亮介氏、ダメすぎ。

もろにチョー算数の悪影響を垂れ流している。

タグ：

posted at 21:01:09

長岡亮介氏の本を読んでいたら、交換法則について語っている箇所を発見

＃超算数 pic.twitter.com/xeg7FqcuOX

タグ：超算数

posted at 20:56:59

こくしむ @tnsphhc191919

QSPモデルのフィッティング20時間後にクライテリア満たさず止まってた。
そろそろ早く計算できるようにしないと使い物にならない。Juliaという言語に移植すれば相当に早くできるらしいけどプログラマーで無いのでそんな体力無いしなー。

タグ：

posted at 20:07:53

BuzzFeed Japan Medic @BFJMedical

天むす名古屋 Temmus @temmusu_n

【New】これまで日本では女子にしか承認されていなかったHPVワクチンについて、厚労省の審議会は男性接種への拡大を了承しました。

12月中にも厚生労働大臣の正式承認を受け、男性の任意接種が可能となります。（岩永直子@nonbeepanda）
www.buzzfeed.com/jp/naokoiwanag...

タグ：

posted at 20:02:37

#超算数歴史的事実の記録として。80年代の終わりに既に掛順を批判する数学科の教授がいたとのことです。 twitter.com/3yosi/status/1...

タグ：超算数

posted at 19:37:49

horiem @yellowshippo

僕はこういう系でつねに推してるのは StackOverflow 式で、評価 (= 高評価数 − 低評価数) の可視化がなされており、かつコミュニティへの貢献度によって低評価をつける権限などが解放されていくという方式です (つまりソックパペットによる低評価荒らし等はできない)。 twitter.com/mathlogofficia...

タグ：

posted at 19:13:09

さのたけと @taketo1024

@MathlogOfficial 横からすみません。

こういった間違いを Twitter 上で晒すような形でなく、mathlog の中で指摘して筆者に訂正してもらえるように機能としてサポートするのがあるべき形じゃないかと思います。

MathOverlow のように適切な指摘に対しては評価が与えられる設計になっているとより良いと思います。

タグ：

posted at 18:48:58

Hiroyasu Kamo @kamo_hiroyasu

問題集をn周ってよく聞きますが、穴を掘って埋めさせる系の拷問が流行っているのでしょうか？ twitter.com/sigma_seminar/...

タグ：

posted at 18:38:49

U-teacher @yuuyuuyuu21

moco*小学校の件について @moco_hino

やめてあげて pic.twitter.com/dTUSeuZli3

タグ：

posted at 18:37:48

Tomoei Takahashi 高橋智 @tomoeit0524

掛け算についてどう指導しているのか担任に聞いてみたところ
掛け算の順番を強制していました
理由は「論理的思考を身に着けさせるため」だそうです
その順番違えるとテストでは×と付けるとのこと

肌着禁止に続き、都市伝説だと思ってたけど遭遇するもんですね
#日野市　 #小学校

タグ：小学校日野市

posted at 18:21:24

B4のときはOSはLinuxだったしC++をEmacsで書いてたけど、Julia, Atom (JUNO) での開発に慣れて、離れたくない。笑

タグ：

posted at 18:13:49

yudai.jl @physics303

sinkhorn knopp の julia 実装を作るか．．．

タグ：

posted at 18:08:35

yudai.jl @physics303

Julia か python で行和と列和が1の行列をランダムに作るにはどうしたらいい？？

タグ：

posted at 17:59:55

#統計 Gelman-Shaliziの2010年に執筆されたベイズ統計学の哲学に関する論文

www.stat.columbia.edu/~gelman/resear...

では、ベイズ主義を否定し、論文の最後の段落において主観主義的なベイズ統計の解釈の有害さを鋭く指摘している(添付画像)。

統計学に必要なのはこのような哲学だと思います。 twitter.com/genkuroki/stat... pic.twitter.com/SIiKyEB5wc

タグ：統計

posted at 17:52:11

#統計現実がモデルの想定外の法則に支配されているリスクの強調は、特にその使用が常にギャンブルになる統計学では重要である。

あらゆる情報を駆使して合理的にモデルと主観的事前分布を決定した人によるデータに基く信念の改定であれば信頼に値する、などとベイズ主義的に考えるべきではない。

タグ：統計

posted at 17:46:43

#統計確率分布族p(x|w)と事前分布φ(w)で与えられたモデル内での期待リスク最小化しか考えない枠組み(ベイズ主義の意思決定論)では、モデルp(x|w)から外れた「真の分布」を取り入れることは不可能になる。

そこでは、データがモデルの想定外の法則で生成されている場合のリスクを分析できない。

タグ：統計

posted at 17:36:38

#統計モデルから外れている「真の分布」も想定できる枠組みの方が、想定できない枠組みよりも一方的に優れている。「真の分布」の想定に違和感を感じる人達は一方的に劣っている枠組みで考えている可能性があるので要注意。

タグ：統計

posted at 17:33:11

#統計「真の分布」はジャーゴン。

現実に得られたデータが「真の分布」で生成されていると信じる必要はない。

しかし、モデルp(x|w)から外れたq(x)についてどのようなリスクが生じるかについて何も分析できないような枠組みを採用するのは、実践的に使用される統計学の基礎としては馬鹿げている。

タグ：統計

posted at 17:33:09

#統計補足

未知の真の分布についても

q(x_1,…,x_m) = q(x_1)…q(x_m)

を仮定。p(x|w)はパラメータwを持つxの確率密度函数、φ(w)は事前分布の密度函数、q(x)は未知の真の分布の密度函数。 twitter.com/genkuroki/stat...

タグ：統計

posted at 17:26:12

#統計すでに得られているデータX_1,…,X_nを使って作ったX_{n+1}の予測分布の汎化誤差の推定量を、X_{n+1}を使わずに作る話がAICやWAIC.

データを何も得ていない状況で作ったX_1,…,X_mの予測分布の汎化誤差の推定量を、実際に得られたデータX_1,…,X_mを使って作る話が自由エネルギーやBIC.

タグ：統計

posted at 17:11:29

#統計多分、渡辺澄夫さんの本で情報量規準について最初に勉強できた人は幸運で、それ以外の文献だとBICがまるでKL情報量を基礎とする情報量規準でないかのような間違った説明が書いてある場合があるようです。

一般に数学的に難しい話題では専門家がおかしな解説をしていることは珍しくないと思う。

タグ：統計

posted at 17:03:05

#統計 BICが近似している自由エネルギーは、空のデータから作ったX_1,…,X_mの予測分布の汎化誤差の推定量です。

AICやWAICは、サイズnのデータX_1,…,X_nから作ったX_{n+1}の予測分布の汎化誤差の推定量です。

前者でm→∞としたときの漸近挙動と後者のn→∞としたときの漸近挙動が違うのは当前。

タグ：統計

posted at 16:59:25

#統計続き

さらに、モデルのpが

p(x_1,…,x_m)=∫p(x_1|w)…p(x_m|w)φ(w)dw

の形をしていると仮定します。BICはこの場合の自由エネルギーの近似値になっています。BICもKL情報量を基礎とする情報量規準の一種です。

タグ：統計

posted at 16:52:46

#統計続き

ちょっと大胆ですが、その汎化誤差=KL情報量+定数の推定量を、その後得られたデータX_1,…,X_mを使って

-log(p(X_1,…,X_m))

と作ることができます。これを自由エネルギーと呼ぶことにします。自由エネルギーはKL情報量経由で得られる情報量規準の一種です。続く

タグ：統計

posted at 16:52:45

#統計続き

n=1の場合の分母はp()=1なので、空のデータから得られるX_1,…,X_mの予測分布はp(x_1,…,x_m)になります。

真の分布をq(x_1,…,x_m)と書くと、汎化誤差=KL情報量+定数は

-∫…∫q(x_1,…,x_m) log(p(x_1,…,x_m)) dx_1…dx_m

と書ける。続く

タグ：統計

posted at 16:52:45

#統計続き

p(x_{n+1},…,x_{n+m}|X_1,…,X_n)
= p(X_1,…,X_n,x_{n+1},…,x_{n+m})/p(X_1,…,X_n)

で作ります。これはモデル内における「観察されたデータと同じ数値が生成された場合の条件付き確率分布」です。ベイズの定理よりも条件付き確率分布の方が基礎的かつ本質的。続く

タグ：統計

posted at 16:52:44

#統計一般にベイズ統計では、モデル内でのデータの確率密度函数p(x_1,…,x_n)達(nを動かす、n=0のときp()=1)を与え、観察されたデータX_1,…,X_n から、まだ得られていないデータX_{n+1},…,X_{n+m}の予測分布の密度函数を～続く

タグ：統計

posted at 16:52:44

みょうが @mrkn

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

Ruby コミッターの私も仕事で Julia を使ってるくらい流行ってる twitter.com/bicycle1885/st...

タグ：

posted at 16:41:31

主婦や細胞にも愛されるJulia言語

タグ：

posted at 16:39:38

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

#統計 BICはサイズ0の空のデータから得られる予測分布のKL情報量に基く情報量規準であることを全然理解していないっぽい。個人的にこれはかなりひどいと思う。

やはり情報量規準の解説については、渡辺澄夫著『ベイズ統計の理論と方法』が現時点ではベストだと思います。

www.ism.ac.jp/editsec/toukei... pic.twitter.com/RwMd7oJZLG

タグ：統計

posted at 16:32:05

てらモス @termoshtt

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

大型計算機でRustやJuliaが動くようにメンテするお仕事とか降ってこないかな…(´・ω・｀)

タグ：

posted at 16:29:01

いまJuliaがアツいらしい

タグ：

posted at 16:25:21

SGT @SGThr7

vscode insiderにしたらいい感じになったわ

タグ：

posted at 16:11:08

#超算数
 twitter.com/sekibunnteisuu...
投票結果が出ました。まあ、見ての通りです。

掛け算の順序を擁護する人の過半数が、自身は順序を意識しないで数学を理解したようです。

なお、掛け算の順序ナンセンスなのに投票したという申告が数名からありました。

タグ：超算数

posted at 16:05:44

SGT @SGThr7

vscodeのjulia jupyterくんintellisense働いてないのかハイライトもフォーマットもなんにもしてくれない

タグ：

posted at 15:54:56

Dr. nhayashi @nhayashi1994

クラスタ数無限の極限でベクトル量子化＝k-meansのクラスタ中心の分布が元データの発生源に収束しない（データ次元に依存して鈍る）ことの定理と証明が載ってる本

www.amazon.co.jp/Foundations-Qu...

タグ：

posted at 15:20:55

Mehmet Hakan Satman @mhsatman

"Karpinski said of the name "Julia": 'There's no good reason, really. It just seemed like a pretty name.' Bezanson said he chose the name on the recommendation of a friend."

Wikipedia.

#juliaLang

タグ： juliaLang

posted at 14:53:15

非公開

タグ：

posted at xx:xx:xx

富谷(助教);監修シン仮面ライダー @TomiyaAkio

@TubeSoling #数楽証明のために参考になるはずのプロットを作ってきました。細かい説明はしません！

「ほぼ1」の部分(添付画像中のHとGの部分)を分けて考えれば欲しい結果を証明できます。

そちらの質問に合わせて回答できてなくてごめんなさい。

#Julia言語ソースコード↓
gist.github.com/genkuroki/fe1e... pic.twitter.com/bvhd7Gu6Sg

タグ： Julia言語数楽

posted at 14:04:17

非公開

タグ：

posted at xx:xx:xx

非公開

タグ：

posted at xx:xx:xx

@physics303 top level だとそうですね。
function hoge()
処理
end
hoge()
とするとglobal いらないです。

タグ：

posted at 13:11:19

ｲﾏﾀﾆ_ﾅﾅ @nununununu

Cは来月入るJuliaできる人材が少し出来るらしいので見てもらえるかなぁ。JuliaってREPLあるんですね、いいなー

タグ：

posted at 12:56:42

@TubeSoling そういう理由で【論理的に完璧な説明をするつもりはない. 細部のいい加減な部分は自分で訂正・修正せよ.】という宣言が書いてあります。

タグ：

posted at 12:38:39

@TubeSoling 正当化する価値のある具体的な計算例をほとんど知らない段階で、形式的極限操作を異様に拒否するようになってしまうことは、ダメな勉強の仕方です。

このスレッドの上の方で紹介しているノートの目的の1つは「正当化する価値のある具体的な計算例」の紹介です。

タグ：

posted at 12:37:02

@TubeSoling ときどき、

極限を形式的に取る(結果的に正しい)計算を異様に怖がるようになった人たち

や

細かいことを気にせずに極限の計算をすることがまるで悪いことであるかのように考える人たち

を見かけます。続く

タグ：

posted at 12:33:04

@TubeSoling サンプルでないオリジナルの方は

genkuroki.github.io/documents/Calc...

で読めます(2.6.1節)。そこの最初の方には

【論理的に完璧な説明をするつもりはない. 細部のいい加減な部分は自分で訂正・修正せよ.】

という宣言があります。続く

タグ：

posted at 12:30:21

Dr. nhayashi @nhayashi1994

明日13:40ころから、第5回統計・機械学習若手シンポジウム( #statsml_wakate20 )にて講演します。

題目「パラメータ制約付き行列分解のベイズ汎化誤差解析」
抄録：drive.google.com/file/d/1FKkiQi...

W理論の基礎事項とパラメータ制約付きモデルの代表例（NMFとLDA）の理論解析を発表予定です。 pic.twitter.com/8pquTlOpj1

タグ： statsml_wakate20

posted at 12:22:19

こいなぎ @naginyan135

【級位者向け実戦型詰将棋part348】
これを詰ますことができた者だけが楽しい土曜日を迎えることができる。 pic.twitter.com/DrejkxVSfu

タグ：

posted at 12:02:21

♕Deborah Mayo♕ @learnfromerror

@omaclaren @jafcpereira @StatEvidence ah, but it's that time of year when the likelihood principle is revisited...and on January 7, 2021: phil-stat-wars.com/2020/12/03/dec...

タグ：

posted at 11:11:40

走る！空心菜 @faidaeng

環境の準備から始めて、プロット一つ書くのにパッケージ選んで入れなきゃいけないのか！みたいなのははじめは驚きだったけれど、それは自由を意味するのだなあ。与えられたもので何かをするところから、これどうやったらできるかな、に発想がシフトしていく。思考が外に拡がっていく。 #julialang

タグ： julialang

posted at 10:46:06

峰　宗太郎 @minesoh

対策まで含めるとこの冊子はすごくよいです👶
5－6ページに大体の定義もあるし、感染対策とどう紐付くのかよくわかる。日本語ですしね。
square.umin.ac.jp/fittest/pdf/ft...

タグ：

posted at 10:29:53

峰　宗太郎 @minesoh

うふ、宣伝しますと、来週発売のばぶの新書でも極簡単に感染経路についても触れてはいます👶ただあまりに簡単ですけどね。amzn.to/3mG1hLU

タグ：

posted at 10:29:53

OokuboTact　大久保中二病中年 @OokuboTact

#統計 ridge回帰は (Y, 0)∈V=ℝⁿ×ℝʳの部分空間W={(Xβ, λβ)|β∈ℝʳ}への直交射影(Y*, λβ*)に等しい。ここでXはr×n行列。X'をその転置とすると

β* = (X'X + λ²I)⁻¹X'Y,
Y* = Xβ*.

直交射影は神！

タグ：統計

posted at 10:22:35

@gihuedu 定規を使うのがマストという基準なので、使わないと減点なんでしょう。
減点は「定規を使え！」という命令なんだと思います。

定規を使わせる有名な教師は百ますの人がいますね。

＃超算数 pic.twitter.com/zNoaFHuzuB

タグ：超算数

posted at 08:13:10

みよし＠ながやま @3yosi

のちに都立大の総長、大妻女子大の学長になる荻上紘一先生が数学科の教授だった1980年代の終わりに講義を受けました。掛け算の順番が違うと不正解にする当時の小学校教育を数学者として強く嘆いていたことが今でも忘れられません。あれから30年以上経ちましたが、算数の初等教育は問題が多いですね。 twitter.com/gihuedu/status...

タグ：

posted at 08:09:41

@wakaba_TV_NEWS ＞数字を入れ替えると問題自体が変わってしまいます。

「7人に5個ずつ配ると全部で何個か？」という問題文に対して、答案に、7×5と式を書くと、

問題文の文字が変化してしまうのですか？

そんなことはないですよね？

問題自体が変わってしまうというのはどういうことですか？

タグ：

posted at 07:25:36

Daisuke KATO @Dsuke_KATO

本物はどれでしょうか。

github.com/JuliaIO/JSON.jl
github.com/quinnj/JSON2.jl
github.com/quinnj/JSON3.jl
github.com/JuliaCloud/Laz...

タグ：

posted at 07:05:35

Shuhei Kadowaki @kdwkshh

JET.jlのかれこれ2ヶ月くらい取り組んでる問題がそろそろ片付きそうでめっちゃ清々しい。
昨日分からなかったバグも今日ガッツリ取れた。

タグ：

posted at 03:40:36

@cloez_uya

惰性でPlots使ってるけどjuliaの最高に超良い可視化Pkgって何がありますか

タグ：

posted at 03:25:40

Shuhei Kadowaki @kdwkshh

I just found myself writing a test description "non-deterministic typos".

github.com/aviatesk/JET.j... pic.twitter.com/YRxwsz1Uah

タグ：

posted at 03:21:48

Massimo @Rainmaker1973

The Kessler syndrome is a scenario in which the density of objects in low earth orbit is high enough that collisions between objects trigger a chain reaction that could render space activities in specific orbital ranges infeasible for many generations bit.ly/2G7DUpo pic.twitter.com/KcM8vSwRkT

タグ：

posted at 02:23:53

牙龍一:脱財政再建！ @kiba_r

不要不急の住民投票やったのをもっと批判されるべきでは？

タグ：

posted at 01:18:21

カルトなら、信者はみんな異口同音に教祖の言っているのと同じことを言うのだが、掛け算順序論者は各自がなし崩し的に独自定義・独自解釈をしてくるので、ある意味カルトよりも始末に悪い。

受動・能動ってなんだよｗ

もちろん、この言葉の意味は分かっているよ。

タグ：

posted at 01:12:36

yudai.jl @physics303

Julia言語で誰か，階層的低ランク近似を実装している人いないのかな．このままでは，階層的低ランク近似のライブラリの充実しているC++に引き戻されてしまう．．．

タグ：

posted at 00:33:54

相互リンク twitter.com/genkuroki/stat...

タグ：

posted at 00:33:21

#統計 P値と信頼区間が表裏一体であることが明瞭な解説を見ないのでノートを書いてきました。微妙に雑いです。ごめんなさい。しかし、概念をクリアにするためには役に立つと思います。

信頼区間=検定で棄却されないモデルのパラメータの範囲

です。この定義なら信頼区間の意味は極めて明瞭です。 twitter.com/genkuroki/stat... pic.twitter.com/A1d790Relq

タグ：統計

posted at 00:30:12