黒木玄 Gen Kuroki(@genkuroki)/2018年02月

ごまふあざらし(GomahuAzaras @MathSorcerer

この課題終わったらJulia覚えるか
（意地でもmatlabを使わない）

タグ：

posted at 03:08:08

@genkuroki @Qiita iPadからも触れました！！！！ぬるぬる動きますね。

タグ：

posted at 06:38:32

非公開

タグ：

posted at xx:xx:xx

#統計 AICやWAICやLOOCVは予測分布とサンプルを生成した未知の分布のあいだの違いを表すKullback-Leibler情報量の共通の定数差の違いを除いた推定量になっている。

分布の違いそのものの推定量。

それに対して～続く

タグ：統計

posted at 07:49:41

#統計続き～、BICやWBICはベイズ自由エネルギーの推定値になっている。各サンプルごとのベイズ自由エネルギー自体は分布の違いを表すKL情報量になっていない。続く

タグ：統計

posted at 07:53:31

#統計サンプルを動かすことによるベイズ自由エネルギーの平均が(確率モデルと事前分布から定義される確率分布とサンプルを生成した確率分布の)KL情報量になっている。

現実の観測ではサンプルX_1,…,X_nは1組しか得られない。複数のサンプルが得られたならそれらを合わせて1つのサンプルにしたい。

タグ：統計

posted at 07:56:22

#統計ベイズ自由エネルギー自体はモデルと未知の真の分布の「違いの大きさ」を意味しない。そのサンプルを動かした平均が(定数差を除いた(←これを書くのを忘れることがある))「違いの大きさ」を表す。

何が分布間の違いの指標になっているかをきちんと理解することは大事。

タグ：統計

posted at 08:00:14

#統計定数差を除いての定数差の部分は、サンプルを生成した未知の分布のシャノン情報量。未知の分布のシャノン情報量を高い精度で推定するのは難しい。

タグ：統計

posted at 08:02:30

わさを @WasaOhMyDoggo

Juliaの導入をhomebrewやJuliaProでやると、何故かDifferentialEquations.jlのご機嫌が悪くて動いてくれなかったのですが、julialang.org/downloads/ からJuliaのバイナリファイルを落としてきたら普通にMacでもUbuntuでもDifferentialEquations.jlが動いてくれました... (Juliaの聖なる光を仰ぎ跪く)

タグ：

posted at 15:02:13

トカイワイン @vinumregum

JuliaboxでJulia勉強しよ

タグ：

posted at 15:08:41

さかき @KsakakiFunassi

劣微分関連のプログラミング，大変だからCじゃなくてJuliaで書いてみようかな（擬微分の時みたいに激しいことしなくてよいし）

タグ：

posted at 15:11:03

Makoto AKAI @mktredwell

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

古森さんは以前からリフレ政策支持者なんですよね＞富士フイルムがゼロックス買収、古森会長最大の賭け: 日本経済新聞 www.nikkei.com/article/DGXMZO...

タグ：

posted at 16:14:53

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

キーワード引数を必須にできる構文が入るみたい。便利そう。
RFC: required keyword arguments by stevengj · Pull Request #25830 · JuliaLang/julia github.com/JuliaLang/juli...

タグ：

posted at 16:38:09

しかしテストやドキュメント除けば20-30行程度の変更でこういう新機能入れられるのすごいな。

タグ：

posted at 16:40:14

twitter.com/ceptree/status...

#数楽符号化のときには、出現確率が大きなものには短い符号を割り振り、出現確率が小さなものには長い符号を割り振ると効率がよくなります。「確率が小さいほど情報量が大きい」は「確率が小さいものほど長い符号を割り振った方がよい」という意味です。

タグ：数楽

posted at 17:22:25

#数楽定理: s_iにb種類の文字で構成された長さl_iの符号を割り振る一意復号可能な符号化において、s_iの出現確率がp_iならば

Σ p_i l_i ≧ Σ p_i (-log_b p_i).

左辺は平均符号長。右辺はShannon情報量。

タグ：数楽

posted at 17:23:46

#数楽私による解説が次の場所にあります(第10節)。

genkuroki.github.io/documents/2016...

タグ：数楽

posted at 17:25:10

#数楽 Kullback-Leibler情報量は、「一意復号可能符号化における平均符号長の下限からの解離」を意味するだけではなく、「予測分布の予測誤差」を意味すること(大偏差原理に登場すること)が統計学的には重要。

タグ：数楽

posted at 17:26:06

#数楽「大偏差原理」とは n→∞ で

(確率) = exp(-nD + o(n))

のような漸近挙動が成立するというようなこと。このタイプの漸近挙動は統計力学の出発点になっている。KL情報量はDとして登場し、S=-Dは「(相対)エントロピー」と呼びたくなる量になる。

タグ：数楽

posted at 17:26:58

#数楽渡辺澄夫さんによる特異モデルの漸近挙動に関する主結果は「特異モデルのベイズ推定の文脈で一つ前のツイートの o(n) の部分の精密な評価を行った」と要約できる。

タグ：数楽

posted at 17:27:34

#数楽「情報量」という言葉は「符号化」とは相性がよいが、「予測誤差」を扱う文脈とは相性が悪い。数学的な事柄では用語の印象に騙されないことが重要。「どのような定理(=おいしい話)があるか」で理解するしかない。

タグ：数楽

posted at 17:28:10

#数楽以上においても、聞き慣れない用語のせいで難しいという印象を受けた人が多いと思うが、実際にはとても易しい話。聞き慣れない用語のせいで難しいと感じる人たちは数学においては高確率で誤解している。本当は簡単な話が多い。

タグ：数楽

posted at 17:28:40

#数楽ある種の人達は数学用語が持っている「権威」だけを利用して現世利益を得ようとする。我々のような立場ではそういうやり方を当然のことながら嫌悪する。用語の「権威」に騙される人が増えると社会的に利益になるような事柄を理解できる人が減る。被害を拡大する行為はやめさせるべき。

タグ：数楽

posted at 17:30:06

@genkuroki 解説ありがとうございます。情報量の定義として、確率が低いときに情報量が多いとする(I = - log P)だとわかります。ただ一般的に確率が低ければ情報が多いと言われると疑問を持ってしまいます。

タグ：

posted at 18:07:04

非公開

タグ：

posted at xx:xx:xx

@goropikari_ Plotsパッケージを古いバージョンに戻すのはもったいないし、色々めんどくさいので、

ENV["PLOTS_TEST"] = "ture"

で対処することにしました。

github.com/JuliaPlots/Plo...

タグ：

posted at 19:14:51

@genkuroki ラベルにこだわるのは時間の無駄というのはおっしゃる通りですね。初めは情報量というラベルだけが聞こえてきたので、何を持って情報と呼んでいるのか、ということがわからなかったという話です。いまは情報量というのをこのように定義して議論を進める、程度に捉えています。

タグ：

posted at 19:28:22

セルフ執事 @SF_yomi

juliaでCUDA動かしてみたいな。って言うのが切っ掛けでJuliaのビルドツリーとここ一ヶ月格闘していたんだけど、その半月の間にソースコードが30%程増えたような気がする。juliaの開発ってこんなに熱いんだ。

タグ：

posted at 19:28:44

#Julia言語で逆正弦法則の数値的検証は

using Plots
N, Niters = 10^4, 10^4
X = [count(cumsum(randn(N)) .> 0) for i in 1:Niters]/N
histogram(X, normed=true, bins=100, alpha=0.5, legend=false)
plot!(x -> 1/(π*sqrt(x*(1-x))), 0.003, 0.997, lw=3, color="red")

の５行で可能。 pic.twitter.com/APpXiJ0DNc

タグ： Julia言語

posted at 19:45:29

#Julia言語

randn(N) で標準正規分布に従う乱数をN個生成。
cumsum(randn(N)) でそれに従って動くランダムウォークが完成。
count(cumsum(randn(N)) .> 0) で浮いている総時間を計測。
[～ for i in 1:Niters] で～をNiters回繰り返した結果を得る。
/Nで成分をNで割る。あとはプロットして終了。

タグ： Julia言語

posted at 19:48:30

#Julia言語

cumsum([1,2,3,4]) の結果は [1, 3, 6, 10] になる。cumsumとrandnを使えば瞬時に毎回標準正規分部に従ったお金を賭けるギャンブルをシミュレーションできてしまう。そのようなギャンブルで浮いている時間の総割合が逆正弦分布に従うというのが逆正弦法則。グラフを見るとそうなっている。

タグ： Julia言語

posted at 19:50:31

#Julia言語ランダムウォークを描くだけなら、

using Plots
w = cumsum(randn(N))
plot(w, label="random walk")

の3行でOK. pic.twitter.com/TAUuJRfoBT

タグ： Julia言語

posted at 19:53:15

un @dette_iu_san

Julia の PyPlot は Python の matplotlib を呼んでいるだけ？

タグ：

posted at 19:54:26

#Julia言語毎回の掛け金を標準正規分布に従ってばらつかせるのではなく、毎回1万円賭けることにした場合(シンプルランダムウォーク)なら

using Plots
w = cumsum(rand([-1,1],1000))
plot(w, label="random walk") pic.twitter.com/BIgNYmSX9F

タグ： Julia言語

posted at 19:57:05

#Julia言語毎回のジャンプを標準正規分布やコイントス(±1)のようなおとなしい分布にするのではなく、t分布にして「市場が頻繁に崩壊」するようにしたければ

using Plots, Distributions
w = cumsum(rand(TDist(2.1),1000))
plot(w, legend=false)

結構リアルな感じwww pic.twitter.com/vdwNs2yXxk

タグ： Julia言語

posted at 20:04:08

#Julia言語は以上のような使い方もできます。株やら為替やらに手を出す前にこういうシミュレーションをやって、人間が単なる乱数にどのような意味を見出してしまう存在であるかを自分自身の脳みそを使って確認した方がいいかも。

Julia言語のインストールはJuliaProが簡単です。

タグ： Julia言語

posted at 20:06:14

#Julia言語

 twitter.com/genkuroki/stat...

タグ： Julia言語

posted at 20:07:36

twitter.com/dette_iu_san/s...

Yes.

Pythonからmatplotlibを使うよりも、Juliaから使った方が気楽で便利なことが結構あります。

タグ：

posted at 20:10:10

@genkuroki うーん、あります？using PyPlotに時間がかかるのがかなりストレスという印象です

タグ：

posted at 20:30:18

un @dette_iu_san

@genkuroki そうでしたか。ありがとうございます。

タグ：

posted at 20:32:51

バレンタインデーはJuliaで義理コードと本命コードを書こう twitter.com/ceptree/status...

タグ：

posted at 21:09:38

twitter.com/wnk_datasci/st...

#Julia言語なるほど。こちらでも確認しました。原因は私の環境では

C:\JuliaProMKL-0.6.2.1\pkgs-0.6.2.1\v0.6\REQUIRE

の中にバージョンアップを抑制する記述が含まれていることでした。DifferentialEquations.jlは活発にアップデートしているのでこれでは動かない。

タグ： Julia言語

posted at 21:10:40

#Julia言語「どうせまだv0.6でしかない」なので「トラブったら全部入れ直せばいいや」という感覚でREQUIREファイルの中身を書き変えて、Pkg.update(); Pkg.add("DifferentialEquations")したら、DifferentialEquations パッケージを JuliaPro でも無事利用できるようになりました。

タグ： Julia言語

posted at 21:12:57

#Julia言語 REQUIREファイルの書き換えは

s/ 0.*$//

です。空白0以下を全削除(最初、空白以下を全削除して失敗した)。もちろん、REQUIREファイルのバックアップをとってからやりました。近い将来のv1.0に向けての「お試し版」だと考えれば気楽なものです。

タグ： Julia言語

posted at 21:15:21

@ceptree 最初に一回だけ5秒間using PyPlotで待つだけで、その後は速いので、普通に10秒以上かかる計算を繰り返しする場合にはJuliaの方が快適です。あと、不自然で面倒な入力を強いるPythonで数学的な計算はやる気がおきない。

タグ：

posted at 21:20:54

わさを @WasaOhMyDoggo

私がしばらく悩んでいた原因を、瞬間的に特定されていて、素直に感動しました。これが本当に強いJuliaマンの実力、、

タグ：

posted at 21:29:48

@genkuroki 実行時間も含めて数学的な計算をする上で、PythonよりJuliaの方が快適なのは大賛成です。ただusingの時間が個人的には1番のネックです。ここが解決すれば数値計算に関しては完全移行を考えてます。

タグ：

posted at 21:30:51

#Julia言語に色々教えてもらいました。

1. DifferentialEquationsを試しにJuliaProで使うとForwardDiff.jlでエラー。
2. Pkg.update("ForwardDiff")すると「ReverseDiffSparse.jlをアップデートしてね」と言われる。
3. Pkg.update("ReverseDiffSparse")すると「REQUIREを書き変えてね」と言われた。

タグ： Julia言語

posted at 21:35:15

わさを @WasaOhMyDoggo

数値計算用に組み立てたUbuntuマシンでJuliaをぶっ放す時が遂に来たゼ〜！カオス力学系を分岐解析しちまうゼ〜？！

タグ：

posted at 21:35:35

春 @sunbluesome

はてなブログに投稿しました
Windows 10でJulia専用のPython仮想環境を作る - 超バイオ系 hotoke-x.hatenablog.com/entry/2018/02/... #はてなブログ

タグ：はてなブログ

posted at 21:35:44

@genkuroki あと私が「あります？」と伺ったのは「Juliaからmatplotlib自体を使う点で、Pythonより快適なことはありますか？」という意味でした。不躾な質問をしてしまい、申し訳ありませんでした。

タグ：

posted at 21:37:24

#Julia言語で using Hoge とかやると「Pkg.add("Hoge")してね」と教えてくれます。それの延長線上の話。

DifferentialEquationsは超巨大パッケージでかつ更新が速いので、色々要注意です。使うためには多くのパッケージを最新版にしておく必要があります。(何度かはまった。)

タグ： Julia言語

posted at 21:37:37

おいぬさま @LaMaeken

Ninja DAO | CryptoNi @CryptoNlnjaNFT

学校の先生にも予備校の先生にも、まず図を書いたり組み合わせを書いたりしてイメージしろと言われてたなぁ。
試行錯誤してる間に見つかることもあるし、たいした数じゃなけりゃ書き出したほうが確実って言われたもんだ。

そういうのめんどくさがってるとまぁ詰むよなぁ……。 twitter.com/genkuroki/stat...

タグ：

posted at 22:11:48

国立大学を巡る議論を見てると、「いじめはいじめられる方にも責任がある」という愚にもつかない議論を想起するのは、自分だけなのだろうか。

タグ：

posted at 23:03:59

ニコ生公式_将棋 @nico2shogi

Ninja DAO | CryptoNi @CryptoNlnjaNFT

【第76期順位戦 C級2組】2/1(木) 梶浦宏孝四段 vs.藤井聡太四段の対局は、藤井四段が114手までで勝利し、C級1組への昇級を決め、五段に昇段となりました。
●視聴→ live.nicovideo.jp/watch/lv310503... pic.twitter.com/ZuI9ToWvhZ

タグ：

posted at 23:08:22