黒木玄 Gen Kuroki(@genkuroki)/2020年02月10日

ベクトルのテンソルをテンソルにする方法がもっと言えばほしいです．
@. rand(分布(テンソル), n)
の出力が各テンソルの要素をパラメータとした長さnの1次元配列のテンソルを返してしまいます．
rand.(Poisson.([1 1 4; 5 1 4]), 810)
を (2,3,810)型テンソルに整形したいです．

タグ：

posted at 00:01:51

#統計事後分布で測った確率は確率モデルの取り方にものすごく強く依存して決まる量(事前分布にも依存)であり、しかも現実世界に対応物がない数学的モデル内でのみ通用する値になります。

それなのに【p値のように仮想世界の非現実的な値ではありません】と言い切る度胸はすごすぎです！続く

タグ：統計

posted at 00:02:09

内包表記は遅いので最終手段だと思っています．

タグ：

posted at 00:03:28

#統計統計パッケージを使うこなせるだけ十分な理解度に達していても、

【事後分布から自分の仮説が正しい確率を読み取れる
p値のように仮想世界の非現実的な値ではありません】

と言い切って、次の世代を教育してしまうのはとてもまずいです。そういう悪を成したことを認めないのはもっとまずい。

タグ：統計

posted at 00:05:27

ごまふあざらし(GomahuAzaras @MathSorcerer

@genkuroki これdistributionsの乱数生成でも有効なんですね！　forや内包表記と比べて生成自体がめちゃくちゃ早くなりました．
ただ，出力形式の成形でちょっと困ってまして（twitter.com/389jan/status/...），何か良い方法はありますでしょうか？

タグ：

posted at 00:06:30

ごまふあざらし(GomahuAzaras @MathSorcerer

経緯がカオスですが、PackageCompilerX.jl でARM対応のPRがマージされたのでラズパイでもビルド済みのJuliaバイナリーライフをたのしめるようになりました。

タグ：

posted at 00:08:22

あとはクリストファーさんがよしなにまとめてくれることをねがうだけ。

タグ：

posted at 00:08:22

#統計何が怖いか？

一部の頭のおかしい人が

www.slideshare.net/KojiKosugi/201...
【事後分布から自分の仮説が正しい確率を読み取れる
p値のように仮想世界の非現実的な値ではありません】

のようなことを言っているだけなら、

そういう人もいるよね

で済ませられますが、実際には全然そうじゃなさそう！ pic.twitter.com/mQOkAQ3KfS

タグ：統計

posted at 00:09:10

前田敦司 @maeda

クルーグマンが昔の本で「高生産性のハイテク産業に労働者を移動しろって？米国で労働生産性が最も高い職種はITでも金融でもなく、タバコ農家と石油採掘業だぞ」という話を書いてたな。

タグ：

posted at 00:10:44

この原因を、大きく次の3つの仮説を立てて調べた
(1)ベイズNNで用いるMCMCが事後分布を正しく近似していない
(2)普通のNNはバッチ正則化やドロップアウトなどをするためもはや尤度ではないなにかを最大化をしていることによるギャップ
(3)事前分布が適切でない

結論は、(1)誤(2)誤(3)微妙

タグ：

posted at 00:11:26

#統計 Rの統計パッケージを使うこなせるだけ十分な理解度に達していて、有用な応用も多数成し遂げているなら、そういう方向で次の世代を教育することで貢献すればよいのに、どうして驚くべきデタラメを述べて、ベイズ統計に誘おうとするのか？

しかも、そういう悪いことをしたことを認めないし。

タグ：統計

posted at 00:12:35

つまり
(1)MCMCは事後分布を良く近似できていることを確かめた
(2)バッチ正則化やドロップアウトなしでもやはりcold posteriorのほうが良い精度になった

(3)は、noninformativeな事前分布として正規分布を用いているはずが実はinformativeなのではないかと主張している

タグ：

posted at 00:15:59

実際、正規分布からサンプルしたあるパラメータでCIFAR-10タスクを解くとほとんどのサンプルをある１つのクラスに分類してしまう。
また訓練データのサイズを大きくするほどベイズNNとSGDの性能差が小さくなる(これは事前分布の影響が小さくなることと矛盾しない)。

タグ：

posted at 00:19:03

これは層の幅で正規化した(He-scaled)分布を使っても同じだった。

なのでおそらく事前分布はベイズNNで悪さをしていて、より良い事前分布を探す必要がある。ただし事前分布がすべての原因でもなさそうなのでまだ調べる必要がある

ということだと思う
実験量がすごい

タグ：

posted at 00:23:24

@389jan #Julia言語もっときれいな方法を誰か教えてくれると思いますが、例えば、ブロードキャストで頑張るならば、

((d, _) -> rand(d)).(Poisson.([1 1 4; 5 1 4]), fill(true, 1, 1, 810))

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/tomCyt17Ft

タグ： Julia言語

posted at 00:43:01

@genkuroki む，無名函数……！
この発想は全く出てこなかったです．ありがとうございます．
（randとPoissonまわりをブロードキャストする以上，forより自明に早いですよね）

速度検証一切してないですが，僕は
reshape(repeat([1 1 4; 5 1 4]', 810)', (2,3,810));
をPoissonに渡すという方法を思いつきました

タグ：

posted at 00:49:43

非公開

タグ：

posted at xx:xx:xx

カソクキセンパイ@ワコォ @AccSempai

@genkuroki 黒木さんの無名函数を用いる方法が早いです．
github.com/chijan-nh/Broa...

タグ：

posted at 01:07:19

そのつまみ方やめろ

ついに“史上最強”のリチウムイオン電池が誕生？透明で柔軟で火にも耐えるバッテリー、米研究チームが開発 @wired_jp wired.jp/2020/01/14/sci...

タグ：

posted at 01:19:11

@genkuroki カーネルをリセットしないで何回もセル実行する場合はreshape(repeat())が早いですが（下記リンクにこちらは載ってない），カーネルをリセットする場合は何回も繰り返す際も無名函数が早かったです．
先のnotebookにシミュレーション繰り返すセルを追加しました
github.com/chijan-nh/Broa...

タグ：

posted at 01:39:53

German P Barletta @gpbarletta

Frames Catherine Whi @oxinabox_frames

@oxinabox_frames @fby_conf I'm left wondering about the "Open Classes". In Julia we tend to write free functions and in C++ we have the option to do so. Java is a rare case in this matter.
Do you think Julia needs a way to inject code in classes after they've been defined?

タグ：

posted at 01:52:15

@gpbarletta @fby_conf Julia has open classes, any language that can perform dispatch on to functions in external files has it. We don't need the ability to put more into structs defs because (inner constrictors aside) we don't put them there. Adding fields would be really hard to do issues re memory

タグ：

posted at 01:59:05

@389jan #Julia言語ああ、ダメだ。私の方法もクソ遅かった！

forループを回すよりも、10倍くらい遅くなっていました。詳しくは

nbviewer.jupyter.org/gist/genkuroki...

を参照。あと Julia 1.3.1 では

rng = Random.default_rng()
for ～
～ rand(rng, dist) ～
end

の形でrandを使わないとちょっと遅くなる。

タグ： Julia言語

posted at 02:04:18

@genkuroki for早い……jitコンパイラ優秀なんすね……

あ、私のさっきのやつは1.3.0でした。
rng明示が必要なんですね

タグ：

posted at 02:19:02

#Julia言語 1行でランダムウォークを作る方法

cumsum結構便利

1次元
X = cumsum(rand([-1,1], 10000), dims=1)

2次元
X = cumsum(hcat(rand([[1,0],[-1,0],[0,1],[0,-1]], 10000)...), dims=2)

3次元
略

nbviewer.jupyter.org/gist/genkuroki... pic.twitter.com/fuZDVCBcYL

タグ： Julia言語

posted at 02:41:07

@389jan #Julia言語 v1.3からrandがスレッド並列対応になったせいで、rand(rng, dist)形式で使わないと遅くなる場合があります。

遅くなってもよいなら、rand(dist)で大丈夫です。

その辺の問題は解決可能なのか、スレッド並列対応にするためには仕方がないことなのかはよくわかりません。

タグ： Julia言語

posted at 02:43:26

Re:RT 「AO入試」という枠で叩くのは誤り。「AO入試」の中身と結果がダメな場合に叩くようにしないとまずい。

某大理学部数学科の「AO入試」はガチで数学ができないと合格できないと思う。受験しに来ただけで尊敬に値する。

タグ：

posted at 02:56:46

#統計補足

ベイズであろうがなかろうが、推定先の未知の確率分布とその標本分布は同じものです。推定先の未知の分布は確定していると考える。

さらに、ベイズであろうがなかろうが、標本分布に従って生成されるサンプル(データ)が標本分布に従う確率変数の実現値扱いになるのも同じ。 twitter.com/genkuroki/stat...

タグ：統計

posted at 03:16:47

#統計補足

あと私も「明日のAとBの勝負でAが勝つ確率は7割くらいだろう」のようなことを考えます。主観確率の利用自体には何も問題ない。

しかし、「ベイズ主義は主観確率も扱えるのでリスク評価と相性がよい」というようなことを言いたいなら、相当に慎重にやらないと非常にまずいと思います。

タグ：統計

posted at 03:21:41

#統計あと、「ベイズ統計は主観確率の概念抜きで十分に有用な道具であることを示せる」が真実なので、「ベイズ統計は主観確率に基く」という主張は単純に誤り。

「私は、主観確率の概念抜きのベイズ統計を理解できない」と正直に言うのは構わない。

タグ：統計

posted at 03:26:46

とても興味深い実験結果ですが、コメントしたくなるところとして
・BNやDOの有無以前にそもそもSGDによる点推定が最尤やMAPから乖離しているのでは？
・温度の定義が事前分布まで累乗されているが、尤度だけならどうなるか。
があります twitter.com/coro_NLP/statu...

タグ：

posted at 04:02:01

arxiv.org/abs/2002.02405
この論文に関しての話です。
スクショにあるように、事後分布の温度は事前分布にまでかかっている定義となっています。 pic.twitter.com/GxI9OGDujS

タグ：

posted at 04:04:29

β-VAEもそうですが、DLの人はこういう温度の入れ方をしがち

タグ：

posted at 04:05:06

事前分布がよくきいてる可能性という結論も、温度の入れ方のせいな気がしてきます。

タグ：

posted at 04:06:54

Logan.GPT @OfficialLoganK

@RosonaEldred I think this is pretty standard across languages, though I agree it's unintuitive at first #julialang : pic.twitter.com/HUDIS3f4G6

タグ： julialang

posted at 04:26:29

Dr. KID @Dr_KID_

Robert Geller; ロバート・ @rjgeller

コバ先生（@KobaKobauro )のツイートでフォロワーが急増

私以外にも小児科では
ホムホム先生：@ped_allergy
森戸先生：@jasminjoy
佐久先生：@oshietedoctor
ゴクウ先生：@Drhimajin
NS先生：@nuno40801
アシュア先生：@reassure2001
など多数います

いろんな方の情報に触れると良いでしょう twitter.com/KobaKobauro/st...

タグ：

posted at 06:31:44

国立大学教員なのに、子供並みの間違った発想(XXX地域の地震はYYY年間隔で繰り返す)を平気で書く。念のために、これまでの大きな地震の時系列を知っていても今後の地震は同パターンで発生すると限れない。現在の学問では、「いつでも何処でも不意打ち」としか言えない。 news.yahoo.co.jp/byline/fukuwan...

タグ：

posted at 08:28:44

@389jan 詳しくないのでもしよければ教えていただきたいのですが、温度を導入するときは事前分布には掛けないのが正当なんでしょうか？(たしかに論文中にも変分ベイズとの対応物は尤度だけに温度を入れるモデルだと言及されています)

タグ：

posted at 08:52:44

piqcy @icoxfog417

NVIDIAが公開するGPU最適化されたデータフレーム/アルゴリズムのライブラリであるcuMLを使いk近傍法を行った記事。scikit-learnに比べて600倍の速度が出たという(25分⇒2.5秒)。 twitter.com/rapidsai/statu...

タグ：

posted at 09:34:57

#Julia言語小田原さんのブログ記事を再宣伝

私も、2×2の分割表で「補正無しのχ²検定は不正確なので、正確なFisher's exact testを使いましょう！」というよく見る主張は誤りであると思っています。

数値実験すると、補正無しのχ²検定の方がむしろ正確(p値の分布が一様分布に近い)な感じ。 twitter.com/koichi_5963/st...

タグ： Julia言語

posted at 10:10:56

教えてドクター佐久@無料アプリ配信中♪ @oshietedoctor

#統計小田原さんが

qiita.com/KOICHI_5963/it...

の最後に書いているように、私も

【シュミレーション技術の民衆化】

が進んで欲しいと思っています。

「昔から〜と言われている」よりも、
「自分でシミュレーションしたら〜でした」の方がよい！
合理性のない慣習が排除される可能性が増す。

タグ：統計

posted at 10:17:28

子どもが生まれたから加熱式タバコに変えたという方が時々います。加熱式でも葉のニコチン濃度は紙巻きと大差なく発がん物質も。紙巻きから加熱式に変えた方の25％が喫煙場所を屋内に変え、結果受動喫煙リスクが高くなること、パーツが小さく誤飲が増えると知ってほしい。子どもが生まれたら禁煙を。

タグ：

posted at 10:21:53

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

@coro_NLP 事前分布が累乗されるのは完全に悪くはないんですが、
・最尤やMAPに比べてベイズが汎化性能が高いことが証明できるのは事前分布が累乗されてない形
・上のポチのことを言うために事前分布がテスト関数の役割を果たすことが本質的
・カノニカル分布の導出などの点からも事前分布に温度はつかないはず

タグ：

posted at 10:23:45

TJO氏にフォロー外されて悲しみのあまりユーザ名がTJOになってる人がいる。

タグ：

posted at 10:24:52

@coro_NLP こちらの議論というかほぼ黒木さんの解説/貼られてるリンクがわかりやすいです。

twitter.com/389jan/status/...

タグ：

posted at 10:25:55

#統計

【事後分布は常に一つ。それが確率的に変わるものではありません】

これ↑もひどいよね。

ベイズ統計であろうがなかろうが、扱うデータは同じものです。

統計学では事後分布自体が確率的に揺らぐというモデルで考えます。運悪くデータが偏っているリスクを普通は考える。 twitter.com/genkuroki/stat... pic.twitter.com/cBNLc8eQfN

タグ：統計

posted at 10:43:57

#統計統計学で想定する基本パターンはこうです。

データを生成する未知の真の確率分布
↓
データ
↓
↓数学的モデルを使った推定・推測・推論
↓
統計分析の結果
↓
分析の妥当性のチェック

例えば、データが運悪く偏ってしまったせいで、統計分析の結果が真実からかけ離れてしまうリスクを考える。

タグ：統計

posted at 10:48:07

#統計続き。ベイズ統計では、以上の基本パターンにおける「数学的モデル」内でパラメータの確率分布を考えます。

事後分布と呼ばれるモデル内確率分布は、数学的モデルとデータから決まる。だから、データが運悪く偏っていると、事後分布も偏ってしまい、現実において妥当でない結果が得られます。

タグ：統計

posted at 10:51:24

非公開

タグ：

posted at xx:xx:xx

#統計「データが運悪く偏っていたせいで統計分析によって妥当でない結果が得られるリスク」を分析するための数学的モデルが「データの確率変数による定式化」です。

データ(=標本=サンプル)を確率変数でモデル化することは統計学においては必須のことです。これはベイズ統計でも同じ。

タグ：統計

posted at 10:56:07

@389jan ありがとうございます、理論的背景があるんですね。
後で詳しく見てみます。

タグ：

posted at 10:59:29

Robert Geller; ロバート・ @rjgeller

#統計まだベイズ統計に関する数学が未発達もしくは普及していなかった時代には、ベイズ統計の周辺に関する議論ががっつり数学を使った科学的に合理的なものにならず、内容的に精緻さに欠けた主義の違いに関する議論になってしまっていました。

そういうスタイルから入ると時間の無駄になります。 twitter.com/genkuroki/stat...

タグ：統計

posted at 11:03:39

Robert Geller; ロバート・ @rjgeller

地震発生は周期的である考えは素人発想ですが、統計学検証の結果は「不合格」ということです。 twitter.com/shibajundesu/s...

タグ：

posted at 11:10:52

背景
私達の論文(英語)
www.sciencedirect.com/science/articl...

タグ：

posted at 11:12:23

#統計現実に得られたデータを確率変数の実現値だとみなして、データが偏っているリスクにも配慮する。これが統計学のイロハのイ。

無作為抽出の統計学では、確率の概念は無作為抽出の段階で導入されます。無作為抽出の結果は確率的に偏ることがあるので、そのリスクの分析に確率論が使われる。

タグ：統計

posted at 11:13:36

#統計続き。「統計学ではどうして確率論が必要なのですか？」という素朴な問いへの答えは、無作為抽出によってデータが得られているという設定を考えて、「現実に得られたデータを確率変数の実現値だとみなして、データが偏っているリスクを考慮する」という統計学にイロハのイに戻れば得られます。

タグ：統計

posted at 11:16:29

非公開

タグ：

posted at xx:xx:xx

#統計「統計学ではどうして確率論が必要なのですか？」という素朴な問いも大事にし、データが偏っていたせいで事後分布が偏ってしまっているリスクにも配慮できるベイズ統計ユーザーを増やすのと、データは定数で事後分布は1つだと考えてそういうリスクに無頓着な人間を作ってしまうことの違い。

タグ：統計

posted at 11:40:08

#統計 p値も事後分布で測った確率も数学的モデル内の仮想世界における確率であり、慎重に解釈するべきであることを理解している統計学ユーザーを増やすことと、「p値は仮想世界の非現実的な値だが、事後分布から読み取った自分の仮説が正しい確率はそうでない」と考える人間を作ってしまうことの違い。

タグ：統計

posted at 11:45:00

@twi_jinjya_

ライオンの赤ちゃんの鳴き声は可愛い ❤❤ pic.twitter.com/j5HKjQVLJi

タグ：

posted at 11:45:12

#統計まるで、ベイズ統計ならば仮説が正しい確率も求められるという説が定説になっているがごとく。

これは非常にまずすぎ。

www.jstage.jst.go.jp/article/sjpr/6...
心理学を専攻する学生への統計教育はどうあるべきか
堀裕亮
Japanese Psychological Review
2017, Vol. 60, No. 3, 230–234
より pic.twitter.com/CVkBIoWnkr

タグ：統計

posted at 12:23:47

統計たん @stattan

渡辺先生のベイズの本、行間を埋めようとすると大変だけど、文字の部分や注だけだったらサッと読めるし、そこだけでも読んで意味があるので是非。レクチャーのスライドもおすすめ。

タグ：

posted at 12:26:00

積分定数 @sekibunnteisuu

＞隂山先生に追いつき、追い越したい人なら、絶対、言わないと思います。

この人本当にピントがずれている。

「隂山先生は素晴らしいから、誰もが追いつき追い越したいと思ってる」という前提なんだろうな。 twitter.com/yamasati39/sta...

タグ：

posted at 12:32:08

積分定数 @sekibunnteisuu

陰山英男さん「食事療法」の言説に嵌り、指摘する人を片っ端からブロックする - Togetter togetter.com/li/1404633 @togetter_jpさんから

タグ：

posted at 12:44:22

#統計やはり定説のように扱われている。

推定に使った数学モデルが妥当でない場合であっても、標本サイズを大きくすると推定は収束することがある。

www.jstage.jst.go.jp/article/sjpr/5...
帰無仮説検定と再現可能性
大久保街亜
Japanese Psychological Review
2016, Vol. 59, No. 1, 57–67

より pic.twitter.com/AAtKGGWAB9

タグ：統計

posted at 12:45:53

ヤギの人 @yusai00

「養蜂家が巣箱に巣礎枠を入れ忘れた」
Beekeeper forgot to put the frames in the beehive
www.reddit.com/r/interestinga...
巣礎枠は巣箱に何枚も入ってる枠。ここに巣を作らせて管理しやすくするんだけど、入れ忘れたみたい。この形で風通しが良くなって、湿度と温度が一定になるそう。自然の造形は凄い。 pic.twitter.com/GTuUK1y3Kk

タグ：

posted at 12:54:03

#統計リンク先は、推定に使ったモデルが妥当でない場合に、標本サイズを大きくしたとき、妥当でない結果に推定が収束してしまった場合。

動画の中ではn=400で「サイコロXはサイコロAであるという研究仮説が正しい確率」がほぼ100%に収束してしまっているwww

twitter.com/genkuroki/stat...

タグ：統計

posted at 12:54:17

#統計 1つ前のツイートのリンク先の解説

採用したモデルは「サイコロA,B,Cのどれかである」で事前分布でA,B,Cが等確率。サイコロA,B,Cの出目の分布は添付画像の通り。

しかし、推定先のサイコロXの出目の分布はサイコロA,B,Cからかけ離れていた。そして、推定・推測・推論にも失敗した。 pic.twitter.com/N6d5jjUfEI

タグ：統計

posted at 12:58:08

#統計扱っている状況が単純でない場合には、統計分析に使用したモデルが現実において妥当かどうかはそう簡単には分かりません。

そして、モデルが妥当であるかどうかで、統計分析が信用できるか否かが決まります。

これはベイズであろうがなかろうが同じこと。
仮説検定や信頼区間でも同じ。

タグ：統計

posted at 13:00:16

#統計

A氏＞我々は可能な限り努力して、妥当だと思われる確率モデルと事前分布を用いて、◯◯という仮説が正しい確率はほぼ100%になることを確認できました！

B氏＞で、そのモデルが現実において妥当な証拠は？

A氏＞我々はベイズ主義に基いて研究しているので、その質問には答えられません！

タグ：統計

posted at 13:08:54

#統計

B氏＞😱😱😱

A氏＞我々は可能な限り努力して妥当だと思われるモデルを採用しました！そのモデルとデータから、我々は◯◯という仮説が正しい確率はほぼ100%であると考えざるを得なくなったということです！

B氏＞努力したことは認めよう。でも、そのモデルが妥当な証拠はどこにあるの？

タグ：統計

posted at 13:17:11

#統計 stattanさんの言う通りで、渡辺澄夫『ベイズ統計の理論と方法』は確かに難しい本かもしれませんが、言葉による説明の部分が非常に面白く読める本です。味のある言葉による解説が多い。

例えば添付画像のように「人文社会科学における確率モデルは云々」とも書いてあります。 twitter.com/stattan/status... pic.twitter.com/3Q03jnQUWO

タグ：統計

posted at 13:37:01

#統計データのサイズが増えるに従って、それまでに見えてなかった詳細な構造が見えて来ることは、科学の世界では普通のことだと思います。

その場合には分析用のモデル自体を更新した方がよい。

最初に採用したモデルを固定したままベイズ更新を続けても、妥当でない推論の収束先を得るだけ。

タグ：統計

posted at 13:43:00

これ、身体性の観点からもとても興味深いのです。しなやかな構造がかなり遊泳運動を支配していると見ることができるので。

タグ：

posted at 13:43:03

Dr. nhayashi @nhayashi1994

初学者に渡辺ベイズ薦めるときこの注釈はとても重要。
アマゾンレビューでも七章とFAQだけでも読んで！みたいなのついてたなあ twitter.com/stattan/status...

タグ：

posted at 13:47:53

@kuri_kurita

『国が借金をして財源を確保するやり方もある。しかし、現役世代がこれから生まれる子どもたちにツケを回す形になり、「無責任」との批判にさらされる可能性が高い。』

バカじゃねーの、この記者。
（もちろん毎日新聞社の原理主義的財政破綻教義のせいだろうが） mainichi.jp/articles/20200...

タグ：

posted at 13:49:48

@kuri_kurita

“借金”は無いが、子供は生まれてこず、インフラはボロボロ、教育水準も低く、年寄りは早く死ねと言われる日本と、

“借金”はあったとしてもそうではない日本と、

「将来世代」に感謝される未来はどっちだと聞かれたら、人の心を持っているなら分かるだろ。

毎日新聞は借金が無い方が良いらしいが。

タグ：

posted at 13:54:01

非公開

タグ：

posted at xx:xx:xx

桜花 @ohka0327

細野氏が真っ当な発言をするようになり
以前バカにしてたワイ氏、困る😊 twitter.com/hosono_54/stat...

タグ：

posted at 14:27:27

統計たん @stattan

こういうと怒られるかも知れないけど、統計を応用する人だったら式を行間を埋められる必要は無いと思う。主要なところを読んでベイズ統計が何をやろうとしているのか分かればよいかなと。初めはとりあえずは数学的な成果は一旦信じておく、と。 twitter.com/stattan/status...

タグ：

posted at 14:48:06

Hashimoto @Sho_Has_hus

統計たんとか黒木先生とかに怒られない、須山本よりとっつきやすい入門書は、たぶん、大関真之,『ベイズ推定入門』オーム社。イラストが超かわいい。
あと、ベイズの肖像画が本人ではないという根拠も書かれてたりする。

タグ：

posted at 14:50:05

Hiroo Yamagata @hiyori13

@maeda @yoriyuki 最近でも「スキルギャップで失業が発生してるってのはウソ、労働者にITの勉強させろとかくだらんこと言うな」とあちこちで言ってますね

タグ：

posted at 14:55:43

Gabriel Peyré @gabrielpeyre

Pinsker's inequality is a fundamental inequality of information theory. Bounds the total variation norm by the relative entropy (aka KL divergence). en.wikipedia.org/wiki/Pinsker%2... pic.twitter.com/pm5AObHLyU

タグ：

posted at 15:00:00

統計たん @stattan

読んだことないので読んだら是非レビューして下さい！ twitter.com/Sho_Has_hus/st...

タグ：

posted at 15:04:54

非公開

タグ：

posted at xx:xx:xx

#統計渡辺澄夫『ベイズ統計の理論と方法』は色々な読み方ができる本で、おそらく著者の渡辺さんは汎化損失(汎化誤差)の概念が普及して、WAICを使えるようになる人が増えることを望んでいると思うので、「証明」に当たる部分を飛ばして読んで、WAICで何をできるかまで一直線に進むのはありだと思う。 twitter.com/stattan/status...

タグ：統計

posted at 15:33:14

#統計具体的には、適当に決めたモデルについて、汎化損失(汎化誤差)とWAICを計算することをコンピュータでできるようになって、p.119 定理15を数値的に確認すること。

そこまで行ければ、ドヤ顔で「証明の部分は全部飛ばして読んだのですが云々」と誇らしげに語る資格が大有りだと思う。

タグ：統計

posted at 15:33:23

AVILEN AI Trend | AI @AVILEN_AI_Trend

#統計コンピュータが苦手でそういうことができそうもなくても、渡辺澄夫『ベイズ統計の理論と方法』の各所に分散している大量の「注意」たちと章末の「質問と回答」の部分だけを拾い読みしておくだけでも、世間にはびこる俗説に対抗できるだけの教養が身につくと思います。

タグ：統計

posted at 15:33:24

皆さんは「#ベイズ統計」について知っていますか？🤔

ベイズ統計とは、標本を必ずとも必要としない。データ不十分でもなんとかして確立を導く学問です。

データアナリストに限らずビジネス職にも必須の知識になりつつあります👔

ベイズ統計の詳しい解説はこちらです☺️
→ to-kei.net

タグ：

posted at 15:39:44

左巻健男（サマキタケオ） @samakikaku

#統計「逆温度」について補足

事前分布φ(w)のサンプルW_1,…,W_Nについて、ハミルトニアンH(w)と定数cによって、

(1/n)Σ_{i=1}^N H(W_i) = c (正確には不等式にする)

という制限で条件付き確率分布を考えると、N→∞でW_1の分布は事後分布

φ(w|β) = Z(β)⁻¹ exp(-βH(w))φ(w)

に近付く。続く

タグ：統計

posted at 15:43:30

非公開

タグ：

posted at xx:xx:xx

検索で引っかかったので読んだ。こういうデマ者を部分的にもぬ批判しないで応援した人らがいることに怒りを覚えるよ。
↓
おしどりデマ庫：立民「安田真理」候補「おしどりマコさんが放射能デマ発信者などとは考えておりません。理由を」　そこで理由を集めた
shinobuyamaneko.blog81.fc2.com/blog-entry-257...

タグ：

posted at 15:46:07

#統計続き。βはcから

∫H(w)φ(w|β)dw = c

という条件で決定される。

そして、cはβの函数として単調減少になり、β→∞でc→min(H(w)) となる。βは逆温度なのでβ→∞は絶対零度への極限になり、逆温度βでの事後分布φ(w|β)はH(w)を最小にするwの値に向けて凍りついてしまうわけです。続く

タグ：統計

posted at 15:52:57

#統計絶対零度ゼロでハミルトニアン H(w) は最小化される。

逆温度の入れ方の選択肢は複数あります。

その選び方は絶対温度ゼロで何を最小化するかと対応しているので、目的によって変えることになります。続く

タグ：統計

posted at 15:55:43

#統計例えば、確率モデルp(x|w)とデータX_1,…,X_nについて、

H(w) = -Σ_{k=1}^n log p(X_k|w)

とおくと、H(w)の最小化は最尤法に一致するので、この場合の逆温度βの事後分布

φ(w|β)
= Z(β)⁻¹ exp(-βH(w))φ(w)
= Z(β)⁻¹ Π_{k=1}^n p(X_k|w)^β・φ(w)

はβ→∞で最尤法の解に集中する。

タグ：統計

posted at 16:00:18

#統計別の例:

H(w) = - Σ_{k=1}^n log p(X_k|w) - log ψ(w)

の場合の逆温度βの事後分布

φ(w|β) = Z(β)⁻¹ [Π_{k=1}^n p(X_k|w)・ψ(w)]^β φ(w)

はβ→∞で事前分布ψ(w)のMAP法の解に集中して行きます。β→∞で罰則項-log ψ(w)付きの最適化に近付いて欲しければこうする。

タグ：統計

posted at 16:06:02

#統計 1つ前のツイートでは、MAP法の定義に忠実な言い方をするために、ψ(w)も事前分布扱いしましたが、実際にはそうする必然性はなく、罰則項 -log ψ(w) が与えられていると思っておけば十分。

罰則項付きの最適化に対応する逆温度付きの事後分布が欲しければ、罰則項部分にもβをかける。当たり前。

タグ：統計

posted at 16:13:02

optical_frog @optical_frog

一部の哲学マンに一読をおすすめしたい：「定義は論証の代わりにはならない」flipoutcircuits.blogspot.com/2018/09/blog-p...

タグ：

posted at 16:15:40

#統計逆温度を入れる話を初めて聞くと、ぎょっとしてしまうのですが、「目的に合わせて使うものを変える」という基本に戻れば、「目的を固定しなければ有効なスタイルが複数ある」ことが分かり、「どれが正しいスタイルであるか」という擬似問題に悩む必要が無くなります。

タグ：統計

posted at 16:16:08

#統計

添付画像1
【ベイズ統計とは、標本を必ずとも必要としない】‼️‼️

添付画像2は to-kei.net/bayes/ より。いつものデタラメが書いてあり、ベイズであることが極めて疑わしい肖像画が引用されているのも典型的。テンプレか？

添付画像3の正しい考え方は

watanabe-www.math.dis.titech.ac.jp/users/swatanab...

より。 twitter.com/toukei_net/sta... pic.twitter.com/IMONDoiigq

タグ：統計

posted at 16:52:46

残り44件のツイートを見る

#統計私による to-kei.net 批判についてはツイログの検索

twilog.org/genkuroki/sear...

を参照。相当に辛辣な批評になってしまっていますが、参考になれば幸いです。

統計学入門の教科書に問題があるので、問題のある教科書通りの解説を拡散すると必然的に批判されることになってしまう。 twitter.com/toukei_net/sta...

タグ：統計

posted at 17:00:51

ReRTs: まさにそんな感じで渡辺ベイズ本を読み、サービス精神たっぷりに公開してくださってるコードを参考に数値実験で試行錯誤して感触をつかみつつ学んで使っています。個人的にR勢としてbrmsなどのパッケージはあまりおすすめしないです（仮定に無自覚になる事例をいくつか見ました）。

タグ：

posted at 17:04:44

まことちゃん @makotoooooooo

統計関連、間違いを指摘すると「正しい方法は何か？」と問いかけ始めてしまいやすいのが難点。

タグ：

posted at 17:10:21

Ken Kuroki #ナゾとき進化論 @enuroi

天動説きましたー pic.twitter.com/cCVJGN81BV

タグ：

posted at 17:30:02

詳しい方には常識なのでしょうが、Python, R, Juliaの間で手軽にデータフレームを共有するにはFeatherフォーマットが便利なんですね。どの言語でも一行で入出力できるし高速。圧縮は別途しないといけないのと、pandasと違ってindexに連番以外を使えないことだけ留意。
gist.github.com/Ken-Kuroki/508...

タグ：

posted at 17:39:44

Ken Kuroki #ナゾとき進化論 @enuroi

Rのglm関数他、brmsでのモデル式はパラメータが明示的に指定する必要がないことが一つ問題かなと感じています。「予測してごらん」と促しても詰まってしまうことが多かったです（数人の学生さんですが）。

タグ：

posted at 17:44:32

圧縮が効かないのは高速に読み書きできることの裏返しだからやむを得ない。いずれにせよ解析スクリプト間での受け渡し用なら問題なし。長期保存用に容量を削減したいならparquetなどがベター。

タグ：

posted at 17:51:09

宮本徹 @miyamototooru

畑野議員がJAPAN e-Portfolioをとりあげ、運営者の教育情報管理機構の特定賛助会員であるベネッセ等が高校生の個人情報を利用する危険を指摘。文科省と教育情報管理機構の協定書では、文科省の承諾があれば、個人情報の目的外使用、第三者提供が可能になっている。追及され文科省は協定の見直しに言及

タグ：

posted at 18:00:33

Gabriel Peyré @gabrielpeyre

@kebabroyal_ There is a very nice review Gibbs and @mathyawp on the relations between various divergences/norms/distances on probability distributions. math.hmc.edu/su/wp-content/... pic.twitter.com/RvxGZpqPXa

タグ：

posted at 18:21:31

#超算数またもや、#掛算の順序はできない子にもかけ算を教えるためという言説、今回は知られざる田舎編が登場。まず、田舎と都会の対立にしようとしているところが陋劣極まる。それはそれとして、1950年代の千葉市立検見川小で山本喜治が主導した調査が、掛順は筆算の計算に無関係と明らかに。

タグ：掛算超算数

posted at 19:15:37

#超算数 twitter.com/sekibunnteisuu...。このスレッド。

タグ：超算数

posted at 19:20:28

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#超算数山本喜治は1951年指導要領(そこに初めて掛順が書き込まれた)の執筆者の一人で当時は市の指導主事だった。検見川小での調査は、5ヶ年に及ぶが、山本は途中から校長として赴任。とはいえ、指導主事時代から調査を主導したとみられる。この辺は、前に書いたのでいいや。

タグ：超算数

posted at 19:24:01

渡辺澄夫に認められた男とTJOにフォローを外された男と飲んでる。

タグ：

posted at 19:30:29

#統計推定先のサイコロXの出目をプロットしていない版の動画も追加しました。

nbviewer.jupyter.org/gist/genkuroki...

例えば→添付動画

モデル内のサイコロAは1,2が出易く、Bは3,4が出易く、Cは5,6が出易い。推定先のサイコロXは3の目だけがほんの少し出易い。サンプルサイズn=300で推定結果はBに収束。 pic.twitter.com/Z5FSuWB9kx

タグ：統計

posted at 19:51:17

Taku_antoine @AntoineTaku

確率モデルもパラメータの事前分布も真の関数形がわからないので、ベイズ推論したところで予測分布は真の分布とは自明に異なるよなっていう感覚はとてもわかった(渡辺ベイズ読み始め勢)

タグ：

posted at 19:52:03

#統計続き。この動画では状況が単純なので、サイコロXの出目のデータ(サンプル)の情報(経験分布)を表すドットと予測分布を容易に比較して、推定の収束先がひどくずれていることに気付けます。

複雑な状況ではそれさえそう簡単ではない。 pic.twitter.com/SeeQRreUAA

タグ：統計

posted at 19:54:36

#統計続き。この場合にはサンプルサイズがn=80程度までは、なんとなく予測分布とサンプルの経験分布が結構近いように見える。しかし、nが大きくなるとそれは誤判断になることがわかる。

こんなにシンプルなベイズ統計の例でも現実に何が起こりそうかを知るために役に立ちます。 pic.twitter.com/zItViv5Xsi

タグ：統計

posted at 19:58:28

Jem @Jem0211

しばらく親戚と没にしてたら、叔父貴が昨年暮に熊に喧嘩売られて半月入院してた。

タグ：

posted at 20:02:01

#超算数検見川小の調査は異例なことに、全て文部省実験学校シリーズとして出版されています。不二出版から最近、復刻されました。以下の語句で検索。
戦後改革期文部省実験学校資料集成〈第Ⅱ期〉全6巻　【編集復刻版】
山本は和田義信と公私にわたり親しく、51年指導要領執筆時、和田が千葉に居住。

タグ：超算数

posted at 20:08:26

#超算数検見川小調査は、子供たちに「かけ算も意味」を問う予備テストを課し、2桁×1桁の筆算が成績の悪いものが、かけ算の意味でも成績が悪いことを発見します。この「意味」には掛順をズバリ聞く問題もあります。そこで「かけ算の意味」の指導(これも順序を含む)したりして、筆算成績向上を報告。

タグ：超算数

posted at 20:21:12

#超算数私は調査の最初のものをここでリプロデュースしました。その調査は、筆算の成績が良かった子供の「かけ算の意味」の成績をチェックしていないので、対照群を適切に設定していませんでした。

タグ：超算数

posted at 20:23:56

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

#超算数それでは、ピグマリオン効果(大雑把に言って、教師が手を掛けると生徒の学力が向上する)を排除できず、「かけ算の意味」を理解することがかけ算の筆算に有効に働いたとは言えません。また、「かけ算の意味」に掛順を含めていることも問題です。掛順を分離したデータは載せていなかったのです。

タグ：超算数

posted at 20:29:03

ホクソエム大好き！一番好きな法人です。

タグ：

posted at 20:29:49

塚田恵梨花 @erika_hana_

すっかり風邪も治り、今日はチョコの代わりにキッシュを作りました❣️(型は市販のもの🙄)少し早いですがハッピーバレンタイン💓 pic.twitter.com/TZVB88cKws

タグ：

posted at 20:43:32

Astellon @astellon_music

情報工学以外の人にこそJuliaを使ってみてほしい

タグ：

posted at 20:46:48

TaKu @takusansu

#超算数 #掛算
 twitter.com/makilyn/status...

タグ：掛算超算数

posted at 21:08:43

Ryo @pys_ryo2019

新帯秀樹 Hideki Shintai @hs_heddy

ベイズ統計の概論的紹介
www.slideshare.net/naokihayashi71...

タグ：

posted at 21:15:37

Ken-Kuroki/python_r_julia.md
#Julia言語

 gist.github.com/Ken-Kuroki/508...

タグ： Julia言語

posted at 21:15:56

Dr. nhayashi @nhayashi1994

大関『ベイズ推定入門』を読み始めた。一日で読めそうだ

タグ：

posted at 21:53:49

ʇɥƃıluooɯ ǝıʇɐs @tsatie

(￣◇￣;)マジか… twitter.com/makotoooooooo/...

タグ：

posted at 22:14:14

積分定数 @sekibunnteisuu

@E_G_Zarathustra ＞でも、「4時間、時速30kmで進んだ時の距離」は30×4の方がしっくりくるな。
4×30とした人は一体どういう意図でやったのか疑問。

失礼します。

4h×30km/h　何もおかしくないと思いますが、何が疑問なのでしょうか？

タグ：

posted at 22:14:49

ねむい @stochphys

数学の研究者は数学は分からない、難しいのが当たり前とか数学の本を読むのって難しいというのに、数学の学部生とか院生は、この本読めるでしょみたいな顔したり、いやそれは容易みたいな顔してる。なぜなのか。

タグ：

posted at 22:29:46

#統計添付画像1,2は

www.slideshare.net/yoshitaket/ws-...
ベイズ推定の概要＠広島ベイズ塾
Yoshitake Takebayashi
Published on Mar 3, 2015

より。添付画像2によれば、母集団の母数も

【観察によって当然変わりうる】

らしい‼️‼️

添付画像3の正しい考え方は

watanabe-www.math.dis.titech.ac.jp/users/swatanab...

より(既出)。 twitter.com/psycle44/statu... pic.twitter.com/KUR60vNZAn

タグ：統計

posted at 23:08:16

#統計ベイズであろうがなかろうが、例えば、S市の小学6年生男子の体重全体を母集団とするとき、その平均は確定値。

母集団からの無作為抽出したサンプルも、ベイズであろうがなかろうが、確率変数の実現値とみなされる。

事後分布は数学的モデル内部でのみ通用する確率分布に過ぎない。

タグ：統計

posted at 23:12:43

Sugiyama @sig_kdy

心理のおたけPh.D｜AWARD @psycle44

渡辺ベイズ、まだ最初の数ページだけしか読んでないけどわくわくが止まらないなコレ

タグ：

posted at 23:16:05

非公開

タグ：

posted at xx:xx:xx

@genkuroki 先生のツイートも拝見し、ここの間違いが分かりましたし誤解を広める不適切な資料となってしまっていますので削除したいと思います。よく理解できていない部分、先生のツイートや関連資料を追って勉強を続けていきます！ありがとうございます！

タグ：

posted at 23:22:06

Hacker News @HNTweets

JuliaLang: The Ingredients for a Composable Programming Language: white.ucc.asn.au/2020/02/09/why... Comments: news.ycombinator.com/item?id=22288735

タグ：

posted at 23:30:03

HackerNewsTop10 @HackerNewsTop10

JuliaLang: The Ingredients for a Composable Programming Language
Link: white.ucc.asn.au/2020/02/09/why...
Comments: news.ycombinator.com/item?id=22288735

タグ：

posted at 23:32:11

Gabriel Peyré @gabrielpeyre

Pinsker’s inequality can be refined. This is due to Igor Vajda. pic.twitter.com/ZtmmlZcTUt

タグ：

posted at 23:39:34

@psycle44 #統計個人的には、すでに広まってしまった「一部界隈におけるひどい誤解」を完全否定するための資料を作って当該ページからリンクをはり、もとの資料は残しておいて欲しいと思います。

後半のMCMCの解説部分も相当に手間をかけて作った資料のはずでその部分まで消えるのはもったいないです。

タグ：統計

posted at 23:41:28

#統計ベイズについて誤解を広まる側にまわってしまった人達は、関連の資料をインターネット上から削除するのではなく、過去に広めた誤解を完全否定するために使える資料を作って公開して欲しいと思います。

誤解の蔓延は現時点で結構ひどいことになっているので、その責任を取る必要があると思う。

タグ：統計

posted at 23:44:24

ごまふあざらし(GomahuAzaras @MathSorcerer

#統計あと、私が酷評しているような資料であっても、それはピンポイントで引用している部分がひどいだけで、具体的な計算法や統計関係のソフトウェアの使い方の解説の部分は十分に有用な資料になっていることが多いと思っています。

タグ：統計

posted at 23:46:44