Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
並び順 : 新→古 | 古→新

2020年02月16日(日)

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計

scholar.google.com/scholar?cluste...
Andrew Gelman and Cosma Rohilla Shalizi
Philosophy and the practice of Bayesian statistics
2010

あちこちからダウンロードできますね。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 00:22:36

アニ @gorotaku

20年2月16日

まあこないだの進次郎セクシー問題の時に「政治家は公の場でwannaとかgonnaとかgottaとか使わない」という人が大量に沸きましたが、根本は同じことなんである。ネットにいくらでも転がってるアメリカ大統領演説のトランスクリプトを検索してみることすらしない。

タグ:

posted at 00:38:55

アニ @gorotaku

20年2月16日

たぶんですけど、言語について「こういうのは使わない!」という規範で他人を殴るのはすごい気持ちがいいことなんですよ。しかし実際の言語使用における幅っていうのは、特に第二言語学習者中岡
個人が経験から帰納できる範囲を遥かに超えてるんですよね

タグ:

posted at 00:42:01

アニ @gorotaku

20年2月16日

なので、他人にマウンティングできる誘惑に流される前に、自分の「常識」を一度くらいは客観的に検証できるようになりたいよね。現代はネットでいくらでもそれができるんだから、活かさないでどうする。

タグ:

posted at 00:46:00

Katsushi Kagaya @katzkagaya

20年2月16日

生物と一言で言ってもそこで想像されるよりはるかに多様で驚きに溢れたデザインが眠っていると信じているので自分の知っているつもりの生物の知識だけで一般化して語ることをせず固有のあり方を探求しなさい、アリストテレスの時からそうだと教育されました。

タグ:

posted at 01:48:39

黒木玄 Gen Kuroki @genkuroki

20年2月16日

@nhayashi1994 #統計 事前分布を含むモデル内でのリスク最小化によるベイズ統計の「正当化」は、統計学入門の分野では標準的です。そういうのを知らないのは、我々(という言い方をお許し下さい)だけです。

我々が少数派であることの証拠物件を引用します。続く

タグ: 統計

posted at 01:53:55

統計たん @stattan

20年2月16日

実際にやったことは隠せちゃうからね。論文の上では。だからダメなんだよね。

タグ:

posted at 01:54:10

黒木玄 Gen Kuroki @genkuroki

20年2月16日

@nhayashi1994 #統計 添付画像1は

www.kyoritsu-pub.co.jp/bookdetail/978...
久保川 達也著、現代数理統計学の基礎
の目次

より

添付画像2,3は

sites.google.com/site/ktatsuya7...
MathStat_hosoku.pdf
v. 6 2019/08/17 17:41久保川達也

より

こういう時代遅れな解説の方が標準的。 pic.twitter.com/vBk9ebUTil

タグ: 統計

posted at 01:59:04

黒木玄 Gen Kuroki @genkuroki

20年2月16日

@nhayashi1994 #統計 久保川達也著『現代数理統計学の基礎』は統計検定1級に適したテキストとして有名です。

事前分布を含むモデル内部でリスク最小化によってEAP推定やら予測分布を特徴付けても、数学的にはほぼつまらないトートロジーに近いtrivialな議論に過ぎず、現実世界におけるリスクとは何の関係もない。

タグ: 統計

posted at 02:03:03

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 資料

ベイズ統計に関しては半世紀程度時代遅れっぽい解説の方がスタンダード。

赤池弘次さんや渡辺澄夫さん的な考え方は無視されているように見える。

「主観的事前分布」「無情報事前分布」というような説明をしているだけで私はアウトだと感じる。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 02:08:32

Dr. nhayashi @nhayashi1994

20年2月16日

@genkuroki かなり保守的な意味でベイズ法がある種の最適性を持つ場合があることが古くから知られていて,それが世間標準である.
☝と同値な事実そのものは聞いたことがありましたが,それがベイズ推定量で,久保川本の説明がその例というのは知らなかったです.

タグ:

posted at 02:11:57

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 時代遅れなベイズ統計の考え方はこんな感じ。

1. ベイズの定理によって事前分布における信念の度合いが更新され、事後分布によって仮説が正しい確率を計算できる。

2. 主観を入れたくなければ無条件事前分布を使うべし。

3. 様々なベイズ推定量はリスク最小化によって合理的に正当化される。

タグ: 統計

posted at 02:22:57

じーくどらむす/岩本翔 @geekdrums

20年2月16日

香川県の大山議員、まじで「子どもの自由を制限したい」という一新で動いているので、子どもに選挙権ないからってこいつに好き放題させたらダメです。香川県の子どもは絶対にこいつのやり口を見逃してはならない。
ides.hatenablog.com/entry/2020/02/... pic.twitter.com/iAef27W5Se

タグ:

posted at 02:27:41

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 Gelman-Shalizi (2010)は当時のウィキペディアにおける時代遅れのベイズ統計観をボコボコにしています。

ベイズ更新後に事後分布で仮説が正しい確率を計算して終わりにするには科学的に非常識で、普通は事後分布を求めた後にモデルのチェックを慎重に行う。
twitter.com/genkuroki/stat... pic.twitter.com/pWosTOVQ8u

タグ: 統計

posted at 02:29:33

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 おそらく、以下のリンク先の1,2,3の考え方を「時代遅れ」と批判しても、ベイズ統計について教科書で勉強した人達の大部分は「普通の標準的な考え方なのにどうして批判されなければいけないのだろうか?」と感じると思う。

下手をすれば「専門家」の間でもそうかもしれない。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 02:36:09

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 「ベイズ推定量」を特徴付ける条件は、事前分布φ(w)と確率モデルp(x|w)で作られる分布

Z(x_1,…,x_n) = ∫p(x_1|w)…p(x_n|w)φ(w)dw

に関するリスク(←別に決めておく)の期待値の最小化です。

どこにも推定先の未知の(真の)確率分布は出て来ない!

モデル内の非現実的設定でのリスク最小化。

タグ: 統計

posted at 02:48:51

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 しかも例として出て来るのは、分布の平均が平均二乗誤差最小化で特徴付けられるというベイズ統計と無関係の超一般論の特殊な場合だったりする。条件付き確率分布にも一般的なその手の特徴付けがあって、ベイズ予測分布の特徴付けはその特殊な場合に過ぎない。

そういうつまらない話をよく見る。

タグ: 統計

posted at 02:53:11

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 Z(x_1,…,x_n)はベイズ統計で使うモデル内部における標本分布。モデル内部でサンプル(データ)X_1,…,X_nが生成されたとき、そのデータに応じて〇〇することのリスクの期待値を最小にするというようなことを考える。

現実世界とは縁が切れた純粋にモデル内部における議論でしかない。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 02:59:38

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 「ベイズ推定量」の平均リスク最小化による特徴付けが、数学的にはtrivialでつまらないだけではなく、現実世界とは縁が切れたモデル内部の非現実的な仮想世界内における平均リスク最小化に過ぎないことも十分に認識されているかどうか、極めて疑わしいです。

タグ: 統計

posted at 03:24:24

積分定数 @sekibunnteisuu

20年2月16日

@takusansu @genkuroki www.freedu.jp/work/teaching/...
>仮に「数学では2πrなのだから、小学校もこの順番で計算すべきだ」という論になったら、今までの指導の系統から外れてしまうので、子どもは混乱してしまうでしょう。

中学になったときに混乱するのは構わないのかな?
自分の担当領域さえよければいいと思っているのかな?

タグ:

posted at 07:13:44

積分定数 @sekibunnteisuu

20年2月16日

@takusansu @genkuroki そもそも現状、順序を強要されて混乱しているのだけどね。

タグ:

posted at 07:14:20

積分定数 @sekibunnteisuu

20年2月16日

陰山英男や杉山奈津子は、基本問題はまず暗記、そのことで応用力がつく、とか言っているが

嘘出鱈目にも程がある。

「はじき」を教え込むことで、応用力がつくようになるはずがない twitter.com/matho2019/stat...

タグ:

posted at 07:20:35

丸尾宗一郎 @miduwo

20年2月16日

稲川右樹先生に書いていただきました。「チンチャそれな」など、日本語と韓国語を混ぜた「日韓ピジン」とでも呼ぶべき表現が若者の間でブーム。そうした言語表現を通して日韓関係史を、日韓関係を通して言語表現を考える記事なんですが、面白く奥深く、本当に感動します。
gendai.ismedia.jp/articles/-/70450

タグ:

posted at 07:33:19

丸尾宗一郎 @miduwo

20年2月16日

韓国でも日韓のミックス言語「韓本語(ハンボノ)」が古くから使われているが、そこにも新しい表現が生まれてるらしい。記事中にも出てくる「チョメンナサイ」という表現は、融合の洗練されっぷりにおそれをなしました…。若い人の自由な表現ってスゴい、と思わされる。
gendai.ismedia.jp/articles/-/70450

タグ:

posted at 07:41:32

丸尾宗一郎 @miduwo

20年2月16日

原稿の導入はあくまでポップ、でも気づいたら奥深い専門の世界の門前まで誘い込まれ、もっと勉強したり本読んだりしたくなるタイプの記事が大好きなんだけど、稲川先生のこの記事は、僕にとってまさにそれだった。
gendai.ismedia.jp/articles/-/70450

タグ:

posted at 07:52:18

畠山勝太/サルタック @ShotaHatakeyama

20年2月16日

人種融合型の学校は基本的には低学力層への恩恵+高学力層はノー被害&非認知に好影響なのでガンガン進めたいけど、白人も黒人も親の希望は人種分離型の学校なので、米国で一般的に嫌われるパターナリスティックな介入が必要で本当にメチャクチャ難しい…。qz.com/1795993/do-us-...

タグ:

posted at 08:34:37

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 訂正

❌無条件事前分布
⭕️無情報事前分布

ベイズ統計のユーザーは自分が採用した事前分布を「主観的事前分布」「無情報事前分布」に主観的に分類して満足せずに、採用した事前分布を使った推定・推測・推論の性質を確認した方が無難かも。

twitter.com/genkuroki/stat...

タグ: 統計

posted at 09:10:35

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 「歪んだコインを投げて表と裏のどちらが出るか」のモデル化のベルヌイ分布モデルは表の出る確率wをパラメータとして持つのですが、予測分布が最尤法と一致するような事前分布は全積分を1にできない所謂improper priorになります。1/(w(1-w))を0近傍または1近傍で積分すると発散する。続く

タグ: 統計

posted at 09:21:13

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 別の言い方。歪んだコインをn回投げたらk回表が出たときに、最尤法では表の出る確率wはk/nと推定します(自然で分かり易い)。同じ結果をベイズ予測分布で得るためには、事前分布を1/(w(1-w))の定数倍にする必要があるのですが、積分が発散するので定数倍して全積分を1にできません。

タグ: 統計

posted at 09:21:15

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 ベイズ統計でも表の出る確率の推定値がk/nになるような事前分布を主観が入らない「無情報事前分布」だと思いたい人は、0と1の両端で発散し、積分も発散するような 1/(w(1-w)) が「無情報事前分布」だと思わなければいけないのです。

タグ: 統計

posted at 09:27:06

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 しかし、何も知らないと、0から1の間の一様分布を「無情報事前分布」だと思う人の方が多いのでは?

さらに、「無情報事前分布」にはJeffreys事前分布(1(w(1-w))と一様分布のちょうど中間に位置する事前分布)という有力な選択肢があります。

タグ: 統計

posted at 09:27:08

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 個人的な意見では「主観が入らないように無情報事前分布を選ぶ」という発想自体が不毛でかつ時間の無駄。

そうではなく、事前分布もモデルの立派な一部分であり、採用した事前分布によってモデル全体がどのような性質を持つことになるかを理解しておく方が重要。目的によって使い分ければよい。

タグ: 統計

posted at 09:29:49

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 例えば、自分の使用目的には、事前分布1と事前分布2のどちらでも無視できる違いしか生じないことが前もって分かっているなら、どちらを選ぶかについて悩む必要はなくなります。

しかし、結果に無視できない違いが生じる可能性があるなら、目的に応じてどちらが優れているかを考える必要がある。

タグ: 統計

posted at 09:32:58

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 時代遅れの「事前分布は主観や信念を表す」というような考え方を捨てて、「目的ごとに自分で使う道具を適切に選ぶ」という基本原則に戻ればよい。

「無情報事前分布vs.主観的事前分布」という「頻度論vs.ベイズ」という非科学的な発想のサブセットを捨てるべきだと思います。

タグ: 統計

posted at 09:36:16

黒木玄 Gen Kuroki @genkuroki

20年2月16日

このスレッドだけで本1冊分くらいの分量がありそうだな。

タグ:

posted at 09:39:23

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 モデルの一部分に過ぎない事前分布だけについて特に主観的か否かを問題にしている時点で「こいつダメだな」と判断して問題ないと思う。

タグ: 統計

posted at 10:01:22

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 事前分布だけが主観的だと感じるダメな感覚ができあがる背後には、仮説検定や区間推定が確率モデルの選び方に強く依存していることを正直に強調しない統計学教育の問題があると思います。

検定や信頼区間で正規分布モデルを安易に前提にする行為は「非科学的だ」という意味で主観的。

タグ: 統計

posted at 10:13:06

@kuri_kurita

20年2月16日

> 新型コロナウイルス対策はものすごく重要。同時に、経済をできるだけ冷え込ませないようにすることも、ものすごく重要。前者も後者も共に人命にかかわる問題。

これを口実に増税しようとするようなのが出てきたら瞬殺しような。

タグ:

posted at 10:13:35

@kuri_kurita

20年2月16日

あまりにもブッ飛んでいるので、既にそういうのが居たのを忘れていた。😆(もちろん日本の財務省の差し金だ)
www.jiji.com/sp/article?k=2...

タグ:

posted at 10:16:37

Masa Yamamoto予測誤差が大き @mshero_y

20年2月16日

統計という言葉と検定という言葉の魔力?なのか… twitter.com/genkuroki/stat...

タグ:

posted at 10:42:05

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

あいてぃ日記 @lovetdiary

20年2月16日

はやくオッパイ飲みなさい🙁 pic.twitter.com/kCxb4ETMEF

タグ:

posted at 11:58:07

こいなぎ @naginyan135

20年2月16日

【級位者向け実戦型詰将棋part116】
これを一目で詰ますことができれば初段である。 pic.twitter.com/3yXZ43XpPZ

タグ:

posted at 11:58:51

じゃがりきん @jagarikin

20年2月16日

~実際と逆回転に見えてしまう錯視~ pic.twitter.com/TjA34GlxmH

タグ:

posted at 12:14:50

matheca @paulerdosh

20年2月16日

%の計算もままならない文系の学生達に必修でビッグデータの分析させろ、と言われびっくりしたが、相手が1000程度のデータをエクセルで整理しグラフにして解釈することをビッグデータ分析と呼んでるらしいと分かりさらにのけぞった。しかもそれがAI教育だと。

タグ:

posted at 12:27:07

@namururu

20年2月16日

電動ルービックキューブの中身 pic.twitter.com/vK4w4rhRWm

タグ:

posted at 12:34:17

非公開

タグ:

posted at xx:xx:xx

岩田健太郎 K Iwata, MD, M @georgebest1969

20年2月16日

@skoba @Preprints_org 死亡は今回のモデルには組み込んでいません。シミュレーションそのものには影響はないと考えました、が、もちろんそうでないシナリオもありだと思います。

タグ:

posted at 12:52:08

ハガネの連勤術師 @hgn_no_otaku

20年2月16日

数研のここ嫌い
生徒がここ覚えようとしてて害悪だと思った pic.twitter.com/PJHcGIOdXm

タグ:

posted at 13:48:05

非公開

タグ:

posted at xx:xx:xx

おばけ @triwave33

20年2月16日

Juliaで図中に数式を使う話。LaTeXStringsを使えばできるが、テキストと数式が混在するとき、バックエンドがgrだとうまくいかない模様。たしかにうまくいかない(数式だけはできる)

#julialang

discourse.julialang.org/t/how-can-i-us... pic.twitter.com/SLt2tc4dSM

タグ: julialang

posted at 14:09:29

ぴーちゃん @pychann1112

20年2月16日

今日は雨が降ってて公園行けないから ☔️
お風呂の日になりました😸😊 pic.twitter.com/bySr2FGOmd

タグ:

posted at 14:16:57

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 はなだてさん、どうもありがとうございます。

実際の「米国統計学会の統計的有意性とP値に関する声明」の実質的内容は「P値入門」になっていて、それを読めばP値の概念をより正確につかめ、誤用する心配もなくなる類のものですよね。

ベイズ云々と無関係にこういうことは大事だと思う。続く twitter.com/87rhander/stat...

タグ: 統計

posted at 15:03:15

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 「米国統計学会の統計的有意性とP値に関する声明」の日本語訳が

www.biometrics.gr.jp/news/all/ASA.pdf

にあります。

検定について教えなければならなくなった人にとってこれは非常にありがたい翻訳だと思いました。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 15:03:18

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 仮説検定でずるをした方が有利な環境があるなら、環境の側を改善するべきだと思う。

仮説検定自体はシンプルな数学的道具の1つに過ぎず、仮説検定自体に罪はない。

仮説検定を別の何かに置き換えても、ずるをした方が有利な状況がそのままなら、ずるをする人達が必ず出て来ると思う。

タグ: 統計

posted at 15:03:20

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 階層モデル(表に出て来ない変数で内部で積分されるものを含む確率モデル)は、確率モデルp(x|w)のベイズ統計においては、パラメータwの事前分布にさらにパラメータzが入っていて、事前分布がφ(w|z)の形のときに、パラメータzについても事前分布ψ(z)を設定するモデルを考えれば自然に出て来ます。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 15:16:51

iJohannes5430☢️ @iJohannes5430

20年2月16日

一つ有益なことをつぶやいておくと、日本のツイッタラー感染症医として多数のフォロワー数を誇る岩田先生とEARL先生は、一時TLで深刻なレベルで争っていたくらいマジで仲が悪い
だから、この二人が新型コロナウイルスについて同じことを言っていたら、それは感染症学的に正しいと考えてまず間違いない

タグ:

posted at 15:20:57

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 続き。その場合の階層モデルの確率モデルは

r(x|z) = ∫p(x|w)φ(w|z) dw

と積分で表されることになり、表に出ているパラメータzの事前分布としてψ(z)が採用されている場合になります。

タグ: 統計

posted at 15:22:45

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 以前どこかで「階層ベイズでは渡辺澄夫さんのベイズ本に書いてある漸近論は使えない」というような__ひどい誤解__を見たことがあるような気がします。ひどい誤解なのでそういう主張を見つけた人は要注意。

その手の誤解はStanでモデルを書くときに生じる可能性があると思う。続く

タグ: 統計

posted at 15:22:51

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 Stanに限らず、階層モデルに出会ったら、モデル内でサンプル(データ)がどのように確率的に生成されるかを正確に把握することが必要になります。

上の場合にはこうなります。続く

タグ: 統計

posted at 15:29:03

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 サンプルのサイズがnの場合には

(1) Zが分布ψ(z)に従ってランダムに生成される。

(2) k=1,…,nについて、W_k が分布 φ(w_k|Z) に従ってランダムに生成される。

(3) k=1,…,nについて、X_kが分布 p(x_k|W_k) に従ってランダムに生成される。

Stanなどではこれを素直にコード化できる。続く

タグ: 統計

posted at 15:29:06

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 このとき、nが大きくなると、パラメータw_kの個数のnも増えて行くので、「階層ベイズでは渡辺澄夫さんの本に書いてある漸近論を使えない」という__ひどい誤解__が生じる危険性があると思う。

これがひどい誤解である理由は w_k はモデル内部で積分されて消えることを見逃しているからです。続く

タグ: 統計

posted at 15:32:39

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 モデル内部におけるサンプルX_1,…,X_nの生成のされ方は、積分表示された確率モデル

r(x|z) = ∫p(x|w)φ(w|z) dw

を使うと、

(1) Z が分布ψ(z)に従ってランダムに生成される。
(2) 必要なくなる。
(3) k=1,…,nについて、X_kが分布r(x_k|Z)に従ってランダムに生成される。

と書き直される。

タグ: 統計

posted at 15:40:39

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 この書き直した側では w_k 達は積分されて消えて見えなくなっており、渡辺澄夫さんのベイズ本の設定に戻る。

「だったら、最初からw_kを消して、階層ベイズとか言わなければいいのに」と思う人がいるかもしれませんが、モデルを数値的に解くためには「階層ベイズ」という見方が有効なのです。

タグ: 統計

posted at 15:40:42

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 階層ベイズの確率モデルは

r(x|z)=∫p(x|w)φ(w|z)dw

と積分表示されているので、モデルを直接的に数値的に解くためには、この積分を数値的に求める必要が生じます。

r(x|z) が初等函数や有名な特殊函数で書けるなら、r(x|z)のコンピュータでの計算は易しくなります。

一般にはそうではない!

タグ: 統計

posted at 15:44:53

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 もしも r(x|z) を数値積分で求めなければいけないとすると、尤度 r(X_1|z)…r(X_n|z) を計算するたびにn回数値積分が実行されてしまうことになります。数値積分は重い計算なので、実際にそれをやると、容易に、実用的な時間内で計算が終わらなくなります。

タグ: 統計

posted at 15:48:00

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 そうするのではなく、以下のリンク先の形式(階層モデルのスタイル)でモデル内でのサンプル生成法を記述して、そのスタイルを用いてコンピューターで事後分布のサンプルを作ることであれば、実用的な時間内で比較的容易に実行できる場合が多数あるのです。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 15:52:04

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 まとめ: 確率モデルr(x|z)が

r(x|z) = ∫p(x|w)φ(w|z)dw

と書けているとき、

(i) r(x|z)をコンピューターで楽に計算できるなら、w_k達を持ち出さずに数値的にモデルを解ける。

(ii) そうでなくても、階層モデルのスタイルでMCMC法を使えば事後分布のサンプルを作れる。

続く

タグ: 統計

posted at 15:56:14

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 続き。同等のことを最尤法やMAP法でやろうとすると、(ii)の方法が使えないので面倒なことになります。モデルを数値的に解くときに、ベイズ法の場合の方が道具が揃っていて、ライトユーザーが楽に参入できるということがあるのです。

ベイズ統計にはこのようなテクニカルなメリットがある。

タグ: 統計

posted at 16:00:04

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 せっかくなので、

(A) 事前分布 φ(w), 確率モデル p(x|w)

(B) 事前分布 ψ(z), 確率モデル r(x|z) = ∫p(x|w)φ(w|z)dw

の違いと関係についても説明しておきましょう。

(B)の場合については既に詳しく説明したので、(A)のモデル内でのサンプルX_kの生成の仕方を説明します。続く

タグ: 統計

posted at 16:10:00

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 (A)の場合にモデル内でサンプルX_kは以下のように生成されていると考える。

(1) Wが分布φ(w)に従ってランダムに生成される。

(2) k=1,…,nについて、X_kが分布p(x_k|W)に従ってランダムに生成される。

これと以下のリンク先の(B)の場合の注目するべき違いはWとW_kの違いです。続く twitter.com/genkuroki/stat...

タグ: 統計

posted at 16:10:04

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 (A)の場合には、X_k達は同一のパラメータ値Wで決まる確率分布p(x_k|W)で生成されます。

それに対して、階層モデルの(B)の場合に、X_k達は(一般には)互いに異なるパラメータ値W_kで決まる分布p(x_k|W_k)で生成されます。

(A)と(B)の違いは、(B)では各kが異なる「個性」を持つことだと言える。

タグ: 統計

posted at 16:14:04

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 例えば、科学者1,…,nによる物理的に同じ量の測定結果の数値がデータX_1,…,X_nとして得られているとします。

このとき、すべての科学者の測定技術が同等で同じ程度の誤差で測定できるという想定でモデルを作ると(A)型になります。

科学者ごとに測定技術に違いがあると想定すると(B)になる。

タグ: 統計

posted at 16:17:58

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 測定技術には個人差がありそうだという想定でモデルを作って統計分析したい人は(B)型のモデルを数値的に解かなければいけなくなります。

その場合には、r(x|z)を直接コンピュータで計算できるようにモデル化することもできるだろうし、階層ベイズ化してMCMCをぶん回す方法も使える。

タグ: 統計

posted at 16:22:31

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 そして、再度、誤解をし易い部分だと思うので強調しておきますが、「個性」を考えると、サンプルサイズnを増やすごとにモデルのパラメータw_kが増えるので、渡辺澄夫さんのベイズ本にある漸近論は使えない、のように考えることは__ひどい誤解__になるので注意した方が良いです。

タグ: 統計

posted at 16:26:18

Richard Dawkins @RichardDawkins

20年2月16日

It’s one thing to deplore eugenics on ideological, political, moral grounds. It’s quite another to conclude that it wouldn’t work in practice. Of course it would. It works for cows, horses, pigs, dogs & roses. Why on earth wouldn’t it work for humans? Facts ignore ideology.

タグ:

posted at 16:26:22

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 #Julia言語 補足: 私が

nbviewer.jupyter.org/github/genkuro...

で解説し、数値例を作ったStein推定では、n個の別々の期待値を持つ分散1の正規分布でX_1,…,X_nが生成されると想定しているので、「個性」を考える(B)の話に関係しており、この場合も渡辺澄夫さんのベイズ本の範囲内の話題になります。

タグ: Julia言語 統計

posted at 16:32:54

たまね @togekiss1234

20年2月16日

julialangのモジュール化難しいな…

タグ:

posted at 16:50:33

文春将棋 @bunshun_shogi

20年2月16日

うつ病九段、ついに最終回です。

【最終回】将棋の力で、僕は人生を切り拓いてきた――マンガ「うつ病九段」第25話 #うつ病九段 #shogi bunshun.jp/articles/comic...

タグ: shogi うつ病九段

posted at 17:04:18

文春将棋 @bunshun_shogi

20年2月16日

4月にコミック単行本が刊行予定です。

タグ:

posted at 17:05:17

たまね @togekiss1234

20年2月16日

Test1,Test2ってモジュールがあって、mainからTest2を直接インポートしたときの値とTest1を経由してTest2に入れた値は違うんだな…
例えばTest2にparamって変数があるとそれのpathを明示的に書くなら前者はMain.Test2.paramなんだけど、後者はMain.Test1.Test2.paramになるわけだ

タグ:

posted at 17:09:11

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 #Julia言語

nbviewer.jupyter.org/gist/genkuroki...
測定スキルの異なる7人の科学者たち

このノートではまさに以下のリンク先の問題の練習問題を扱っています。(B)でr(x|w)の積分後の結果が分かっている場合なので、ベイズ法ではなく、最尤法を使いました(へそ曲がり(笑))。AICとLOOCVも計算しています。 twitter.com/genkuroki/stat...

タグ: Julia言語 統計

posted at 17:14:38

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 #Julia言語 最尤法版の

nbviewer.jupyter.org/gist/genkuroki...
測定スキルの異なる7人の科学者たち

のベイズ統計版のノート(計算&プロット)を作れば勉強になると思います。WAICやLOOCVも計算する。

さらに(B)で(ii)の方法も使ってみて、(i)の結果と比較して一致することを確認するとよいと思う。

タグ: Julia言語 統計

posted at 17:19:17

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

積分定数 @sekibunnteisuu

20年2月16日

本屋に行ってきた。共通テスト対策の問題集とかあったので数学をぱらぱら眺めた。

予想通り、太郎と花子の会話

問題作る方も苦痛だろうな。

タグ:

posted at 19:14:05

Katsushi Kagaya @katzkagaya

20年2月16日

この討論というのがどこか見つかりません... 例の selected papers にはなさそう...

タグ:

posted at 19:14:48

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 訂正

❌1(w(1-w))
⭕️1/(w(1-w))

パラメータ0≦w≦1のベルヌイ分布モデルの共役事前分布は

w^{a-1} (1-w)^{b-1}

の形。定数倍部分は本質的でないので省略。

a=b=0の場合の、両端のw=0,1に分布の集中度が最も高い場合の事前分布が最尤法に対応しています。続く twitter.com/genkuroki/stat...

タグ: 統計

posted at 19:19:37

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 n回中k回表が出たとき、表の出る確率はk/nだと推定するのが最尤法の場合で、ベイズ統計の予測分布をそれと一致させるためには、大雑把に言って事前分布を「表の出る確率はほぼ0または1に非常に近く、それ以外の可能性は小さい」とする必要があるのです。続く

タグ: 統計

posted at 19:19:46

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 だから、事前分布を「表の出る確率は0から1のあいだの値のどれでも平等にあり得る」(a=b=1、一様分布)にした場合には、最尤法と比較すると、両端の0,1近くの予測誤差が増えて、それ以外では予測誤差が下がることになります。

Jeffreys事前分布(a=b=1/2)では、以上の2つの場合の中間になる。続く

タグ: 統計

posted at 19:23:09

Katsushi Kagaya @katzkagaya

20年2月16日

やはり、歴史的にここでバトルがあったんですね。twitter.com/katzkagaya/sta... twitter.com/katzkagaya/sta...

タグ:

posted at 19:23:09

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 #Julia言語 添付画像は

nbviewer.jupyter.org/gist/genkuroki...

より。平均予測誤差(KL情報量の平均)と平均二乗誤差のプロット。サンプルサイズがn=10,20,50の場合。MLEは最尤法、Bayes(0.5,0.5)がJeffreys事前分布、Bayes(1.0,1.0)が一様事前分布の場合。

1つ前のツイートで説明した通りになっています。 pic.twitter.com/FUmJdrVkJV

タグ: Julia言語 統計

posted at 19:28:23

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 こんな感じで、平均予測誤差がどうなるかを見れば、複数の事前分布を客観的な指標で比較できる。

そういう計算を実際にしてみて、百聞は一見に如かずの精神で、観察を積み重ねれば様子がわかる。

こういう考え方は「事前分布は主観を表現している」という発想にこだわると出て来なくなる。

タグ: 統計

posted at 19:35:02

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

TaKu @takusansu

20年2月16日

@sekibunnteisuu 太郎と花子の会話で、誘導尋問的な穴埋め問題になっているという事でしょうか?

タグ:

posted at 20:09:57

モバイルプリンス @mobileprince_PR

20年2月16日

『しくじりから学ぶ13歳からのスマホルール』では、トーンポリシングについても書いています。今の小中学生にこの認識が広まれば...。 pic.twitter.com/jV4OQ3qhrb

タグ:

posted at 20:12:08

Ryo @pys_ryo2019

20年2月16日

ベイズ統計学が心理学の再現可能性を救うってことになってる論理、よくわかっていないので、統計革命特集をもう一度読んでみようと思う

タグ:

posted at 20:21:41

モバイルプリンス @mobileprince_PR

20年2月16日

『しくじりから学ぶ13歳からのスマホルール』では、「ガチ恋」についても書いています。 pic.twitter.com/IAm2MLdNTd

タグ:

posted at 20:23:36

Ryo @pys_ryo2019

20年2月16日

@lzumi1997 それすなわち、ベイズ統計ではp-hacking(に相当すること)が不可能、ということになってるということですか?

タグ:

posted at 20:32:34

John Bull @kcirevam2

20年2月16日

Pythonで理解する統計解析の基礎
www.amazon.co.jp/gp/aw/d/429710...
谷合三段おめでたい

タグ:

posted at 20:33:39

Dr. nhayashi @nhayashi1994

20年2月16日

大関真之『ベイズ推定入門』を読了.

ベイズ推論の基本とモデル選択から始まり,スパース推定,カーネル法,ガウス過程も含めて紹介する網羅的な本.
漫画のキャラがかわいいくせに特異モデルとか出てくるからギャップが面白い.白雪姫のお后様ってこんなかわいかったっけ……w

タグ:

posted at 20:35:58

Yuki Kamitani @ykamit

20年2月16日

例の本のサイトに「本論の章タイトルはDon't Say “Statistically Significant” であり,命令形ではっきりと有意性検定を禁止しています.これ以上 p 値を使い続けるということは,最大手の製造元メーカーがリコールし,乗車を禁止している車に乗るのといっしょ」とありますが
www.asakura.co.jp/books/isbn/978...

タグ:

posted at 20:38:22

Yuki Kamitani @ykamit

20年2月16日

アメリカ統計学会監修(?) The American Statistician の「21世紀の統計的推論:“p < 0.05”を超えて」で、禁止しようと言っているのは、p値の二分法的な使用であって、p値の使用を禁止しているわけではありません
www.tandfonline.com/doi/10.1080/00...

タグ:

posted at 20:41:48

Yuki Kamitani @ykamit

20年2月16日

”Despite the limitations of p-values (as noted in Principles 5 and 6 of the ASA statement), however, we are not recommending that the calculation and use of continuous p-values be discontinued.”
www.tandfonline.com/doi/10.1080/00...

タグ:

posted at 20:42:41

モバイルプリンス @mobileprince_PR

20年2月16日

『しくじりから学ぶ13歳からのスマホルール』では、AEDセクハラデマとその背景のミソジニー(女性蔑視)についても言及しています。 pic.twitter.com/Fs9dDkfACN

タグ:

posted at 20:53:14

Yuki Kamitani @ykamit

20年2月16日

しかし、p値を連続値で出すようにすると、(その小ささが)効果の強さをあらわす数字であるかのように使う人がが出てくる。「ゼロがこんなにたくさんある強い結果です」 AMEDやJSTの報告会でよくある光景

タグ:

posted at 20:59:00

バイクくん@超お嬢様のパグ @Micheletto_D

20年2月16日

@amneris84 僕は安倍政権には珍しく落ち着いた行動を取っていると思いました。感染症だけでなく他の要因で亡くなる人たちも俯瞰してバランスが取れていると思います。最善ではないかもしれませんが納得できるものです。ただ、恐怖で思考が混迷している人には無能に見えると思います。

タグ:

posted at 21:14:57

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 歪んだコインを投げてn回中k回表が出たときに、二項分布モデルでの帰無仮説をp=0~1(横軸)としたときのP値。

Normal→二項分布の正規分布近似で定義したP値
Posterior→ベイズ統計の事後分布に関するP値の類似物

2つの線の一致は「頻度論」信頼区間と「ベイズ」信用区間の一致を意味する。 pic.twitter.com/hgu2hPetyT

タグ: 統計

posted at 21:19:38

Ryuca 柳嘉 @t_ryuca

20年2月16日

プロ棋士になられた谷合廣紀四段、プロになられる前に統計解析の「Pythonで理解する統計解析の基礎 」ってな本を出版してる。。。
異色の秀才が棋界に爆誕した。

タグ:

posted at 21:19:56

モバイルプリンス @mobileprince_PR

20年2月16日

『しくじりから学ぶ13歳からのスマホルール』では、災害時の外国人へ向けられるデマについても触れています。今回のコロナウィルスをめぐっても、人種差別的なデマを見かけました。

デマは偏見を助長し、簡単に差別へと繋がります。 pic.twitter.com/Xb05TWoOl8

タグ:

posted at 21:24:24

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 1つ前のツイートに添付した動画を見れば分かるように、例えばベルヌイ分布モデル(二項分布モデル)の場合には、

「頻度論」でのP値信頼区間



「ベイズ」でのP値の類似物と信用区間

はよく一致しています。

「頻度論」でp-hacking可能ならば「ベイズ」でも全く同じ方法で可能です。 twitter.com/not_identified... pic.twitter.com/NdrCn6TPG3

タグ: 統計

posted at 21:24:47

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 所謂情報量基準を使ったモデル選択でもいくらでもずるをできます。

ずるをした側が得をする環境では、ずるをするやつは必ず出て来ると思う。

そして、嘘がばれ難くするには、嘘をついた人自身も嘘をついていないと信じていた方がよい。

ああ、いやだ、いやだ。

タグ: 統計

posted at 21:31:35

Yuki Nagai @cometscome_phys

20年2月16日

numerical recipesのコード、現代では精度が悪い(例えばベッセル関数)とか色々あるので、できれば使わないようにすべき

タグ:

posted at 21:33:30

Yuki Nagai @cometscome_phys

20年2月16日

いまどきnumerical recipesにしかないアルゴリズムってあるんだろうか

タグ:

posted at 21:34:01

Yuki Nagai @cometscome_phys

20年2月16日

Why not use Numerical Recipes? www.uwyo.edu/buerkle/misc/w...

タグ:

posted at 21:37:01

Yuki Nagai @cometscome_phys

20年2月16日

numerical recipesの何のコードを使うかにもよるけど、非線形最適化とかもMKLにあるので、まずMKLの使用を考えるのがよさけま

タグ:

posted at 21:43:04

Yuki Nagai @cometscome_phys

20年2月16日

よさけま -> よさげ

タグ:

posted at 21:45:10

Yuki Nagai @cometscome_phys

20年2月16日

ここにあるように、numerical recipesの第1種ベッセル関数の0次と1次は倍精度だとしても6桁も精度がない事が知られている。自分も試した事がある。Why not use Numerical Recipes? www.uwyo.edu/buerkle/misc/w...

タグ:

posted at 21:47:50

Shuhei Kadowaki @kdwkshh

20年2月16日

Juno (Julia IDE)の新しいバージョンをリリースしました!
4か月ぶりのリリースで、めちゃたくさんの便利機能追加とパフォーマンス改善などなどを含んでます。ぜひ試してみてください :)
リリースノートも書いたのでもしよければ読んでいただけると嬉しいです!

discourse.julialang.org/t/ann-juno-0-1...

タグ:

posted at 21:51:14

Shuhei Kadowaki @kdwkshh

20年2月16日

インストール等はこのリンクを見てみてください:
docs.junolab.org/latest/man/ins...

せっかくなので後日Qiitaかどこかで今回のリリースについて日本語にして記事にするかもしれません。

#Julia言語 #Juno

タグ: Julia言語 Juno

posted at 21:54:21

積分定数 @sekibunnteisuu

20年2月16日

@takusansu その通りです。

タグ:

posted at 21:58:49

積分定数 @sekibunnteisuu

20年2月16日

@takusansu こんな感じ
math.nakaken88.com/problem/kyotsu...

普通に問題出して解かせりゃいいと思うけどね

タグ:

posted at 22:03:03

TaKu @takusansu

20年2月16日

@sekibunnteisuu こんな問題をやらせても、現実問題の対処能力は測れそうにないですね。

タグ:

posted at 22:11:27

柴田英里 @erishibata

20年2月16日

ジェンダーの教授の保守的なジェンダー観がヤバい。「ミカンを箱で買うのは家族を持ったお母さん」という昭和の保守的な家族観を持って学生にジェンダースタディーズを教えているのだとしたら、「ジェンダースタディーズ」そのもののバックラッシュでしかない。 twitter.com/peureka/status...

タグ:

posted at 22:28:54

羽藤 由美 @KITspeakee

20年2月16日

民間の出版社が発行した共通テストの国語記述式の例題集作成に,大学入試センターが設置した「国語問題作成分科会」の分科会長と委員数人がかかわっていた。← 産経のスクープだが,驚くのは「国語もか」ということだけ。

a.msn.com/01/ja-jp/BB103...

タグ:

posted at 22:36:27

羽藤 由美 @KITspeakee

20年2月16日

「共通テストは公正であることが不可欠で、関係者が立場を利用して金銭的な報酬を得るなど利益を図るような利益相反行為は厳禁とされている」← 笑止千万。利益相反行為を排除したら共通テストは運営できない状態になっていた。

タグ:

posted at 22:38:51

羽藤 由美 @KITspeakee

20年2月16日

2024年に向けた入試のあり方を検討する前に,文教族議員や文科省・センターと民間事業者の正常なあり方を検討すべき。その前提が担保されなければ,教育改革も入試改革もあったものではない惨状。犯人を絞り上げるのが先でしょう!

タグ:

posted at 22:45:19

羽藤 由美 @KITspeakee

20年2月16日

その下で委員等を務める研究者の堕落も凄まじい。例題集を作った委員らは文科省と出版社の両方から報酬を受け取っていたのではないのか? YNT2020もそうだったのではないのか? 文科行政への国民の不信がここまで募っているのに,このまま前に進めるわけがない。清算して出直しを!

タグ:

posted at 22:55:57

hiromin @hiromin___

20年2月16日

@KITspeakee この件だけで共通テスト中止に値します

タグ:

posted at 23:02:47

黒木玄 Gen Kuroki @genkuroki

20年2月16日

#統計 なるほど、これはおもろいな。

What’s wrong with Bayes « Statistical Modeling, Causal Inference, and Social Science statmodeling.stat.columbia.edu/2019/12/03/wha...

タグ: 統計

posted at 23:34:49

Viral B. Shah @Viral_B_Shah

20年2月16日

The new Juno release has a long list of impressive new capabilities and improvements. Especially on the debugging and profiling front. Thanks to the work of @kdwkshh and Sebastian.

discourse.julialang.org/t/ann-juno-0-1... pic.twitter.com/evr59aGpBB

タグ:

posted at 23:36:04

Yossy @Yossy_K

20年2月16日

入学共通テスト、問題作成委員らが例題集を出版 「疑念持たれる」と指摘受け複数辞任 www.sankei.com/life/news/2002... @Sankei_newsさんから

タグ:

posted at 23:39:36

黒木玄 Gen Kuroki @genkuroki

20年2月16日

職業上、手がチョークまみれになることが多く、指先から水分が抜けて、爪の周辺の皮膚がボロボロになってしまうことがよくあった。特に冬がまずい。😭

白ワセリンを指先に塗ってほぼ完全に拭き取る習慣にしたら、冬に指先がボロボロになることがなくなりました。😊

タグ:

posted at 23:51:44

centerou @mtanaka160

20年2月16日

@hgn_no_otaku @genkuroki 教科書が親切になり過ぎたと思う。📏

タグ:

posted at 23:53:10

ハガネの連勤術師 @hgn_no_otaku

20年2月16日

@mtanaka160 @genkuroki 事実を載せればいいというわけではないんですけどねぇ…

タグ:

posted at 23:54:30

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました