Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
Favolog ホーム » @genkuroki » 2018年02月21日
並び順 : 新→古 | 古→新

2018年02月21日(水)

shokou5 @shokou5

18年2月21日

@kunisakamoto 『啓蒙なう』,まだ よみはじめた ばかりなんだけれど,逆に,プロ歴史家が 事象間の 因果関係を みとめる時って,どうゆう 根拠に もとづいて やるんですか?

タグ:

posted at 00:00:11

Kuni Sakamoto @kunisakamoto

18年2月21日

@morgenroethe5 うーん、私たちの日常の判断とそんなに変わらないんじゃないかなあ。AとBが時間的にそんなに離れていなくて、AがなければBがなかったと推測されるときに、AがBの原因じゃないかと言いたくなる、くらいの。

タグ:

posted at 00:08:47

shokou5 @shokou5

18年2月21日

@kunisakamoto やっぱり 素朴物理学か.とすると つよく ピンカーを 批判できるのか 微妙ですね.ピンカーも そういう 直観を 利用しているのでは? 歴史家どうしで,因果関係の 認定を めぐる 論争が あるなら,もうすこし 基準が 明瞭に なるのかも しれないと おもうんだけれど.

タグ:

posted at 00:15:03

Kuni Sakamoto @kunisakamoto

18年2月21日

@morgenroethe5 日常生活のなかでも、いやいやBの原因としてAを認めるのはおかしいよ。それらは別の話だよ、という指摘はあるよね。ハリソンの指摘は、そういうタイプのものだと思う。

タグ:

posted at 00:22:05

goropikari @goropikari_

18年2月21日

iTerm + GR だと何度プロットしても大丈夫だな。
Linux でもこれくらい安定してくれるといいのだが。
#julialang twitter.com/goropikari_/st...

タグ: julialang

posted at 00:24:20

shokou5 @shokou5

18年2月21日

@kunisakamoto なるほど.そういう 直観的な 世界観に 対して,想定外の 因果関係についての 主張が できるのが 自然科学の つよみだと おもうんだけれど,歴史的な 現象については,けっきょく,おてあげなんだろうね.

タグ:

posted at 00:25:05

Kuni Sakamoto @kunisakamoto

18年2月21日

@morgenroethe5 folk psychology と歴史学は一蓮托生(でいいのか)という、この前の話になる。

タグ:

posted at 00:30:27

shokou5 @shokou5

18年2月21日

@kunisakamoto うんうん.歴史は (ある 程度)現在とは ことなる folk prychology を もった ひとびとによって つむがれてきた,という 可能性を かんがえると,「どこまで 歴史を 素朴に 解釈できるのか 問題」,にも なる.むしろ ピンカーなら,不変の 人間本性に うったえて 素朴な 解釈を 擁護できそう.

タグ:

posted at 00:40:20

shokou5 @shokou5

18年2月21日

@kunisakamoto いや,ちがうな,過去の ひとびとの 因果理解と,(なんらかの 意味での)ほんとうの 因果関係は,また,区別しなければ ならないわけで.たいへんですね….

タグ:

posted at 00:43:44

非公開

タグ:

posted at xx:xx:xx

YukigaSki @danksmash1204

18年2月21日

@nogawam TOSSも入って来ています。
www.facebook.com/mannerkids/pos...

タグ:

posted at 00:54:36

大橋拓文 @ohashihirofumi

18年2月21日

今日の今研vs. AQの三番勝負は感動的だったなあ。真剣勝負なんだけど、どこか人間とAIが融和してるような。お互いの良い所を引き出すような対局と雰囲気。勝負イベントですが研究会という場だったのが素晴らしかったと思います。

タグ:

posted at 01:16:44

yasuabe @yasuabe2613

18年2月21日

初めて Julia インストールして、定番のアヤメのデータで散布図とか箱ひげ図とか描いたり他愛もないことしてみてるけど、ちょっと楽しい。

タグ:

posted at 01:47:03

ceptree @ceptree

18年2月21日

スカラー場と勾配とその発散(=ラプラシアン)。3dプロットは難しい。 pic.twitter.com/0PUUTjRVbw

タグ:

posted at 01:59:15

江添亮@足首靭帯の手術から14週間 @EzoeRyou

18年2月21日

Haskell、C++の2倍遅い程度でこれだけ楽に書けるのだからPythonとかRubyを完全に駆逐してほしくある。

タグ:

posted at 02:25:39

ceptree @ceptree

18年2月21日

quiverをstreamplotにして、rotをpcolormeshで追加。rotが正(赤色)だと反時計まわりに点が回転して、負(青色)だと時計まわりに点が回転してるのがわかる。 pic.twitter.com/2XGVDGDhJw

タグ:

posted at 03:13:59

Paul Painlevé @Paul_Painleve

18年2月21日

パンルヴェ方程式の既約性を判定する「梅村の Condition (J) 」(この条件を満たすと超越次数1の特殊解が存在し、超幾何函数解を得る。証明にはスキーム論に基づく微分ガロア理論が必要である)の「J」は「条件 jyoken の J」である。梅村さんご本人に聞いた。 twitter.com/K_tech_k/statu...

タグ:

posted at 03:16:41

ceptree @ceptree

18年2月21日

アップロードしたら劣化するので、gifアップロードサイトにあげてみた
gifmagazine.net/users/60869/pr...

タグ:

posted at 03:20:06

Nature is Amazing ☘️ @AMAZlNGNATURE

18年2月21日

Look how cute this Chinchilla is 😍 pic.twitter.com/csLZEwvhde

タグ:

posted at 05:28:51

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

Masayo Takahashi @masayomasayo

18年2月21日

ステロイド報道(副作用を強調したので、ステロイドの使用を拒否する患者が増えてアトピーで全身火傷状態の痛ましい患者が増えた)、小さな合併症なども医療ミスと報道の嵐、大野産婦人科事件(医療崩壊の引き金となる事件)、子宮頸がんワクチン(WHOにも馬鹿なことはやめろと言われる世界の笑い者) twitter.com/masayomasayo/s...

タグ:

posted at 08:27:15

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

akira_ oto @akira_goto

18年2月21日

(メモ)「デメリットがはっきりしていて、メリットがないという検査が、子どもに対して大規模に行われており、しかもその事実が親御さんたちにまったく伝えられていないという状況が起こっています」
【SYNODOS】「福島の甲状腺検査をめぐる倫理的問題」(大阪大学 髙野徹氏)synodos.jp/science/21127

タグ:

posted at 08:49:50

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

森山和道/ライター、書評屋 @kmoriyama

18年2月21日

最近、「パスワードは別送しますは無意味」という記事が増えていて、それはそれでいいことだと思うのだが、そういう記事が「続きを読むにはログインが必要です。」になってるのも何だかなあと思ってしまうので同じようにやめてほしい。

タグ:

posted at 09:44:02

黒木玄 Gen Kuroki @genkuroki

18年2月21日

twitter.com/paul_painleve/...

資料補足。以下のリンク先で、高校数学IIIのある教科書に ∫_0^{π/2} sin^n x dx の計算が詳しく書いてあることの証拠が引用されています。

初めて見たときに私は「おお!高校でWallisの公式も教えているのか!」と勘違いしてしまいました。

twitter.com/genkuroki/stat...

タグ:

posted at 10:56:06

OKUMURA, Akira(奥村 曉) @AkiraOkumura

18年2月21日

中高の理科で習う「統計処理」の一つに、複数回の測定で平均値から外れた測定値が存在すると、それは測定ミスだとみなして捨てる、というのがあった。これはもちろん非科学的な態度で、実際に駒場の必修の実験で実データに適用したら、担当教員にえらい怒られて全ての測定のやり直しを命じられた。

タグ:

posted at 10:59:54

黒木玄 Gen Kuroki @genkuroki

18年2月21日

「我々」が見れば、高校数学IIIの教科書に書いてある各種の計算が普遍的かつ基本的な面白い数学の話に繋がっていることがひとめでわかるし、教科書の編著者がそういうことも意識していそうなこともわかる。そういう教科書を使って教える側の数学的教養はとても大事。

タグ:

posted at 11:00:13

黒木玄 Gen Kuroki @genkuroki

18年2月21日

本当は面白い話なのに、単に複雑なだけのつまらない計算を強制されているかのように思われてしまうような授業は最悪。

タグ:

posted at 11:02:49

黒木玄 Gen Kuroki @genkuroki

18年2月21日

Wallisの公式の証明は

(1-y)^{1/2}(1-y)^{-1/2}=1

という自明な公式にTauber型定理を適用するという方針の証明もあります。

シンプルとは限らない一般のランダムウォークの逆正弦法則の証明に必要になるアイデア。

mobile.twitter.com/genkuroki/stat...

タグ:

posted at 11:10:27

ynakahashi @ynakahashi1003

18年2月21日

Juliaって絵文字を変数として扱えるの!?
#julialang

タグ: julialang

posted at 11:25:35

(「・ω・)「ガオー @bicycle1885

18年2月21日

JupyterLabだとJuliaのLaTeX補完が動かない...?

タグ:

posted at 11:38:05

テラモナギ @teramonagi

18年2月21日

R markdownからのJulia呼びがうまくいかんが、今日はもうタイムアップだな

タグ:

posted at 11:40:16

(「・ω・)「ガオー @bicycle1885

18年2月21日

なんでこうすぐ言語XXがあるから言語YYを駆逐しろとかいうのか。言語によって用途が違うじゃないか。ただしMATLABは駆逐されろ。

タグ:

posted at 12:16:24

森脇大輔 @dmoriwaki

18年2月21日

juliaで5年ぶりくらいにスクラッチからDPモデル書いた。前はGAUSSだったのを考えると隔世の感

タグ:

posted at 12:18:23

大橋拓文 @ohashihirofumi

18年2月21日

DeepZenGo対AQ。AQが勝勢ですね。

タグ:

posted at 12:22:15

Hiroaki Yutani @yutannihilation

18年2月21日

公式コードフォーマッタ、Juliaにはあってほしい。

タグ:

posted at 12:23:14

大橋拓文 @ohashihirofumi

18年2月21日

とツイートした瞬間にAQの勝ち。DeepZenGoは人間に勝つけど、人間はAQに勝って、AQはDeepZenGoに勝つという三すくみ状態。最近人間はAIに押されてたけど人間の学習能力やっぱり凄いんじゃないかな、と思ふ。 #幽玄の間

タグ: 幽玄の間

posted at 12:25:57

Kohta Ishikawa @_kohta

18年2月21日

Matlabは駆逐されなくてもいいけどPythonは駆逐されて欲しい

タグ:

posted at 12:28:18

kouk @KoukMot

18年2月21日

juliaがポストPython的な雰囲気だということまではなんとなくわかった

タグ:

posted at 12:35:28

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 について「頻度論 vs. ベイズ」の対比で説明する人は信用しない方がよい。さらに「頻度論だとややこしくなるから、ベイズにした方がよい」という意見も誤り。ベイズ統計も難しいです。「95%信用区間に真の値が入る確率は95%である」というようなトンデモを語る人を排除できない程度に難しい。

タグ: 統計

posted at 12:37:28

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 ベイズ統計における「95%信用区間」に関する正しい説明は「事後分布に従ってランダムに生成されたパラメーターの値が95%信用区間に入る確率は95%である」です。

「真の値」と「事後分布に従ってランダムに生成された値」は全然違うものです。

タグ: 統計

posted at 12:43:48

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 p値に関するよくある誤解を指摘できるレベルの理解に達している人であっても、ベイズ統計についてはひどく誤解しているケースは珍しくない。というか、むしろ、そういうケースの方が目立つ。

授業を受ける学生の側はベイズ統計に関する誤解を解説する授業をきちんと爆撃するべき。

タグ: 統計

posted at 12:47:03

Akinori Ito @akinori_ito

18年2月21日

@genkuroki ベイズ統計では確率分布のパラメータが確率変数なので、「パラメータの真の値」というもの自体が存在しないと思っていいですか?

タグ:

posted at 12:48:29

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito いいえ。

ベイズ統計でも未知の母集団分布は決まっていると考えます。母集団分布が〇〇分布の族に含まれているなら、確率分布を決める真のパラメータ値は1つに確定していることになる。

頻度論とベイズの二通りの統計学があるという発想が誤り。赤池さん以後の現代でさすがにこれはない。続く

タグ:

posted at 12:58:25

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito 補足:現実には、推定に使う確率モデルの範囲内に、母集団分布が入っていない可能性が高い。

こういう意味では最尤法でもベイズ推定でも確率モデルのパラメータの中に「真の値」なるものは存在しないことになります。

確率モデルにサンプルを食わせて推定させて母集団分布の近似を得る話になる。続く

タグ:

posted at 13:05:29

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito 続き。基本問題は、確率モデルとサンプルから〇〇推定法で得た母集団分布の近似になっていると期待される確率分布(予測分布)がどれだけの精度での近似になっているかを見積もる方法の開発。

サンプルデータのみから、近似精度そのもの(KL divergence)を見積もることはたぶん無理。

続く

タグ:

posted at 13:09:13

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito しかし、近似精度(=Kullback-Leibler)にある未知の共通の定数(母集団分布のShannon情報量)を加えたものであれば、サンプルから推定値を得る方法が開発されています。

最尤法ではAICが有名。

ベイズ推定法ではWAICが優れています。

AICやWAICの大小関係で予測分布の良し悪しを推定できます。

タグ:

posted at 13:13:19

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito AICやWAICは予測分布の相対的良し悪しを比較するための規準。

推定に用いた確率モデルと事前分布の組の相対的良し悪しを比較するための情報量規準にベイズ自由エネルギー(=モデルエビデンス=対数周辺尤度)およびその推定値(BIC, WBIC)があります。

ここまでやらないとベイズ統計はよくわからない。

タグ:

posted at 13:18:13

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito Qさんがある確率分布qに従ってn個の乱数を独立に発生させて公開する。(乱数が従う確率分布qは秘密にしておく)

AさんとBさんはQさんが公開した乱数列から未知のqを推定し、それぞれp_A, p_Bとして発表する。

予測誤差=KL divergence D(q||p_A)とD(q||p_B)が小さい方を勝ちとする。

これが基本設定。

タグ:

posted at 13:25:48

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito AさんとBさんは推定法として、最尤法(頻度論)を使ってもベイズ推定法を使ってもよいし、単なる感で予測分布を決めてもよい。

どんな方法であっても推定で得た予測分布が真の分布qに近ければ勝てる。

頻度論もベイズ統計も単なる感もこの基本設定では平等に扱われます。

タグ:

posted at 13:29:21

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito ただし、現実の問題で、Qさんは現実世界そのものになり、真の分布qは永久に秘匿されることになるので、予測誤差D(q||p_X)そのものは計算不可能。

だから、汎化誤差 G(q||p_X) = D(q||p_X) + S(q) の推定値で我慢するしかないわけです。(S(q)はシャノン情報量)

タグ:

posted at 13:33:57

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@akinori_ito AIC, WAIC, ...の実際の計算例が

nbviewer.jupyter.org/gist/genkuroki...

nbviewer.jupyter.org/gist/genkuroki...

にあります。前者は分散を1に固定した2つ山の1次元混合正規分布を扱い、後者は1次元正規分布の最も基本的な場合を扱っています。前者ではMCMCの繰り返しを15時間程度続けたので、結構大変でした。

タグ:

posted at 13:46:00

k @musicisthebest_

18年2月21日

@genkuroki ウォリスの式、教科書にはないようですが、数研出版「チャート式」啓林館「Focus Gold」という参考書には載っていました。いずれも教科書会社の本ですので、先生用の指導書の類には載っているのかもしれません。

タグ:

posted at 13:46:46

非公開

タグ:

posted at xx:xx:xx

日本脱カルト協会(公式) @JSCPR1995

18年2月21日

強姦致傷罪等で韓国で服役していた #キリスト教福音宣教会 = #摂理 の教祖・鄭明析が10年の懲役刑を終え18日に出所。'06年に性的被害の告発があり、日本の大学で多数信者を獲得していたことで問題になった団体です。当会は19日に会見を開き、「声明と注意喚起」を出しました。 www.jscpr.org/archives/356

タグ: キリスト教福音宣教会 摂理

posted at 14:50:26

芝野龍之介 @igospicyspy

18年2月21日

引用元の通り今日からAQが幽玄の間に導入されています。
さっそく打ってみたらなんと初戦から勝ててしまいました(*⁰▿⁰*)
これからはZenに加えてAQともたくさん打って修行して行きます💪 twitter.com/ugennihonkiin/...

タグ:

posted at 14:53:22

日本将棋連盟【公式】 @shogi_jsa

18年2月21日

本日の詰将棋(7手詰)です。
わかったら「いいね」ボタンをお願いします。
→ヒント、解答はこちら buff.ly/2Car234
#詰将棋 #まいにち詰将棋 #7手詰 pic.twitter.com/c3uTNp6Pih

タグ: 7手詰 まいにち詰将棋 詰将棋

posted at 15:00:04

津川 友介 @TsugawaYusuke

18年2月21日

加熱式タバコと電子タバコに関してまとめました。

メタアナリシスで電子タバコの受動吸入の有害性が示されており、加熱式タバコは紙巻タバコと電子タバコの中間に位置付けらるものですので、加熱式タバコの受動吸入も有害であると考えらえています。

#受動喫煙防止法案 pic.twitter.com/e4mN9zyT3X

タグ: 受動喫煙防止法案

posted at 16:09:21

津川 友介 @TsugawaYusuke

18年2月21日

先月、FDAの諮問委員会は、iQOSが害が少ないと言うエビデンスは無いとして、「iQOSが紙巻タバコよりも害が少ない」と宣伝することを禁じました。

この件に関する日本語の記事を見ると、何故かiQOSが紙巻タバコよりも害が少ないことをFDAが認めたという内容になっています。

time.com/5119302/iqos-c... twitter.com/yusuke_tsugawa...

タグ:

posted at 16:14:33

非公開

タグ:

posted at xx:xx:xx

Kohta Ishikawa @_kohta

18年2月21日

@DarthDraghi 行列とか周りの記法がコンピューティング寄りすぎて数学フレンドリーじゃないので嫌いなのと、importとかの仕様がややこしいのと、バージョンが混乱しててめんどくさいのと、matplotlibとかが謎とか、色々理由があります……。

タグ:

posted at 17:24:32

非公開

タグ:

posted at xx:xx:xx

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

今年?昨年から今年にかけて6人の高校生にプログラミング(セルらオートマトン)仕込んだら一人は食いついて来て遊んでる。率的には良い方だと思うけど...そもそもプログラミングとは何かという話で。 twitter.com/ktonegaw/statu...

タグ:

posted at 18:30:51

とね @ktonegaw

18年2月21日

おお、それは食いつき率がいいですね! twitter.com/tsatie/status/...

タグ:

posted at 18:32:02

ceptree @ceptree

18年2月21日

自然言語に比べてプログラミング言語のいいとこに、1つの言語を習得すれば、他の言語を習得するコストが格段に下がるというのはあるよね。

タグ:

posted at 18:36:02

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 リンク先へのコメント。

最良線形不偏推定量における「線形」の定義は「y=a+bx+cx^2+εのようにxについて非線形項を含まない」という意味では**ない**です。

「推定量β_jがY_iについて線形である」という意味です。この条件が超絶強すぎることを理解しないとダメ。

twitter.com/yutawt/status/...

タグ: 統計

posted at 18:48:55

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

@ktonegaw まぁなんというかよう分からん研究発表みたいなんをと言われ学生さん達は理科と数学からネタを選ぶのだけどネタは基本先生方がコレと示すわけでよう分からん僕がいくつか提示した中に反応拡散なチューリングパターンの話があり其れと言われて。だからまぁ選んだ割にはって感もあります。楽しかったけど

タグ:

posted at 18:54:56

とね @ktonegaw

18年2月21日

@tsatie そのような「特別授業」っていうのは、する方もされる方も楽しいですよね!

タグ:

posted at 18:57:36

HELLO CYBERNETICS @ML_deep

18年2月21日

最尤推定だろうがOLSだろうが、役立つ方が嬉しいくらいの私には詳しいことは述べられませんが

とりあえず「線形」という言葉が"パラメータに対して"使われてるってことを認知してないと、一般線形モデルでさえどこが線形やねん!!!!とか思ってしまうかも(勉強したての頃自分は思ってしまった🤐) twitter.com/genkuroki/stat...

タグ:

posted at 19:00:49

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

@ktonegaw だから、なんというか授業ではないですよ。演習と実験。あとはチューリングの論文読み。

タグ:

posted at 19:01:58

とね @ktonegaw

18年2月21日

@tsatie なるほど。チューリングの論文にどれだけ食いついてくれるかがポイントですね。

タグ:

posted at 19:03:14

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

@ktonegaw その辺は結構食いついて来て色々たくさん調べてくれました。ただまぁ偏微分な方程式だから其れを数値で解決するなんて話になると大変で。でもまぁそこも適当に説明して例えばって「例」を見せてです。まぁBasicだとライブラリがとかビジュアル化するのにどうこうとかいう敷居は低いのですよ。

タグ:

posted at 19:07:59

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

@ktonegaw 二年生で数学の方は少し早めに進めてる(今年は僕は教えてないけど)から秋くらいからは微分の話も少しは通じたのが幸い。本当はこういうのを全員に遊ばせて、ほら微分って色々便利なんだよとなれば一番いいのだけど、機材が無理。誰でもできるともいかない。ほんま辛い。文科省何やってた?って感じ。

タグ:

posted at 19:10:16

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

@ktonegaw 欲張って秋前からはJuliaでって思ったけど使いこなせない未だ安定しない、何よりネットの制限で「使えない」で冬前には諦めた。これはちょっと痛かった。何なら向こうにメールで問い合わせさせてとか楽しい事も目論んでたのに...そういう意味では力不足で不完全燃焼気味。

タグ:

posted at 19:14:52

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 誤解を生まないためには具体例が重要。というわけで私はすでに数値実験例をソースコードも含めて公開しています。

nbviewer.jupyter.org/gist/genkuroki...

これは最も易しい「y = a + bx + ε」型の回帰を扱っています。ただし、サンプルの残差εは正規分布ではなく、指数分布に従う場合を扱っています。続く

タグ: 統計

posted at 19:18:00

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 y=a+bx+εでεが正規分布と大幅に違う指数分布に従っているサンプルに、最小二乗法と残差に関する正しいモデルである指数分布残差モデルによってa,bの値を推定すると、最小二乗法は残差を正規分布でフィッティングする推定法なので誤差が大きめになってしまう。 pic.twitter.com/X5lYGCsCgh

タグ: 統計

posted at 19:44:44

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 これは「サンプルを生成した真の確率分布を含む確率モデルによる推定の方が、真の確率分布を含まない確率モデルによる推定よりも誤差が小さくなる」という非常に当たり前の話です。

真の残差が指数分布に従っているのに、正規分布モデルである最小二乗法を適用すると誤差は大きめになります。

タグ: 統計

posted at 19:47:01

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 最小二乗法を「残差が正規分布に従うという意味の確率モデルの最尤法」だと理解できれば、以上のようなことはすべてクリスタルクリアに理解できます。

最小二乗法が最良線形不偏推定量を与えるという事実を大学で講義をする人は以上のようなことに注意した方が良いのではないかと思いました。

タグ: 統計

posted at 19:51:24

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 あと、「最良線形不偏推定量」(BLUE)の「線形」は 「y = a + bx + cx^2 + ε における cx^2 のような x に関する非線形項がない」という意味では**なく**、「a,b,cの推定量が Y_i 達について線形」という超絶強い極めて特殊な条件であることも強調した方がよいかもしれません。

タグ: 統計

posted at 19:54:09

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 残差を正規分布でフィッティングする最小二乗法を、真の残差が正規分布に従っていない場合に適用するとどうなるかについて理解するためには、特殊な場合として「正規分布モデルで、正規分布以外の確率分布が生成したサンプルをフィッティングするとどうなるか」を理解しておくとよいと思う。

タグ: 統計

posted at 20:01:30

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 単純な正規分布モデルによる最尤法は、サンプルの平均と分散を求めることに等しいので、サンプルサイズ→∞で正規分布モデルのパラメーターはサンプルを独立生成した未知の確率分布の平均と分散に近付くことになります。

タグ: 統計

posted at 20:06:00

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 正規分布モデルによる未知の確率分布の推定は「未知の確率分布の平均と分散以外の情報を忘れること」に相当しています。忘れてもよい状況であれば、真の分布が正規分布ではなさそうであっても、えいやっと正規分布モデルを適用してしまっても害は小さいわけです。

タグ: 統計

posted at 20:07:44

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 現実世界への確率モデルの適用では「確率モデルの中には真の分布がぴったり含まれていない」という状況で数学的に何が起こるかに関する理解は重要だと思う。

渡辺澄夫著『ベイズ統計の理論と方法』には最尤法の場合も含めて漸近論の範囲内でそういうことがきちんと書いてあります。

タグ: 統計

posted at 20:11:07

Kohta Ishikawa @_kohta

18年2月21日

@DarthDraghi 計算ではない通常のシステム構築用途の発想で作られた言語のはずなのに、その上に計算用のライブラリが大量に作られてしまっているのがとても苦しいですね……。

タグ:

posted at 20:16:01

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 残差が正規分布に従う保証がない場合に最小二乗法を適用すると推定誤差が大きくなって思わぬ失敗をしてしまうかもしれない。

例えば上のサンプルサイズ64の場合のヒストグラムを見てみましょう。真の傾きはb=0.3で正なのに、最小二乗法だと負であると推定してしまうかもしれない。これは怖い。

タグ: 統計

posted at 20:19:38

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 確率分布の世界は複雑怪奇なので、そこに立ち向かう人は、きちんと様々な確率分布に関する教養を身に付ける必要があると思います。

最小二乗法は本質的に正規分布モデル。

タグ: 統計

posted at 20:23:03

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 まとめ:最小二乗法が「推定量β_jがY_iについて線形」という条件を満たす推定法の中で最良の(分散が最も小さな)不偏推定量を与えるという事実によって、「最小二乗法は本質的に正規分布モデルである」という主張を覆そうとする議論は誤り。「推定量β_jがY_iについて線形」という条件が強過ぎ。

タグ: 統計

posted at 20:33:17

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

何だったのだろう。個人的に間違いを消すのはどうかと思うんだけど、まぁ仕方ないよなぁ、twitterだし twitter.com/genkuroki/stat...

タグ:

posted at 20:35:59

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 もしも「最小二乗法のBLUEによる正当化」が学習者から正規分布以外の確率分布を用いた様々な推定法について学ぶモチベーションを奪っているとしたら結構問題ありだと思いました。

タグ: 統計

posted at 20:36:17

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 私の数値実験では、サンプルの残差は指数分布に従うとしましたが、指数分布を選んだ理由はテキトーです。単に正規分布から遠そうに見える分布をテキトーに選んだだけ。私の数値実験に興味を持った人は、指数分布以外の分布でも試してみるとよいと思います。

タグ: 統計

posted at 20:38:23

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 ソースコードと計算結果を

nbviewer.jupyter.org/gist/genkuroki...

で全公開しているし、実行環境も自分のパソコンにインストールする必要はなくて、ブラウザさえ使えていれば

juliabox.com

で足ります。もちろん無料で使えます。

タグ: 統計

posted at 20:40:21

黒木玄 Gen Kuroki @genkuroki

18年2月21日

@tsatie 自分で投稿した図が間違っていたという内容が間違っていたというだけの話です。間違っていたというのが間違いなので実際には正しかったということ。

タグ:

posted at 20:45:30

ʇɥƃıluooɯ ǝıʇɐs @tsatie

18年2月21日

@genkuroki ということは件の図がちゃんと残ってるわけですね。

タグ:

posted at 20:46:21

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 「最尤法やベイズ推定法を推定に用いる確率モデルの中に真の分布が含まれない場合に適用するとどうなるか?」は現実世界に統計学を適用する人が当然知っておくべき予備知識です。渡辺澄夫著『ベイズ統計の理論と方法』ではベイズ推定法と最尤法の両方についてそういう場合を扱っています。

タグ: 統計

posted at 20:50:17

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 答え:正則モデルの場合の最尤法と非正則モデルを含む一般の場合のベイズ推定法で得た予測分布はサンプルサイズ→∞で採用した確率モデルの範囲内でサンプルを独立生成した真の確率分布に近付く。確率モデルの範囲内で真の確率分布にKL情報量の意味で最も近い確率分布まで近付きます。

タグ: 統計

posted at 20:53:34

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 例:平均μと有限の分散σ²を持つ確率分布qのサンプルに、正規分布モデルによる推定法(最尤法、ベイズ推定法、どちらでもよい)を適用すると、サンプルサイズ→∞の極限で予測分布はqと同じ平均μと分散σ²を持つ正規分布に収束します。正規分布モデルによる推定は本質的に平均と分散の推定と同じ。

タグ: 統計

posted at 20:58:41

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 真の残差が正規分布に従っているとは限らない場合への最小二乗法の適用を正当化したければ、BLUEだと言っても無意味です(線形の仮定が強過ぎる)。正規分布に従っているとは限らない残差を正規分布でフィッティングすることの意味をきちんと考える必要があります。

タグ: 統計

posted at 21:02:49

HELLO CYBERNETICS @ML_deep

18年2月21日

ベイズ統計の理論と方法、私には難しくて読み切ることができなかったんですが、業界としてはあのレベルを読み切れるのが標準なのでしょうか……🤤

学問って上見だしたら自分がアホにしか感じられない。ある種の諦めもつくので辛くはないけど😌 twitter.com/genkuroki/stat...

タグ:

posted at 21:03:07

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 添付画像は

nbviewer.jupyter.org/gist/genkuroki...

で作成。サンプルサイズ64の場合。真の傾きはb=0.3なのに、最小二乗法では傾きbは負であると推定してしまう場合が結構生じてしまいます。

正しい残差モデルで推定した方では推定値の分散がかなり小さくなっている。

pic.twitter.com/X5lYGCsCgh

タグ: 統計

posted at 21:09:00

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 渡辺澄夫著『ベイズ統計の理論と方法』に書いてある証明を理解することは非常に大変です。

しかし、証明を理解できなくても、主張の内容が何であるかを理解して、実用的に利用することであれば1年以内に可能な人は多いと思います。ただし、数値実験必須。続く

twitter.com/ML_deep/status...

タグ: 統計

posted at 21:13:52

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 実用的に使うためにはコンピューターで計算できることが必要です。本の内容を順番に実装して行けば証明は理解できなくても主張の内容は理解できるはず。

渡辺澄夫著『ベイズ統計の理論と方法』は第4章定理15(p.119)の数値的シミュレーションによる確認を大きな目標にするのが良いと思います。

タグ: 統計

posted at 21:16:32

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 渡辺澄夫著『ベイズ統計の理論と方法』の主張の内容を理解して実用的に利用することを目的とする読み方での最初の小目標は「様々な確率モデルとサンプルについて事後分布をプロットしてみること」にすると良いと思う。具体的には第1章pp.20-21の内容を自分で再現することを最初の小目標にする。

タグ: 統計

posted at 21:26:48

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 もしも、p.40で定義されている汎化損失と経験損失をコンピューターで計算できるようになっていれば、p.117の定義22で定義されている汎函数分散もコンピューターで計算できるはずです。経験損失と汎函数分散をコンピューターで計算できればp.118で定義されているWAICも計算できる。

タグ: 統計

posted at 21:31:51

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 WAICの定義の次のページであるp.119に大目標である定理15があります。サンプルをたくさん生成して、その各々にベイズ推定法を適用して、汎化損失とWAICなどを計算して定理15を数値的に確認できると楽しいです(β=1の場合だけやれば十分)。

タグ: 統計

posted at 21:33:31

HELLO CYBERNETICS @ML_deep

18年2月21日

@genkuroki なるほど!ご丁寧にありがとうございます😁

タグ:

posted at 21:33:42

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 そのとき L(w_0) と L_n(w_0) の計算もできなければいけないのですが、それは、確率モデルp(x|w)にサンプルを生成する真の分布q(x)がq(x)=p(x|w_0)の形で含まれる場合を扱えば楽です。L(w)とL_n(w)の定義はp.40にあります。

タグ: 統計

posted at 21:36:15

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 以上のような事柄のコンピューターでの実装をどうしても自力でできそうもないと思ったら、私がすでにやった例を公開しているのでそれを見てもよいと思います。しかし、整理されていないので読み難いと思います(ごめんなさい)。

公開された実装例へのリンクの紹介に続く

タグ: 統計

posted at 21:38:41

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 以下はすべて #Julia言語 による例です。

nbviewer.jupyter.org/gist/genkuroki...
正規分布の共役事前分布(正規ガンマ分布)

これは全部手計算でベイズ推定の計算が可能な正規分布モデルを扱っています。最も簡単な1次元の場合。WAICとWBICなどの公式も書いてあります。よく見れば定理15の成立も確認可能。

タグ: Julia言語 統計

posted at 21:42:48

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 #Julia言語

nbviewer.jupyter.org/gist/genkuroki...

これは1次元の分散1の山が2つの混合正規分布モデルの場合です。WAICの計算は信用できます(WBICの計算は誤差が大きい)。混合正規分布モデルではベイズ推定の数値計算にMCMC法を使いました。このノートブックで作ったデータは別のノートで分析されています。

タグ: Julia言語 統計

posted at 21:44:55

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 #Julia言語

nbviewer.jupyter.org/gist/genkuroki...

これは山の分散を1に固定した混合正規分布のサンプルサイズ128の場合の分析結果です。In [33]以降が非常に面白いです。

タグ: Julia言語 統計

posted at 21:48:47

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 #Julia言語 添付画像はそのIn[33]より。

KL =(G_n - L(w_0)の2n倍)
WT = (W_n - L_n(w_0)の2n倍)

です。サンプルは標準正規分布で生成し、mixnormalモデルは分散1の正規分布の山が2つの混合正規分布モデルで、normal1は分散1の1つ山の正規分布モデルです。続く pic.twitter.com/ZH03s19n3T

タグ: Julia言語 統計

posted at 21:52:36

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 標準正規分布(分散1、平均0の正規分布)に従う乱数で生成したサイズ128のサンプルをmixnormalモデルとnormal1モデルで推定し、KLとWTを求め、それらをサンプルごとに点でプロットしています。同じ色の点は同じサンプルに対応しています。

タグ: 統計

posted at 21:54:02

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 KL =(G_n - L(w_0)の2n倍) のプロット結果と WT = (W_n - L_n(w_0)の2n倍) のプロット結果を比較すると、「180度回転させて少しずらすと互いにほぼ一致していること」が見て取れます。これは実は「定理15」の帰結です。

非常にきれいに180度回転で一致する様子が見てとれます。

タグ: 統計

posted at 21:56:08

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 予測分布の予測誤差を意味するKLと本質的にWAICであるWTは互いにきれいに逆相関しています。この逆相関が原因で、WAICがより小さな予測分布を選択することが予測誤差がより大きな予測分布を選ぶことに繋がってしまっています。

WAICは極めて精密な量なのでこういう危険性を持っているわけです。

タグ: 統計

posted at 21:58:41

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 渡辺澄夫『ベイズ統計の理論と方法』第4章定理15(p.119)は渡辺澄夫さん自身によって開発された優れた情報量規準であるWAICの使用にどのような危険性があるかを示している定理なので、そこまで理解できればWAICを道具として十分に利用できるようになるはずです。

タグ: 統計

posted at 22:00:58

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 以上のようなコンピューターでの実装+数値的確認をすませた後の方が証明もきっと読み易くなっていると思います。証明を読むときには私による議論の一部簡単化のノートも参考になると思います。以下の場所で公開してありあります。

genkuroki.github.io/documents/2016...
一般化されたLaplaceの方法

タグ: 統計

posted at 22:02:47

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 渡辺澄夫さんは数学が得意過ぎるせいで、ゼータ函数という精密な道具を使っています。その部分はラプラスの方法をほんの少し一般化した計算で簡単化できます。

しかし、広中の特異点解消定理は必須。私も広中の特異点解消定理の証明を読んだことはありません。数学者仲間の多くがそうです。

タグ: 統計

posted at 22:05:43

ceptree @ceptree

18年2月21日

飲み会で別のラボのB4とJuliaの話で盛り上がった

タグ:

posted at 22:06:19

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 私による #Julia言語 で書いたJupyter notebookでは各種情報量規準の定義が、渡辺澄夫さんの本の2n倍になっています。このコンベンションはAICの伝統的なコンベンションに合わせたものです。AICの伝統的なコンベンションは対数尤度比のカイ二乗検定のコンベンションに等しいです。続く

タグ: Julia言語 統計

posted at 22:07:44

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 私は、カイ二乗分布のスケールに慣れているので、渡辺澄夫さんが採用しているスケールではなく、カイ二乗分布のスケールに合わせたAICの伝統的なスケールを採用しています。

カイ二乗分布は正規分布の次に学ぶべき普遍的に現われる確率分布です。多変量正規分布あるところにカイ二乗分布あり。

タグ: 統計

posted at 22:09:45

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 渡辺澄夫さんが採用しているスケールは Kullback-Leibler 情報量のスケールに等しいです。カイ二乗分布のスケールにも、KL情報量のスケールにも一長一短があり、どちらか片方が一方的に優れているということはありません。

タグ: 統計

posted at 22:11:00

黒木玄 Gen Kuroki @genkuroki

18年2月21日

#統計 最尤法もベイズ推定法もKullback-Leibler情報量の意味でモデルの確率分布で真の確率分布を近似する方法。だから、KL情報量で確率分布の違いを測ることが極めて基本的。KL情報量のSanovの定理が大数の法則なみに基本的な定理になる。解説は次のリンク先にある。
genkuroki.github.io/documents/2016...

タグ: 統計

posted at 22:14:22

ceptree @ceptree

18年2月21日

Juliaやばいっすよって連呼してておもろかった

タグ:

posted at 22:16:56

黒木玄 Gen Kuroki @genkuroki

18年2月21日

twitter.com/genkuroki/stat...

訂正:「感」じゃなくて「勘」です。 #統計

タグ: 統計

posted at 22:21:10

黒木玄 Gen Kuroki @genkuroki

18年2月21日

たぶん #Julia言語 を学生時代から使い始めた世代にとって、Julia言語は「ベースライン」になってしまうと思う。PythonやRのようにインタラクティブに使えて、Jupyter notebook上でのコードと数式とプロットの複合体による試行錯誤が容易で、CやFortranなみに速くて、Lispのようなマクロも使える。

タグ: Julia言語

posted at 22:43:38

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました