Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
Favolog ホーム » @genkuroki » 2020年11月08日
並び順 : 新→古 | 古→新

2020年11月08日(日)

数学市民@Mathpedia運営 @Infinity_topoi

20年11月8日

ただし、会計ソフトの関係で収益認識を「収益が振り込まれた地点」とみることにしています。実際は、5万円ほど広告収益やAmazonの収益があるので、マイナス27万くらいですかね。

タグ:

posted at 00:03:41

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#数楽 8乗和の公式はもっと因数分解できます。

添付画像は #Julia言語 からSymPyを使ってk乗和の公式の因数分解を表示させたものです。

ipynb
nbviewer.jupyter.org/github/genkuro...

pdf
genkuroki.github.io/documents/High...

ツイッターに普通の人が読みそうもない数式をガンガン書く人として仲間意識を感じた😊 twitter.com/sisters_phys/s... pic.twitter.com/6az4OC5bmt

タグ: Julia言語 数楽

posted at 00:17:19

OokuboTact 大久保中二病中年 @OokuboTact

20年11月8日

#超算数

小学校の掛け算・順序固定強制を批判しても現場は変わらない。
トンデモ掛け算理論は「割り算の意味(等分除・包含除)」と結び付けて教えられている。
この「割り算の意味」が算数教育全体を呪縛している。
しかも算数教育の偉い人が勧めていて、現場は洗脳されている。

タグ: 超算数

posted at 00:23:04

Dr. nhayashi @nhayashi1994

20年11月8日

@wnk_datasci RさんとJuliaさんがアップをはじめました

タグ:

posted at 00:25:41

waku @waku2011

20年11月8日

Juliaでの継続行にハマって今の時間に。
式中の符号を=に揃える習慣がアダになった模様。式を不完全の状態にしないと、改行しても継続行として認識しないということですね。¥とかつけるほうが分かりやすいかなー。

(NG)
y = 1.0
+ 2.0 * x
→ y = 1.0として認識
(OK)
x = 1.0 +
2.0 * x

タグ:

posted at 00:30:44

waku @waku2011

20年11月8日

藤井・立川本のPythonコードを一通りJuliaに移植できたので、この本でのJuliaの勉強はとりあえずひと段落としよう。CFD Juliaに戻ります。

タグ:

posted at 00:36:29

Mathieu Besançon @matbesancon

20年11月8日

Where can I learn how to use types in Julia?
@StefanKarpinski's talk on multiple dispatch is a great starter, enjoyable even for non-Julia folks
www.youtube.com/watch?v=kc9Hws...

タグ:

posted at 00:38:04

きゅーしす @Queue_sys

20年11月8日

可読性と性能を両立するという点でJulialangは良さげな気がしている

タグ:

posted at 00:43:28

yacohana @yacohana

20年11月8日

バーチャル牛越橋でバーチャル芋煮やっとる pic.twitter.com/vVcVuVUyEM

タグ:

posted at 00:56:01

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 データを尤度函数で要約してしまうと、データからどれだけの情報が失われるかについての視覚化で有名なのが

ja.wikipedia.org/wiki/%E3%82%A2...
アンスコムの例 Anscombe's quartet

モデル

y = a + bx + ε, ε~Normal(0,σ²)

の添付画像のデータに関する尤度函数は全部(ほぼ)同じになります。 twitter.com/genkuroki/stat... pic.twitter.com/fKHznoqmPW

タグ: 統計

posted at 00:57:19

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 尤度函数が同じになればベイズ統計を使っても結果は同じになります。添付画像はAnscombe's quartetのベイズ回帰の予測分布のヒートマップによるプロットです(#Julia言語 のTuring.jlを使った)。

nbviewer.jupyter.org/gist/genkuroki... twitter.com/genkuroki/stat... pic.twitter.com/GxAzw4clQ1

タグ: 統計

posted at 01:00:44

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 統計学入門において強調されている大事なことの一つが、データを一部の代表値で要約してしまうことの危険性の強調です。

Anscombeの例が有名なように、統計学の世界ではその強調は「空気の一部」になっているとさえ言えると思います。

タグ: 統計

posted at 01:03:51

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 例えば、薄青のドットのデータのプロットを省略して、ヒートマップのベイズ回帰の結果だけを示すと、すべて同じになるので、データを不適切なモデルで回帰したことがわからなくなってしまいます。 pic.twitter.com/jmOeHY1Dzv

タグ: 統計

posted at 01:07:05

OokuboTact 大久保中二病中年 @OokuboTact

20年11月8日

掛け順はいつ頃から「割り算の意味(等分除・包含除)」と結びつけて、教えるようになったのだろう?

#算数教育の歴史

タグ: 算数教育の歴史

posted at 01:24:40

マナマの生マナマコ @chor0sK

20年11月8日

中心極限定理すごい。Juliaで計算してみてるけど、だいたい50サンプルあればほとんど確実に標準正規分布になっちゃう。すごい。あまりにも収束が速い。

タグ:

posted at 01:35:11

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 添付動画は

www.autodesk.com/research/publi...
Same Stats, Different Graphs: Generating Datasets with Varied Appearance and Identical Statistics through Simulated Annealing

より。この記事では同じ要約統計量を持つ異なるデータを作る方法が解説されています。 pic.twitter.com/8yYWzEiUuK

タグ: 統計

posted at 01:37:24

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 添付動画は

www.autodesk.com/research/publi...
Same Stats, Different Graphs: Generating Datasets with Varied Appearance and Identical Statistics through Simulated Annealing

より。

box-plot (箱ひげ図)にすると区別がつかなくなる異なるデータを示してくれています。

箱ひげ図は怖い。 pic.twitter.com/0OIOsZ9Ft1

タグ: 統計

posted at 01:38:50

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 補足: リンク先の例では、平面上のサンプルの平均と分散共分散行列を同じに保っている。多変量正規分布モデルの尤度はサンプルの平均と分散共分散行列だけで決まるので、動画中のデータに対する尤度函数は全部同じになる。

データとモデルの尤度函数による要約はこういう類のものになります。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 01:53:24

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 データを不適切にプロットしたり、不適切に要約すると、どれだけ大変なことになるかを、印象的に伝える「芸」は世界の統計学ファンの間では鉄板定番のネタだと思います。

「尤度函数」とか言われると難しくて分からなくなる人はまずこういう具体的な話から入ると良いと思います。

タグ: 統計

posted at 01:56:58

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 こういう具体的な話題を楽しんで来ているところに、「〇〇主義」「〇〇原理」の話にするために、最初から不適切であることが明らかな(しかし20世紀の暗黒時代には偉い人が何故か大真面目に語っていたこと)考え方から出発して、マッチポンプ型に議論を進める本が出版されて話題になってしまった。

タグ: 統計

posted at 02:01:02

Richard Dawkins @RichardDawkins

20年11月8日

Nice that Fox News is finally reporting facts. Let’s hope they keep it up and that the era of fake news is ending, now that the Great Liar in Chief will soon be out on his ear.
www.foxnews.com/politics/biden...

タグ:

posted at 02:10:52

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 一般に指数型分布族のモデルでは尤度函数を決めるデータの要約統計量達がシンプルになります。

正規分布モデルなら、データの平均と分散だけで尤度函数が決まる。

ガンマ分布モデルなら、データの平均と対数平均だけで尤度函数が決まる。

などなど

タグ: 統計

posted at 02:12:25

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 box plotに代わる様々なグラフの描き方については、以下のリンク先のスレッドが面白いです。 twitter.com/t_weissgerber/...

タグ: 統計

posted at 02:17:43

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 文脈がよくわかりませんが、『統計学を哲学する』のように【そのモデルについて推論しうるすべてのことは~尤度に要約されなければいけない】(笑)と説明している本に関係した文脈で、「AICの導出に尤度原理を使っている」と言う人がいたら、自信を持っておバカさん扱いしないとまずいです。 twitter.com/stattan/status... pic.twitter.com/I9ceCFCJCR

タグ: 統計

posted at 02:31:27

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 【尤度原理~とは仮説やパラメータの推論に関するすべての情報は観測されたデータに対する尤度関数のなかに含まれているとする主張である】(p.123)の意味での、尤度原理はあまりにも馬鹿げた主張なので実践的でまともな統計学の話題には一切関係しないと最初から判断できないと困ると思う。

タグ: 統計

posted at 02:41:39

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 【尤度原理~とは仮説やパラメータの推論に関するすべての情報は観測されたデータに対する尤度関数のなかに含まれているとする主張である】(p.123)の意味での尤度原理がAICの導出に使われるかのようなことを言ってしまうと、普通はバカ扱いされてしまうものだと思います。

タグ: 統計

posted at 02:41:40

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#Julia言語 複数行の式をJuliaで使う場合には、Juliaのパーサーについてよく理解していないとはまりますよね。私の結論は、

  改行位置を自由に選びたい場合には括弧で囲む!

あと、式中の10や2の型は自動的にプロモート(昇格)するので、10.0や2.0と書く必要はない(書かない方がよい)。 twitter.com/waku2011/statu... pic.twitter.com/cA1xFpqfoW

タグ: Julia言語

posted at 03:03:42

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#Julia言語 より正確に言えば、ユーザー側に自動的に型がプロモート(昇格)しているように見えるように、Base.:+やBase.:*達が定義されているということです。

リポジトリで promote を検索するといいかも。

github.com/JuliaLang/juli...

タグ: Julia言語

posted at 03:13:07

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 Float64型のxを扱っているという理由で 2.0x と面倒な書き方をする必要はなくて、2x とシンプルに書いても同じネイティブコードが生成されます。

タグ: 統計

posted at 03:15:28

積分定数 @sekibunnteisuu

20年11月8日

@OokuboTact @takusansu 遠山啓、森毅、銀林浩は、数学は普通に理解しているでしょう。

 「算数・数学教育」となったとたん、おかしなモードに入ってしまうのだと思う。

 全員鬼籍に入ってしまったので不可能だが、「あなた方自身は、数教協が提唱するようなプロセスで数学を理解してきましたか?」と聞きたい。

タグ:

posted at 07:19:48

積分定数 @sekibunnteisuu

20年11月8日

@OokuboTact @takusansu 彼らは数学ができる人たちだから、できない子の気持ち・思考は推測するしかない。それで、頓珍漢な推測をして、おかしな理論を作り上げたのかな?

 それでいったん理論が作られると、「数学が得意なあなたにはわからないでしょうが、求残と求差は子供にとっては全く異なるのです。」となってしまう

タグ:

posted at 07:23:21

みやびの@miyabino.py @miyabikno

20年11月8日

プログラミング言語「Julia」の導入方法です。

Juliaの導入と実行方法〜計算と速度に優れたプログラミング言語を使おう〜 se.miyabikno-jobs.com/julia-introduc...

タグ:

posted at 08:04:41

waku @waku2011

20年11月8日

@genkuroki 括弧ですね。分かりました!

タグ:

posted at 08:22:20

日本将棋連盟【公式】 @shogi_jsa

20年11月8日

#竜王戦 七番勝負第3局】

#豊島将之 竜王 VS #羽生善治 九段

第33期竜王戦第3局が、11月7・8日(土・日)に京都市「総本山仁和寺」にて行われます。

この模様は、竜王戦中継サイト、将棋プレミアム、ABEMA、日本将棋連盟ライブ中継にてご覧いただけます。
buff.ly/2JBIv9D

タグ: 竜王戦 羽生善治 豊島将之

posted at 08:55:00

畠山勝太/サルタック @ShotaHatakeyama

20年11月8日

バイデンでは癒せない米国の分断とハイパーバトルサイボーグ達|畠山勝太/サルタック @ShotaHatakeyama #note note.com/shota_hatakeya...

タグ: note

posted at 09:27:05

Jacob Quinn @quinn_jacobd

20年11月8日

It's not every day you see a 98 commit, 405-comment PR merged; congrats Ronan for all the effort and endurance with such a massive change and so much review! #julialang #DataFames github.com/JuliaData/Data...

タグ: DataFames julialang

posted at 09:43:48

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 【尤度原理】=【仮説やパラメータの推論に関するすべての情報は観測されたデータに対する尤度関数のなかに含まれているとする主張】(p.123)という極端な考え方は普通なら最初から馬鹿げたものとみなされます。

馬鹿げていることが明らかな設定を採用することから議論を始めるマッチポンプ。

タグ: 統計

posted at 10:23:21

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 1つ前のツイートの意味での【尤度原理】のように、馬鹿げていることが明らかな設定を真面目に相手をする価値があるとみなした本を書いて販売することは、多くの人達のそういう極端で馬鹿げた考え方への抵抗力を下げることになります。人間は「権威」に結構弱い。

これが滅茶苦茶怖い。

タグ: 統計

posted at 10:23:22

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 購入した本に関する話題で知り合いがその本の意味での【尤度原理】について語っているのを見た人は、その本の意味での極端すぎて馬鹿げている【尤度原理】を馬鹿げているとみなせなくなる。さらにそういう経路で20世紀の統計学史について知ると、そういう傾向は固定されてしまうでしょう。

タグ: 統計

posted at 10:29:55

Rio McMahon @rmcsqrd

20年11月8日

Added object avoidance functionality
#JuliaLang pic.twitter.com/lUgJb4FI9K

タグ: JuliaLang

posted at 10:33:54

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 しかもそういう本が、統計学における基本概念を誤解し、不適切に解説したりしていると、その害は非常に大きくなる可能性があります。

【確率変数が持つ分布を特徴付ける値を、その期待値~という】(p.31)はひどすぎ。

「確率分布を特徴付けるパラメータ」という言い方は統計学では頻出。 pic.twitter.com/n7EctmRxHk

タグ: 統計

posted at 10:40:41

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 データの分散共分散行列から計算される楕円の長軸と回帰直線が異なることは、統計学入門の段階でよく注意されることです。初心者が誤解しがちなので、解説側は警告しておきたくなるわけです。

『統計学を哲学する』p.17ではもろに楕円の長軸を回帰直線扱いしています。 twitter.com/genkuroki/stat... pic.twitter.com/I3ahtaadgA

タグ: 統計

posted at 10:47:45

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 よくあるi.i.d.の統計学の文脈では、パラメータθ(パラメータは期待値とは異なるものであることに注意!(笑))を持つ確率密度函数p(y|θ)のデータY_1,…,Y_nに関する尤度函数L(θ)の定義は

L(θ)=p(Y_1|θ)…p(Y_n|θ)

です。尤度函数はパラメータθの函数になる。続く

タグ: 統計

posted at 11:04:07

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 尤度函数は【実際のデータの生成プロセス】と比較できるものではありません。それと比較するべきものは、パラメータ付きの確率分布p(y|θ)の方です。

下の方の青下線部分では、【尤度関数】を【実際のデータの生成プロセス】と比較するべきもの扱い。これはひどい。 pic.twitter.com/FgAK9YSMjD

タグ: 統計

posted at 11:09:35

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 これが一ヶ所だけなら筆が滑っただけともみなせるのですが、実際にはそうではない。

p.61【確率分布/確率種】
p.83【確率種/分布族】【確率種/尤度関数】【確率種/尤度関数】

とある。【確率分布】や【分布族】と【尤度関数】は全然違うものなので注意深く区別しないと確実に誤解します。 pic.twitter.com/McGz1LGO69

タグ: 統計

posted at 11:23:27

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 【尤度原理】のような馬鹿げた考え方を暗黙の前提にしているのかもしれませんが、未知の確率法則を推測するためのモデルとして用意した確率分布や確率分布族と、データに依存して決まる尤度や尤度函数は全然違うものです。

統計学初心者はおそらくその辺でも混乱しがちだと思う。

タグ: 統計

posted at 11:27:43

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 『統計学を哲学する』のずさんなスタイルは、統計学初心者が初心者にありがちな混乱を抱えたまま頑張って書かれた本だと推測すると色々辻褄が合うように思えます。

何が回帰直線であるかについての誤解や、期待値に関するデタラメな説明の仕方はまさにこの推測をサポートするものだと言えます。

タグ: 統計

posted at 11:31:42

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 初心者にとってこういうスタイルはありがちなのかなという印象は、回帰モデルの説明の仕方を見ても強化されます。

【y=β₁x₁+ε, ε~N(μ₁,σ₁²)】
【誤差項εが平均μ】‼️

というスタイルを採用している。悪いけどこれには結構受けました🤣 普通は、残差項εは平均0とします。 pic.twitter.com/OLddd7Jau4

タグ: 統計

posted at 11:40:33

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 以上で繰り返し紹介しているネタは氷山の一角に過ぎず、ぺーじをめくるたびに次々に「これはつらい」と思わざるを得ない記述がぽんぽん出て来ます。

議論の俎上に上げる以前の問題を抱えている。

この本を読んで褒めている人達はこの本を読んでいてつらくはなかったのでしょうか?

タグ: 統計

posted at 11:45:09

こいなぎ @naginyan135

20年11月8日

【級位者向け実戦型詰将棋part307(清野 静男先生作)】
こ れ は 神 の 5手 詰 め pic.twitter.com/bkTxX9AMRf

タグ:

posted at 11:58:47

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 もしかして、出版スケジュールがタイト過ぎたということなのでしょうか?

もうちょっと慎重に訂正と推敲を重ねていれば、以上のようなことを言われずに済む本に仕上がったのでは?

馬鹿げた考え方を出発点にするマッチポンプ型スタイルを廃するには構成自体を変える必要がありそうですが。

タグ: 統計

posted at 12:01:00

Jacob Quinn @quinn_jacobd

20年11月8日

Oh hey, #julialang is officially apart of the apache/arrow project! #arrow #data github.com/apache/arrow/p...

タグ: arrow data julialang

posted at 12:13:48

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 #数楽 #Julia言語

左右非対称な分布でも中心極限定理を数値的に確認すると楽しめます。

添付画像は標準正規分布に5%だけ外れ値になる分布を混ぜた分布の場合。n=200でも十分に中心極限定理が効いてきていない。

一部に極端な例外を含むというようなケースは要注意。

gist.github.com/genkuroki/d58c... twitter.com/chor0sk/status... pic.twitter.com/Jbq8wjKSD9

タグ: Julia言語 数楽 統計

posted at 12:22:25

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#Julia言語 #統計 中心極限定理がなかなか効いて来ない分布の密度函数のグラフ。右側の小さな山が中心極限定理に強烈なパンチのラッシュを浴びせかけている。 pic.twitter.com/Lp4cO8q8jw

タグ: Julia言語 統計

posted at 12:30:54

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#Julia言語 #統計 その手の分布で生成されているデータに、正規分布モデルを使った母平均の信頼区間の計算法を適用すると、信頼できない信頼区間が得られます。

この場合は、サンプルサイズを大きくしないと一部の例外の効果を正しく計測できないという当たり前の話。

nbviewer.jupyter.org/github/genkuro... twitter.com/genkuroki/stat... pic.twitter.com/exglSb3Ova

タグ: Julia言語 統計

posted at 12:46:08

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 #超算数 以下の2つは非常によく似ています。

* 算数教育の伝統に従って、かけ算には順序が決まっているとし、算数は数学と違うと言い張る。

* 前世紀の統計学の伝統に従って、ベイズ統計は主観確率のベイズ主義を採用する統計学であるとし、ベイズ統計と頻度主義は本質的に異なると言い張る。

タグ: 統計 超算数

posted at 13:15:06

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 #超算数 伝統的にずさんな考え方がされて来たという事実に思いが及ばずに、伝統的に言われて来たことに批判的になり切れず、伝統的に言われて来たずさんな考え方を自身の考え方の出発点に採用してしまうという誤謬。

タグ: 統計 超算数

posted at 13:19:03

Hangińišźavinonći Mÿ @nevi_me

20年11月8日

@quinn_jacobd @wesmckinn Congratulations! It's an amazing feat that you have achieved, having ticked so many boxes in what's supported!

タグ:

posted at 13:21:24

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 ごめんなさい。リンクをはるのに失敗していた。

尤度について理解したい人が読むと楽しめる赤池弘次さんによる1980年の論説は以下で読めます。

ismrepo.ism.ac.jp/index.php?acti...
統計的推論のパラダイムの変遷について

www.jstage.jst.go.jp/article/butsur...
エントロピーとモデルの尤度

添付画像は後者より😅 twitter.com/genkuroki/stat... pic.twitter.com/anzDkmNtGL

タグ: 統計

posted at 13:30:55

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 論説の読み方のヒント

Kullback-Leibler情報量入門では「より一般的なdivergenceの特別な場合」というスタイルの不鮮明な解説を読むよりも、赤池弘次さんの論説

www.jstage.jst.go.jp/article/butsur...
エントロピーとモデルの尤度

のp.610の右半分のスタイルで理解しておくのが良いと思います。続く

タグ: 統計

posted at 13:39:28

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 続き。そこで赤池さんは

(サイズNでの確率) = exp(N×S + o(N))

のスタイルの確率の漸近挙動を扱っており、統計力学におけるエントロピーとの類似が明瞭になっています(Sの部分)。この形の漸近挙動を数学者は「大偏差原理」と呼ぶことがある(大雑把な説明注意!)

漸近挙動の記述は大事。

タグ: 統計

posted at 13:39:29

積分定数 @sekibunnteisuu

20年11月8日

@shoyugi @OokuboTact @takusansu この数教協の人は典型例。理解なんかしないで算数・数学を暗記でやり過ごしたのでしょう。

 で、今度はみょうちくりんな考えに嵌ってしまっている。

 まともに理解していたら、場面を認識することと、増加と合併を区別することは別、後者はそもそも不可能でナンセンスだと分かるはず。 pic.twitter.com/AX0MCUPEfq

タグ:

posted at 13:45:25

積分定数 @sekibunnteisuu

20年11月8日

@shoyugi @OokuboTact @takusansu ステラキッズ@stellakids さんも数教協にかかわっているようだ。2人の主張はよく似ている。

「掛け算の順序や増加と合併はナンセンス」と言っているのを、「理解なんかどうでもいい」と解釈してしまっている。

数学ができる人が「理解なんかどうでもいい」などと言うはずないのに。 pic.twitter.com/jOVMAt7PVx

タグ:

posted at 13:51:41

積分定数 @sekibunnteisuu

20年11月8日

@shoyugi @OokuboTact @takusansu @stellakids 自分自身が数学をちゃんと理解していないから、「数学を理解する」というのがどういう状態なのかが分からないのでしょう。

数学を理解していれば、掛け算の順序や増加と合併はナンセンスだと分かるはず。

この2人は理解していないから、おかしな認識になってしまうのでしょう。

タグ:

posted at 13:53:37

Kodack @iKodack

20年11月8日

aerを動かせる形にするのにtranspile&assembleが必須っぽい割にこの二つが遅くてqiskit aerがちょっとかわいそうだから、C++でもjuliaでも何でもいいからqiskit terraをpython以外で書くか、qiskit.QuantumCircuitからAerBackend専用の迂回ルートを作った方がいいんじゃないのという気持ちになっている

タグ:

posted at 13:58:18

積分定数 @sekibunnteisuu

20年11月8日

@shoyugi @OokuboTact @takusansu @stellakids @Bff9hc0TgqmqiGB ←このアカウント、凍結されたみたい。

参考資料
twitter.com/search?q=Bff9h...

タグ:

posted at 13:59:05

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 もう1つの論説

ismrepo.ism.ac.jp/index.php?acti...
統計的推論のパラダイムの変遷について
赤池弘次 (1980)

の少なくとも第3~5節は(ベイズ統計外での)尤度の使い方に関する話だとみなせます。

タグ: 統計

posted at 14:04:12

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 第3節では、パラメータθを持つモデルの確率密度函数f(x|θ)の未知の分布g(x)のi.i.d.で生成されたデータX_1,…,X_nに関する対数尤度の1/n倍

L_n(θ) = (log f(X_1|θ) + … + f(X_n|θ))/n

は大数の法則より、平均対数尤度

E[log f(X|θ)] = ∫g(x) log f(x|θ) dx

に収束するという話。この~続く

タグ: 統計

posted at 14:14:32

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 ~平均対数尤度の

E[log f(X|θ)] = ∫g(x) log f(x|θ) dx

が「モデル f(x|θ) が未知の分布 g(x) をどれだけよく捉えているか」(大きい方がよい)を意味する正しい指標になっている理由が、もう1つの論説『エントロピーとモデルの尤度』(1980)で解説されているわけです。続く

タグ: 統計

posted at 14:14:33

TaKu @takusansu

20年11月8日

twitter.com/genkuroki/stat...
文化性に配慮しているのかなw pic.twitter.com/nZdoHkUhWC

タグ:

posted at 14:17:23

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 尤度は、モデル f(x|θ) のデータX_1,…,X_nへのフィッティングの良さ(適合度)を意味し、モデル f(x|θ) の未知である真の分布 g(x) への適合度ではないのですが、n→∞の極限では、尤度の対数の1/n倍は「モデル f(x|θ) の未知である真の分布 g(x) への適合度」の正しい指標に収束する。

タグ: 統計

posted at 14:18:48

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 尤度の概念を正しく使うためには、1つ前のツイートで説明した数学的事実は必須の予備知識になるのですが、最尤法の開発普及者であるFisherさん自身は気付いていなかったらしいというのが赤池弘次さんの見立てなわけです。

タグ: 統計

posted at 14:21:17

yudai.jl @physics303

20年11月8日

@hatori_hoku Juliaの本が増えて欲しいです…

タグ:

posted at 14:25:15

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 ismrepo.ism.ac.jp/index.php?acti... におけるその次の第4節「カイ二乗検定」の節は本質的に最尤法に関する Wilks' theorem の話とみなせます。

数理統計学ではよく知られている結果なのですが、知らない人は検索して勉強しておくとよいです↓

www.google.com/search?q=Wilks...

タグ: 統計

posted at 14:25:18

てぃあ @tia__nn

20年11月8日

juliaのこともわかってないので速いpythonだと思ってる

タグ:

posted at 14:25:34

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 Wilks' theoremは

* 最尤法における最大対数尤度と「仮説検定」の関係を与える定理

ともみなせるのですが、

* 「AIC」と「仮説検定」の関係を与える定理

ともみなせます。非常に基本的な定理であり、尤度の正しい使い方を知りたい人にとって必須の教養になります。

タグ: 統計

posted at 14:30:33

Daisuke KATO @Dsuke_KATO

20年11月8日

下付きの添え字を使ったコードが読みやすいフォントサイズに迷う。

タグ:

posted at 14:31:50

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 Wilksの定理は、

M₁: d₁次元のパラメータ空間Θ₁を持つモデルf(x|θ) (θ∈Θ₁)



M₀: それのパラメータ空間をd₀次元の部分空間Θ₀に制限して得られるモデル f(x|θ) (θ∈Θ₀)

の比較に関する結果です。

タグ: 統計

posted at 14:35:37

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 仮説検定の文脈では、パラメータ空間が大きなモデルM₁は「対立仮説」のモデル化とみなされ、パラメータ空間がその部分空間のモデルM₀は「帰無仮説」のモデル化とみなされる。

仮説検定は、帰無仮説のモデルM₀と対立仮説のモデルM₁のどちらを選択するかという問題の特別な場合になる。

タグ: 統計

posted at 14:39:57

Daisuke KATO @Dsuke_KATO

20年11月8日

Mono repoはJuliaのエコシステムと相性が悪いという話までは眺めてたけど、統合出来たのかな。 twitter.com/quinn_jacobd/s...

タグ:

posted at 14:40:14

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 例えば、ベルヌイ分布モデルにおいて、パラメータ空間をΘ₀={p₀} (1点空間)に制限した側が「成功確率はp₀である」という帰無仮説のモデル化になり、パラメータ空間をΘ₁=[0,1] (区間)にしたものが(両側検定の)対立仮説のモデル化になります。

他の多くの仮説検定がこのパターンにはまります。

タグ: 統計

posted at 14:44:21

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 データX_1,…,X_nに関する最大尤度は、パラメータ空間の大きな対立仮説のモデル化M₁の方が、パラメータ空間が部分空間になっている帰無仮説のモデル化M₀以上になります。

尤度最大化の計算時に探すパラメータの範囲が広い方が必ず大きくなる。当たり前の話。続く

タグ: 統計

posted at 14:49:55

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 nが大きなときに、パラメータ空間が大きな対立仮説のモデルM₁の最大対数尤度がパラメータ空間がその部分空間の帰無仮説のモデルM₀の最大対数尤度よりも、確率的にどれだけ大きくなるかを記述しているのが、Wilks' theoremです。

確率的にどれくらい大きくなるかがわかる!

タグ: 統計

posted at 14:52:51

Daisuke KATO @Dsuke_KATO

20年11月8日

アルゴリズムの実装を参考にするのはJuliaが楽やね、実装があれば。

タグ:

posted at 14:55:22

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 単に大きくなるだけなら自明なのですが、適当な仮定のもとで、nが大きなときに、確率的にどのように大きくなるかまで分かるというのが、Wilks' theoremの非自明な結果です。

証明は対数尤度の差に大数の法則と中心極限定理を適用すれば得られます。

タグ: 統計

posted at 14:55:37

Daisuke KATO @Dsuke_KATO

20年11月8日

言語の性質なのか、それでパッケージを作る側の人の性質なのかわかんないけど。

タグ:

posted at 14:56:51

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計

Wilks' theorem:

 (対立仮説のモデルM₁の最大対数尤度) - (帰無仮説のモデルM₀の最大対数尤度) ≧ 0

の2倍は、nが大きなときに、自由度が

 d₁ - d₀ = (パラメータ空間の次元の差)

のχ²分布に近似的に従う!

「自由度」と「χ²分布」が出て来た!

タグ: 統計

posted at 14:59:58

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 χ²検定と言えば「自由度」という用語の意味不明さが悪名高いのですが、個人的な意見では、χ²検定における「自由度」の概念を正しく理解するためには、Wilks' theoremの知識が必須です。

Wilks' theoremの予備知識を持たない人が「自由度の意味わからん」となるのは正しく分からなくなっている!

タグ: 統計

posted at 15:02:29

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 数学は下からの地道な積み重ねが基本なので、Wilks' theoremの予備知識がないくせに、χ²検定における「自由度」の概念についてわかったつもりになっている人はひどく勘違いしている可能性が高く、「自由度、意味わからん!」と正直に叫んでいる人の側の理解度および理解に迫る態度が優れている。

タグ: 統計

posted at 15:06:06

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 対立仮説のモデル化M₁の相対的に大きなパラメータ空間の次元をd₁と書き、帰無仮説のモデル化M₀の部分空間になっているパラメータ空間の次元をd₀と書くとき、その状況におけるχ²検定で使うχ²分布の自由度は d₁ - d₀ になります。これはどう見ても本質的にWilks' theoremそのものです。

タグ: 統計

posted at 15:11:30

モカマタリ @loaobo

20年11月8日

妻の手技により目を細める pic.twitter.com/UjYZIqQmkK

タグ:

posted at 15:12:31

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 もとの赤池さんの論説の第4節「カイ2乗検定」は全部で16行しかないのですが、以上のような予備知識が必要なので結構大変ですね。

タグ: 統計

posted at 15:14:21

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 あ、超絶重要な仮定を忘れていました!ごめんなさい。

以上は仮説検定の話なので、

(*) サンプルX_1,…,X_nは帰無仮説に含まれるあるパラメータθ₀∈Θ₀に対応するモデルの確率分布 f(x|θ₀) のi.i.d.として生成されている

と仮定していると読み直して下さい!

ごめんなさい。

タグ: 統計

posted at 15:18:08

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 以上を読めた人である程度以上コンピュータの扱いに慣れている人であれば、有限のnで数値的にどの程度Wilks' theoremによる近似がうまく行っているかを自分で確認できるはずです。

中心極限定理を数値的に確認している人は多いと思う。

同じことをWilks' theoremでもやってみるべき!

タグ: 統計

posted at 15:20:31

soy_bot @soyengine

20年11月8日

アイソパラメトリック要素でヤコビ行列に丸め誤差が乗る。
対角成分と比較して10^-15~10^-19程度の誤差であるため、通常の解析では問題にならないが、高レベルの応力が生じたときにNewton法が収束しない原因になる。
hmm...

タグ:

posted at 15:54:44

soy_bot @soyengine

20年11月8日

実装が悪いかもしれないので詰めます

タグ:

posted at 15:59:27

Hiroyasu Kamo @kamo_hiroyasu

20年11月8日

いわゆる京都的皮肉としては弱いです。

改良案:さすが慶大生、いろいろ考えてはりますな。 twitter.com/to_kyotodaigak...

タグ:

posted at 16:08:28

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 Wilks' theoremのコンピュータによる数値的確認が、中心極限定理の場合よりちょっとだけ面倒になる程度の手間でできることを示すために #Julia言語 でのサンプルコードを作って来ました。べた書きの最も素朴なやつ!

gist.github.com/genkuroki/6667...

タグ: Julia言語 統計

posted at 16:08:49

Hiroyasu Kamo @kamo_hiroyasu

20年11月8日

言いたいことの真反対を言うのでは、京都的にはダメです。本筋からずれたところをほめるのです。ほめているように聞こえるけど単語単位で分析するとほめ言葉が一言も入っていない表現ができたら、なお良い。

タグ:

posted at 16:11:20

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 添付画像は、サイズnのサンプルを標準正規分布 Normal() で生成して、帰無仮説のモデル化を標準正規分布(パラメータ数0)とし、対立仮説のモデル化を正規分布モデル(パラメータ数2)にした場合。

nを大きくすると、自由度2-0=2のχ²分布による近似が正確になって行く。 pic.twitter.com/E4MwW02sAL

タグ: 統計

posted at 16:12:12

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 標準正規分布Normal(0, 1)でサンプルを生成し、帰無仮説のモデル化を分散を1に固定した正規分布モデルNormal(μ, 1)(パラメータ数1)にし、対立仮説のモデル化を正規分布モデル(パラメータ数2)にした場合。

最大尤度の比の対数の2倍の分布が、自由度2-1=1のχ²分布でよく近似されている。 pic.twitter.com/mF6tYFINl3

タグ: 統計

posted at 16:15:29

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 2次元の多変量標準正規分布(平均(0,0)、分散共分散行列は単位行列)でサンプルを生成して、帰無仮説のモデル化を2次元の多変量標準正規分布モデル(パラメータ数0)とし、対立仮説のモデル化を2次元の多変量正規分布モデル(パラメータ数5)にした場合。

自由度5-0=5のχ²分布でよく近似されている。 pic.twitter.com/TqmJHygFYs

タグ: 統計

posted at 16:19:30

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 中心極限定理の数値的確認よりは少し面倒になりますが、各種プログラミング言語の確率分布のライブラリのドキュメントをよく読んでおけば、Wilks' theoremの数値的確認に本質的に難しいことはありません。

どんどん確認して、確率分布界の風景を心に刻み込んで行くと理解が捗ります。

タグ: 統計

posted at 16:22:28

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計

①帰無仮説のモデル化に含まれる確率分布でサイズnのサンプル(乱数)を生成する。

②帰無仮説と対立仮説の最大尤度の対数を計算し、後者から前者を引いた値の2倍を計算して記録に残す。

③その値達のヒストグラムとχ²分布のプロットを重ねて表示。

サンプルコード↓
gist.github.com/genkuroki/6667...

タグ: 統計

posted at 16:26:36

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 帰無仮説のモデルに含まれる確率分布でデータ(サンプル)が生成されているとき、データを生成している法則のより適切なモデル化として選択したいのはパラメータ空間が相対的に小さな帰無仮説のモデル化の側であり、余計なパラメータを増やした対立仮説のモデル化の側ではありません。

タグ: 統計

posted at 16:32:36

soy_bot @soyengine

20年11月8日

dsqrt(3.0d0)/3.0d0= 0.57735026918962584
1.0d0/dsqrt(3.0d0)= 0.57735026918962573
wolfram alpha先生によると、どちらも
0.57735026918962576
なんぞこれ

タグ:

posted at 16:33:45

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 しかし、データへのモデルの適合度を意味する尤度は、常にパラメータを増やした側(対立仮説のモデル化側)が大きくなります。

タグ: 統計

posted at 16:39:13

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 しかし、その大きくなり方はWilks' theoremによって近似的にわかっており、確率的にほとんど起こらないほど対立仮説側の尤度が大きくなってしまった場合には、データが帰無仮説のモデル化に含まれる分布で生成されているという想定が疑わしくなります。

仮説検定‼️

タグ: 統計

posted at 16:39:17

soy_bot @soyengine

20年11月8日

逆です。
dsqrt(3.0d0)/3.0d0= 0.57735026918962573
1.0d0/dsqrt(3.0d0)= 0.57735026918962584
また、real128で計算してdoubleに戻すと
dsqrt(3.0d0)/3.0d0= 0.57735026918962573
1.0d0/dsqrt(3.0d0)= 0.57735026918962579
と真値に近づきます。そこで、最も精度の出る方法で書き直します。

タグ:

posted at 16:41:18

soy_bot @soyengine

20年11月8日

BMとして、8節点アイソパラメトリック要素を1要素使ってヤコビ行列を計算しました。
x,y,zともに(-1,1)で要素を切りました。ヤコビ行列は単位行列に成るはず。
1/√3を1.0d0/dsqrt(3.0d0)として実装した場合、単位行列にならない。(誤り)
1/√3をdsqrt(3.0d0)/3.0d0として実装した場合、誤差が消失

タグ:

posted at 16:44:38

soy_bot @soyengine

20年11月8日

結論:
有理化してから割りましょう。できれば無理数の計算は4倍精度でやりましょう。

タグ:

posted at 16:45:32

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 対立仮説の最大対数尤度の2倍から帰無仮説のそれを引いた値の分布が自由度dfのχ²分布でよく近似されているならば、その値がそのχ²分布で5%未満の確率でしか生じないほど大きな領域に入っていれば「有意水準5%で帰無仮説のモデルが棄却される」とできるわけです。

これが対数尤度比のχ²検定。

タグ: 統計

posted at 16:46:07

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 尤度はn→∞でモデルの真の分布への適合度の正しい指標に近付くのですが、n→∞の極限を取り切るのではなく、その途中の様子の漸近挙動を見ることによって、最尤法の応用として、非常に一般的な仮説検定を作ることができたわけです。

タグ: 統計

posted at 16:49:38

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 Wilks' theoremの応用として作られたχ²検定の内容とAICの定義

AIC = -2(最大尤度の対数) + 2(モデルのパラメータ数)

を比較すれば、「なぜか2倍されていること」も含めて、明らかに関係していることが分かります。

その話が赤池論説第5節で指摘されている「検定と推定の密接な関係」です。

タグ: 統計

posted at 16:54:19

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 統計学の通常の応用場面で我々は「どのモデルがより正しいか」が分かりません。複数のモデルを使って推定をやり直して比較することを行うのが普通。

そのときに、どのモデルの推定結果がもっともらしいかを判断することと仮説検定がほとんど同じようなことをしていることになります!

タグ: 統計

posted at 16:57:55

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 これによって、推定と検定は理論的に統一されるべきであることが示唆されるわけです。推定と検定を無理に分離するのはよろしくない。

タグ: 統計

posted at 16:59:19

Yoshiaki Araki 荒木義明 @alytile

20年11月8日

@TOMOQ8192 このアニメーションは、julia集合です。パラメータをちょっと動かしてアニメーションにしています。
この原理をつかむといろいろなアニメーションが、できます。是非! twitter.com/alytile/status...

タグ:

posted at 17:14:28

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 上の方の記号より、

(対立仮説のAIC) = -2(対立仮説の最大対数尤度) + 2d₁
(帰無仮説のAIC) = -2(帰無仮説の最大対数尤度) + 2d₀

なので

(対立仮説のAIC) - (帰無仮説のAIC)
= -2(対立仮説と帰無仮説の最大対数尤度の差(0以上)) + 2(d₁-d₀)

d₁-d₀はχ²検定の自由度になるのでした。続く

タグ: 統計

posted at 17:16:35

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 AICによるモデル選択では、上の差の値が負になったときに、対立仮説のモデル化が選択されます。(モデル選択が失敗する場合!)

そうなるのは、近似的に自由度df=d₁-d₀のχ²分布に従う(対立仮説と帰無仮説の最大対数尤度の差(0以上))の2倍が、dfの2倍を超える場合である。続く

タグ: 統計

posted at 17:16:36

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 その確率は

df = 1 ⇒ 15.2%
df = 2 ⇒ 13.5%


で仮説検定で使われる通常の有意水準より高いです。

仮説検定ではこの確率を有意水準として先に与えており、AICによるモデル選択では複数のモデルを平等に扱うのでそうしない。 pic.twitter.com/QRIlKuKpcN

タグ: 統計

posted at 17:16:38

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 AICは比較するモデルのパラメータ空間の間に包含関係がなくても使用できます。その代わり、通常の仮説検定と違って第1種に誤りの確率を通常気にせず、大きくなる場合がある。

Wilks' theoremやそれを基礎とするχ²検定はパラメータ空間に包含関係がないと使えない。

トレードオフがある。

タグ: 統計

posted at 17:20:24

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 クールに「似たような使い方をできる似たような道具だが、トレードオフがある」と考えて、自分にとって適切な道具を選べばよい。

異なる道具の間の思想の違いを強調して別物であるという思い込みを次世代の人たちに吹き込むことは有害。

タグ: 統計

posted at 17:22:50

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 私のツイログを「お墨付き」で検索すると、口癖のように「統計学はお墨付きを得るための道具ではない」と言っている。
twilog.org/genkuroki/sear...

しかし、『統計学を哲学する』の著者によれば、統計学は【「お墨付き」を与える主要な方法論】(p.7)らしい。

教育的に極めて有害に見えた。 twitter.com/genkuroki/stat... pic.twitter.com/ZKEQpuuWBG

タグ: 統計

posted at 17:44:39

kashi @mkashi

20年11月8日

(√3)/3と1/(√3)の計算精度の違いが問題になってしまうのかあ。倍精度の限界ギリギリで戦ってる感。√(1/3)だとどうなんだろ。 twitter.com/soyengine/stat...

タグ:

posted at 17:45:53

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 『統計学を哲学する』の著者の最大の問題点は、伝統的に言われていたり、社会的に制度化されてしまっているような事柄への、健全な批判精神に欠けることかもしれないと思いました。

次世代にクズをまとめて継承させるスタイル。

タグ: 統計

posted at 17:46:43

kashi @mkashi

20年11月8日

3を2にしたらどうなる? 多分(√2)/2と√(1/2)は完全精度(2進数の特殊性)、1/(√2)はやってみないと分からない。じゃあ5なら? なんか規則性あるのかな (なさそう) 。

タグ:

posted at 17:50:35

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#竜王戦 Abema TVで見ている。

タグ: 竜王戦

posted at 18:40:41

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 余談:Wilks' theoremの「近似的に従うχ²分布の自由度は包含関係にあるパラメータ空間の次元の差になる」というシンプルな結果を使えば、r×cの分割表の独立性検定での自由度が(r-1)(c-1)になることもすぐに出ます。

nbviewer.jupyter.org/gist/genkuroki...

タグ: 統計

posted at 19:09:00

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 余談:「自由度」を包含関係にあるパラメータ空間の次元の差(所謂「余次元」(codimension))と考えると良いことについては、私以外にも言っています。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 19:16:56

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 余談: 帰無仮説によってパラメータ空間が何次元下がるかがそのまま「自由度」になります。2×2の分割表での各セルの期待値(パラメータとみなす)

α β
γ δ

について、独立性の帰無仮説は

αδ/(βγ) = 1

という条件で書け、この条件でパラメータ空間の次元は1下がるので自由度は1になる。

タグ: 統計

posted at 19:23:13

非公開

タグ:

posted at xx:xx:xx

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#竜王戦 ああ!>先手5三銀

タグ: 竜王戦

posted at 19:44:36

黒木玄 Gen Kuroki @genkuroki

20年11月8日

@junmurot #統計 具体的に詳しく説明して頂けないとどういう意味のコメントなのか理解できません。

関連しそうな話題↓

偽陽性・偽陰性・感度・特異度について「ベイズ統計」の話で語ることは相当にひどい行為でしょう。「主観確率」の話題以前の問題です。

その辺に関する医学部での教育も相当にひどい。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 20:00:26

じりおん @zillione

20年11月8日

> julia 〇〇.jl してはいけないよ[実行方法] qiita.com/Authns/items/9... #Qiita

タグ: Qiita

posted at 20:01:10

黒木玄 Gen Kuroki @genkuroki

20年11月8日

@junmurot #統計 あと、『統計学を哲学する』という本についてはp.91以外にも目を通して印象が悪い方に変わったこともスレッドを見れば分かります。

この本は、期待値の概念さえ適切な説明ができていないし、図中の回帰直線でない直線を回帰直線だと説明していたり、その他、相当に杜撰な書き方をされています。

タグ: 統計

posted at 20:03:58

黒木玄 Gen Kuroki @genkuroki

20年11月8日

@junmurot #統計 『統計学を哲学する』にある杜撰な説明の仕方への警告をせずに、この本を他人に勧めている人達はちょっと無責任だと思います。相当にひどい。

杜撰な説明があっても光るところがあると思った人は、杜撰な説明があることを正直に説明した上で、この本を他人に勧めればよいと思います。

タグ: 統計

posted at 20:07:36

非公開

タグ:

posted at xx:xx:xx

数学市民@Mathpedia運営 @Infinity_topoi

20年11月8日

@hico_game1225 凄いですね。あなたの事はよく知りませんが、僕の周りには厳しい家庭環境で、大学にも進学できず良い職につけず、不安定な労働を強いられている友人もいます。その人たちは努力や工夫が足りなかったのでしょうか。

タグ:

posted at 20:12:05

室月淳Jun Murotsuki @junmurot

20年11月8日

@genkuroki たしかにひどい教育で育ったひどい医者なんですが(笑)。臨床推論もそれぞれが実際の経験のなかで学びます。患者の病歴、症状による推論の出発点はまさにあてずっぽうの「主観的な信念の度合」で、検査結果のLHRでより確からしくしていく。ベイズ理論はそんななきら再発見されたのかと思った次第です。

タグ:

posted at 20:13:12

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 【Earman, 1992, pp.144-149】に何が書いてあるのか?

【分布族が対象を十全にモデル化】していなくても【ある弱い前提さえおけば、ベイズ流の更新プロセスは最終的に真理へと到達しうる】(p.83)とは書かれておらず、分布族と無関係にサイズ∞のデータによる真理到達の話が書かれていると予想。 twitter.com/genkuroki/stat... pic.twitter.com/I6OtuafLex

タグ: 統計

posted at 20:25:03

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 【分布族が対象を十全にモデル化】していなくても【ある弱い前提さえおけば、ベイズ流の更新プロセスは最終的に真理へと到達しうる】(p.83)は極めて驚くべき主張で、分布族のモデルを使ったベイズ更新によって到達可能なのはそのモデルで実現可能な最良の結果に過ぎません。 pic.twitter.com/xO1WTHtlFP

タグ: 統計

posted at 20:27:43

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 最も簡単な場合として、未知の分布q(y)の無限に長い独立試行の結果Y_1, Y_2, Y_3, … (無限サイズのサンプル)が得られれば、未知の分布q(y)が未知ではなくなります。これは【分布族】ともベイズ 統計とも無関係。

Earman, 1992, pp.144-149を確認した人がいたら解説をお願いします。 pic.twitter.com/nmoEg7ZJco

タグ: 統計

posted at 20:31:28

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 言うまでもないことですが、【分布族が対象を十全にモデル化】していなくても【ある弱い前提さえおけば、ベイズ流の更新プロセスは最終的に真理へと到達しうる】(p.83)は極めて驚くべき主張の「驚くべき主張」の意味は「驚くほどデタラメで非常識な主張」という意味です。 pic.twitter.com/Ef6B2SeClr

タグ: 統計

posted at 20:33:57

黒木玄 Gen Kuroki @genkuroki

20年11月8日

@junmurot #統計 偽陽性・偽陰性・感度・特異度について「ベイズ統計」で語ることについてコメントして来たという私の推測は正しかったということでしょうか?

この発言の後にリプライを切って続きを書きます。

twitter.com/junmurot/statu...

タグ: 統計

posted at 20:38:02

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 長くなる可能性があるので、迷惑にならないようにリプライを切りました。

偽陽性・偽陰性・感度・特異度の計算は小学生レベルの割合計算で可能な、「仮に~だったら~となる」というスタイルの正しい確率の計算に過ぎません。

続く

タグ: 統計

posted at 20:41:06

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 実際、とある小学生に、確率は割合と同じ意味だと思ってよいというような説明とともみ、関連の大学入試問題もやらせてみたら普通に解けました。

具体的には以下のリンク先の問題です。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 20:44:18

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 「A町の住人が胃ガンである確率は0.8%である」がすでに十分に確認された数値でなくて、どんぶり勘定の主観的推定値だったとしても、この事前確率はよくあるベイズ統計の応用場面のそれとは本質的に違っています。 twitter.com/genkuroki/stat... pic.twitter.com/gXnRpv5rSp

タグ: 統計

posted at 20:49:18

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 例えばS市の中学1年生男子の体重の分布を知るために無作為抽出で得たn人分の体重のデータを使ったベイズ統計で分布の推測を行う場合を考えます。

このとき、S市の中学1年生男子の体重の分布は確定済みで、仮に〇〇分布になっているなら、その〇〇分布のパラメータは確定済みの定数です。続く

タグ: 統計

posted at 20:52:13

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 それを知っていても、ベイズ統計のユーザーは、例えば分布のモデルとして正規分布や対数正規分布などを設定して、パラメータの事前分布も決めて、n人分のデータを使っつベイズ更新の計算を行います。続く

タグ: 統計

posted at 20:54:03

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 そのとき、ベイズ 統計ユーザーは現実には確定済みの分布を推測するために、モデルの分布のパラメータが事前分布によって確率分布していると考えるわけです。

「主観確率」で事前分布を解釈したい人はパラメータの事前分布は主観的な確信の度合いと解釈する。続く

タグ: 統計

posted at 20:58:01

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 続き。そうでない人は純粋に数学的道具として、事前分布を捉えているかもしれない。

大事なポイントは、以上のケースでは、そのような事前分布の解釈によらず、事前分布は(主観外の)現実に対応物がないことです。続く

タグ: 統計

posted at 21:00:36

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 現実にはすでに確定済みであるはずのものに関する確率分布は現実での対応物を見つけようがない。

それに対して、「A町の住人が胃ガンである確率は0.8%である」という事前確率の想定は現実に関する想定になっています。

質が全然違っているのです。 pic.twitter.com/cNNZwIm9Lm

タグ: 統計

posted at 21:04:03

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 i.i.d.のベイズ 統計について数式を使った正確な定式化を行えば、さらにそれらの違いを際立たせることができるのですが、控えます。

小学生でも解ける胃ガン検診の問題が易しいのは、通常のベイズ統計の場合と違って、単に正しい割合を計算するだけだからです。易しさが段違い! pic.twitter.com/0RLWZARxCA

タグ: 統計

posted at 21:07:42

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計

偽陽性・偽陰性・感度・特異度の計算はそれらの用語を出さなければ、小学生レベルの計算問題にすぎません。

そういう話題についてわざわざ「ベイズの定理」を使って教えているせいで、小学生でも直観的に処理できることを大人ができなくなるのです。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 21:11:21

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 さらに、「ベイズの定理」を使っていれば、「ベイズ統計」の話になるのが当然であるかのように教えているのも、デタラメのいいところです。

「胃ガンの人の割合」のような現実の事柄に関する想定と、よくあるベイズ 統計における現実に対応物がない直観的に理解が困難な事前分布では大違い!

タグ: 統計

posted at 21:14:36

不健全 @unsoundsystem

20年11月8日

今度暇になったらJuliaからQMP叩くやつ作ろ

タグ:

posted at 21:17:52

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 本当は2×2の分割表を正しく書けばすぐに理解できる小学生レベルの割合の問題に過ぎないのに、いくらでも難しい問題を含んでいる真のベイズ統計に関する話題の一部であるかのように教育するのはやめた方が良いと思います。

タグ: 統計

posted at 21:18:41

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 件の『統計学を哲学する』を安易に受け入れてしまう人達が出て来てしまうことの背後には、過去の統計学教育で教えて来た内容に問題があるからだと思います。

伝統的だが問題のある考え方にフィットするように件の本は書かれているように見える。

タグ: 統計

posted at 21:21:30

黒木玄 Gen Kuroki @genkuroki

20年11月8日

元スレッドへの相互リンク twitter.com/genkuroki/stat...

タグ:

posted at 21:24:12

数学市民@Mathpedia運営 @Infinity_topoi

20年11月8日

この手の話って、個人としてどうあるべきかと社会としてどうあるべきかという目線が混同しがちで、個人としては「創意工夫してとにかく頑張れ」は当然なんすよ。問題は社会として「経済格差等で同じ地点に到達するのに必要な努力量に大差がつくのはゲームバランス的にどうなの?」という議論であって。

タグ:

posted at 21:25:49

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 小学生にはもちろん「信念の更新」の類の話は一切していない。「ベイズの定理」についても何も言っていない。確率という言葉を大まかに割合の意味だと思って良いことだけは教えた。あと既約分数は約分すれば作れるとも教えたはず(笑)

それだけで添付画像の問題を小学生が解けました。 pic.twitter.com/2B0tRYvTeg

タグ: 統計

posted at 21:30:41

数学市民@Mathpedia運営 @Infinity_topoi

20年11月8日

「この世界は資本主義社会ですから。嫌なら共産主義国にでも行けば?」と吐き捨てる人に「Mathpediaの運営がこんな思想を持っているとは幻滅したわ」みたいなことを言われてブロックされたのだが、冷静に考えて自己責任論者がMathpediaみたいな儲かりもしない半公益事業なんてやるわけないだろ。。

タグ:

posted at 21:38:51

黒木玄 Gen Kuroki @genkuroki

20年11月8日

#統計 大学での医学教育の一環として、びっくりするほど分かりにくくて、不適切だと思われる教え方がされている事例については以下のリンク先で紹介しました。

大体において不適切な解説では、ベイズであることが疑わしい肖像画がベイズの肖像画として引用されている(笑) twitter.com/genkuroki/stat...

タグ: 統計

posted at 21:40:00

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

非公開

タグ:

posted at xx:xx:xx

新着の本ピックアップ(openBDに感謝 @new_book_openbd

20年11月8日

書名:基礎から学ぶJulia ~基本文法からデータサイエンスまで~
著者:石井一夫/著
出版者:(株)エスシーシー(SCC)
出版年月:20210126
ISBN:9784886470225
www.amazon.co.jp/dp/488647022X/

タグ:

posted at 22:48:12

yamazaks @yamazaksv2

20年11月8日

超算数案件や、漢字の異常な採点など、小学校の成績評価は担任の裁量が大きいため客観的に比較することはできないと考えます。
小学校の調査書(内申書)を点数化して入試に使ってはならないと改めて強く感じています。

タグ:

posted at 22:57:56

Peppermint @Peppermint_2525

20年11月8日

僕はデータに近い所にいるので、RとかPythonとかJuliaとかを使います。ごくたまに、Cで高速化しますが、Javaとかは使いません。

タグ:

posted at 23:08:17

皐月(JK1IWO) @frandle_esys

20年11月8日

台車型倒立振子をPIDで制御するの、もしかして難しい?(目的の角度、目的の位置まで移動)未だにシミュレーションがうまくできない。
今日はjuliaのplotsを上手く使えるようになったり、後輩を甘やかしてデレさせたりした。エグいくらい可愛い()

タグ:

posted at 23:43:18

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました