黒木玄 Gen Kuroki(@genkuroki)/2023年01月01日

2023年あけましておめでとうございます！
お年玉代わりと言ってはなんですが、場の理論と格子QCDへ入門できるノートブックを作りました
github.com/akio-tomiya/in...
冬休みのお供にどうぞ〜

タグ：

posted at 00:06:50

伊藤　剛 @GoITO

景気が悪く、経済がじゅうぶん回っていない中で過去最大の税収を記録しているというだけでもどうかしているのだが、そのさなかでさらに増税という判断ができるのは、もはや狂気なんじゃないか。しかも、政権はもはや傀儡みたいなもので、だれからも信任を受けていない財務省がそれを進めている。

タグ：

posted at 00:46:32

伊藤　剛 @GoITO

財務省からしたら、内閣の支持率が下がれば下がるほど、野党が与党をスキャンダルで攻撃すればするほど、「やりやすい」くらいなもんなんじゃなかろうか。誰が政権に座っても彼らにとっては同じことなんだから。

タグ：

posted at 00:52:55

伊藤　剛 @GoITO

自民党としても、増税前に選挙をやって「自爆攻撃」をかけるくらいしか、財務省を止める手立てはないのでは？と思ってしまう。

タグ：

posted at 00:54:28

#統計ベイズファクターによるモデルの比較は、データの数値を使わずに事前分布達を使って定義されるデータの数値の事前予測分布達を観測データの数値を使って評価比較していることになります。

事前分布も評価対象になっている。詳しい説明は以下のスレッドを参照。 twitter.com/_akiraendo/sta...

タグ：統計

posted at 01:00:25

#統計ベイズファクターの代わりに、同じことなので、周辺尤度の方で説明します。

統計モデルはパラメータ付き確率分布p(y|θ)と事前分布p(θ)で与えられているとする。すなわち、その統計モデル内でデータYは分布

p(y)=∫p(y|θ)p(θ)dθ

に従ってランダムに生成されると考える。続く

タグ：統計

posted at 01:00:26

#統計このとき、yがデータの数値(単なる数値でよい)ならば、p(y)は周辺尤度と呼ばれ、データの数値yとパラメータ付き確率分布p(y|θ)と事前分布p(θ)が定める統計モデルの相性の良さの指標の1つになります。

事前分布込みでのモデルの評価の仕方になっていることに注意！続く

タグ：統計

posted at 01:00:29

#統計さらに、データYが真の分布q(y)に従ってランダムに生成されているという仮想的な設定を考え、

S(q)=∫q(y)(-log q(y))dy

とおく。真の分布q(y)に関するモデルの分布p(y)のKullback-Leibler情報量は

KL(q||p) = ∫q(y)(-log p(y))dy - S(q) = E[-log p(Y)] - S(q)

と書ける。続く

タグ：統計

posted at 01:00:30

#統計ここで、E[-log p(Y)] はYが真の分布q(y)に従う確率変数のときの対数周辺尤度の-1倍-log p(Y)の期待値です。

ある設定では、対数周辺尤度の漸近挙動より、実現値 -log p(Y)をその期待値E[-log p(Y)]の雑な推定量とみなせます。続く

タグ：統計

posted at 01:00:32

#統計そのとき、2つのモデルp₁, p₀について

KL(q||p₁) - KL(q||p₀)
= E[-log p₁(Y)] - E[-log p₀(Y)]
≈ (-log p₁(Y))- (-log p₀(Y))
↑
この近似は雑

なので、対数周辺尤度の-1倍の差はKL情報量の差の雑な推定量とみなせます。続く

タグ：統計

posted at 01:00:33

#統計補足：KL(q||p)はモデルの分布pによる真の分布qの予測誤差の指標とみなされます(Sanovの定理を参照)。

以上の文脈でp(y)=∫p(y|θ)p(θ)dθはデータYの事前予測分布なので、対数周辺尤度の-1倍の大小の比較は、事前予測分布の予測誤差の大小の雑な比較になっています。続く

タグ：統計

posted at 01:00:33

#統計まとめ1 (真の分布が無用の解釈)：周辺尤度は、データ無しで作れる事前予測分布とデータの数値の相性の良さの指標とみなされる。(一般に、尤度はデータの数値とモデルの相性の良さの指標の1つ。)

タグ：統計

posted at 01:00:34

#統計まとめ2：データYがある真の分布q(y)に従って生成されているという設定では、異なるモデル間での対数周辺尤度の-1倍 -log pᵢ(Y) の大小比較は、事前予測分布pᵢ(y)による真の分布q(y)の予測誤差の大小比較を雑に行なっていることになる(期待値を実現値で推定している所が雑)。

タグ：統計

posted at 01:00:35

#統計まとめ2のような話は、渡辺澄夫『ベイズ統計の理論と方法』の最初の方で解説されています。

具体的な計算例については私のツイログを検索。ベイズ自由エネルギーのような用語を使っていたりする。

タグ：統計

posted at 01:00:36

@_akiraendo その問題意識への解答例をスレッドの中で詳しく説明しました。

BICや周辺尤度によるモデル選択は事前分布を含めてのモデル選択になっています。

ベイズ統計以外にも普遍的に通用する尤度によるモデル選択だと思っても良いし、事前予測分布のデータの数値による評価比較をやっていると思ってもよい。

タグ：

posted at 01:36:48

@_akiraendo 周辺尤度は事前分布にもろに依存するので、周辺尤度によるモデル選択は事前分布を含めてのモデルの選択になります。

しかも、周辺遊度による評価は、観測データの数値を用いて作られる事後予測分布ではなく、データの数値に依存せずに決まる事前予測分布の評価になっています。

タグ：

posted at 01:42:23

@_akiraendo 「AICなどと違って、周辺尤度によるモデル選択にKullback-Leibler情報量が関係しない」かのような解説を、社会的には専門家とみなされる人がしている場合もあるので、混乱するのは仕方がないと思います。

例外的に、渡辺さんの本にはクリアな解説があります。 twitter.com/genkuroki/stat...

タグ：

posted at 01:47:35

@_akiraendo その場合には、周辺尤度によるモデル選択は、弱情報事前分布もモデルの一部分とみなした上でのモデルの評価比較をやっていることになります。

それが研究上やりたいことの場合には周辺尤度でモデルを比較すればよいと思いますが、そうでない場合ややめた方がよい。

タグ：

posted at 01:50:54

@_akiraendo 注意しなければいけないことは、モデルが p(y,η)=∫p(y|θ,η)p(θ,η)dθで、パラメータηを観測データを使って何らかの方法で決める場合にはまた別の話になるということです。

統計パッケージの中には無難そうな事前分布をデータの数値から自動的に決めるものがあります。

タグ：

posted at 01:58:20

@_akiraendo さらにBICを使う話も別に考える必要があります。元のスレッドに今から解説を書きます。

タグ：

posted at 02:00:30

#統計以下の分岐からの続き

BICの基礎は、ある真の分布に従うデータY=(Y_1,…,Y_n)がi.i.d.になっている場合の、対数周辺尤度のn→∞での漸近挙動です。正則モデルなら、

-2log p(Y) = -2log p(Y|θ̂) + k log n + O(1).

ここで、kはモデルのパラメータθ=(θ_1,…,θ_k)の個数でθ̂は最尤推定量。続く twitter.com/genkuroki/stat...

タグ：統計

posted at 02:23:54

#統計 -2log p(Y) = -2log p(Y|θ̂) + k log n + O(1) のO(1)の部分が事前分布に依存する。

あと注意するべきことは、パラメータの個数は事前分布の台に含まれる領域の次元で、次元が下がった所に台を持つ事前分布ではkがより小さくなり、θ̂も事前分布の台の範囲内で探した最尤推定量になる。続く

タグ：統計

posted at 02:23:57

#統計そういう意味で、-2log p(Y) = -2log p(Y|θ̂) + k log n + O(1) のBIC部分

BIC = -2log p(Y|θ̂) + k log n

も事前分布の台に依存します。(他にも雑な説明になっている部分がある。)

続く

タグ：統計

posted at 02:24:01

#統計 nが十分に大きくて、

-2log p(Y) = BIC + O(1), BIC = -2log p(Y|θ̂) + k log n

のO(1)の部分がBIC部分の大きさと比較して無視できるならば、事前分布の詳細にはよらないBICどうしの比較で複数のモデルを比較できるようになります。

こういう話も渡辺澄夫さんの本には描いてあります。

タグ：統計

posted at 02:24:12

#統計 nが十分に大きくて、O(1)の部分がBIC部分の大きさと比較して無視できるならば、周辺尤度によるモデルの比較は、事前分布達の台には依存しますが、事前分布の詳細には依存しないモデルの比較になります。

タグ：統計

posted at 02:24:14

#統計以上は、特殊な条件が揃えば事前分布の影響は小さいとできますが、そうでない場合は事前分布に大いに依存するという当たり前の話をしただけ。

しかし、i.i.d.の設定の場合での周辺尤度の漸近挙動は基本的。正則モデルならラプラス近似一発なので易しい。一般の場合は渡辺澄夫さんの仕事。

タグ：統計

posted at 02:24:16

#統計渡辺澄夫『ベイズ統計の理論と方法』は非常に基本的なことについて書かれている本です。

AIC, BIC, WAIC, LOOCV, 対数周辺尤度の-1倍(自由エネルギー)によるモデル選択について安心できる勉強をしたい人にとってはほとんとunique solutionの教科書だと思います。

タグ：統計

posted at 02:28:13

#統計特異モデルの場合の対数周辺尤度の漸近挙動の計算の仕方については、部分的に私による解説もあります。

nbviewer.org/github/genkuro...
分配函数のゼータ函数

genkuroki.github.io/documents/2016...
一般化された Laplace の方法

タグ：統計

posted at 02:32:27

分岐 twitter.com/genkuroki/stat...

タグ：

posted at 02:33:55

#統計正則モデルでi.i.d.の設定で上で説明した意味で「nが大きい」が成立していて、モデル1のパラメータ空間をより低次元に制限して得られるモデルをモデル0としたときの、周辺尤度やBICによるモデル選択はn→大で有意水準を自動的に小さくして行くときの仮説検定と近似的に同等になります。

タグ：統計

posted at 02:47:35

#統計だから、その場合の、周辺尤度やBICによるモデル選択は、nが非常に大きなとき、非常に小さな有意水準での仮説検定とほぼ同等になります。

検出力の低下について気にする必要があるかもしれません。

この辺、まじめに計算したことがないので、やってみた人がいたら教えて下さい。

タグ：統計

posted at 02:47:36

#超算数質問：電子化する前のものと電子化後を比較して、電子化側には「誤りが含まれる」と断言しているのでしょうか？それとも確度が高そうな推測でしょうか？ twitter.com/temmusu_n/stat...

タグ：超算数

posted at 02:55:06

こんな時間にYouTubeでライブで3分将棋をやっていた。

【大晦日】女流棋士の「将棋ウォーズ」実況ライブ108局チャレンジ！！2022年越しスペシャル【後半】 youtu.be/WJnmTFZ3nuU @YouTubeより

タグ：

posted at 03:09:41

パーラー扶桑壱 @parlerjpn1

「山本直樹を知らない」という人、たぶん自民党の平沢勝栄が関与した松文館事件も知らないか意図的に忘れていると思うよ twitter.com/net_radio_/sta...

タグ：

posted at 03:50:02

Коля, кто руки мыть @hotter22

すごいな。こんな時間に将棋をやっている、

タグ：

posted at 04:19:47

富谷(助教);監修シン仮面ライダー @TomiyaAkio

我が家なら
式や図すら書かく時間が惜しく
秒で「ガム」って答えて次の問
でした

が、小学校の先生は「自明でも何か書け」「考え方が分からない」「後でつまづくぞ」と不満げでした

一人で考えるアインシュタイン型なら良いけど凡人は式を残そうね

(まぁJMO代表には成れなかったので躓いた文字数 twitter.com/yamazaksv2/sta...

タグ：

posted at 04:48:03

福島の人（4th vaccinated） @fukushimanohito

スマホ/Mac/Windows 問わず動きます

タグ：

posted at 06:26:09

mRNAワクチンがなく、自主的な行動抑制もない世界、「何もしなかった世界」はこうなるのか。西浦教授の試算がどんどん裏付けられていく。＞【フォト】中国各地の感染率５０～８０％　専門家「想定外の勢い」 www.sankei.com/article/202212... @Sankei_newsから

タグ：

posted at 06:26:26

Miura Hideki @miura1729

知念実希人　物語り @MIKITO_777

さっきやっていたCBCラジオのキリスト教への時間、統一教会に引っかかった女性がプロテスタントに改宗する経験談を話していた。統一教会も原理研も実名入りで。思いきった内容でひっくり返った。いいぞもっとやれー

タグ：

posted at 06:51:52

訴訟は何度も行っています。

まずTwitter社に開示請求訴訟を行い、そこで全て勝訴してIPアドレスを獲得、
その後、IPアドレスを元にプロバイダに開示請求訴訟を行いそれも勝訴しています。

そこで得た個人情報を元に、今月後半から和解を拒否した方への、民事訴訟に（ようやく）入ります。 twitter.com/asuka_way/stat...

タグ：

posted at 07:54:57

@genkuroki #超算数 1951年指導要領の中間発表の原稿である「小学校算数科の一般目標と指導内容」(1950年、教育図書館蔵辻田力旧蔵資料)と中間発表を豊富に引用する『学級経営事典』(小学館1951年)twitter.com/temmusu_n/stat...を実見して確度の高い推測を行いました。 pic.twitter.com/GIap6oy19t

タグ：超算数

posted at 08:20:30

TN @tomoak1n

@genkuroki 「□×7のように、積と被乗数を知って」の部分が、伝統に合わないから電子化の誤りっぽく見えると言うことかな。あるいはもとからの誤植かもしれないけど、本意ではないと推測しそう。

タグ：

posted at 08:23:43

@temmusu_n おお！例として用いている数値まで一致している！

タグ：

posted at 08:24:30

@genkuroki #超算数今ツイログが死んでいるのでちゃんと引用できないのですが、51年指導要領算数は同年12月まで出版が遅れましたが、当初の予定では５０年度中に完成するはずだったもの。50年中間発表「一般目標と指導内容」の指導内容があれば、新学期の実務はなんとかなるという側面がありました。

タグ：超算数

posted at 08:32:00

NHKニュース @nhk_news

お正月、もし周りの人がのどに餅を詰まらせたら
✅まずは声を出せるか確認
✅せきをさせて背中をたたく

餅が出てこない・せきができない場合は119番を。
応急手当の方法を動画で紹介します。

※指でとらない・水も飲ませない
※掃除機は最終手段
www.nhk.or.jp/shutoken/newsu...
#nhk_video pic.twitter.com/zgi9xNSQFx

タグ： nhk_video

posted at 09:15:00

NHKニュース @nhk_news

餅などを詰まらせて搬送される人のおよそ9割が65歳以上
食べるときに気をつけたいポイントをまとめました

✅小さく切って食べやすい大きさに
✅よくかんでゆっくり食べる
✅食べる前に水やお茶などでのどをうるおす
✅食べながら歩いたり寝転んだりしない pic.twitter.com/9OX8tvMF15

タグ：

posted at 09:15:00

ダックス医 @DachsClinic

昨日ヤマダでPC選んでたら複数の店員が「値引きしますよ」と声かけてくるも、選んでる段階なので断ってたが、1人だけ話しかけるでもなく隣で「いやーかつて私の上司に値引きしすぎて何枚始末書書いたかわからない男がいまして...」とモノローグが始まり面白すぎて聞き入ってしまい結局購入した。

タグ：

posted at 10:19:03

ごんた @HklS8DVwCciRSpK

かなり前から、不勉強や無知が恥ずかしいと思わなくなくなっている気がします。「上目せ」とか「マウント」「老害」という言葉をカジュアルに使うことで無知の正当化が無意識化してると思うのです。 twitter.com/net_radio_/sta...

タグ：

posted at 10:34:59

現太 @setogiwakyoushi

@hayawaza @sekibunnteisuu 算数の教科書が、思考を楽しませる問題ではなく、定形文の通りに数字をあてはめれば良いだけになっているため。

タグ：

posted at 12:32:19

#超算数メモ。
佐藤英二「文献紹介: 山本信也『大正・昭和初期中学校幾何教授史研究』; 上垣渉『終戦直後の混乱と再建の時期にみる教科の成立過程』; 寺崎昌男『「文検」諸学科目の試験問題とその分析」『数学教育史研究』第1巻 (2001年)、41-4ページ。doi.org/10.51012/jshsm...
1947年指導要領の起源

タグ：超算数

posted at 13:21:49

ずかし♡手作りツイート @ZukashiT

寺崎『文検』は文部省教員検定試験の復刻を含む。算術分野での出題には「整数の性質・計算の原理(説明)」「整数の性質(値の算出)」「分数の四則」が含まれるwww.jstage.jst.go.jp/article/jshsme...。鹿児島県小学校教員検定試験twitter.com/temmusu_n/stat...ほどでないにせよ戦前の #超算数が表れているかも知れない。

タグ：超算数

posted at 13:21:50

「プロフィールに本当の事を書いたらもっとフォロワーが増えるのではないですか？」ってまた言われたんですけど、本当の事しか書いてません。ツイッターではほとんど嘘言いませんし私。

タグ：

posted at 13:43:50

金子洋一神奈川20区（相模原市南区、座間 @Y_Kaneko

#超算数お隣の国語に関して、1951年指導要領のPDFを教育出版が公開していることがわかった。貴重な資料を見せてくださりありがとうございます。
www.kyoiku-shuppan.co.jp/textbook/shou/...
->
www.kyoiku-shuppan.co.jp/textbook/shou/...

タグ：超算数

posted at 14:13:32

どうせまた霞が関官僚がコロナ治療の公費負担をやめろなどと陰で蠢いているのだろうが、極めて近視眼的だ。5類云々は別として現時点では当然、公費負担を続けるべき。さもなければ低所得者層でコロナが蔓延しかねずかえって高いコストを払わなければならなくなる。twitter.com/nhk_news/statu...

タグ：

posted at 14:19:36

#統計易しく計算できる二項分布モデルを使った比率の検定に対応する場合のベイズファクターの例については

nbviewer.org/github/genkuro...

の添付画像の部分を見てください。

モデル0は比率パラメータの事前分布が値pの一点に台を持つデルタ分布の場合。

モデル1は一様事前分布の場合。続く pic.twitter.com/lEE6R6cm9k

タグ：統計

posted at 14:54:01

#統計「n個中k個」というデータの数値に対応するモデル0(パラメータの値をpに固定)の周辺尤度は

Z₀ = n!/(k!(n-k)!) pᵏ(1-p)ⁿ⁻ᵏ.

一様事前分布のモデル1の周辺尤度は

Z₁ = 1/(n+1).

です。添付画像ではベイズファクターを

BF = Z₀/Z₁

で定義しています。続く

nbviewer.org/github/genkuro... pic.twitter.com/55Z0BIQ7Dg

タグ：統計

posted at 14:54:04

窓枠 @md0wk

生物学データの統計検定は全部脳死でノンパラでよい的な内容のサイトが無限に出てくるの本当に良くない。
正しいことを知ろうとしている人が誤りに誘導されやすい状態になっている。

タグ：

posted at 15:25:31

#統計 z²=(k - np)²/(np(1-p))とおくと(添付画像では²が欠損、後で直す)、二項分布の正規分布近似より、

BF ≈ ((n+1)/√(2πnp(1-p))) exp(-z²/2)
(添付画像では2πが欠損、後で直す)

これがnが大きなとき成立している。

この近似から、通常の検定とベイズファクターの関係を導けます。 pic.twitter.com/Jtupyvv92u

タグ：統計

posted at 15:42:39

#統計仮説検定は多くの場合に、対立仮説に対応するモデル1のパラメータ空間をより低次元の部分に制限して得られる帰無仮説に対応するモデル0の比較を行なっていることになっています。

そうであってかつ簡単に計算できる場合に、ベイズファクターと通常の検定法を比較することは教育的だと思います。

タグ：統計

posted at 15:46:42

#統計そして、ベイズファクターを使って研究結果を発表したい人も、よっぽどのことがない限り、通常の仮説検定のユーザーにも自分の結果を理解してもらいたいはずです。

そういう要求にベイズファクターユーザーがこたえるためには、ベイズファクターとP値の関係についての知識が必要になります。

タグ：統計

posted at 15:50:43

#統計科学的であろうとしている研究者がとってはならない態度は「ベイズ統計の頻度論統計では主義思想哲学が違う」という言い訳によって、ベイズファクターを使って得た結果をP値ユーザーに理解してもらうことを拒否すること。

「主義思想哲学が違う」という言い訳を通したら科学でなくなります。

タグ：統計

posted at 15:54:03

#統計以下のリンク先のようなモデル1とモデル0の選択を、分散が1に固定された正規分布モデルの場合に、AIC, BIC, 通常の仮説検定を使って行うことの比較が、渡辺澄夫『ベイズ統計の理論と方法』の第3章例9(pp.80-82)にあります。

渡辺さんの本を読めば多くの基礎的疑問が解消します。 twitter.com/genkuroki/stat...

タグ：統計

posted at 16:01:04

#超算数|と私が呼ぶトンデモな算数指導は百年以上の歴史がありますが、百年をあまり越えることはないと思われます。トンデモさの多くが名数算術からくるのですが、日本が欧米の学術を導入してから名数算術を受容するまでかなりかかっているからです。名数算術自体が不完全で、受容が難しかったことも。

タグ：超算数

posted at 16:04:10

#超算数
「長崎縣小學校教員撿定試驗問題」『数学報知』共益商社書店編第100巻第11号 (1895年4月)、11-3ページ。dl.ndl.go.jp/pid/1481614/1/8
高等小学校本科正教員の部の「筆算」【
3. 次の四問は合理なりや否やを記し其理を説明せよ
(甲)　五間に七間を掛くれば如何
(乙)　金拾三円を三円にて割れば如何

タグ：超算数

posted at 16:04:11

(丙)　金三十五円を七人にて割れば如何
(丁)　五円に七人を掛くれば如何
】(12)

#超算数この問題の解説が載ったのは
「百第十一號所揭長崎縣小學校教員檢定試驗問題解義」『数学報知』共益商社書店編第100巻第14号 (1895年5月)、14-7ページ。dl.ndl.go.jp/pid/1481617/1/12
丙丁を不合理とし、解説して

タグ：超算数

posted at 16:04:11

#超算数【命数に於て同名の加減乗除は合理なれども異名数の加減乗除は素より不合理なり】と。藤沢利喜太郎が【十間に十二間を掛けて百二十坪を得たるが如く考ふるは大なる誤解なり】と述べたのは1896年twitter.com/temmusu_n/stat...。『数学報知』の論理では13円×3円なんてのも正しくなってしまう。

タグ：超算数

posted at 16:04:12

#統計渡辺澄夫『ベイズ統計の理論と方法』は

❌ベイズ統計と頻度主義は主義思想哲学が違う

というような暗黒面に陥ることを完全に拒否し、

⭕️どこまでも地道に計算してみせる

を実践している非常に良い本だと思います。ベイズ統計だけではなく、最尤法やAICの教科書にもなっています。

タグ：統計

posted at 16:04:16

#超算数雑に検索したが『数学報知』誌上でこの試驗問題解義が批判されたことはないようだ。編集部の名数算術理解のほどが分かる。ただし名数算術の不徹底を批判する記事は同誌に存在する。
二一天作「舊式不道理の教授」『数学報知』第7年第9号(通165号 1898年5月)、2ページ。dl.ndl.go.jp/pid/1481667/1/3

タグ：超算数

posted at 16:15:16

#統計補足：事前分布が一般のφ(t)で、真のパラメータ値がt=p₀のとき、n→大で、モデル1の周辺尤度は

Z₁ ≈ φ(p₀)/n

と近似され、大雑把に、BFの値は 1/φ(p₀) 倍変わります。

事前分布によってそういう違いが出ることは最初から当然だと受け入れて、ベイズファクターを使う必要があります。 twitter.com/genkuroki/stat...

タグ：統計

posted at 16:16:22

#超算数二一天作氏は東京の有名な【私立実業学校】で算術の授業を見学。【講師は得々として、3里×6時=18里など、黒板に大書して、以て曰く、斯く書せば説明を要せずして一見直ちに了解すべしと、生徒は唯々たり。】という光景を目撃し大批判。二一氏は数界小言コラムを担当dl.ndl.go.jp/search/searchR...。

タグ：超算数

posted at 16:21:06

#統計モデルiが事前分布φᵢ(t)で与えられていて、φᵢ(p₀)>0のとき(p₀は真の値)、n→大で、モデルiの周辺尤度は

Zᵢ ≈ φᵢ(p₀)/n

なので、

BF = Z₀/Z₁ ≈ φ₀(p₀)/φ₁(p₀).

だから、BFを使う検定は、事前分布に関する仮説「真の値はp₀である」の尤度比検定に近似的に等しくなります。

タグ：統計

posted at 16:23:47

#統計多分、以上で説明したシンプルな計算例を知っていれば以下のリンク先の疑問は出てこなかった可能性が高いと思いました。

あと、事後分布と事後予測分布がほぼ同じであっても、周辺尤度は全然違う場合があるのは定義から自明です。

周辺尤度は事後ではなく、事前予測分布の尤度です。続く twitter.com/_akiraendo/sta...

タグ：統計

posted at 16:32:50

#統計

統計モデル=パラメータ付き確率分布+事前分布

と

データの数値

が与えられたとき、

周辺尤度=データの数値を使わずに作った事前予測分布のデータの数値に関する尤度

を見ることと、

データの数値を使って作った事後分布や事後予測分布

を見ることは全然違うことに注意が必要です。

タグ：統計

posted at 16:32:51

#統計 (1) ベイズファクターやBICなどを使ったモデル選択は

データの数値を使わずに作った事前予測分布達

の優劣をデータの数値を使って調べていることになる。

(2) WAICやLOOCVを使ったモデル選択では

データの数値を使って作った事後予測分布達

の平均的な予測精度の優劣を大雑把に調べている。

タグ：統計

posted at 16:37:17

#統計データの数値を使って作った事後予測分布はデータサイズn→大で、モデルの範囲内での真の分布の最良近似に近付くので、事前分布の違いは事後予測分布には出難くなります。

それとは対照的に、データの数値を使わずに作った事前予測分布は事前分布に大きく依存することになります。当たり前。

タグ：統計

posted at 16:40:27

#統計簡単のため真の分布を仮定したときにどの分布と真の分布の違いを評価していることになるかを明瞭に述べていない解説を見ても理解は不可能だと思う。

以上ではその点をクリアに説明したつもり。

データの数値を使わずに立てた予測の評価とデータの数値を使って立てた予測の評価では全然違う。

タグ：統計

posted at 16:44:18

#統計シンプルな結論は

　渡辺澄夫『ベイズ統計の理論と方法』を読め

だと思ってもよい。このスレッドに書いたことのかなりの部分がこの本に本質的には書いてあるとみなされる。

タグ：統計

posted at 16:47:24

#超算数【命数に於て同名の加減乗除は合理】という間違った解説をしたのは、花咲芳松または瀧澤一二三。読者投稿と思われる。読者投稿でも名数算術を正しく解説するものもある。【実用文題中には名数にて現はるヽも乗数となるときは已に其性質を失ひ無名数たらざる可からず】dl.ndl.go.jp/pid/1481608/1/10

タグ：超算数

posted at 16:48:59

#超算数以上の通り19世紀末での名数算術の理解はお粗末なものでした。講師は明らかに成人だし、読者投稿の筆者も現代の高校生以上の年齢と思われる。彼らでさえ扱いに不自由する名数算術を小学生に理解させられるかといえば、不可能に近いのではないでしょうか。

タグ：超算数

posted at 16:58:45

Shuhei Kadowaki @kdwkshh

My #GitHubContributions by github-contributions.vercel.app:

It's funny to see the pandemic had brought about abnormal productivity. pic.twitter.com/bSiKD2MiNp

タグ： GitHubContributions

posted at 17:01:16

地下猫 @tikani_nemuru_M

「ここ１０年ほどのエロ漫画の動向をちゃんと追っていないから、エロ表現とその規制についてはなかなか発言し難いなあ」
などと思っていたら、山本直樹を知らない連中が大挙して偉そうになんか喋っているのを見て開いた口がふさがらぬ年末だった。無知ほど声がでかい。

タグ：

posted at 17:55:07

清水　団 Dan Shimizu @dannchu

Julia日本語記事まとめ @julia_kizi

高校数学の「データの分析」を JuliaとPluto.jlでWeb上に公開してみた｜清水団 zenn.dev/dannchu/articl... #zenn

タグ： zenn

posted at 18:00:57

新しい記事がZennにアップされました！#Julia言語　 #Julia日本語記事
 zenn.dev/dannchu/articl...👈

タグ： Julia日本語記事 Julia言語

posted at 18:11:11

Atsushi Sakai @Atsushi_twi

JuliaとPlutoで学ぶことができる中高生、羨ましい。。:高校数学の「データの分析」を JuliaとPluto.jlでWeb上に公開してみた zenn.dev/dannchu/articl...

タグ：

posted at 18:45:20

#超算数タイトルで後回しにしていた論文
蒔苗直道「昭和20年代の中学校数学科における単元学習の導入に関する一考察: GHQ/SCAP文書にみる「経験的単元」の提案に焦点をあてて」『教育学研究集録』筑波大学大学院教育学研究科編第24巻 (2000年10月1日)、165-74ページ。hdl.handle.net/2241/9053

タグ：超算数

posted at 19:08:17

清水　団 Dan Shimizu @dannchu

明けましておめでとうございます。
年始年末に「データの分析」の教材を作っていました。
Julia+pluto+binderで結構いい感じです。iPadでも動きます。みなさん，ぜひお試しください！#julia言語 #高校数学
 sites.google.com/johoku.ac.jp/d... pic.twitter.com/elpnTYfHio

タグ： julia言語高校数学

posted at 20:27:50

Vincent Pantal @panlepan

How to arrange 2023 dots.
#thread🧵1/n
2023=7x17² pic.twitter.com/AMYa5yZF2v

タグ： thread

posted at 21:15:38

#統計実際には、P値、尤度、事後分布などの統計学での基本になる量の入門的解説が、色々ダメになっているという現状があって、そこが解決されれば、周辺尤度(もしくはその比=ベイズファクター)の解釈に苦しむということも少なくなるように思えます。続く

タグ：統計

posted at 21:20:07

#統計データの生成のされ方のモデルとしての確率分布p(y)が統計モデルとして与えられているとき、データの数値yについて、値p(y)をデータの数値yに関する統計モデルの尤度(ゆうど)と呼びます。尤度は

　データの数値と統計モデルのcompatibilityの指標の1つ

とみなされる最も基本的な値です。続く

タグ：統計

posted at 21:20:09

#統計統計モデルp₁(y), p₀(y)が与えられとき、データの数値yに関する尤度比p₀(y)/p₁(y)を使って作った検定法は尤度比検定と呼ばれ、Neyman-Pearsonの補題の意味で最良の検定法になっている。

大事なポイントは、モデルの確率分布p₁(y), p₀(y)がデータの数値と無関係に与えられていること。

タグ：統計

posted at 21:20:10

#統計パラメータ付き確率分布p(y|θ)と事前分布φ(θ)から定義された確率分布

p(y) = ∫p(y|θ)φ(θ)dθ

をデータの生成のされ方のモデルとして採用した場合の、データの数値yに関する尤度p(y)は、yとθの同時分布p(y,θ)=p(y|θ)p(θ)のθに関する積分で定義されているので、周辺尤度と呼ばれる事が多い。

タグ：統計

posted at 21:20:11

#統計「ベイズ統計」やら「周辺」といった用語については、これらの事柄について理解するためには必須ではなく、単にデータの数値に関する統計モデルの尤度の概念を正確に理解しておけば十分です。

こういうシンプルな話になっていることがクリアに解説されていないことが大問題。

タグ：統計

posted at 21:20:12

#統計 2つの統計モデルpᵢ(y) = ∫pᵢ(y|θ)φᵢ(θ)dθ (i=0,1)のデータの数値に関する尤度比 p₀(y)/p₁(y) はベイズ統計の文脈ではベイズファクターと呼ばれますが、「ベイズファクター」という用語も必須ではなく、Neyman-Pearsonの補題で扱う尤度比検定での尤度比の特別な場合になっています。続く

タグ：統計

posted at 21:20:13

#統計繰り返しになりますが、尤度比 p₀(y)/p₁(y) はデータの数値と無関係に与えられた確率分布達を扱っています。

繰り返しになりますが、データの数値を使って何らかの推定推論の手続きを経由して作られた確率分布の話とは違うことを認識しておく必要があります。続く

タグ：統計

posted at 21:20:13

#統計非ベイズ統計でかつシンプルなモデルでよく使われている最尤法(さいゆうほう)では、パラメータ付きのi.i.d.の確率分布

p(y_1|θ)…p(y_n|θ)

が与えられていて、そのデータの数値y_1,…,y_nに関する尤度を最大化するθの値θ̂を求め、n+1個目の値の予測分布を

p(y_{n+1}|θ̂)

で定義します。続く

タグ：統計

posted at 21:20:14

#統計最尤推定値θ̂はデータの数値yに依存して決まるので、最尤法の予測分布 p(y_{n+1}|θ̂) はデータの数値yにも依存して決まります。

最尤法の予測分布 p(y_{n+1}|θ̂) の予測誤差を問題にしたい場合には数学的により込み入った議論が必要になります。

タグ：統計

posted at 21:20:15

#統計事前分布φ(θ)を与えた場合の以上の最尤法の場合に対応する統計モデルは

p(y_1,…,y_n) = ∫p(y_1|θ)…p(y_n|θ)φ(θ)dθ

になります。

タグ：統計

posted at 21:20:16

#統計データの数値y_1,…,y_nが与えられたときのy_{n+1}の事後予測分布は、条件付き確率分布として、

p*(y_{n+1}) = p(y_1,…,y_n,y_{n+1})/p(y_1,…,y_n)

で定義されます。事後予測分布p*(y_{n+1})はデータの数値y_1,…,y_nに依存している。

タグ：統計

posted at 21:20:18

#統計データの数値y_1, y_2, … がある真のパラメータ値θ₀が定める確率分布

p(y_1|θ₀)p(y_2|θ₀)…

に従ってランダムに生成されていて、適当な条件が成立していれば、データの数値に依存して決まる予測分布p(y_{n+1}|θ̂), p*(y_{n+1})は真の分布p(y_{n+1}|θ₀)にn→∞で近付くことを示せます。

タグ：統計

posted at 21:20:33

#統計真の分布q(y_1)q(y_2)…がぴったりp(y_1|θ₀)p(y_2|θ₀)…の形をしていない場合には、p(yᵢ|θ)がq(yᵢ)に最も近くなるθの値をθ₀と書けば、1つ前のツイートの結果が成立します。

成立条件はベイズ事後予測分布p*(y_{n+1})の場合の方が最尤法よりずっと緩い。この意味でベイズ統計は優れている。

タグ：統計

posted at 21:20:36

残り16件のツイートを見る

#統計あと、モデルのパラメータθ=(θ_1,…,θ_d)の個数が大きいほど、データの数値から決まる(事後)予測分布がp(y_{n+1}|θ₀)に近付く速さは遅くなりますが。

その遅くなり方を調べると、情報量規順達AIC, WAICが得られるわけです。

タグ：統計

posted at 21:20:38

#統計以上のように、

データの数値を使って作った(事後)予測分布の(平均的な)予測誤差の評価

と

データの数値を得る前に決められた(事前)予測分布の尤度による評価

では、評価している内容が異なります。

タグ：統計

posted at 21:20:39

飯間浩明 @IIMA_Hiroaki

ゴリラ系ITコンサルタント @5umerag1

「元旦」には「元日の朝」の意味も「元日」の意味も昔からあります。私も何回かツイートしましたが、新たに画像をまとめました。「朝（あさ）」「旦（あさ）」はすべての始まりなので、「始まり」の意味も生まれたのだろうと推測されます。 pic.twitter.com/isjVgHNd7K

タグ：

posted at 21:30:59

@Kiwamu_Watanabe ChatGPT敗れる。。。2つ目に関しては途中で数式が変わってしまう。
#ChatGPT
#AIが敗れる pic.twitter.com/bHDAF7Xkms

タグ： AIが敗れる ChatGPT

posted at 21:39:11

#統計最尤法の対数尤度比検定について補足

モデル1は

p(y_1|θ,η)p(y_2|θ,η)…

で、モデル0はモデル1でθ=θ₀とおいて得られたもの

p(y_1|θ₀,η)p(y_2|θ₀,η)…

のとき、データの数値y_1,…,y_nに関するモデル1の最尤推定値を

θ̂,η̂

と書き、モデル0の最尤推定値を

θ₀, η̃

と書こう。続く

タグ：統計

posted at 21:42:09

タグ：統計

posted at 21:42:10

#統計自由度dはθ=(θ_1,…,θ_d)の部分のパラメータの個数dになります。これを使って、帰無仮説θ=θ₀の検定法を作れる。

最大尤度の比の対数の-2倍と漸近挙動が等しい別の量でも同じ結果が成立し、それぞれに対応する検定法を

対数尤度比検定
スコア検定
Wald検定

と呼んだりします。続く

タグ：統計

posted at 21:42:11

Macleod/マクラウド @macleod1997

#統計以上の対数尤度比検定の文脈で登場した最大尤度の比は、データの数値から最尤法を使って作った予測分布のデータの数値に関する尤度の比になっており、シンプルなNeyman-Pearsonの補題の場合よりも数学的なややこしさが大幅に増加しています。

その辺の区別ができなくなると非常にまずい。

タグ：統計

posted at 21:42:12

ド正面からアニメを実写に落とし込んできてるの、驚き。チープな部分もテレビシリーズなら数話で馴れてアリになる
blog.livedoor.jp/robosoku/archi...

タグ：

posted at 21:47:44

#統計以下のリンク先で紹介した結果はWilks' theoremと呼ばれており、検定法の構成で常に問題になるnuisance parameter ηの問題を解決するための最も基本的な方法になっていたり、AICによるモデル選択と仮説検定の関係を理解するために使われたりと、色々な意味で基礎的な結果になっています。 twitter.com/genkuroki/stat...

タグ：統計

posted at 21:48:06

Julia日本語記事まとめ @julia_kizi

#統計以上のような話はベイズ統計にも拡張されます。

タグ：統計

posted at 21:49:10

ごまふあざらし(GomahuAzaras @MathSorcerer

新しい記事がZennにアップされました！#Julia言語　 #Julia日本語記事
 zenn.dev/1s22s1/article...👈

タグ： Julia日本語記事 Julia言語

posted at 22:20:33

最近ラズパイ(32ビット)ご無沙汰なんだけれど、ラズパイ 4は64ビット版の方入れれば最新のJulia使えるのかな？

タグ：

posted at 22:22:13

#統計

p*(y_{n+1}) = p(y_1,…,y_n,y_{n+1})/p(y_1,…,y_n)

は事後予測分布の普遍的な表示。

モデル内でのn番目までのデータの数値がy_1,…,y_nである確率密度がp(y_1,…,y_n)であるとき、最初のn個の数値がy_1,…,y_nであるという制限で定まるn+1番目の値の条件付き確率分布がp*(y_{n+1})になる。 twitter.com/genkuroki/stat...

タグ：統計

posted at 22:57:39

#統計事後分布も同様。n番目までの数値とパラメータのモデル内同時分布

p(y_1,…,y_n,θ)=p(y_1,…,y_n|θ)φ(θ)

から、n番目までの数値がy_1,…,y_nであるという制限で定まるパラメータθのモデル内条件付き確率分布は

φ*(θ)=p(y_1,…,y_n,θ)/p(y_1,…,y_n)

になる。これをよく事後分布と呼ぶ。

タグ：統計

posted at 23:05:17