Twitter APIの仕様変更のため、「いいね」の新規取得を終了いたしました

黒木玄 Gen Kuroki

@genkuroki

  • いいね数 389,756/311,170
  • フォロー 995 フォロワー 14,556 ツイート 293,980
  • 現在地 (^-^)/
  • Web https://genkuroki.github.io/documents/
  • 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
Favolog ホーム » @genkuroki » 2020年12月07日
並び順 : 新→古 | 古→新

2020年12月07日(月)

右Shift右隣Fn派 @yano4O4

20年12月7日

Jetson上でJuliaのPlotsって何かバグあったりする??

タグ:

posted at 00:47:14

右Shift右隣Fn派 @yano4O4

20年12月7日

GRのインストールに問題があるっぽいな

タグ:

posted at 00:53:45

右Shift右隣Fn派 @yano4O4

20年12月7日

GRをダウンロードしようとしてるところが404で詰んでるな

タグ:

posted at 01:02:40

高梨陣平 @jingbay

20年12月7日

GoogleのAI倫理の研究者、Timnit Gebruが首になった件で彼女の論文はGoogleが検索に採用したBERTを想起させる内容で言語モデルが大き過ぎないかとの指摘を行った。また環境コストや生来の偏見についても記述していた。水曜の彼女のTwで彼女は上司が論文を撤回するかGoogle従業員の名前を削除するよう twitter.com/verge/status/1...

タグ:

posted at 01:36:54

高梨陣平 @jingbay

20年12月7日

求めらていた。彼女は自分の名前を削除する条件を上げ飲めないなら今日が最後の出社日だとし、その後首になった。彼女の上司のJeff Deanは論文がGoogleの公開基準に逹っしていなかったと他の社員に説明。彼女の条件の1つはGoogle社内で論文をレビューしたのは誰かを明かすことだがGoogleは拒否した。J

タグ:

posted at 01:40:46

高梨陣平 @jingbay

20年12月7日

Jeff Deanは論文が関連研究を無視していると批判したが共著者の一人のワシントン大学のEmily M. Bender,は彼を批判。128の引用参照があることを示した。GebruはWiredのインタビューにてGoogleに検閲されていると感じたと回答。論文が常に企業の気にいる内容であることはなくそのような研究者になること

タグ:

posted at 01:45:02

高梨陣平 @jingbay

20年12月7日

は非倫理的であるとした。事件が公になってからGoogle社員1500名を含む数千の人々が抗議の手紙に署名している。

Googleはコメントを返していない。

タグ:

posted at 01:46:31

右Shift右隣Fn派 @yano4O4

20年12月7日

ブラウザとかでアクセスしてみても普通に404なんだけどどうすればええんや?

タグ:

posted at 02:02:20

右Shift右隣Fn派 @yano4O4

20年12月7日

試しにRaspberryPi上のJuliaでもPkg.add("Plots")やってみたら, GRでError吐かれるな.

タグ:

posted at 02:38:09

右Shift右隣Fn派 @yano4O4

20年12月7日

GRは自分でBuildしろってことかな

タグ:

posted at 02:41:44

非公開

タグ:

posted at xx:xx:xx

右Shift右隣Fn派 @yano4O4

20年12月7日

そもそもPlotsでGRをバックエンドに使うつもりはないのに, GRのせいでPlotsがインストールできないのなんかイヤやな...
僕がJulia素人なだけでなんか解決策あるのかもしれないけど...

タグ:

posted at 02:43:26

ceptree @ceptree

20年12月7日

みんなねたな

タグ:

posted at 05:39:54

Massimo @Rainmaker1973

20年12月7日

Worm charming, worm grunting, and worm fiddling are methods of attracting earthworms from the ground. Most methods involve vibrating the soil, which encourages the worms to the surface [source: buff.ly/37J8V1N] [read more: buff.ly/36bqiqh] pic.twitter.com/Rynqm58A4K

タグ:

posted at 06:29:24

小林泉美(囲碁棋士) @cho_kobayashi

20年12月7日

張栩が前日から一生懸命考えた対局者のキャッチフレーズ📝テロップになってました😆 #NHK杯囲碁トーナメント pic.twitter.com/8Vz9XxX2bZ

タグ: NHK杯囲碁トーナメント

posted at 08:05:39

yamazaks @yamazaksv2

20年12月7日

@bass_ikeda @sekibunnteisuu @tatsuvar このような例もありますので、必ずしも統一はされていないようです。
私も「一つの様式の中で明示され、統一されていればよし」と考えています。 twitter.com/genkuroki/stat...

タグ:

posted at 10:26:41

非公開

タグ:

posted at xx:xx:xx

齊藤明紀 @a_saitoh

20年12月7日

Twitterに出てくるような下っ端掛け算順序あり論者は、順序ありと言う結論ありきで勝手に思いついた根拠をいうことが多い。で口からまかせで嘘の根拠を言ったり。

タグ:

posted at 15:19:12

齊藤明紀 @a_saitoh

20年12月7日

嘘根拠の二大巨頭は、
・指導要領に書いてある
・実社会では「単価かける数量」
あたりでしょうか。

タグ:

posted at 15:19:12

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 以下のリンク先以下のP値の定義についての説明の態度が過剰に難しさを強調しているような感じがしたので、反省してコメントを追加。

実際にP値ユーザーになるときには、「一般的なP値の定義と性質」について知っている必要はなくて、「自分が使うP値の定義と性質」を知っていれば十分。続く twitter.com/genkuroki/stat...

タグ: 統計

posted at 16:00:20

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 続き。だから、「統計ソフトにデータの数値を与えて意味も分からず結果を得る」のではなく、「表示されたP値がどの確率分布を使ってデータをどのように使って計算されたものであるか」について時間をかけて勉強すればよいと思いました。

そういう勉強は科学的であるためには必要。

続く

タグ: 統計

posted at 16:00:21

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 続き。しかし、統計学で使われている数学はそこそこややこしいことが多いので、苦労する人が多いと思います。

逆に言えば「みんな苦労しているだろう」と考えて、気楽に構えればよいと思う。数学の理解には時間がかかります。

あと、よい解説がなかなか見つからないものもある点も要注意。

タグ: 統計

posted at 16:00:21

Yotaro Katayama@MNTS @YotaroKatayama

20年12月7日

tech.mntsq.co.jp/entry/2020/12/...
Pythonista向けに、PythonとJuliaを併用しながらデータ解析するという記事を書きました!Julia、頑張らなくてもはやくなることが多く、オススメです。

タグ:

posted at 16:07:06

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 せめて自分が使っているP値については数学的に正確な理解をしておくべきだという意見にはそれなりに説得力があると思います。

それだけで多くの人にとって大変。

しかし、世の中には統計学において数学的なことの勉強のやる気を削ぐ発言をしている人達がいるので注意が必要です。

タグ: 統計

posted at 16:14:09

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 主なP値ユーザーは各分野の専門家であり、十分あ推論能力を持ち、科学的常識を理解している人達だと思います。

自分が使っている統計学における数学的道具に関する理解と通常の推論能力と科学的常識の組み合わせで問題なく仕事ができるはずです。

タグ: 統計

posted at 16:14:10

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 ところが、世の中には、統計学における数学的道具の理解よりも大事なことがあるかのような発言をして、「哲学」「主義」の方が重要であるかのような発言を長期に渡って行って来ている人達がどうもいるようです。

そういうことをする分野に新たに参入する人達もいる。

タグ: 統計

posted at 16:14:11

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 そういう困りものの活動をまともにするためには、そういう人達に、「数学的道具の理解+通常の推論能力+科学的常識の組み合わせ」の基本的な重要さを再認識してもらって、そういう普通の科学者の考え方で勉強することのやる気を削ぐ発言をやめさせる必要があると思います。

タグ: 統計

posted at 16:16:24

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 数式を追うだけでは、自分が使う統計学における数学的道具の性質を理解することは難しいことも強調されてしかるべきだと思いました。

私と意見が異なる人達も含めて多くの人達が勧めているのは、コンピュータを使ったシミュレーションを自分でやってみることです。私も大賛成で実演している。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 16:32:21

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 例えば、大数の法則や中心極限定理について知った人に、コンピュータを使って擬似データを大量にランダムに発生させて、擬似データの平均の分布を眺めるというようなことは、みんな勧めているし、すでにやってみた人も多いと思います。

タグ: 統計

posted at 16:32:24

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 自分が使っている道具(例えば〇〇検定のP値)についても、同様に、擬似データをランダムに生成してP値の分布を見てみるというようなことをやると理解が進みます。

理想的にはP値の分布は[0,1]区間上の一様分布になってほしい。実際にはそうならず、一様分布から外れることが結構多いです。

タグ: 統計

posted at 16:32:26

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 「コンピュータを使ってP値の分布を見ること」を実際に行うと、ヒストグラムによる分布の確認が結構不安定であることにも気付きます。

そのような場合には累積度数分布を値が0〜1に収まるようにして得られる経験累積分布函数をプロットするとよいです。一様分布では「45度線」が出るはず。

タグ: 統計

posted at 16:40:21

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 ランダムに生成した擬似データ達のP値の分布の経験累積分布のプロットが45度線からずれていると、そのずれた分が理想的な一様分布からのずれの大きさになっています。

その実演の例↓ twitter.com/genkuroki/stat...

タグ: 統計

posted at 16:40:22

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 道具として何らかのχ²検定を使っていたら、使っている近似的にχ²分布に従うとされる統計量の分布も同じ方法でプロットしてみて、χ²分布と比較するとよいです。(他の検定統計量についても同様)

実演の例↓ twitter.com/genkuroki/stat...

タグ: 統計

posted at 16:44:31

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 よい解説がなかなか見つからないものの例に、Welchのt検定があります。

擬似データを正規分布__以外__で生成して、やさしい方の普通のt検定の検定統計量やP値の分布をプロットしてみたり、やさしくないWelchのt検定についても同様のことをやれば、検定の誤差に関する情報が得られます。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 17:06:17

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 Welchのt検定がどのような近似によって「あの自由度」を導出しているかについては

math.stackexchange.com/questions/1746...

を参照。自由度を四捨五入しちゃダメです(笑) twitter.com/genkuroki/stat... pic.twitter.com/nCIhKq6G0a

タグ: 統計

posted at 17:10:48

(「・ω・)「ガオー @bicycle1885

20年12月7日

Juliaがアツいらしい

タグ:

posted at 17:14:03

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#Julia言語 Juliaの配列のインデックスは多くの場合に1始まりなのですが、「任意始まり」にできる仕様になっています。

0始まりのa[0]と1始まりのa[1]の両方をJuliaではa[begin]と書けます。

0始まりのa[i]はJuliaではa[begin+i]と書ける。

これを知っていると精神的疲労がかなり減ると思います。 twitter.com/yotarokatayama...

タグ: Julia言語

posted at 17:24:15

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#Julia言語 C言語などでのポインタのイメージのままで、高級言語の配列を0始まりで使うことを強制されている状況は相当にひどい!

数学的には0始まりも1始まりもインデックスの始まりを固定されること自体が迷惑。自然な抽象化を妨げます。

Juliaのa[begin]スタイルは大歓迎だと思います。

タグ: Julia言語

posted at 17:24:16

黒木玄 Gen Kuroki @genkuroki

20年12月7日

Fortran偉い(笑)

タグ:

posted at 17:24:16

Massimo @Rainmaker1973

20年12月7日

Not always predators succeed: the momentum of a giraffe charging can be dangerous also for a hunting lioness [source, full video: cnet.co/2DuyjI2] pic.twitter.com/JJZ003xYdd

タグ:

posted at 17:30:14

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 参考スレッド紹介

統計学における「主義」がらみの話題で、「確率の公理」「コルモゴロフの公理」を満たしていることを示せば立派なことであるかのような説明を見たら、「この解説者は権威的なだけで分かっていない」と判断できます。

「確率の公理」は実質「割合の公理」に過ぎません。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 17:47:25

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#超算数 掛算順序が「逆」の「しき」を書く子は理解していないと決め付ける行為を正当化しようとするだけで、子供の敵であることは自明。

しかもそういうことをする人達が平気で嘘をつくことがここ10年くらいの経験でよく分かっている。指導要領に書いてあるという嘘が定番。 twitter.com/a_saitoh/statu...

タグ: 超算数

posted at 18:14:52

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#超算数 ツイッター上では、地道に粘り強く質問して行く積分定数さんの姿をみんな見ていると思うのですが、私は邪魔しないように気をつけています。

たまに我慢し切れなくなって「嘘つき」であることを直接に指摘してしまうことがある。その場合には私がブロックされる所までがいつものパターン。

タグ: 超算数

posted at 18:14:52

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#超算数 自分にとって都合の良い嘘に説得力を持たせるためには、自分自身もその嘘を本気で信じてしまうとよい。

「学習指導要領に書いてある」とか「世の中では単価×数量の順序が標準的」というような嘘を平気で言う人達は、それらの嘘を本気で信じているように見えることが多い。

タグ: 超算数

posted at 18:19:04

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#超算数 議論を有利に進めるために役に立つあさはかな嘘を付くのはやめた方がよいとはっきり指摘しても、自分が悪いことをしていることをまったく自覚できない点もいつも印象的です。

毎回同じパターンになる。事例が孤立していない。

最近の典型例は↓ twitter.com/genkuroki/stat...

タグ: 超算数

posted at 18:27:54

Yuki Nagai @cometscome_phys

20年12月7日

Julia Advent Calendar 2020 - Qiita qiita.com/advent-calenda...

タグ:

posted at 18:46:19

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年12月7日

有馬朗人氏が亡くなられたようですが、僕は死者に鞭打つことを厭わないので改めて言うけれども、彼は日本の高等教育や研究環境を守らなかったんだよ。守れるポジションにいたにもかかわらず

タグ:

posted at 18:59:35

前野[いろもの物理学者]昌弘 @irobutsu

20年12月7日

この記事の中で「国立大学法人化によって若手研究者を雇用できなくなったことについて、私には責任があります。あと何年生きるか分からないけれど、世界並みのレベルにするまで、徹底的にやりたいです」と語った有馬朗人氏、「あと何年」もないままに死去された。

business.nikkei.com/atcl/gen/19/00...

タグ:

posted at 19:09:39

前野[いろもの物理学者]昌弘 @irobutsu

20年12月7日

訃報を伝えるNHKは『政治や行政に携わったことは「人生の痛恨事」だったと語っています』と言うが、その『痛恨事』は日本の教育に途轍もない痛い傷跡を残している。御自身の言う「徹底的に」を少しでも見せてほしかったところ(期待はしてなかったが)。

www3.nhk.or.jp/news/html/2020...

タグ:

posted at 19:12:50

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年12月7日

ニュースで最近の有馬氏のインタビューを紹介していたのだけど、科学技術立国だの若い人たちへの期待だのと空疎な言葉を並べていて、この人は何も反省していないのかとがっかりしたよ。いや、反省する人だとは期待していませんでしたが

タグ:

posted at 19:30:35

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 三中信宏さんがAICの【精神】について説明して曰く【不正確なモデルであったとしても,predictive accuracy が高ければよい】

これはひどい誤り。なぜならば、未知の真の分布の予測精度は未知の真の分布をモデルに採用できたときに最も高くなるからです。

数学を軽視するからこうなる。続く pic.twitter.com/FL477y9pkz

タグ: 統計

posted at 19:42:49

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 渡辺澄夫『ベイズ統計の理論と方法』(2012)のような現代的な情報量規準の教科書をみれば、予測分布の予測誤差もしくはその期待値(データの確率的揺らぎに関する平均)そのものは知ることができないので、その代替指標としてAICなどを使うことが明瞭に説明されています。続く

タグ: 統計

posted at 19:50:39

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 予測分布の真の予測誤差(これを我々は知ることはできない)とその代替指標であるAICなどは異なります。

もしも(実際には不可能だが)仮に真の予測精度の良し悪しでモデル選択が可能ならば、真のモデルが100%の確率で選択されることになります。

三中さんは完璧にひどく誤解しています。

続く

タグ: 統計

posted at 19:50:39

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 それに対して、比較するモデルのパラメータ数が1のとき、サンプルサイズ→∞で、AICによる真の分布選択の失敗確率は16%程度になります。

そのようになってしまう理由は、AICは真の予測誤差ではなく、その代替指標に過ぎず、そのようになる数学的性質を持っているからです。続く

タグ: 統計

posted at 19:56:50

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 AICの重要な性質は、モデルのAICと真の分布のAICの差とモデルの予測分布による真の分布の予測誤差の「期待値からの揺らぎ」の方向が正反対になることです(揺らぎの大きさは同じ)。

サンプルサイズ→∞で漸近的に相関係数は-1に近付きます!(渡辺澄夫『ベイズ統計の理論と方法』p.80)

タグ: 統計

posted at 20:02:56

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 以上の結果を「AICと真の予測誤差の逆相関」と言うことにする。

AICと真の予測誤差は逆相関するので、モデルのAICが小さくなると、モデルの予測分布の真の予測誤差は大きくなります。

そして、上記のAICの差が真の分布の予測誤差の0を下回ると、AICは真の分布のモデル選択に失敗する。続く

タグ: 統計

posted at 20:06:48

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 AICによるモデル選択で真の分布の選択に失敗する理由は以上のようなものです。

AICの適切な使用目的である「予測誤差が小さい可能性が高いモデルを選ぶこと」そのもののせいで真の分布の選択に失敗するのではなく、AICと真の予測誤差の逆相関という数学的性質が直接の原因になります。

タグ: 統計

posted at 20:10:04

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 さらに、AICが真の分布の選択に失敗する場合と、確率的に生じるデータの偏りのせいで運悪くモデルのAICが小さくなり過ぎた場合が等しいこともわかる。

そのとき、AICと真の予測誤差の逆相関によって、モデルの予測分布の真の予測誤差は非常に大きくなっています!!!

タグ: 統計

posted at 20:13:46

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 要するに、AICによる真の分布とパラメータを含むモデルを比較するモデル選択において、予測誤差が最小の真の分布の側を選択することに失敗した場合には、選択されたモデルの予測分布の誤差は非常に大きくなるということです。

この数学的事実と添付画像中の三中さんの発言を比較せよ! pic.twitter.com/6kP2VtmT0A

タグ: 統計

posted at 20:19:59

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 これは情報が劣化して行く伝言ゲームのようなもので、三中さんが引用している

www.jstage.jst.go.jp/article/seitai...
生態学における AIC の誤用
粕谷 英一
2015

の最後のページでのまとめ方も良くないと思いました。

真の予測誤差は真の分布を採用した正しいモデルで常に最小になります。 pic.twitter.com/CpWFVM5XHp

タグ: 統計

posted at 20:23:10

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 最後の方での(上の訂正:正確には最後のページの1つ前の)まとめ方でずっこけているのですが、私がツイッターで実演しているのと同レベルの数値実験の結果が沢山載っているので、粕谷さんのその解説は読む価値があります。

その三中さんによる要約は読む価値がないですが。

タグ: 統計

posted at 20:27:10

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 表の出る確率がwのコイン投げのモデルにおいて、AICと真の予測誤差を比較したグラフが以下のリンク先にあります。見事に逆相関していることが一目で分かります。

予測誤差はKL情報量で計算しており、横軸のスケールは確率に比例しています。 twitter.com/genkuroki/stat... pic.twitter.com/lStIG5GO5N

タグ: 統計

posted at 20:31:24

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 以上の説明を理解できれば、AICの数学的基本性質を知らずに、AICの背景にある「哲学」を語ろうとする人達がどれだけ滑稽であるかも分かるはず。

私は、「哲学」を本当に大事だと思っている人がそういう態度を取るはずがないとも思っています。

どこまで厳しい言い方をして良いかわからない。

タグ: 統計

posted at 20:35:35

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 数学は難しいので、数学が絡むネタで嘘をつかれても見抜くのは非常に大変です。

私もよく騙されています。数年たって騙されていたことに気付くことが珍しくない。(多分、現在も騙されたままで気付いていない話題が残っていると思う。)

統計学関係ではそういうことが実に多い。

タグ: 統計

posted at 20:38:43

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 偏ったデータを用いて正しい推測をできるはずがないわけで、AICを使った場合にも運悪くデータが偏っていると予測誤差が非常に大きな予測分布の側を選択してしまいます。

偏ったデータから正しい判断を出せるような魔法はないと思っておけば安全だと思います。

タグ: 統計

posted at 20:42:50

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 AICを使用可能な場合に、AICで真の分布をどれだけの確率で選択できるか、という問題はAIC以前からよく知られているWilks' theoremを基礎とする最大尤度の比の対数に関するχ²検定の話の特別な場合になっています。

数値実験したい人は以下のリンク先を参照↓ twitter.com/genkuroki/stat...

タグ: 統計

posted at 20:50:34

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 三中信宏さんはベイズ統計の解説者としては特別にダメだと思います。

しかし、三中さん個人の意見と独立に正しい数学について三中さんが解説している部分はそのまま受け入れて大丈夫です。

「ベイズ主義」の「哲学」についてもクズのサンプルの解説だと思って読めば参考になると思います。続く twitter.com/nal_dal_dere/s...

タグ: 統計

posted at 21:20:56

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 続き。ベイズ統計に限らず、普通に科学的な考え方について知りたければ、渡辺澄夫さんのウェブサイトにある講義の解説を読むと良いと思います。

watanabe-www.math.dis.titech.ac.jp/users/swatanab...

味のあるスライド資料で独特の面白さがあります。

添付画像は watanabe-www.math.dis.titech.ac.jp/users/swatanab... より。 twitter.com/nal_dal_dere/s... pic.twitter.com/L4g5r62MQt

タグ: 統計

posted at 21:27:41

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 AICはベイズ統計の話じゃないので、ベイズ統計以外の解説者としても要注意。

AICの数学的性質を噛み砕いて説明して、あとは各ユーザーの通常の推論能力と科学的常識に委ねるのではなく、AICの数学的性質で応用上重要な事柄を説明せずに、AICの背景にある「哲学」を語る行為は極めて有害。

タグ: 統計

posted at 21:35:11

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計

#TodaiStat のタグの元で、質問に、事前分布の使用について

【「美しくない」!「美しくない」!「美しくない」!— 大事な点なので三回繰り返しました】

と答えていることを発見して、ベイズ統計の解説者としては最悪に近いと私は思いました。

こういうのに影響を受けちゃダメです。 twitter.com/genkuroki/stat...

タグ: TodaiStat 統計

posted at 21:43:19

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 ベイズ統計と無関係にAICの解説としても、渡辺澄夫さんによる『ベイズ統計の理論と方法』(2012)における解説は優れていると思います。

同書は、BICについても、BICとKL情報量の関係を理解できずにBICを「ベイズ型モデル選択基準」と呼んでいる人による解説よりも優れています。

タグ: 統計

posted at 21:54:31

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年12月7日

なんと俺は「K値のために人が死ぬかもしれない」と5月の時点で言ってるではないか。今も考えは変わりません。K値は危険なトンデモです twitter.com/genkuroki/stat...

タグ:

posted at 21:58:59

Shuhei Kadowaki @kdwkshh

20年12月7日

ちなみにusing XXXはそんなに凶悪なことはしてないです。package側でexportされたものだけを使う側のglobal名前空間に引っ張ってくる。

> Pythonでいうと、すべての関数をfrom xxx import *しているのに相当する書き方(using XXX)が使われることが多いです

#julialang twitter.com/YotaroKatayama...

タグ: julialang

posted at 22:03:49

Shuhei Kadowaki @kdwkshh

20年12月7日

fwiw, やりたかったらこんな感じです:

for name in names(XXX; all = true)
name in ((:eval, :include)) && continue
Core.eval(@__MODULE__, :(using XXX: $(name)))
end

タグ:

posted at 22:06:30

黒木玄 Gen Kuroki @genkuroki

20年12月7日

添付画像で示したように、きくちさんに【K値のせいで人が死ぬかもしれません】と言われた5/18以降、大竹文雄氏はK値へのツイッターでの言及をピタッとやめています。

きくちさんの指摘は大竹氏個人には効果があったかも。

ピタッと言及をやめている大竹氏はあきれたものだと思います。 twitter.com/kikumaco/statu... pic.twitter.com/wVAKwLG1io

タグ:

posted at 22:09:39

(「・ω・)「ガオー @bicycle1885

20年12月7日

@kdwkshh Pythonも__all__があるのでそのへんは同じじゃないです?docs.python.org/3/tutorial/mod...

タグ:

posted at 22:11:09

Shuhei Kadowaki @kdwkshh

20年12月7日

@bicycle1885 ほんとだ、全くそうですね...
僕のPython力が不足していました笑

タグ:

posted at 22:12:46

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 成功確率がw=0.4のベルヌイ分布がサイズnのデータを生成している真の分布のときのBICなどのプロット。横軸のスケールは確率に比例。

BICが真の分布の選択に失敗⇔BIC - BIC0 が0未満

この確率はn→∞で0に収束する。 twitter.com/genkuroki/stat... pic.twitter.com/m8AxeGi5tW

タグ: 統計

posted at 22:30:03

大石雅寿 @mo0210

20年12月7日

知恵を絞らないのに予算を絞る某政府

タグ:

posted at 22:32:09

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 このスレッド中のAICとBICの解説(特にベルヌイ分布モデルの場合のプロット)を見て、サンプルサイズn→∞で真の分布を確率1で選択できるBICの方が16%程度の確率で失敗するAICより優れていると単純に考えるのは誤りです。

そのことは通常の仮説検定について知っていれば理解できます。続く

タグ: 統計

posted at 22:32:46

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 ベルヌイ分布モデル(一般にパラメータが1つだけのモデル)において、AICで真の分布の選択に失敗する確率が16%程度になることは、真の分布を帰無仮説とした二項検定で有意水準を16%程度に取ることと数学的には同じです。続く

タグ: 統計

posted at 22:35:29

Masayo Takahashi @masayomasayo

20年12月7日

受け入れ体制が整っていない時にPCR検査をやたらとやるなと言う立場だった人達をPCR抑制論者とレッテルを貼り、最近PCRが増えたのをやっとPCR派が認められてきたと言ってる人たち。状況に応じて判断してることを理解しない。野良PCRが増えると保健所などの負担が増えてる問題も見えない。

タグ:

posted at 22:38:17

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 仮説検定では有意水準=帰無仮説が正しいのに棄却される確率をユーザー側が自由に選べて、有意水準を小さくするほど帰無仮説側が有利になります。

AICによるモデル選択ではすべてのモデルを平等に扱うので、有意水準にあたる確率がこの場合には高めになっている。

続く

タグ: 統計

posted at 22:43:58

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 BICによるモデル選択は、数学的には、サンプルサイズが大きくなるほど有意水準をどんどん小さくした仮説検定と同じことになっています。

有意水準を小さくすると検出力は下がるという害が生じます。

タグ: 統計

posted at 22:43:58

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 真の分布の選択について、AIC, BIC, 仮説検定にはそれぞれメリットとデメリットがあり、そのことを理解するためにはそれらの数学的性質について理解する必要があります。

どういうギャンブルをするか(どの道具をどう使うか)の決定権は、「主義」や「哲学」ではなく、ユーザー側にあります。

タグ: 統計

posted at 22:43:59

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 あと数学的に理解できずに「主義」に走る人達は、「尤度原理」「尤度主義」の類にもはまる傾向があるようにも見えるので、そういう人達を見かけたら、「これは信じちゃいかん」とノータイムで決めた方が無難です。

タグ: 統計

posted at 22:56:25

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 尤度(ゆうど、likelihood)はよく「もっともらしさ」だと説明されますが、その説明はひどく間違っています。

尤度の定義は「モデル内でデータと同じ数値が生成される確率又は確率密度」です。これは「モデルのデータへの適合度」の指標にはなっていますが、現実的なもっともらしさではない。

タグ: 統計

posted at 22:59:33

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 データにぴったりフィットするモデルの尤度は非常に高くなります。しかし、一般にデータにぴったりフィットしているモデルはオーバーフィッティングを引き起こしており、直観的にも全然もっともらしさが感じられないものになります。

タグ: 統計

posted at 23:01:38

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 だから、観測データに関するモデルの尤度は単に「モデルの観測データへのフィッティングの良さ」の指標に過ぎず、「もっともらしさ」でもないし、通常も科学的意味での「証拠」の強さの指標にもならない。

これは尤度の数学的性質から出て来る結果なので、これに反する「主義」は却下されます。

タグ: 統計

posted at 23:04:40

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 同じことは、ベイズ統計における周辺尤度についても言えます。周辺尤度は「ベイズ統計のモデルの観測データへのフィッティングの良さ」の指標でしかない。

ハイパーパラメータを増やしまくって周辺尤度を最大化するとオーバフィテンングを引き起こして、再現性のない推測結果が得られます。

タグ: 統計

posted at 23:07:53

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 ベイズ統計の周辺尤度は「証拠」(evidence)と呼ばれることがある。しかし、周辺尤度はモデルのデータへの適合度の指標でしかないので、通常の意味での証拠ではありません。

統計学の文脈では、likelihoodはもっともらしさではないし、evidenceも証拠ではないと理解しておく必要があります。

タグ: 統計

posted at 23:10:50

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 こんな感じで、尤度などの基本概念の数学的定義に戻って、その概念が導入された動機や主義を忘れて、数学的性質を謙虚に学ぶことができれば、多くに杜撰な解説が教科書を通して標準的に普及していることに気付きます。

安心して読める初学者向きの解説は見つけること自体が難しいです。

タグ: 統計

posted at 23:15:48

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 尤度は実際にはパラメータ付きのモデルの尤度=尤度函数として使われることが大部分です。

尤度函数について理解したければ、百聞は一見に如かずなので、コンピュータで尤度函数を沢山プロットして眺めてみることが最も重要だと思います。コンピュータでプロットするために数式をいじるとよい。

タグ: 統計

posted at 23:20:31

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 以下のリンク先で紹介している動画は、2変量正規分布モデルの尤度函数を(ほとんど)変えないまま、データの側をどのように改変できるかの非常に印象的なデモンストレーションになっています。

データとモデルを尤度函数で要約するとどれだけの情報が失われるかがよくわかります。 twitter.com/genkuroki/stat...

タグ: 統計

posted at 23:25:13

nekojita @nek0jita

20年12月7日

そう言えば、「掛け算順序指導がなんの役に立つのですか」と言ったら「立式の順序が逆順のものを根気強くバツにしていると、みんな正しい順序で立式できるようになります、これが役に立つ証拠です」と言われたことがある。

タグ:

posted at 23:27:35

nekojita @nek0jita

20年12月7日

例えば「割り算の余りは上下逆に書きましょう」というような全く意味の無い出鱈目なルールでも、上下逆になっていない答案を根気強くバツにし続ければ、生徒に守らせることができる、ということからもわかるように、それは何の証明にもなっていない。

タグ:

posted at 23:29:52

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 補足。モデルのパラメータ数が少なくて、モデルで真の分布を十分よく近似できて、正則モデルになっていてかつ、データのサイズが十分に大きな場合には、データとモデルの組の尤度函数による要約は良い要約になっています。

その場合には尤度函数を最大化する最尤法が非常にうまく行きます。続く

タグ: 統計

posted at 23:34:47

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 続き。「モデルのパラメータ数が少なくて、モデルで真の分布を十分よく近似できて、正則モデルになっていてかつ、データのサイズが十分に大きい」という特別な場合には、その尤度函数の値としての尤度を「もっともらしさ」の指標だと思っても大丈夫だということです。条件が必要!

タグ: 統計

posted at 23:34:48

黒木玄 Gen Kuroki @genkuroki

20年12月7日

#統計 こんな感じで、尤度を最大化することによる推測がうまく行くためのおおまかな十分条件は、尤度函数の数学的性質からある程度分かっています。

そういう結果について噛み砕いた説明をせずに、最尤法の背景にある「主義」「哲学」の説明をしようとすることは有害な行為だと思います。

タグ: 統計

posted at 23:38:41

nekojita @nek0jita

20年12月7日

「掛け算の順序則のほうが子供の理解を助けるという根拠」を求められて、この返答。これで「掛け算の順序則のほうが子供の理解を助けるという根拠」を提示しているつもりらしい。 pic.twitter.com/ho4h3TUONX

タグ:

posted at 23:39:55

nekojita @nek0jita

20年12月7日

不要と思うが解説 pic.twitter.com/Ahx80e5V4o

タグ:

posted at 23:41:52

nekojita @nek0jita

20年12月7日

もちろん、「確かにさっきのは詭弁だった」と認めることはなく、すぐさま話題を転換する pic.twitter.com/IkctaKNGCm

タグ:

posted at 23:48:02

あ〜る菊池誠(反緊縮)公式 @kikumaco

20年12月7日

事業規模で73兆では全く話にならないと思うのだけど、どうして給付金を再度といういちばん簡単な案が退けられているんですかね。菅内閣はだめだな。

給付金がないなら支持しないというのでいいと思いますよ

タグ:

posted at 23:48:55

おそのさん @osonosanyo

20年12月7日

小2長男、宿題してたらイライラし始めて最終的に泣く。
算数の掛け算の順序がよくわからなくて間違えた&担任が間違えた人達に向かって「いい加減にして!」と怒鳴ったらしい。間違えたらまた何か言われるから嫌なんだと。練習問題だしてすぐに理解してくれたけど、怒るポイント毎回どーでもいいわ!

タグ:

posted at 23:58:14

@genkurokiホーム
スポンサーリンク
▲ページの先頭に戻る
ツイート  タグ  ユーザー

User

» More...

Tag

» More...

Recent

Archive

» More...

タグの編集

掛算 統計 超算数 Julia言語 数楽 JuliaLang 十分 と教 モルグリコ 掛け算

※タグはスペースで区切ってください

送信中

送信に失敗しました

タグを編集しました