黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2023年03月27日(月)
賢明なる日本の国政をになう方々におかれましては、
このスレッドを読んで、ちょっとだけでも考えてみることを勧めます。
国民全員を感染させても、次は再感染リスクが問題になるだけ、問題が深刻になるだけじゃないですか。解決しませんよ。むしろ社会的コストが急増するだけ。 twitter.com/LauraMiers/sta...
タグ：
posted at 00:36:37
Geometry is not only a discipline but a state of mind. Watch a cube being made with staples.
[📹tool_tips: buff.ly/40ieIFA]
pic.twitter.com/hRVPJPipJ7
タグ：
posted at 03:39:01
Nicola Rennie | @nre @nrennie35
A less-styled version using Tidier.jl and Algebra of Graphics in #JuliaLang for #TidyTuesday 📊
Code: nrennie.quarto.pub/juliatuesday/ pic.twitter.com/iqTU9X7NyF
タグ： JuliaLang TidyTuesday
posted at 04:37:40
@nrennie35 This is awesome! Going to try to wrap AlgebraOfGraphics in Tidier.jl in the near future to recreate a ggplot-like syntax.
github.com/MakieOrg/Algeb...
タグ：
posted at 04:50:09
Tomás Aragón, MD, Dr @DrTomasAragon
The Dabbling Doggo videos on the #julialang is one of my favorite @YouTube sites to learn @JuliaLanguage.
"Introduction to Probabilistic Programming in Julia using Turing.jl and Pluto"
www.youtube.com/watch?v=ixHKOz... pic.twitter.com/lwGiFSF163
タグ： julialang
posted at 05:12:42
#統計 添付画像①は
scholar.harvard.edu/files/imbens/f...
Hirano-Imbens 2001
より。因果構造の考察抜きでの調整する変数選択法の説明。
添付画像②は
arxiv.org/abs/1203.3503
Pearl 2012
より。①の方法だと交絡バイアスを増幅するリスクがあることの指摘。因果構造も考慮することによって得られる結論。 pic.twitter.com/1Kt2YlyJbj
タグ： 統計
posted at 07:02:03
#統計 d分離性などの道具のお陰で、因果構造に関する考察のコミュニケーションツールとしてDAGがうまく機能することについては以下のリンク先の例を参照。
Imbens(上に登場)の仲間のAngristの弟子の成田氏(一時期メディアでの冷酷で過激な発言で目立っていた)の論文での因果推論の使い方への批判。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 07:10:51
「放射線による健康影響があるから調査をしているのだ」という誤解を広げているようにみえる。今日もそのような誤解のにじむツイートをみてしまい、思った。
国連科学委員会UNSCEARの報告書はしっかりと住民に説明すべき。過剰診断についても、福島県と福島医大はいつまで認めないつもりなのだろう。 pic.twitter.com/Jha1d5sDsm
タグ：
posted at 07:26:52
#統計
パールさんは、自分のスタイルの特徴を、ループがないDAGを使うことではなく、因果構造についてきちん記述することだと考えています。
↓
twitter.com/search?q=from%...
from:yudapearl structure を検索
POの比較対象をDAGにすること自体が低レベルな思考の証拠になる。
タグ： 統計
posted at 07:29:05
「トンデモやニセ科学を取り上げてそれの問題点を述べる講義をすると、そのトンデモやニセ科学を肯定的に紹介した講義だと認識してしまう学生が一部発生する」という話を思い出した twitter.com/mayakima/statu...
タグ：
posted at 09:40:21
#統計 リンク先ツイートの内容は易しい教育的内容だと思ったので紹介しています。添付画像は既出の arxiv.org/abs/1203.3503 より。
Zは観測される交絡因子で、Uは未観測の交絡因子。
現実における因果効果の推定では未観測の交絡因子が必ず残されており、その分の推定バイアスは避けられない。続く twitter.com/genkuroki/stat... pic.twitter.com/9Zz5oTFZuh
タグ： 統計
posted at 10:05:36
#統計 添付画像の状況は、データが得られている交絡因子Zと、データがない交絡因子Uがある状況のもっともシンプルなモデル化になっています。
問題: 因果効果の推定において、交絡因子Zによる調整は未知の交絡因子Uによるバイアスを常に減らすか？
答えは添付画像に書いてあります。続く pic.twitter.com/CkIKZZDnYM
タグ： 統計
posted at 10:05:38
#統計 調整する交絡因子Zがtreatment Xをよく決定するならば、未知の交絡因子Uによるバイアスを増幅する可能性が高い。
こういうことが、線形モデルの場合には、シンプルな計算でわかります。
treatmentの良い予測変数になっているZによる調整は危ない。続く pic.twitter.com/E6GvGy1yd6
タグ： 統計
posted at 10:05:40
#統計 ところが、リンク先で紹介されたHirano-Imbens 2001で勧めている処方箋を見ると、treatment Tをよく決定する変数達を特に選び出して調整に使う方針になっています。
それが危険なことをパールさんは指摘しているわけです。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 10:05:41
掛け算の順序を意識しないと割り算の時に困るというのは、もしかしてあれか？
キーフレーズをみつけて公式に前後を意識して代入するということをしないと、割り算の時に、どちらにどちらを代入していいか分からなくなるからか。
だとするならば、、、
問題文をちゃんと全文を読めばいいのに、、、
タグ：
posted at 10:14:22
.ac.jp がまだ .junet だったころ、地名.junet はダメということで u-tokyo.junet だったり kyoto-u.junet だったりしたのに、tohoku.junet がOKだったのはなぜ？
タグ：
posted at 10:18:21
高リスク群の死亡がワクチン接種で大きく予防できるようになってきた今、新型コロナウイルス感染症で最も大きな問題の一つは後遺症対策ではないでしょうか。反復感染で後遺症の更なる増加が報告されており、これが抗ウイルス薬やワクチン接種で改善するかが鍵でしょう。 (1/2) www.nature.com/articles/s4159... twitter.com/yfuruse/status...
タグ：
posted at 10:44:28
この有名な報告はデルタ・オミクロン混合期の解析で、後ろ向き研究ですが IPW model での患者背景の統一が図られており、3回感染で入院7.75倍 [6.77-8.86] 心血管系疾患4.81倍 [4.05-5.71] 血栓症4.48倍 [3.57-5.62] 糖尿病2.93倍 [2.18-3.93] 等と反復感染で著明な後遺症増加を報告しています。 (2/2)
タグ：
posted at 10:51:24
僕も「水にも言葉が分かると知って感動した」みたいなレポートを受け取ったことがある。どれほど「嘘」だと言っても、それは耳に入らない人がいる twitter.com/yamazaksv2/sta...
タグ：
posted at 10:57:26
それと、教養として幹となるべき部分は忘れ去り、枝葉のどうでも良いことを「ひねりまくった状態」で覚えている（覚えてるという言葉は当たらないが）。しかも、その記憶は「絶対」なのである。
「論理性」や「科学的見地」とは真逆と思えるが、ここが根幹とは、なぜなのだろう。
タグ：
posted at 10:58:59
#統計 添付画像は
xcelab.net/rmpubs/sr2/sta...
Statistical Rethinking 2nd ed. p.39
より。「ベイズvs.非ベイズ」のような主義の基く統計学的で低レベルな考え方を否定するためにもStatistical Rethinkingは役に立ちます。
こういう文献や講義が広まるべき。 twitter.com/genkuroki/stat... pic.twitter.com/3o3OV1nWkw
タグ： 統計
posted at 11:19:14
Juliaにおける効率的なループ計算を考えます。 #はてなブログ #IT #プログラミング #Julia #JuliaLang #プログラミング言語
Juliaを使うときのTipsをまとめる（その12/X） - 「大人の教養・知識・気付き」を伸ばすブログ
power-of-awareness.com/entry/2023/03/...
タグ： IT Julia JuliaLang はてなブログ プログラミング プログラミング言語
posted at 12:00:17
Kindleでは、連載中のものを掲載しています。
無料です！
■Twitter・ライブドアブログ未掲載あります。２ページ追加。追加内容は
※くも膜下出血発症後の詳細な症状の様子
※消防署との電話やりとりなど
amzn.to/3TKZpmg
タグ：
posted at 12:22:51
バカだバカだと批判される動向、何かしら社会の役に立っているみたいなので、みなさん好きに愚かで凶暴で度し難い振る舞いを全力で続ければいいんじゃないですかね。掛け算の順序は決して許さないつもりですが。
タグ：
posted at 12:34:08
この人の言う「掛け算の意味」は知る必要ないんじゃないかな
最初に教えるのは「aをb個足した合計を a×b と書く」だけで十分 twitter.com/yumeto_me/stat...
タグ：
posted at 12:38:15
「掛け算の意味」は数年以内に2.3個という概念は成立しません。2.3倍といいなさいという指導に亢進します。割合3用法のために必要な指導だそうです。ところで、3用法はくもわを補助にしてやっと教えられている現状を考えると、超長期的に割合3用法の有害さが実証されたと解釈できます。
タグ：
posted at 12:44:07
陰山英男や杉山奈津子は、「子どもは理屈を理解することは苦手だが、暗記は得意」と思っているようだ。
当人がそうだったので、他人もそうに違いないと思っているのだろう。
「数学は暗記で解ける！」東大卒ママが断言する理由 dot.asahi.com/dot/2021071500... @dot_asahi_pubより
タグ：
posted at 16:02:05
dot.asahi.com/aera/202003180...
＞この要因を芳沢教授は、プロセスを無視した「は・じ・き（速さ×時間＝距離）」「く・も・わ（元にする量×割合＝比べられる量）」式教育と、数学の試験にマークシート式問題がはびこっているからと分析。
杉山奈津子と対決してほしい^^
タグ：
posted at 16:50:46
ほりたみゅ (mastodonも見てね) @Hyrodium
Desmos.jlのドキュメントが整いつつある📈📈📈
hyrodium.github.io/Desmos.jl/dev/
タグ：
posted at 17:05:13
ほりたみゅ (mastodonも見てね) @Hyrodium
Desmos.jlのデモです
www.youtube.com/watch?v=i7jMu8...
タグ：
posted at 17:21:46
ほりたみゅ (mastodonも見てね) @Hyrodium
REPLへの入力にはReplay.jlを使っています。(@MathSorcerer さんに感謝！)
github.com/AtelierArith/R...
タグ：
posted at 17:22:44
非公開
タグ：
posted at xx:xx:xx
Big News: Suzuki is going to reissue Omnichord later this year!! (this is my old one from the 80s) 今年オムニコードがまた出るみたいです！ pic.twitter.com/9RoEGyAsSe
タグ：
posted at 17:38:23
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
#統計 パール著『因果推論の科学』第3章では、ベイジアンネットワークと因果ダイアグラムの違いについて
【ベイジアンネットワークの矢印は、因果関係を何ら仮定していない点が因果ダイアグラムとは違っている】
と結構わかり易く説明しています。
ベイズ統計のためには因果関係の情報は無用。続く twitter.com/sam_murayama/s... pic.twitter.com/v1oZS31zet
タグ： 統計
posted at 18:03:25
#統計 そして、交絡の概念は統計的因果推論の本質的一部分なので、観察される変数達に関する同時確率分布としての統計モデルさえあれば使える統計学の概念(例えば相関や回帰)だけでは交絡の概念を正しく理解できません。
関連
↓ twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:03:33
つくばScience Edge 2023を見ると、どれも素晴らしく圧倒されます。ただ、やはり筑波の夏休みの自由研究の問題と同じく、研究者の親や指導者たちの代理戦争化してしまう。推薦入試のチャンスもあるし仕方ないのかな。教育や入試のあり方は難しいと感じました。 pic.twitter.com/gq6x5pUkN7
タグ：
posted at 18:04:42
先日クアラルンプールで開催されたスピードキュービング大会で、9歳のYiheng Wangさんが3x3x3の立体パズルを平均4.69秒で解いて世界記録を更新しました㊗自分の目が信じられなくなるくらいのスピード……本当におめでとうございます！ pic.twitter.com/y8oip43wtr
タグ：
posted at 18:12:00
#統計 統計的因果推論での因果効果の推定は、
❌どういう因果関係があるのか分からない状況でどのような因果関係があるかを推測すること
ではなく、
⭕️因果関係のモデル化と観察データから因果効果を推定すること
です。
使用した因果関係のモデル化の妥当性は常に議論になるべき。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:13:01
#統計 未知の変数も含めて因果関係をモデル化してみてどうなるかを考えてみることは、既知の交絡因子の調整によって未知の交絡因子によるバイアスが増幅される場合があることを理解するためにも役に立ちます。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:17:21
#統計 パールさんの言葉遣いは独特で、その言葉を通常の意味で受け取らないようにしないと、何を言っているか不明瞭になる場合があります。
例えば、パールさんは「統計学」を「同時確率分布としての統計モデルだけで可能な統計分析法全体」のような意味で使っていると解釈すると良い場合がある。続く twitter.com/genkuroki/stat...
タグ： 統計
posted at 18:29:10
#統計 パールさんの本を読んだ後には、Statistical Rethinkingの講義動画を視聴するとよいかもしれません。
github.com/rmcelreath/sta...
Lecture 06: Good and Bad Controlsより
↓ twitter.com/genkuroki/stat... pic.twitter.com/umzthCwp2m
タグ： 統計
posted at 18:55:26
#統計 「ベイズvs.頻度主義」というくだらない見方に毒されてしまった人にとって、Statistical Rethinkingは良い解毒剤になりえます。
特にパールさんの因果推論の本も読んだ人には効果的だと思われます。
github.com/rmcelreath/sta...
[1] <Science Before Statistics> <Slides> より
↓ pic.twitter.com/6RR8vAIAyZ
タグ： 統計
posted at 19:02:08
@temmusu_n 疑似相関の可能性も疑った方が良いかも。
例えば、先生が算数を理解できてないから、①割合の３用法で教える、かつ、②くもわも使わないと教えられない。そもそも理解してないから、①を使っても教えられてない。
タグ：
posted at 19:03:10
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
「ぼっち・ざ・ろっく！」のサントラの2本のギターは左右にハードパンニングされてるのか。
ふたりのステージ上の立ち位置を反映してるんだろうけど、耳コピのしやすさにも配慮してるのかな。
タグ：
posted at 19:24:20
#統計 パールさんの独特な言葉遣いは「因果のはしご」にも表れているのですが、「介入」や「反事実」のような言葉による説明を一時的に忘れて、観察研究の因果モデルの拡張の仕方の違いに過ぎないことを見抜けばクリアに理解できます。続く pic.twitter.com/YFCOEFXm8O
タグ： 統計
posted at 19:28:50
#統計 観測される変数達の同時確率分布としてのモデルだけで理解できる事柄がはしごの1段目。
Xの値をオールオーバーにxにする介入のモデル化で理解できることがはしごの2段目。
Xに因果的に影響を受ける変数ごとにXの値を別々に設定した想像上の状況のモデル化で理解できることがはしごの3段目。 pic.twitter.com/PFjo4XGQjI
タグ： 統計
posted at 19:28:55
#統計 それらの段階を例えば、associational、interventional (介入的)、counterfactual (反事実的)と呼ぶこと自体は本質的でも何でもない。
このような「介入」と「反事実」の区別も独特であることを認識できずにかつ、数学的に考えられない人はここで混乱する可能性が高い。 pic.twitter.com/DOmPKb3TQE
タグ： 統計
posted at 19:28:58
#統計 例えば、XのYへの効果の経路が、X→Yだけではなく、X→M→Yもあるときには、Xの値をオールオーバーでxに設定する介入のモデル化だけではなく、YにとってのXの値とMにとってのXの値を別々に設定した想像上の状況のモデル化も役に立ちます。
これをパールさんは「反事実的」と呼んでおり、独特。 pic.twitter.com/mAdvl2DaTE
タグ： 統計
posted at 19:32:28
#王位戦 挑戦者決定リーグ 紅組
#徳田拳士 四段が #永瀬拓矢 王座に勝利
成績は
徳田 1 - 2
永瀬 1 - 2
となりました。 pic.twitter.com/2doiISuusw
posted at 19:58:26
#統計 XのYへの効果の経路がX→YだけではなくX→M→Yもある場合に、YにとってのXの値をxに、MにとってのXの値をx'に別々に設定することによって得られるYをY_{x,x'}と書くとき、Y_{x,x'}のxによる偏微分はXのYへの自然直接効果で、x'による偏微分がXのYへのMを経由する自然間接効果になります(定義)。 pic.twitter.com/NDtLh9RCOU
タグ： 統計
posted at 20:02:34
#統計 続き。そして、YとMにとってのXの値を両方xに設定して得られるY_x = Y_{x,x}のxによる微分がトータル効果になります。チェインるーるより、トータル効果はx=x'のときの自然直接効果と自然間接効果の和に等しい。
ただし、添付画像の場合には交絡因子Zによる調整が必要になることに注意。 pic.twitter.com/un4d9CqC63
タグ： 統計
posted at 20:06:55
#統計 XのYへの因果の経路が、X→Yだけではなく、X→M→Yもあるとき、効果全体を、X→Yを経由する直接効果と、X→M→Yを経由する間接効果に分解したければ、効果はXへのYの依存性なので、添付画像のように、X→YとX→M→Yで独立にXの値を設定して別々に動かしたくなるのは極めて自然なことです。 pic.twitter.com/0TBBjNqAlj
タグ： 統計
posted at 20:12:25
#統計 ちなみに、はしごの2段目のYₓは潜在結果変数(potential outcome)です。
だから、パールさんの因果推論の本の内容はpotential outcomeを使う因果推論の方法も自然に含んでいるとみなせます。
❌DAG vs. PO
は間違った考え方で、
⭕️DAG and PO
が正しい考え方になります。 pic.twitter.com/7ay88Ng9h0
タグ： 統計
posted at 20:16:47
勝ち数ランキング
1位 藤井聡太六冠 53-11（.828）
2位 服部慎一郎五段 50-17（.746）
3位 徳田拳士四段 38-13（.745）
服部五段は王座戦で敗れそのまま
徳田四段はNHK杯予選の結果反映と
王位戦で勝利し38勝目
タグ：
posted at 20:27:25
#統計 potential outcomeの概念をDAG及びループを許す構造的因果モデルによる因果推論のフレームワークは含んでいるという当たり前の話を強調せざるを得ない理由は、POによる因果推論の創始者であるRubinさんが低レベルな印象操作で周辺に悪影響を与えているという事実があるからです。かなり酷い。 twitter.com/genkuroki/stat...
タグ： 統計
posted at 20:31:33
細かい解説
❌aをb個足すことをa×bと書く
ではなく、
⭕️aをb個足した合計をa×bと書く
となっていることが重要ポイント。
後者ではa×bは正しく数になっているが、前者ではそうではない。 twitter.com/hgn_no_otaku/s...
タグ：
posted at 20:44:43
もしも既存のルールに沿って要領よくやるのが得意なら、研究より評価される道があると思う。もしも、ルールを疑問に思うなら、研究もありかも。だいたいうまく行かないけど、それはそれで楽しめるだろうから。
タグ：
posted at 20:46:30
#統計 パールさんの本にはルービンさん達について辛辣な意見が書いてあって結構びっくりするのですが、その件ではルービンさん達が悪い。
Rubinさん達がパールさん達の考え方について酷いことを言っているという事実は、検索すれば比較的容易に確認できる。確認できたときには滅茶苦茶びっくりした！ twitter.com/genkuroki/stat...
タグ： 統計
posted at 20:49:10
"倦怠感を訴えスタッフに体を支えられながら受診する患者の姿も目の当たりにした。「コロナはただの風邪と言われることもあるが甘く見てはいけない」。実感がこもる。"
日本でも次第にこのような後遺症の報道が増えてきた
373news.com/_news/storyid/...
タグ：
posted at 21:11:06
youtu.be/0IlUwhMml8g?t=...
字幕を間違えたヴォーグ・ジャパンに一番の責任があるとはいえ、動画の拡散者も偏見をもっているから間違えるのではないか。snugglyは居心地のよいっていう意味だろう。#嬰誤 pic.twitter.com/VqWB8It6iE
タグ： 嬰誤
posted at 21:39:44
【今年巣立って大学へ入学する皆様へ】
※使い古されたアドバイスですが
奨学金の振込口座の暗証番号は至急変更し、親権者が通帳印鑑を所持している場合は再発行してもらいましょう（出来れば通帳もない金融機関がベスト）→
タグ：
posted at 21:58:26
うけた！
この部屋を特に日本語で「こぢんまりとした」と形容しちゃうのはとてもまずい！🤣
snugglyをどうして「こぢんまりとした」と訳しちゃったんだろうか？ twitter.com/temmusu_n/stat...
タグ：
posted at 21:59:00
奨学金を無心する親権者のなんと多いことか。「家に入れなさい」「私が生活できなくなるわ」「振り込まなければ死んでしまう」。罵声も浴びて苦しくなることも思います。しかしあなたは親とは別人格です。これについてあなたが責任を感じることは微塵もありません。あなたの奨学金なのですから→
タグ：
posted at 21:59:07
この件のように親が脅迫してこようと、自信を持って判断できることが大学で教養を学んだと言うことです。相手は孤立しているうちに狙ってくるので、ぜひ緩やかでも良いので大学でいろいろな繋がりを作って相談してください。※私の「子ども論」でもいろいろやります。
タグ：
posted at 22:02:55
Takaya Suzuki MD, Ph @suzuki_takaya
いろいろな素人の方が独自の方法で「超過死亡」的なものを算出したりグラフ化していますが、学術的に確立された方法でまとめられたオープンデータがありますので、政府のデータよりも自説のほうが大事だということでなければ、こちらを参考にされたほうが良いと思います。
exdeaths-japan.org pic.twitter.com/sQXWETk8fc
タグ：
posted at 22:27:06
Takaya Suzuki MD, Ph @suzuki_takaya
見方は単純で、真ん中の点線が経年トレンドから予想される死亡者の数。上の緑線が予測の上限、紫線が下限です。緑線を超えたところは「有意な」超過死亡であって、なにか死亡を誘発するお大きなイベントがあったと考えることになります。近年だと多きな超過はオミクロンがいきなり流行った2022年冬と、 pic.twitter.com/ABRs8vqAjV
タグ：
posted at 22:27:08
Takaya Suzuki MD, Ph @suzuki_takaya
きつかったことが知られています（下のリンクは米国）。例年より2倍近い死亡が推定されています。
www.cdc.gov/flu/about/burd...
タグ：
posted at 22:27:10
Takaya Suzuki MD, Ph @suzuki_takaya
このサイトは便利で、死因別にもデータを表示してくれます。例えば「COVID19以外」でくくっても超過死亡は見られて、やはり医療逼迫というのが一つ理由として考えられます。 pic.twitter.com/SD7PE8LDX7
タグ：
posted at 22:27:11
Takaya Suzuki MD, Ph @suzuki_takaya
一方で死亡診断医師が「老衰」と判断した死亡の超過も全超過死亡と似たようなトレンドで見られています。気づくと思いますが、この波は毎年高くなります。高齢化がどんどん進むので単純に前年との比較はできません（全死亡も同じ）。 pic.twitter.com/eUdjvYRnNH
タグ：
posted at 22:27:13
Takaya Suzuki MD, Ph @suzuki_takaya
一方でCOVIDの波と逆に相関していそうな自殺についても深い考察が必要に思われます。 pic.twitter.com/ShMQKyfmN8
タグ：
posted at 22:27:14
Takaya Suzuki MD, Ph @suzuki_takaya
結論は特にありません。いずれにしても各国とくらべて感染者・死者とも少なめだった日本であってもCOVID19感染の波による社会負担は明らかであったように見えます。こういうデータをみて「結局騒ぎ過ぎだった」とか逆に「本当の死亡は隠されているのだ」というような自宅研究者もいるとは思いますが
タグ：
posted at 22:27:15
非公開
タグ：
posted at xx:xx:xx
“1 + ε dipping” 「正しい選び方」を求めるのではなく「選択→その影響」を定量的に考えるのが大事っすね。 twitter.com/genkuroki/stat...
タグ：
posted at 23:37:20
