黒木玄 Gen Kuroki
- いいね数 389,756/311,170
- フォロー 995 フォロワー 14,556 ツイート 293,980
- 現在地 (^-^)/
- Web https://genkuroki.github.io/documents/
- 自己紹介 私については https://twilog.org/genkuroki と https://genkuroki.github.io と https://github.com/genkuroki と https://github.com/genkuroki/public を見て下さい。
2013年04月25日(木)
今度は違うぞ…データ操作のおかげでね tinyurl.com/a8g8v6w ｜This Time is the Same. tinyurl.com/ah6jxut (いずれにせよ、AERがトンデモ論文を掲載してしまったのは事実。最低限の形式チェックもせずに素通し)
タグ：
posted at 23:15:04
Excel操作のアホなミスで欧州危機が？ bit.ly/15t8QdY ｜Think outside the boxより→ tinyurl.com/ajgb7mq tinyurl.com/bdxmkjq tinyurl.com/a4w3ltc
タグ：
posted at 23:00:50
@genkuroki tinyurl.com/b5mvsht 26時間近く前にReinhart Rogoff Herndon Ash Pollin をググると18400件ヒット。現在23100件。どんどん増えていますね。今日はもう寝る予定。
タグ：
posted at 22:50:36
非公開
タグ：
posted at xx:xx:xx
@genkuroki I've heard that policy makers were worse. I.e., they treated the R-R paper as a fact to support their austerity policy.
タグ：
posted at 15:29:54
@genkuroki You may like this segment. on.cc.com/11NrR46 Popular TV program picked up this debacle.
タグ：
posted at 15:16:37
2013年度全国学力テストmainichi.jp/feature/exam/e... @掛け算の順番が良く問題になるけど。連立方程式書くときに、鉛筆の値段ｘ、ノートの値段ｙで鉛筆３本ノート２冊460円は３ｘ＋２ｙ＝460と書くけど、ｘ×３って書かないが。順番にこだわる派はどう反論すんだろ。
タグ：
posted at 14:18:35
@genkuroki Google Scholarで検索すればReinhar&Rogoffのトンデモ論文を引用している文献のリストが得られる→ scholar.google.co.jp/scholar?cites=... 。面白いことを発見した人がいれば教えて下さい。
タグ：
posted at 14:17:25
査読誌に掲載されていない結果であっても独自に正しさを確認して使っていれば問題無し。でも、Reinhart&Rogoff AER May 2010論文を引用して使っている場合には、自分で独自にチェックすればおかしいことに気付くはずなので、問題有りなことをやっていることが確定する。
タグ：
posted at 14:14:07
@genkuroki Herndonさんたちに誤りを指摘された後のReinhart&Rogoffの頓珍漢ぶりの指摘については→ tinyurl.com/d3v3wvu tinyurl.com/bnvzq6s
タグ：
posted at 14:06:41
ラインハート＆ロゴフ論文にまともな査読がなかった件 togetter.com/li/493014 「ラインハートとロゴフ自身が論文で使った数値がどのようにして得られたのかを理解していなかったし、詳細に誤りを指摘された後にも頓珍漢なことを述べていた！」
タグ：
posted at 14:01:39
@genkuroki そして実質的にAER May号P&Pはrefereed journalではないのだから、JEPはR&Rに「R&R AER May 2010論文はrefereed literature扱いできません！」とはっきり言うべきだったんじゃないかな？
タグ：
posted at 13:57:39
実はぼくは「査読されていれば信頼度が上がる」という言い方を不用意にすることを大嫌いだし、人々の生活にかかわることでは査読以外のチェックも必要不可欠だと思っています。でも「結果を第三者が再現できるように書いてあるか」のような投稿された論文の形式のチェックだけで防げる害もあると思う。
タグ：
posted at 13:50:47
AERは一流の査読誌だけど、May号P&Pは査読誌扱いしてはいけない。だから、そこに掲載された論文を査読誌に掲載された論文と同じように扱ってはいけない。さて、この当然のルールは経済学者のあいだではどのくらい厳密に守られているのでしょうか？R&R自身が守っていないんじゃないの？
タグ：
posted at 13:46:39
@genkuroki トンデモなのに素通しで出版されたらしい Reinhart&Rogoff AER May 2010論文をだれがどこで引用してどのように利用しているかに関するリストを作って分析するというようなことを誰かやるべきなんじゃないかと思う。
タグ：
posted at 13:36:57
@genkuroki 続き。R&R JEP2012 tinyurl.com/a7r3skg ではAER May 2010の論文を引用して、90%という数値に何度も繰り返し言及している。AER May号に掲載された論文はrefereed literatureとみなせるの？
タグ：
posted at 13:33:54
@genkuroki JEPの www.aeaweb.org/jep/submission...では、empirical papersについてJEPは a catalyst or incubator for the refereed literature であることを強調している。続く
タグ：
posted at 13:30:32
AERは一流の査読誌だけど、Reinhart&Rogoffのトンデモ論文を出版したMay号(P&P)は査読誌扱いしてはいけないということなんですね。でも、それではR&R JEP 2012の論文 tinyurl.com/a7r3skg との関係はどうなるのか？
タグ：
posted at 13:26:14
アナウンサーの方、「じゅっぽん」とか「じゅっきょく」とか読まないで下さ～い。(×_×;）学校の先生が間違いを教えてるって思われちゃうよお。「十本」は「じっぽん」、「十曲」は「じっきょく」ですぅ。(;^_^A 小１の国語の教科書に載ってますのでよろしく。
タグ：
posted at 13:25:30
@genkuroki 続き。手抜きをして楽をするために無責任なことをしてしまうのは(理解していない数値を論文で使うとかは)結構よくあることだと思う。でも、誤りを詳細に指摘された後に、著者達が論文で使った数値を全然理解していないこと自ら暴露するというのはとても珍しいのではないか。
タグ：
posted at 12:57:56
@yirwk @genkuroki @yagena 僕もAER P&Pに一度書いたことがありますが、普通のreviewは無かったと思います。セッションを誰かが企画して、それをコンファレンス主催者が気に入るとそこで発表した内容のようやくみたいなのが出版される、みたいな感じ。
タグ：
posted at 12:50:38
@genkuroki 続き。しまった！「再確認」という言葉は誤り。それだとそれまでに一度以上確認していたことになってしまう。どこかで確認していれば Herndon さんに滅多斬り tinyurl.com/bnvzq6s されるようなことを言わずにすんでいたはず。
タグ：
posted at 12:49:30
@genkuroki 続き。しかも、Herndonさんたちにスプレッドシートをわたすときにも、論文で使った数値がどのように計算されていたかを何も確認せずにわたしていたのではないか。さらにしかも、誤りを指摘する論文が発表された後にも十分な再確認をしていない！
タグ：
posted at 12:46:08
非公開
タグ：
posted at xx:xx:xx
推測。たぶんラインハートとロゴフはエクセルの操作を「下請け」に出していたんだと思う。そして「都合の良い数値」を出してもらえたので、その数値をどのように出したかを何も確認せずに(研究者としてはありえないほど無責任な態度！)、そのまんま論文で使ってしまったんだと思う。
タグ：
posted at 12:42:57
The Colbert Report 4/23 Stephen Colbert interviews Thomas Herndon www.youtube.com/watch?v=GgMV4K... (ラインハート&ロゴフを滅多斬りにしたHerndonさんへのインタビュー、カテゴリ コメディー)
タグ：
posted at 12:18:43
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
@genkuroki Reinhart&Rogoff AER May 2010の論文が掲載された場所が場所なので「信用できないので現実の政策の議論で利用してはいけない論文」だとみなされていれば害は無かった。実際にはそうならなかったよね。90%という数字があちこちで使われている。
タグ：
posted at 11:28:40
非公開
タグ：
posted at xx:xx:xx
@genkuroki で、そのトンデモ論文が出版されたのは一流の査読誌であるAmerican Economic Reviewだった。しかし、May号だけはトンデモ論文も素通しする方針らしい。R&Rのトンデモ論文が掲載されたのもAER May 2010号。
タグ：
posted at 11:26:13
経済学のお偉い先生が著者の論文ではなんとそこに書いてある数値をどのように計算したかをその著者たち自身が実は何もわかってなかった！そして、詳細に誤りを指摘されたあとにも、著者たちは誤りを十分に認めなかった！こういう話なんだよねえ。
タグ：
posted at 11:23:51
ぼくは一応経済学ファンでもあるつもりなので理系の仲間に経済学の話を楽しくしたいこともあるんです。でも、そこで立ちはだかる壁は「経済学という分野への強い不信感」。今回のラインハート&ロゴフの件は不信感を持っていた人達の不信をさらに強めることになったと思う。
タグ：
posted at 11:17:14
@genkuroki 「American Economic Review誌は一流の査読誌だが、Mayに出る号だけは違う」ということらしい。Reinhart-Rogoffの例のとんでも論文も May 2010 の号に出版されている。
タグ：
posted at 11:13:25
(1)Reinhart&Rogoffは自分たちの論文AER2010の結論の数値をどのように計算したかをわかっていなかった。(2)Herndonさんたちに誤りを暴露された。(3)R&Rはそれでも自分たちの論文の結論の主要部分は正しいと言い張った。(4)Hさんに滅多斬りされた。
タグ：
posted at 11:04:25
@genkuroki 論文誌を発行している学会はその質を保つ社会的責任がある。最低でも「その論文に書いてある結果を第三者が再検証できるだけ十分な説明があるか否か」を形式面できちんとチェックするべき。AEAはそういう団体ではないということなのかな？
タグ：
posted at 10:58:33
@genkuroki そもそも論文の著者たちのラインハートとロゴフが「敵」にあっさりスプレッドシートた渡してしまっていることとその発言から推測するに、著者たち自身が自分たちの論文に書いてある数値をどのように計算したかをわかっていないんじゃないか？
タグ：
posted at 10:47:23
メンションせずに再投稿。Proceedingsでも編集委員が形式だけはチェックするよねえ。ラインハート&ロゴフAER2010論文には結論の数値がどのようにして計算して得られたのかに関する説明がない。書いていればエクセルのミスには気付けたと思うんだけどね。
タグ：
posted at 10:42:19
@myfavoritescene Proceedingsでも編集委員が形式だけはチェックするよねえ。ラインハート&ロゴフAER2010論文には結論の数値がどのようにして計算して得られたのかに関する説明がない。書いていればエクセルのミスには気付けたと思うんだけどね。
タグ：
posted at 10:41:09
@balsamicose 検定教科書の教師用指導書には検定はありません。しかも一般人には購入不可で、購入できてもかなり高価。万人による批判の目からずっと逃れて来ている感じだと思います。でも、みんなの協力で少しずつ指導書に何が書いてあるかがわかりつつある。 #掛算
タグ： 掛算
posted at 10:35:37
koji hasegawa @myfavoritescene
@genkuroki proceedings であって査読はなかった（大物だし素通り？）という指摘が今回早くからあったようです。
タグ：
posted at 08:04:24
@genkuroki @yagena AER P&Pがnon-peer reviewedという「証言」でよろしければ、例えばtwitter.com/MarkThoma/stat...、twitter.com/justinwolfers/...、twitter.com/justinwolfers/...
タグ：
posted at 07:43:48
非公開
タグ：
posted at xx:xx:xx
@yagena @genkuroki 論文の査読は無いです〜 が、AEAのセッションに入ること自体が大変ですし、そのセッションがP&Pに選ばれるという事は何らかの価値がありますね。visibilityもありますし。その論文のフルバージョンは他で査読論文で出ることが多いと思います。
タグ：
posted at 04:56:32
非公開
タグ：
posted at xx:xx:xx
非公開
タグ：
posted at xx:xx:xx
@genkuroki 続き。そういう代物は形式のチェックではねるべきだと思うんだが、「素通し」では論文を掲載しないらしい American Economic Review 誌の場合はそういうことではないこともあるということがわかったわけだ。
タグ：
posted at 00:35:41
Herdonさんの指摘 tinyurl.com/bnvzq6s を読んで、Reinhart&Rogoffの論文を見ても、「これって論文を見てもそこに書いてある数値をどのようにすれば再現できるかが分からないんじゃないの？」という印象が強い。続く
タグ：
posted at 00:32:10
.@genkuroki いえいえ。自分がAERP&Pに論文を載せたことがあれば、もう少し具体的な話もできるのですが、お役に立てずすいません… 曖昧な言い方になってしまいますが、P&Pは玉石混合のショート論文集で、通常号のAERと比べるとグっと割り引いて評価されるのだけは確かです。
タグ：
posted at 00:30:26
.@genkuroki AERのウェブサイトにP&Pの掲載プロセスについて記述があります：www.aeaweb.org/aer/pandp_faq....
が、肝心の最終的な論文のレビューについては何も書いてませんね…
タグ：
posted at 00:28:18
ううむ、今から安田さんのメンションをまとめてリツイートします。「素通しではないが、通常号と同様の（3-4名の査読者をつけた）レビューはしていない」ということらしい。本当のことはAERに聞けと。要するにわからんということ。
タグ：
posted at 00:21:28
.@genkuroki それは「本当のこと」の定義が何かによりますよね（笑）ただ twitter.com/yagena/status/... で書かせて頂いた内容以上のことは把握していません。直接お問い合わせ頂くのが最善だと思います。
タグ：
posted at 00:19:52
Herndonさんたちの批判を読むと、Reinhart&Rogoffの論文を読んでもそこに書いてある数値を彼らがどのように出したかがわからないってことがわかる。形式をチェックするだけでリジェクトできたはず。掲載したってことは形式のチェックもしていないってことじゃないのかな？
タグ：
posted at 00:12:59
.@genkuroki このへんの事情は、ある程度まともに研究している経済学者であれば共有知識だと思います。更に具体的な細部については、直接AERの事務局にお問い合わせ頂くのがベストではないかと思います。
タグ：
posted at 00:07:53
.@genkuroki そもそもどの論文が学会報告に通るのかについては（招待でない場合には）審査がありますし、またどのセッションをP&Pに掲載するかも編集委員達が決めています。その意味で「素通し」ではありません。が、通常号と同様の（3-4名の査読者をつけた）レビューはしてません。
タグ：
posted at 00:06:17
