Social Science Prediction Platformは、研究者が研究効果量をどれだけ予測できるかを理解するために分析されました。 彼らはそれを🧵うまくやっていません 研究者たちは、その効果がどれほど大きくなるかを過大評価しがちです!

研究者が予測する(b)と発見したもの(a)を比較すると、予測は現実よりもはるかに大きいのです。 また、下のチャートは予測の正確さを過大評価しているかもしれません。相関はかなり大きいものの、信頼を持てる0.453ではないからです。

その結果の条件として、RCTの結果には比較的少ない誤評価があり、非RCTの結果では誤評価が多いです。 しかし興味深いことに、絶対度は同じです。

予測精度に影響を与える要因は何でしょうか? 最も強力な要因は群衆の知恵でした。人々の集団が個人を決定的に上回りました! また、学者は非学者に勝ち、有給の予測パネリストは非パネリストに勝ち、信頼度は非線形的に悪化しました!

自信のある人は、一般的に正確さが低いです。しかし、自信のない人と中央値の人を比較すると、違いはありません。高い自信を持つとパターンが現れます。

その理由は、高い自信を持つ人は何らかの理由でより大きな効果量を予測するからです。

さらに興味深いのは、人同士の信頼度は精度が低いものと相関していますが、人同士の自信は高い精度と相関しています。 つまり、時間をかけて人々を見ると、より自信のある予測がより良いものになるということです!

他にも多くの要素が予測精度に小さくも顕著な役割を果たしており、ぜひ論文を読んで学んでみることを強くお勧めします。 しかし、私がここで得たいことは、全体的に見て、人々は科学を予測するのがあまり得意ではないということです。

ある意味で、これは良いことだ。 もしすべてが完璧に予測できるなら、そもそも研究をする必要はありません。 また別の視点では、主に具体的な内容のせいで悪いこともあります。つまり、研究者は自信過剰で結果を過大評価しているように見えます。

別の意味では、これは私が他の場所で述べた点を裏付ける非常に有益な情報でもあります 例えば、文献で過剰に多くのp値が有意の境界にいることを擁護する議論の一つに、研究者が「予測」したというものがあります。 本当じゃないです！

その主張は、研究者がパワー分析を行い、現実的な効果サイズを選ぶ必要があるため、その結果はちょうど有意であると期待されるというものです。 しかし、そうではありません。 もし検密力が80%なら、ほとんどのp値は有意性閾値から来ています。

治療効果や分散などのより正確な知識なしにはp値がどこにあるかを予測することはできず、これは入手できない知識です。 しかし、人々は不可能を擁護しており、研究者が治療法を誤って予測していることがその考えを裏付けています。