Sosyal Bilimler Tahmin Platformu, araştırmacıların çalışma etki boyutlarını ne kadar iyi tahmin ettiğini anlamak için analiz edildi. Bunu iyi🧵 yapmıyorlar Araştırmacılar rutin olarak etkilerinin ne kadar büyük olacağını fazla tahmin ediyorlar!

Araştırmacıların öngördüklerini (b) ve bulduklarını (a) karşılaştırdığınızda, tahminler sahadaki gerçeklerden çok daha büyüktür. Ve aşağıdaki grafik, korelasyonun büyük ama güven vermeyen 0.453 olması nedeniyle tahmin doğruluğunu abartabilir.

Bu sonucun bir nitelendirmesi olarak, RCT sonuçları için nispeten daha az mistingimation var, RCT dışı sonuçlar için ise nispeten daha fazla. Ama ilginç bir şekilde, mutlak derece aynı.

Tahmin doğruluğunu hangi faktörler değiştirdi? En güçlü faktör kalabalıkların bilgeliğiydi: gruplar bireyleri kesin şekilde geride bıraktı! Ayrıca, akademisyenler akademik olmayanları yener, ücretli tahmin panelistleri panelist olmayanları yener ve özgüven doğrusal olarak kötüydü!

Kendine güvenen insanlar genel olarak kesinlikle daha az doğrudur. Ama özgüvensizleri medyandakilerle karşılaştırınca hiçbir fark yok. Büyük özgüvene girdiğinizde bu kalıp ortaya çıkıyor.

Sebebi, yüksek güvene sahip olanların nedense daha büyük etki boyutlarını tahmin etmesidir.

Daha ilginç olan, kişiler arasındaki güven daha düşük doğrulukla ilişkilendirilirken, kişi içindeki güven daha yüksek doğrulukla ilişkilidir. Yani, zaman içinde insanlara baktığınızda, onların daha kendinden emin tahminleri daha iyi oluyor!

Tahmin doğruluğunda küçük ama kayda değer birçok faktör rol oynadı ve kesinlikle makaleyi okumanızı tavsiye ederim. Ama buradan çıkarmanızı önerdiğim şey, genel olarak insanların bilimi tahmin etmekte hâlâ çok iyi olmadıklarıdır.

Bir anlamda, bu iyi bir şey. Her şey mükemmel şekilde öngörülebilseydi, baştan araştırma yapmamıza gerek kalmazdı. Başka bir bölümde ise bu kötü bir şey, büyük ölçüde ayrıntılar yüzünden. Yani, araştırmacılar aşırı özgüveniyor ve sonuçları abartıyor gibi görünüyorlar.

Başka bir anlamda, bu başka yerlerde belirttiğim noktaları destekleyen gerçekten bilgilendirici bir şey Örneğin, literatürde aşırı sayıda p-değerinin önemliliğin sınırında olduğunu savunan argümanlardan biri, araştırmacıların "öngörüşü" şudur: Doğru değil!

Argüman, araştırmacıların bir güç analizi yaptığı—bunun gerçekçi bir etki boyutunu seçmeyi gerektirdiği—ve bu nedenle sonuçlarının sadece anlamlı olması beklendiği yönünde. Ama değiller. %80 gücün varsa, p-değerlerinin çoğu anlamlılık eşiğinden gelir.

Tedavi etkileri, varyans gibi konularda daha kesin bilgi olmadan p-değerinin nerede olacağını tahmin edemez ve bu bilgi mevcut değildir. Ama insanlar imkansızı savunuyor ve araştırmacıların tedavileri kötü tahmin etmesi bu düşünceyi destekliyor.