Social Science Prediction Platform analyserades precis för att förstå hur bra forskare är på att förutsäga storlekar på studieeffekter. De gör det inte särskilt bra🧵 Forskare överskattar rutinmässigt hur stora deras effekter kommer att bli!

När man jämför vad forskarna förutspår (b) och vad de hittar (a), är förutsägelserna helt enkelt mycket större än verkligheten på plats. Och detta diagram nedan kan översälja förutsägelsens noggrannhet, eftersom korrelationen är en betydande, men inte förtroendeskapande 0,453.

Som en förbehåll för det resultatet finns det relativt mindre felbedömning av RCT-resultat, och relativt mer för icke-RCT-resultat. Men, intressant nog, är den absoluta graden densamma.

Vilka faktorer påverkade förutsägelsens noggrannhet? Den mest kraftfulla faktorn var folkmassornas visdom: grupper av människor presterade avgjort bättre än individer! Dessutom slog akademiker icke-akademiker, betalda prediktorpanelister slog icke-paneldeltagare och självförtroendet var icke-linjärt dåligt!

Självsäkra människor är absolut mindre träffsäkra i allmänhet. Men om man jämför de osäkra med de vid medianen finns det ingen skillnad. Det är när du får hög självsäkerhet som mönstret visar sig.

Anledningen är att de mycket självsäkra förutspår större effektstorlekar, av någon anledning.

Mer intressant är att förtroende mellan personer är det som korreleras med lägre noggrannhet, men förtroende inom personer är korrelerat med högre noggrannhet. Det vill säga, när man tittar på människor över tid är deras mer självsäkra förutsägelser de bättre!

Många andra faktorer spelade små men betydande roller för förutsägelsenoggrannhet, och jag rekommenderar definitivt att du läser artikeln för att lära dig mer. Men det jag rekommenderar att ta med sig från detta är att människor överlag fortfarande inte är särskilt bra på att förutsäga vetenskap.

På ett sätt är detta en bra sak. Om allt kunde förutsägas perfekt skulle vi inte behöva forska från början. I ett annat är det dåligt, främst på grund av detaljerna. Nämligen är forskare överdrivna och verkar överdriva resultaten.

På ett annat sätt är detta en väldigt informativ sak som stöder de punkter jag tagit upp på andra håll Till exempel är ett av argumenten som hörs till försvar för att alltför många p-värden i litteraturen ligger precis på gränsen till signifikans att forskare "förutspådde" att Inte sant!

Argumentet är att forskarna gjorde en effektanalys – vilket kräver att man väljer någon förhoppningsvis realistisk effektstorlek – och därför förväntas deras resultat vara precis signifikanta. Men det är de inte. Om du har 80% effekt kommer de flesta av dina p-värden från signifikanströskeln.

Ingen kan förutsäga var p-värdet kommer att ligga utan mer exakt kunskap om behandlingseffekter, varians och så vidare, och detta är otillgänglig kunskap. Men folk försvarar det omöjliga, och det faktum att forskare förutspår behandlingar dåligt stöder den uppfattningen.