Platforma de Predicție a Științelor Sociale a fost analizată recent pentru a înțelege cât de buni sunt cercetătorii în a prezice mărimea efectelor studiilor. Nu fac o treabă bună🧵 Cercetătorii supraestimează în mod obișnuit cât de mari vor fi efectele lor!

Când compari ceea ce prezic cercetătorii (b) cu ceea ce găsesc (a), predicțiile sunt pur și simplu mult mai mari decât realitățile de la fața locului. Iar graficul de mai jos ar putea exagera acuratețea predicțiilor, deoarece corelația este un 0,453 considerabil, dar nu inspiră încredere.

Ca o precizare a acestui rezultat, există relativ mai puține estimări greșite pentru rezultatele RCT și relativ mai multe pentru rezultatele non-RCT. Dar, interesant, gradul absolut este același.

Ce factori au modificat acuratețea predicțiilor? Cel mai puternic factor a fost înțelepciunea mulțimilor: grupurile de oameni au depășit clar indivizii! De asemenea, academicienii i-au învins pe cei neacademici, paneliștii predictori plătiți i-au învins pe cei care nu au participat la panel, iar încrederea în sine a fost neliniar slabă!

Oamenii încrezători sunt, absolut, mai puțin exacți în general. Dar comparând cei neîncrezători cu cei de la mediană, nu există nicio diferență. Abia când intri în încredere ridicată, tiparul apare.

Motivul este că cei foarte încrezători prezic dimensiuni mai mari ale efectelor, dintr-un motiv oarecare.

Mai interesant este că încrederea între persoane este ceea ce este corelat cu o acuratețe mai mică, dar încrederea în cadrul persoanelor este corelată cu o acuratețe mai mare. Adică, dacă te uiți la oameni de-a lungul timpului, predicțiile lor mai încrezătoare sunt cele mai bune!

Mulți alți factori au jucat roluri mici, dar notabile, în acuratețea predicțiilor, și recomand cu siguranță să citești lucrarea pentru a afla mai multe. Dar ceea ce recomand să rețineți este că, per ansamblu, oamenii încă nu sunt foarte buni la a prezice știința.

Într-un fel, este un lucru bun. Dacă totul ar putea fi prezis perfect, nu ar fi nevoie să facem cercetare de la început. În altă parte, este un lucru rău, în mare parte din cauza detaliilor. Mai exact, cercetătorii sunt prea încrezători și par să exagereze rezultatele.

Într-un alt sens, este un lucru foarte informativ care susține punctele pe care le-am făcut în alte părți De exemplu, unul dintre argumentele auzite în apărarea faptului că prea multe valori p din literatură sunt la limita semnificației este că cercetătorii au "prezis" că Nu e adevărat!

Argumentul este că cercetătorii au făcut o analiză a puterii — care necesită alegerea unei dimensiuni de efect sperăm realiste — și, prin urmare, rezultatele lor sunt așteptate să fie doar semnificative. Dar nu sunt. Dacă ai 80% putere, majoritatea valorilor p provin din pragul de semnificație.

Nimeni nu poate prezice unde va fi valoarea p fără o cunoaștere mai precisă despre efectele tratamentului, varianță și așa mai departe, iar aceasta este o cunoaștere indisponibilă. Dar oamenii apără imposibilul, iar faptul că cercetătorii prezic prost tratamentele susține această idee.