Het Social Science Prediction Platform is net geanalyseerd om te begrijpen hoe goed onderzoekers zijn in het voorspellen van de effectgroottes van studies. Ze doen het daar niet goed in🧵 Onderzoekers overschatten routinematig hoe groot hun effecten zullen zijn!

Wanneer je vergelijkt wat onderzoekers voorspellen (b) en wat ze vinden (a), zijn de voorspellingen simpelweg veel groter dan de realiteiten op de grond. En deze onderstaande grafiek kan de nauwkeurigheid van de voorspellingen overschatten, aangezien de correlatie een aanzienlijke, maar niet vertrouwenwekkende 0,453 is.

Als kwalificatie op dat resultaat is er relatief minder verkeerde inschatting voor RCT-resultaten, en relatief meer voor niet-RCT-resultaten. Maar, interessant genoeg, is de absolute graad hetzelfde.

Welke factoren hebben de voorspellingsnauwkeurigheid beïnvloed? De meest krachtige factor was de wijsheid van de massa: groepen mensen presteerden beter dan individuen, beslissend! Ook presteerden academici beter dan niet-academici, betaalde voorspellers beter dan niet-panelleden en vertrouwen was niet-lineair slecht!

Zelfverzekerde mensen zijn over het algemeen absoluut minder nauwkeurig. Maar als je de onzekere vergelijkt met degenen op het mediane niveau, is er geen verschil. Het is pas wanneer je in de hoge zelfvertrouwen komt dat het patroon zichtbaar wordt.

De reden is dat de zeer zelfverzekerde voorspellingen grotere effectgroottes voorspellen, om de een of andere reden.

Interessanter is dat het vertrouwen tussen personen samenhangt met een lagere nauwkeurigheid, terwijl het vertrouwen binnen personen samenhangt met een hogere nauwkeurigheid. Dat wil zeggen, als je naar mensen in de tijd kijkt, zijn hun meer zelfverzekerde voorspellingen de betere!

Veel andere factoren speelden kleine maar opmerkelijke rollen in de nauwkeurigheid van voorspellingen, en ik raad zeker aan om het artikel te lezen om meer te leren. Maar wat ik aanbeveel om hieruit te halen, is dat mensen over het algemeen nog steeds niet erg goed zijn in het voorspellen van wetenschap.

In zekere zin is dit een goede zaak. Als alles perfect voorspeld kon worden, zouden we in de eerste plaats geen onderzoek hoeven te doen. Aan de andere kant is het een slechte zaak, grotendeels vanwege de specifics. Namelijk, onderzoekers zijn te zelfverzekerd en ze lijken de resultaten te overhypen.

In een andere zin is dit een echt informatieve zaak die punten ondersteunt die ik elders heb gemaakt Bijvoorbeeld, een van de argumenten die gehoord worden ter verdediging van overdreven veel p-waarden in de literatuur die precies op de rand van significantie liggen, is dat onderzoekers "voorspelden" dat Niet waar!

Het argument is dat onderzoekers een power-analyse hebben uitgevoerd—wat vereist dat je een hopelijk realistische effectgrootte kiest—en daarom worden hun resultaten verwacht net significant te zijn. Maar dat zijn ze niet. Als je 80% power hebt, komen de meeste van je p-waarden van de significantiedrempel.

Niemand kan voorspellen waar de p-waarde zal zijn zonder meer precieze kennis over de behandelingseffecten, variantie, enzovoort, en deze kennis is niet beschikbaar. Maar mensen verdedigen het onmogelijke, en het feit dat onderzoekers behandelingen slecht voorspellen ondersteunt die gedachte.