La plateforme de prédiction en sciences sociales vient d'être analysée pour comprendre à quel point les chercheurs sont bons pour prédire les tailles d'effet des études. Ils ne s'en sortent pas très bien🧵 Les chercheurs surestiment systématiquement l'ampleur de leurs effets !

Lorsque vous comparez ce que les chercheurs prédisent (b) et ce qu'ils trouvent (a), les prévisions sont tout simplement beaucoup plus importantes que les réalités sur le terrain. Et ce graphique ci-dessous peut exagérer la précision des prévisions, car la corrélation est considérable, mais pas inspirante en termes de confiance, à 0,453.

En tant que qualification de ce résultat, il y a relativement moins de mauvaise estimation pour les résultats RCT, et relativement plus pour les résultats non-RCT. Mais, de manière intéressante, le degré absolu est le même.

Quels facteurs ont modifié la précision des prédictions ? Le facteur le plus puissant était la sagesse des foules : des groupes de personnes ont surpassé les individus, de manière décisive ! De plus, les universitaires ont battu les non-universitaires, les panélistes payés ont battu les non-panélistes et la confiance était non linéairement mauvaise !

Les personnes confiantes sont, absolument, moins précises en général. Mais en comparant les personnes peu confiantes à celles du médian, il n'y a pas de différence. C'est quand on atteint un haut niveau de confiance que le schéma apparaît.

La raison est que les prévisions très confiantes prédisent des tailles d'effet plus importantes, pour une raison quelconque.

Plus intéressant encore, la confiance entre les personnes est ce qui est corrélé avec une précision plus faible, mais la confiance au sein des personnes est corrélée avec une précision plus élevée. C'est-à-dire que lorsque vous regardez les gens au fil du temps, leurs prédictions les plus confiantes sont celles qui sont les meilleures !

De nombreux autres facteurs ont joué des rôles petits mais notables dans la précision des prédictions, et je recommande vivement d'aller lire l'article pour en savoir plus. Mais ce que je recommande de retenir de cela, c'est qu'en général, les gens ne sont toujours pas très doués pour prédire la science.

En un sens, c'est une bonne chose. Si tout pouvait être parfaitement prédit, nous n'aurions pas besoin de faire de la recherche en premier lieu. Dans un autre sens, c'est une mauvaise chose, en grande partie à cause des spécificités. À savoir, les chercheurs sont trop confiants et ils semblent exagérer les résultats.

Dans un autre sens, c'est une chose vraiment informative qui soutient des points que j'ai évoqués ailleurs Par exemple, l'un des arguments entendus en défense d'un nombre excessif de p-values dans la littérature étant juste à la limite de la signification est que les chercheurs "prédisaient" que Pas vrai !

L'argument soutient que les chercheurs ont effectué une analyse de puissance—ce qui nécessite de choisir une taille d'effet réaliste—et donc leurs résultats sont censés être juste significatifs. Mais ce n'est pas le cas. Si vous avez 80 % de puissance, la plupart de vos p-values proviennent du seuil de signification.

Personne ne peut prédire où se situera la valeur p sans une connaissance plus précise des effets du traitement, de la variance, etc., et cette connaissance est indisponible. Mais les gens défendent l'impossible, et le fait que les chercheurs prédisent mal les traitements soutient cette notion.