تم تحليل منصة التنبؤ بالعلوم الاجتماعية مؤخرا لفهم مدى كفاءة الباحثين في التنبؤ بحجم تأثيرات الدراسات. هم لا يقومون بعمل جيد في ذلك🧵 الباحثون يبالغون في تقدير حجم تأثيراتهم بشكل روتيني!

عندما تقارن ما يتوقعه الباحثون (ب) وما يجدونه (أ)، تكون التنبؤات ببساطة أكبر بكثير من الحقائق على الأرض. وقد يبالغ هذا الرسم البياني أدناه في دقة التوقع، حيث أن الارتباط كبير لكنه ليس محفزا للثقة 0.453.

كملاحظة على هذه النتيجة، هناك تقدير أقل نسبيا لنتائج RCT، وأكثر نسبيا للنتائج غير العشوائية. لكن، ومن المثير للاهتمام، أن الدرجة المطلقة هي نفسها.

ما هي العوامل التي عدلت دقة التنبؤ؟ كان العامل الأقوى هو حكمة الحشود: مجموعات من الناس تفوقت على الأفراد، بشكل حاسم! أيضا، الأكاديميون تفوقوا على غير الأكاديميين، وأعضاء لجنة التنبؤ المدفوعون تفوقوا على غير المشاركين، والثقة بالنفس كانت سيئة بشكل غير خطي!

الأشخاص الواثقون هم بالتأكيد أقل دقة بشكل عام. لكن عند مقارنة غير الواثقين بمن هم في الوسط، لا يوجد فرق. عندما تصبح في ثقة عالية يظهر النمط.

السبب هو أن أصحاب الثقة العالية يتنبأون بأحجام تأثير أكبر، لسبب ما.

والأكثر إثارة للاهتمام، أن الثقة بين الأشخاص هي الشيء الذي يرتبط بدقة أقل، بينما الثقة داخل الأشخاص مرتبطة بدقة أعلى. أي أنه عندما تنظر إلى الناس مع مرور الوقت، فإن توقعاتهم الأكثر ثقة هي التي يتوقعونها أفضل!

الكثير من العوامل الأخرى لعبت أدوارا صغيرة لكنها ملحوظة في دقة التنبؤ، وأوصي بشدة بقراءة الورقة لمعرفة المزيد. لكن ما أنصحك أن تستخلصه من هذا هو أن الناس بشكل عام ليسوا جيدين جدا في التنبؤ بالعلم.

من ناحية ما، هذا أمر جيد. لو كان بالإمكان التنبؤ بكل شيء بشكل مثالي، لما احتجنا إلى إجراء أبحاث من الأساس. وفي حالة أخرى، هذا أمر سيء، ويرجع ذلك إلى حد كبير إلى التفاصيل. تحديدا، الباحثون واثقون بشكل مفرط ويبدو أنهم يبالغون في النتائج.

من ناحية أخرى، هذا أمر مفيد جدا يدعم نقاطا ذكرتها في أماكن أخرى على سبيل المثال، أحد الحجج التي تسمع دفاعا عن وجود عدد زائد من قيم p في الأدبيات على حافة الدلالة هو أن الباحثين "توقعوا" أن ليس حقيقي!

الحجة تقول إن الباحثين أجروا تحليل قوة—والذي يتطلب اختيار حجم تأثير واقعي يأمل أن يكون واقعيا—وبالتالي من المتوقع أن تكون نتائجهم ذات دلالة كبيرة. لكنهم ليسوا كذلك. إذا كان لديك قوة 80٪، فإن معظم قيم p لديك تأتي من عتبة الدلالة.

لا يمكن لأحد التنبؤ بمكان قيمة p بدون معرفة أكثر دقة حول تأثيرات العلاج، والتباين، وما إلى ذلك، وهذه معرفة غير متاحة. لكن الناس يدافعون عن المستحيل، وحقيقة أن الباحثين يتوقعون العلاجات بشكل سيء تدعم هذه الفكرة.