Nền tảng Dự đoán Khoa học Xã hội vừa được phân tích để hiểu các nhà nghiên cứu giỏi như thế nào trong việc dự đoán kích thước hiệu ứng của nghiên cứu. Họ không làm tốt việc này🧵 Các nhà nghiên cứu thường đánh giá quá cao kích thước hiệu ứng mà họ sẽ đạt được!

Khi bạn so sánh những gì các nhà nghiên cứu dự đoán (b) và những gì họ tìm thấy (a), các dự đoán đơn giản là lớn hơn nhiều so với thực tế trên mặt đất. Và biểu đồ dưới đây có thể làm quá mức độ chính xác của dự đoán, vì mối tương quan là một con số đáng kể, nhưng không tạo cảm hứng tự tin là 0.453.

Như một điều kiện cho kết quả đó, có ít sự ước lượng sai hơn cho kết quả RCT, và tương đối nhiều hơn cho kết quả không phải RCT. Nhưng, thú vị thay, mức độ tuyệt đối là như nhau.

Những yếu tố nào đã thay đổi độ chính xác của dự đoán? Yếu tố mạnh mẽ nhất là trí tuệ của đám đông: các nhóm người đã vượt trội hơn cá nhân, một cách quyết định! Ngoài ra, các học giả đã vượt qua những người không phải học giả, các thành viên dự đoán được trả tiền đã vượt qua những người không phải thành viên, và sự tự tin thì không tuyến tính mà tồi tệ!

Những người tự tin thường, hoàn toàn, ít chính xác hơn nói chung. Nhưng khi so sánh những người không tự tin với những người ở mức trung bình, không có sự khác biệt. Chỉ khi bạn đạt đến mức tự tin cao thì mẫu hình mới xuất hiện.

Lý do là những dự đoán có độ tin cậy cao hơn thường có kích thước hiệu ứng lớn hơn, vì một lý do nào đó.

Điều thú vị hơn là, sự tự tin giữa các cá nhân có mối tương quan với độ chính xác thấp hơn, nhưng sự tự tin trong mỗi cá nhân lại có mối tương quan với độ chính xác cao hơn. Nói cách khác, khi bạn nhìn vào mọi người theo thời gian, những dự đoán tự tin hơn của họ lại là những dự đoán tốt hơn!

Nhiều yếu tố khác đã đóng vai trò nhỏ nhưng đáng chú ý trong độ chính xác của dự đoán, và tôi chắc chắn khuyên bạn nên đọc bài báo để tìm hiểu thêm. Nhưng điều tôi khuyên bạn nên rút ra từ điều này là, nhìn chung, mọi người vẫn không giỏi lắm trong việc dự đoán khoa học.

Theo một cách nào đó, đây là một điều tốt. Nếu mọi thứ có thể được dự đoán một cách hoàn hảo, chúng ta sẽ không cần phải nghiên cứu ngay từ đầu. Theo một cách khác, đây là một điều xấu, chủ yếu là do những chi tiết cụ thể. Cụ thể là, các nhà nghiên cứu quá tự tin và họ dường như thổi phồng kết quả.

Theo một nghĩa khác, đây thực sự là một điều rất thông tin hỗ trợ cho những điểm mà tôi đã nêu ở nơi khác Ví dụ, một trong những lập luận được nghe để biện minh cho việc có quá nhiều giá trị p trong tài liệu ngay ở rìa của sự quan trọng là các nhà nghiên cứu "dự đoán" rằng Không đúng!

Lập luận cho rằng các nhà nghiên cứu đã thực hiện một phân tích sức mạnh—điều này yêu cầu chọn một kích thước hiệu ứng nào đó mà hy vọng là thực tế—và do đó, kết quả của họ được kỳ vọng là có ý nghĩa vừa đủ. Nhưng thực tế không phải vậy. Nếu bạn có 80% sức mạnh, hầu hết các giá trị p của bạn đều nằm trong ngưỡng ý nghĩa.

Không ai có thể dự đoán giá trị p sẽ ở đâu mà không có kiến thức chính xác hơn về hiệu ứng điều trị, phương sai, và những điều tương tự, và điều này là kiến thức không có sẵn. Nhưng mọi người đang bảo vệ điều không thể, và thực tế là các nhà nghiên cứu dự đoán các phương pháp điều trị kém ủng hộ cho quan điểm đó.