Một số nghiên cứu khoa học không thể tái sản xuất: đó là một vấn đề, nhưng cũng là một cơ hội để cải thiện

Anonim

Làm thế nào đáng tin cậy là nghiên cứu khoa học? Câu hỏi không tầm thường cũng không hoàn toàn mới: cuộc tranh luận về khả năng tái tạo nghiên cứu, và do đó về tính hợp lệ thực tế của nó, là trung tâm của tranh chấp khoa học trong một số năm.

Thúc đẩy ngọn lửa là một phân tích gần đây được thực hiện tại Viện Công nghệ California liên quan đến một số công trình được công bố trên tạp chí Tự nhiên và Khoa học, có lẽ là hai ấn phẩm khoa học nổi tiếng nhất trên thế giới.
Đánh giá ngang hàng là không đủ. Các nhà nghiên cứu của CalTech đã kiểm tra 21 bài báo về khoa học xã hội được xuất bản từ năm 2010 đến 2015 trên hai tờ báo và gửi cho quá trình đánh giá ngang hàng, tức là được xác minh trước khi xuất bản bởi các nhà khoa học và chuyên gia khác, những người đã xác nhận sự tốt của nó.
Các kết luận đã được công bố trên tạp chí Nature Human Behavior và xác nhận kết quả thu được từ các công trình tương tự được thực hiện trong quá khứ về hàng chục nghiên cứu trong lĩnh vực y tế, kinh tế và tâm lý.
Nhóm nghiên cứu ở California đã sao chép 21 nghiên cứu theo những cách hoàn toàn giống với những nghiên cứu được sử dụng trong các nghiên cứu ban đầu, nhưng sử dụng các mẫu thống kê lớn hơn 5 lần.
Phương pháp khoa học? Trong số 21 nghiên cứu chỉ có 13, là 62%, đã xác nhận ít nhiều kết luận của các nghiên cứu ban đầu: trong nhiều trường hợp, độ rộng lớn hơn của mẫu được sử dụng thực tế đã làm suy yếu đáng kể (tới 50%) kết quả được công bố bởi các nghiên cứu trước đó được công bố trên hai tạp chí. 8 nghiên cứu khác, một khi được sao chép, đã dẫn đến kết luận hoàn toàn khác so với những nghiên cứu ban đầu.
Nhưng nó có thực sự là một vấn đề? Có lẽ là không: việc không thể tái tạo một nghiên cứu không nhất thiết có nghĩa là nghiên cứu ban đầu đã sai. Ví dụ, có thể có một số khác biệt trong bối cảnh xã hội hoặc văn hóa, trong đó hai phiên bản nghiên cứu đã được thực hiện. Tuy nhiên, không thể phủ nhận rằng các kết quả mà CalTech thu được đã mở ra nhiều cơ hội và làm giảm độ tin cậy của các nghiên cứu này.

Mắt của nhà khoa học. Tuy nhiên, điều đáng ngạc nhiên hơn là phát hiện ra rằng những kết quả này hoàn toàn không gây ngạc nhiên cho cộng đồng khoa học: một loạt các cuộc phỏng vấn song song được thực hiện song song với nghiên cứu cho thấy các nhà nghiên cứu và chuyên gia về chủ đề hoàn toàn có thể dự đoán nghiên cứu nào sẽ hoàn toàn có thể dự đoán được. có thể nhân rộng và không.

Nói tóm lại, các nhà khoa học dường như có đủ kiến ​​thức và năng lực để phân biệt để giải thích chính xác những gì họ đọc trên tạp chí.

Một khoa học mới. Tuy nhiên, nghiên cứu ở California nhấn mạnh sự tồn tại của lợi nhuận rộng để cải thiện thế giới nghiên cứu: ví dụ như trong thiết kế thí nghiệm, hoặc trong các tiêu chí được sử dụng để đánh giá tầm quan trọng của chúng. Nói cách khác, nó có nghĩa là thay đổi cách chúng ta làm khoa học.

Một số nhà nghiên cứu đề nghị sửa đổi một cách nghiêm ngặt hơn các tham số thống kê được sử dụng để đánh giá tầm quan trọng của kết luận mà các nghiên cứu đưa ra.

Những người khác, để tránh sự cám dỗ của các "giám sát" cơ hội, đề xuất nghĩa vụ cho các nhà khoa học truyền đạt trước ý định xuất bản các tác phẩm của họ, các thông số và phương pháp thử nghiệm mà họ dự định sử dụng: điều này sẽ ngăn họ loại bỏ các thí nghiệm dẫn đến kết quả không phù hợp với mong đợi.

"Tôi sẽ không nói rằng chúng ta đang phải đối mặt với một cuộc khủng hoảng", ông giải thích với Người bảo vệ Brian Nosek, giám đốc Trung tâm Khoa học mở, "chứ không phải là một sự chuyển đổi. Chúng ta phải trở nên nghiêm ngặt và minh bạch hơn trong mọi thứ liên quan đến nghiên cứu trong khoa học xã hội ".