Thay thế "peer review" bằng "peer replication" (2021)

• Bài viết thảo luận ý tưởng thay thế quy trình phản biện đồng cấp truyền thống trong nghiên cứu khoa học bằng "tái lập đồng cấp".
• Tác giả cho rằng quy trình phản biện đồng cấp hiện tại có nhiều khiếm khuyết và có thể trở thành rào cản lớn đối với việc truyền tải những phát hiện khoa học quan trọng.
• Quy trình "tái lập đồng cấp" được đề xuất bao gồm việc gửi bản in trước đến các phòng thí nghiệm khác để tái lập kết quả, thay vì chỉ được một vài chuyên gia thẩm định.
• Tác giả cho rằng phép thử thực sự của một bài báo nên là khả năng tái tạo được các kết quả của nó trong thế giới thực.
• Bài viết nhấn mạnh rằng hiện nay các phòng thí nghiệm độc lập hầu như không có động lực để tái lập các kết quả đã được công bố, điều này đi ngược lại với cách khoa học lẽ ra nên vận hành theo lý tưởng.
• Trong hệ thống được đề xuất, các nhà nghiên cứu thực hiện công việc tái lập sẽ được ghi nhận trong bài báo được xuất bản, từ đó tạo động lực cho nỗ lực của họ.
• Tác giả thừa nhận một số thách thức tiềm ẩn của cách tiếp cận này, chẳng hạn như có thể cần thêm thời gian giữa lúc nộp và xuất bản, hoặc khó tái tạo các kết quả sử dụng kỹ thuật khoa học tiên tiến hay đòi hỏi nguồn lực đáng kể.
• Tác giả đề xuất nộp trước phần chi tiết của câu chuyện và sắp xếp việc tái lập khi bản thảo vẫn đang được chuẩn bị để khiến quy trình này khả thi hơn.
• Bài viết kết luận rằng các tổ chức như Review Commons có thể tổ chức các thử nghiệm cho cách tiếp cận mới này, và nếu các nhà khoa học thấy "tái lập đồng cấp" xuất hiện trên bản in, họ có thể sẽ ưa chuộng nó hơn phản biện đồng cấp truyền thống.

[GN⁺]

Ý kiến trên Hacker News

• Bài viết này đề xuất thay thế hệ thống bình duyệt đồng cấp hiện tại trong nghiên cứu khoa học bằng "sao chép đồng cấp".
• Những người chỉ trích cho rằng việc sao chép mọi bài báo đã xuất bản sẽ đòi hỏi nỗ lực và nguồn lực đáng kể, đồng thời có thể không mang lại lợi ích cho các nhà khoa học thực hiện việc sao chép.
• Mục đích của các ấn phẩm khoa học là chia sẻ các kết quả mới với những nhà khoa học khác để họ có thể tiếp tục công việc hoặc kiểm chứng chúng. Quy trình bình duyệt đồng cấp ban đầu được thiết kế để từ chối các bài báo viết kém và thư rác hiển nhiên.
• Quy trình bình duyệt đồng cấp không bảo đảm khả năng sao chép lại, nhưng bảo đảm tính dễ đọc và khả năng hiểu của bài báo.
• Một số người cho rằng "sao chép đồng cấp" là không thực tế đối với các thí nghiệm tiêu tốn hàng tỷ đô la. Thay vào đó, việc bổ sung siêu dữ liệu cho các bài báo đã được sao chép có thể là một cách tiếp cận khả thi hơn.
• Trong các lĩnh vực như khoa học máy tính và machine learning, sự mơ hồ của bài báo đang dẫn đến yêu cầu theo cách tiếp cận "không có code thì coi như chưa xảy ra".
• Một số người cho rằng khái niệm "sao chép đồng cấp" đã bị hiểu sai. Nếu điều đó có nghĩa là một phòng thí nghiệm khác phải tạo ra bộ dữ liệu khớp để sao chép kết quả, thì họ xem điều này là không khả thi vì chi phí và thời gian thu thập dữ liệu.
• Có đề xuất tách "bình duyệt đồng cấp" thành "đánh giá tính dễ đọc" và "tuyên bố về khả năng sao chép lại". Phần sau sẽ mô tả chi tiết phương pháp luận và chiến lược được dùng để thực hiện thí nghiệm.
• Yêu cầu nộp "đánh giá khả năng sao chép lại" hoặc một "bản đồ phương pháp luận" cho mỗi bài báo được xem là cách tiếp cận thực tế hơn. Việc này sẽ bao gồm trao đổi qua lại giữa reviewer và tác giả, với mục tiêu là tái tạo kết quả.
• Một số người chỉ trích cho rằng thông tin quan trọng cần để tái tạo kết quả thường bị lược bỏ khỏi bài báo, dẫn đến sự thiếu tin cậy đối với một số hướng nghiên cứu khoa học nhất định.
• Bất chấp cảm tình dành cho "sao chép đồng cấp", những người chỉ trích cho rằng điều này không phải lúc nào cũng thực tế, đặc biệt trong trường hợp các dự án quy mô lớn như LIGO, LHC và JWST.