Thay thế "bình duyệt đồng cấp" bằng "tái lập đồng cấp" (2021)
(blog.everydayscientist.com)- Dù nhiều lĩnh vực khoa học thiếu sự tái hiện độc lập, bình duyệt đồng cấp hiện nay lại trở thành rào cản dễ sai sót và làm chậm việc truyền đạt các nghiên cứu quan trọng
- Tái lập đồng cấp được đề xuất là mô hình trong đó, thay vì để người phản biện ẩn danh đánh giá bản thảo, một phòng thí nghiệm khác thực sự tái hiện các kết quả cốt lõi rồi dùng điều đó làm căn cứ cho quyết định xuất bản
- Các nhà nghiên cứu tham gia tái lập sẽ được ghi tên trong bài báo ở một dòng riêng, nhận được trích dẫn và mục trong CV; còn tác giả sẽ bảo vệ kết quả bằng khả năng tái hiện thay vì phải đáp ứng yêu cầu làm thêm thí nghiệm của người phản biện
- Các thí nghiệm cần kỹ thuật cao cấp, thời gian dài hoặc nhiều tài nguyên đều khó được tái lập toàn bộ, nên biên tập viên, tác giả và người phản biện phải chọn đối tượng tái hiện bằng cách cân bằng giữa độ nghiêm ngặt và tính khả thi
- Để giảm các trường hợp tái lập thất bại, thử đi thử lại và journal shopping, cần có các cơ chế minh bạch như đăng ký trước, công khai các ca thất bại và lưu trữ bài bị từ chối
Tái lập đồng cấp được đề xuất như một lựa chọn thay thế cho bình duyệt đồng cấp
- Cách kiểm chứng lý tưởng trong khoa học không phải là vài chuyên gia đóng dấu chấp thuận lên bản thảo, mà là xác nhận xem các phát hiện trong bài báo có được tái hiện trong thế giới thực hay không
- Bài kiểm tra tốt nhất cho một phương pháp luận mới không phải là bình duyệt bài báo, mà là để nhà nghiên cứu đồng nghiệp thực sự sử dụng kỹ thuật đó
- Hầu như không có động lực để các phòng thí nghiệm độc lập kiểm chứng lại các kết quả đã xuất bản, nên phần lớn bài báo đã xuất bản về sau không được tái lập độc lập
- Trong tái lập đồng cấp, preprint hoặc bản thảo được gửi tới một phòng thí nghiệm khác, và phòng thí nghiệm đó thực sự tái hiện phát hiện cốt lõi
- Nếu phát hiện cốt lõi được tái lập, bản thảo được chấp thuận và xuất bản
- Tác giả có thể xin ý kiến đồng nghiệp và chỉnh sửa bản thảo, nhưng biên tập viên không thay họ đảm nhiệm việc thu thập ý kiến hay yêu cầu sửa đổi
Cách đưa kết quả tái lập vào bài báo
- Bài báo xuất bản sẽ bao gồm kết quả các nỗ lực tái lập cùng với dữ liệu gốc
- Có thể trình bày dưới dạng bảng những thuốc thử và kỹ thuật nào giống với thí nghiệm ban đầu
- Càng có nhiều tham số khác nhau giữa thí nghiệm gốc và thí nghiệm tái lập, thì khi cho ra kết quả tương tự, phát hiện cuối cùng càng trở thành một kết quả vững chắc hơn
- Độc giả có thể dựa trên kết quả tái lập để tự đánh giá liệu toàn bộ bằng chứng có hỗ trợ cho tuyên bố của bài báo hay không
Động lực cho người tham gia
- Bình duyệt đồng cấp truyền thống, nếu làm đúng, đòi hỏi rất nhiều thời gian và công sức nhưng gần như không có phần thưởng
- Trong tái lập đồng cấp, tên của nhà nghiên cứu thực hiện công việc tái lập được đưa vào bài báo xuất bản ở một dòng riêng
- Người phản biện có thể nhận được trích dẫn
- Họ nhận được một dạng phần thưởng là thêm một bài báo có thể đưa vào CV
- Tác giả có thể cho thấy kết quả của mình vẫn đứng vững sau kiểm chứng nghiêm ngặt
- Trong bình duyệt truyền thống, tác giả phải thực hiện thêm thí nghiệm và đáp lại phê bình của người phản biện; còn trong tái lập đồng cấp, người phản biện đảm nhận vai trò bảo vệ các phát hiện của bản thảo bằng thí nghiệm
Tính khả thi và các tác động phụ
- Có nhiều nghiên cứu khó tái lập
- Trường hợp cần các kỹ thuật khoa học cao cấp
- Trường hợp cần thời gian dài
- Trường hợp cần nhiều tài nguyên, như thí nghiệm trên chuột
- Biên tập viên phải cùng tác giả và người phản biện quyết định thí nghiệm nào sẽ được tái hiện
- Mục tiêu là cân bằng giữa độ nghiêm ngặt và tính khả thi
- Một số phần của các thí nghiệm rất phức tạp có thể vẫn không được tái lập
- Khi đó, độc giả phải tự đánh giá toàn bộ bài báo như thế nào
- Tái lập đồng cấp biến quá trình bình duyệt mang tính đối đầu thành sự hợp tác giữa các đồng nghiệp nhằm tìm kiếm sự thật
- Khi có thêm con mắt và suy nghĩ của nhà nghiên cứu khác, các nhóm đối chứng mới hoặc cách tiếp cận thí nghiệm thay thế có thể được đưa vào, qua đó củng cố phát hiện ban đầu
- Việc chia sẻ quy trình thí nghiệm nhiều hơn sẽ giúp ích cho hợp tác trong tương lai, các cách tiếp cận mới và đào tạo kỹ năng cho sinh viên cũng như nghiên cứu viên sau tiến sĩ
- Nó có thể trở thành kênh lan tỏa tri thức kỹ năng thủ công vốn bị giữ trong từng phòng thí nghiệm riêng lẻ
- Khi nhà nghiên cứu khác thực sự cố tái hiện kết quả thí nghiệm, việc đưa dữ liệu hoặc hình ảnh bị thao túng vượt qua như thật sẽ khó hơn, qua đó có thể giảm hành vi sai trái trong nghiên cứu
Các vấn đề dự kiến và cách bắt đầu
- Tái lập đồng cấp có thể khiến thời gian từ lúc nộp bài đến khi xuất bản cuối cùng lâu hơn
- Bình duyệt đồng cấp truyền thống cũng thường mất nhiều tháng, nên trong nhiều trường hợp thí nghiệm tái lập có thể không thực sự làm tăng thời gian
- Có thể rút ngắn thời gian nếu tác giả nộp các phần nghiên cứu thay vì chờ đến khi toàn bộ bản thảo hoàn chỉnh
- Cách lý tưởng là chuẩn bị tái lập các phát hiện từng phần thông qua một cơ chế độc lập với tạp chí như ReviewCommons
- Khi tái lập thất bại, cần có sự phán đoán
- Cần xác định liệu lần tái lập thất bại có thiết yếu đối với bản thảo hay không
- Cũng phải xem xét liệu nỗ lực tái lập đã được thực hiện đủ đúng cách chưa
- Có thể cần lần tái lập thứ hai, nhưng phải cảnh giác với cách làm lặp lại cho đến khi thành công rồi dừng
- Đăng ký trước kế hoạch tái lập có thể giúp giảm điều này
- Chi tiết của các lần tái lập thất bại nhất thiết phải được đưa vào bài báo xuất bản
- Vẫn còn vấn đề journal shopping, khi tác giả bị một tạp chí từ chối do tái lập thất bại rồi lại nộp sang tạp chí khác
- Bài bị từ chối cần được lưu trữ theo một cách nào đó vì minh bạch và trách nhiệm giải trình
- Cũng cần có cơ chế để nhà nghiên cứu tham gia tái lập nhận được công nhận cho nỗ lực của họ
- Phân chia vai trò như sau
- Editor: sàng lọc bản thảo nộp vào, từ chối khoa học rõ ràng có khiếm khuyết, thí nghiệm không đáng tái lập, thiếu nhóm đối chứng thiết yếu hoặc kết quả quá nhàm chán
- Editor: tìm người phản biện phù hợp, cùng tác giả và người phản biện quyết định sẽ tái lập thí nghiệm nào và bằng cách nào
- Editor: tham khảo người phản biện để đưa ra phán quyết cuối cùng về việc các phát hiện của bài báo có đủ khả năng tái hiện để được xuất bản chính thức hay không
- Authors: viết bản thảo, xin phản hồi qua các kênh như bioRxiv rồi chỉnh sửa trước khi nộp cho tạp chí
- Authors: hỗ trợ người phản biện về thiết kế thí nghiệm, thuốc thử, và khi cần cả nhân lực hoặc quyền tiếp cận thiết bị đặc biệt
- Referees: cố gắng tái hiện một cách nghiêm túc các kết quả thí nghiệm cốt lõi của bản thảo, thực hiện thêm thí nghiệm hoặc nhóm đối chứng nếu cần, rồi tổng hợp kết quả
- Readers: dựa trên niềm tin rằng các thí nghiệm cốt lõi đã được tái lập độc lập ở phòng thí nghiệm khác để đánh giá liệu bằng chứng có hỗ trợ cho tuyên bố hay không, và trích dẫn khoa học có thể tái hiện
- Một cách bắt đầu có thể là chương trình thử nghiệm của các tạp chí như eLife, nhưng không cần chờ các nhà xuất bản truyền thống hành động trước
- Các tổ chức như Review Commons có thể là con đường nhanh hơn: tìm các ứng viên tốt trên bioRxiv, tuyển người phản biện sẽ thực hiện tái lập cùng tác giả, rồi nộp toàn bộ gói này cho tạp chí
- Khi các nhà khoa học thấy những bài báo đã được kiểm chứng bằng tái lập đồng cấp trong các ấn phẩm thực tế, họ sẽ khó coi trọng các bài chỉ qua bình duyệt đồng cấp, và khoa học tốt hơn sẽ cạnh tranh với những phát hiện chưa được tái hiện
1 bình luận
Ý kiến trên Hacker News
Tôi không chắc cách này có thể thực sự hoạt động hay không, và có vẻ như những người ngoài giới khoa học đang đánh giá quá thấp công sức cần để tái lập mọi bài báo
Tùy lĩnh vực, để tái lập cho đúng một bài báo có thể mất vài tháng. Có thể không cần lặp lại quá trình thử-sai mà bài gốc đã trải qua, và cũng có thể nhận mẫu để rút ngắn khâu chuẩn bị, nhưng nếu lần thử đầu không thành công thì phải debug thí nghiệm và kiểm tra xem có sai sót nào không, khiến thời gian tăng lên đáng kể
Hơn nữa, việc này gần như không mang lại lợi ích cho nhà khoa học thực hiện tái lập, chỉ tốn tiền và thời gian. Nếu ai đó đủ quan tâm để mở rộng dựa trên nghiên cứu đó thì dù sao họ cũng sẽ cố tái lập; nếu thành công, bài báo tiếp theo sẽ gián tiếp ủng hộ bài gốc, dù bản thân nó không phải là bài báo tái lập trực tiếp
Tuy nhiên, vấn đề lớn là nếu thí nghiệm tiếp theo thất bại thì thường sẽ không được xuất bản. Nói đơn giản rằng hãy xuất bản kết quả âm tính cũng không giải quyết được. Để tạo ra một kết quả âm tính vững chắc cần nhiều công sức hơn rất nhiều so với việc thử thí nghiệm rồi bỏ cuộc nếu thấy không có triển vọng
Ngay cả khi đã được tái lập, nghiên cứu vẫn có thể không được xuất bản nếu các điều kiện khác không phù hợp. Ví dụ, giả sử một nhóm đang tìm một vật liệu mới mang tính đột phá để giải một vấn đề kỹ thuật phức tạp, rồi phát hiện một chất từng được tổng hợp một lần vào thập niên 1980 nhưng chưa từng được tái lập. Họ nghĩ chất đó có thể có các đặc tính mong muốn nên thử tổng hợp; cấu trúc thì đúng, nhưng không có đặc tính như kỳ vọng. Khi đó, nhiều khả năng họ sẽ không viết thành bài báo mà chuyển sang ứng viên tiếp theo. Dù nhiều nhóm cùng lúc làm việc tương tự, những người đi sau cũng không biết được gì
“Một đặc điểm độc đáo của quy trình bình duyệt là tất cả dữ liệu và thí nghiệm được báo cáo trong bài viết phải được lặp lại thành công trong phòng thí nghiệm của một thành viên ban biên tập để xác nhận khả năng tái lập trước khi xuất bản”
https://en.wikipedia.org/wiki/Organic_Syntheses
Ví dụ, giảm x bài báo được yêu cầu, nhưng thay vào đó yêu cầu x lần tái lập, và buộc họ có thành tích tái lập trong lĩnh vực chuyên môn của mình. Cũng cần tạo hạng mục tài trợ nghiên cứu dành cho tái lập và chuyển nó sang một hệ thống độc lập. Cần cả các cơ chế như phân bổ ngẫu nhiên. Tái lập phải được đánh giá có giá trị ngang với nghiên cứu gốc
Các khoa nhỏ cấp R2 cũng có thể chuyển thành các hub tái lập. Trong sinh học, hóa học và một số mảng tâm lý học, việc này có thể dễ hơn so với vật lý hạt. Có thể bắt đầu từ những lĩnh vực có chi phí tái lập tương đối thấp rồi tinh chỉnh chi tiết. Trong một số trường hợp, điều này hoàn toàn khả thi, nhưng ở một số lĩnh vực khác có thể sẽ mãi mãi khó khăn
Trong ngành robot, có quá nhiều bài báo lấy ba bốn thuật toán hoặc mô hình machine learning đã được biết đến rồi áp dụng lên phần cứng có sẵn. Kết quả ở mức mà người được đào tạo trong lĩnh vực đó gần như có thể đoán trước. Với mỗi không gian vấn đề phổ biến như tay giả, drone giám sát cháy rừng, robot hướng dẫn trong bảo tàng, mỗi tháng lại có hàng trăm biến thể xuất hiện, nhưng số đó vượt xa lượng có thể thực sự hữu ích
Có thể cần một quy trình riêng cho các nghiên cứu tuyên bố có phát hiện thật sự quan trọng. Tôi không biết chính xác quy trình đó nên là gì, nhưng thành thật mà nói, có lẽ số lượng bài báo tự thân nó cũng nên giảm đi
Mục đích của xuất bản khoa học là chia sẻ các kết quả mới với những nhà khoa học khác, để người khác có thể xây dựng tiếp dựa trên đó hoặc kiểm chứng độ chính xác
Yếu tố “ghi nhận công lao” luôn tồn tại ở đây, nhưng xét từ góc độ tối đa hóa tiến bộ khoa học, điều thực sự quan trọng là giao tiếp
Ngày xưa, xuất bản gần giống một quy trình phi chính thức như chuyền tay thư từ, hoặc nếu là kết quả lớn thì tự bỏ tiền in sách. Về sau, các nhà xuất bản lập ra các tạp chí chính thức, và một số tạp chí nhận nhiều bài đến mức không thể chỉ đăng dựa trên danh tiếng hoặc khó mà kiểm chứng hết. Các tạp chí phổ biến bắt đầu áp dụng tiêu chuẩn biên tập cơ bản để lọc các bài viết quá tệ và spam rõ ràng; vì biên tập viên không thể là chuyên gia trong mọi lĩnh vực nên họ nhờ các tình nguyện viên hỗ trợ. Đó chính là bình duyệt
Sau đó, giới quan liêu muốn có cách đo năng suất của các nhà khoa học để phân bổ ngân sách và thăng chức, và lấy thành tích xuất bản trên một số tạp chí uy tín làm chỉ số. Kết quả là “chia sẻ kết quả”, vốn là một quy trình hữu ích, trong mắt người ngoài lại biến thành quá trình nhận điểm học thuật, và bản thân việc xuất bản trông như mục tiêu cuối cùng, chứ không còn là một bước trung gian trong quá trình kiểm chứng kết quả
Một số người ngoài khác lại hiểu lầm quy trình này và tức giận trước thực tế rằng các kết quả trung gian có thể sai. Thay vì chấp nhận rằng cốt lõi của xuất bản là chia sẻ rộng rãi kết quả để tăng khả năng kiểm chứng, hoặc tạo ra các chỉ số thăng tiến tốt hơn, họ lại cố chặn quy trình chia sẻ cốt lõi, làm nó kém hiệu quả và giảm phạm vi cũng như tốc độ lan truyền của xuất bản. Sự hỗn loạn này có thể được xử lý thông minh hơn nhiều
Ở đây còn có biến số là công chúng không phải nhà khoa học tiếp nhận thông tin từ giới học thuật như thế nào. Trước đây, giới học thuật là một nhóm tương đối khép kín theo đuổi tri thức tự thân, nên vấn đề này ít quan trọng hơn. Điểm mới là xã hội đã bị ám ảnh với ý tưởng rằng vận hành quốc gia và hành chính phải phụ thuộc nhiều vào kết quả và quan điểm của giới học thuật
Sự nhiệt tình với chính sách dựa trên khoa học gây tác động theo ba lớp. Việc kết quả nghiên cứu có thể ảnh hưởng đến chính sách có thể thay đổi chính các động lực trong cách làm khoa học. Việc kết quả học thuật có ảnh hưởng bên ngoài cũng thay đổi loại khoa học được thực hiện, và có thể thu hút những tác nhân không công bằng. Khi ảnh hưởng tăng lên, công chúng thiếu hiểu biết sẽ nhìn vào những kết quả còn sơ bộ hoặc chưa được tái lập rồi rút ra kết luận non nớt. Ngay cả nghiên cứu hẹp hoặc yếu cũng có thể được chú ý quá mức nếu nó trông như một cây gậy tốt để đánh đối thủ
Dù thích hay không, rốt cuộc các học giả vẫn được đánh giá bằng xuất bản, và tôi nghĩ gần như không ai hiểu lầm điều đó. Vấn đề là động lực ấy tệ. Việc tạo ra một hạng xuất bản mới yêu cầu tái lập có thể khả thi trong một số lĩnh vực như quang học/quang tử học, nhưng gần như bất khả thi trong các lĩnh vực như vật lý hạt thực nghiệm
Những lĩnh vực thuần trí tuệ như toán học, vật lý lý thuyết, triết học rất có thể không cần cơ chế như vậy. Học máy nằm ở khoảng giữa: về lý thuyết có vẻ dễ tái lập, nhưng chẳng hạn việc huấn luyện đường cơ sở cho các mô hình ngôn ngữ lớn có thể trở nên quá tốn kém
Nhận thức của công chúng rằng bài đăng trên tạp chí uy tín là chân lý đã xác lập cũng chẳng giúp ích gì
Ngày nay, xuất bản không còn đóng vai trò giống như trước thời Internet. Việc viết và xuất bản một bài báo nghe thuyết phục mà không có nghiên cứu giờ đã trở thành chuyện nhỏ: http://theatlantic.com/ideas/archive/…
Bình duyệt không phải là cơ chế nhằm bảo đảm khả năng tái lập, mà là cơ chế nhằm bảo đảm tính dễ đọc và dễ hiểu của bài báo
Một số thí nghiệm tốn hàng chục tỷ đô la để thực hiện, nên không thể áp dụng “đồng nghiệp tái lập” cho mọi bài báo
Thay vào đó, có thể bổ sung metadata cho các bài báo đã được tái lập
Hội nghị có thể khác, nhưng tôi hiểu bình duyệt giống với việc kiểm tra xem phương pháp luận, phạm vi, lập luận, hướng đi, kết luận và mức độ liên quan có hợp lý và đáng tin cậy hay không
Nếu ai đó bỏ thời gian tái lập một điều chỉ được mô tả trong một hai bài báo, thì đó là việc có giá trị cho cộng đồng và cần được khuyến khích. Nếu một nghiên cứu sinh tiến sĩ làm việc đó như cơ hội rèn luyện kỹ năng thì càng tốt. Nó không hào nhoáng và cũng không hoàn toàn mới, nhưng hữu ích và quan trọng
Những nghiên cứu như vậy nên được đăng trên các tạp chí thông thường. Nếu chỉ có tạp chí chuyên về tái lập, chỉ số ảnh hưởng sẽ rất tệ và chẳng ai quan tâm
Luôn có những người cho rằng nếu không phải giải pháp 100% thì không phù hợp, rồi chẳng làm gì cả. Bình duyệt đã được chứng minh là không đủ, nhưng người ta vẫn bám lấy nó một cách tuyệt vọng. Một số ngành phải yêu cầu tái lập cho mọi thứ. Tôi sẽ không chỉ đích danh tâm lý học hay khoa học xã hội nói chung, nhưng tỷ lệ thất bại khi tái lập ở một số lĩnh vực là mức khó chấp nhận
Cần thay đổi tiêu chuẩn giá trị, chẳng hạn công nhận tái lập là một con đường hợp lệ để đạt biên chế trọn đời và thăng chức, đồng thời đưa nó thành thành phần bắt buộc trong chương trình tiến sĩ
Cả hai lần, nhận xét phản biện đều có những câu kiểu “bài viết rất tốt, đến sinh viên đại học cũng đọc được”. Rốt cuộc bình duyệt bảo đảm vai trò gác cổng
Trong một thời gian, trên Reddit có khẩu hiệu “không có ảnh thì coi như không có”
Ít nhất trong khoa học máy tính/học máy, chúng ta cần không có mã thì coi như không có. Bài báo thường mơ hồ, và ngay cả khi có công thức, đôi khi không phải mọi thành phần đều được định nghĩa
Việc tái lập bởi đồng nghiệp trong lĩnh vực này là một nhiệm vụ dễ, chi phí thấp, có thể làm gương cho các ngành khoa học khác
Những nghiên cứu kiểu đột phá mới nhất về Alzheimer thì việc tái lập là hữu ích, và dù sao cũng sẽ được tái lập vì có lợi ích thương mại. Nhưng với các chủ đề ngách bình thường thì không có tiền để tái lập mọi nghiên cứu. Việc nghiên cứu khoa học máy tính/trí tuệ nhân tạo dễ tái lập không có nghĩa là có thể mở rộng ra mọi nghiên cứu
Vì thế mới có bình duyệt. Nó là cơ chế để lọc bỏ những nghiên cứu không hợp lý, ít công sức hoặc ít liên quan, chứ không được thiết kế để chống gian lận
Giờ đã có GitHub, GitLab, v.v., điều này lẽ ra phải là chuẩn mực. Nếu một bài báo bàn về triển khai mà không cung cấp mã, thường rất có khả năng đó là thứ nhảm nhí
Tôi thích cách tách “bình duyệt” làm hai phần, và để một lĩnh vực thống nhất một ngưỡng trích dẫn: khi bài báo vượt quá số trích dẫn nhất định thì phải được tái lập. Tạp chí cũng nên có một mục riêng dành cho các nỗ lực tái lập
Trong một số lĩnh vực, ngoài kiến thức chuyên môn, để làm thí nghiệm tốt còn cần kỹ năng thuần thục mà người ta gọi là “tay nghề”. Ví dụ như xử lý các hợp chất nhạy với không khí, hoặc xử lý vật chất ở trạng thái ngưng tụ/kết tinh. Trong thí nghiệm luận án của tôi, tôi đã tự tay chế tạo một phần thiết bị
Đôi khi cũng cần các cơ sở chuyên dụng. Dự án luận án tiến sĩ của tôi dùng khoảng 500.000 USD thiết bị, và một số thiết bị tôi dùng đến lúc tôi tốt nghiệp thì đã ngừng sản xuất, không thể kiếm được nữa
Tôi cho rằng phương án thực tế hơn là yêu cầu thẩm định khả năng tái lập và nộp bản đồ phương pháp luận cho từng bài báo
Cái trước là một quá trình qua lại, trong đó phản biện đặt câu hỏi và kiểm tra dựa trên bài báo với mục tiêu tái lập kết quả, nhưng không yêu cầu phải tái lập thật. Nó thường hữu ích để phát hiện những chi tiết mà tác giả bỏ sót vì cho rằng ai trong lĩnh vực cũng biết. Thực tế tôi đã thấy các tiến sĩ sinh học lãng phí nhiều tháng để truy tìm những chi tiết thí nghiệm không có trong bài báo
Cái sau sẽ là sản phẩm của cái trước. Thay vì đưa một phụ lục dài vào bài chính, hãy cùng phản biện tạo một tài liệu riêng trình bày cẩn thận thí nghiệm và phương pháp luận, đồng thời ghi tên phản biện để không thể làm qua loa
Tôi đã đọc quá nhiều bài báo thiếu thông tin quan trọng cho việc tái lập. Trong học máy/học tăng cường, nếu có mã thì tôi phát hiện vô số chi tiết triển khai không có trong bài báo. Thực tế cũng có kết quả cho thấy chính những chi tiết đó quyết định thành bại của một thuật toán cụ thể [1]. Tôi còn từng thấy chi tiết cốt lõi chỉ được ghi trong chú thích mã
Điều còn tệ hơn là có bài báo tuyên bố đã đánh giá phương pháp của mình trên một benchmark, nhưng khi kiểm tra thì benchmark đó không hề có nhiệm vụ tương ứng. Họ đã fork benchmark để tạo nhiệm vụ riêng rồi không nói rõ [2]
Những chuyện như vậy khiến người ta mất niềm tin vào một hướng khoa học nhất định. Tôi cũng đã thấy vài nhà nghiên cứu junior kết luận rằng cả ngôi nhà như được dựng bằng bài tây rồi bỏ hẳn nghiên cứu
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
Nếu cho rằng việc này quá rườm rà hoặc tốn kém, hãy nhớ rằng các nhà xuất bản đang thu lợi nhuận kỷ lục. Nguồn lực đã có sẵn
https://youtu.be/ukAkG6c_N4M
Giờ khi phản biện bản thảo, tôi chú ý hơn nhiều đến việc liệu có đủ thông tin để tái lập thí nghiệm hoặc mô phỏng hay không. Một bài báo diễn giải sai thì vẫn có thể chấp nhận được, vì người khác có thể phát hiện ra khi làm nghiên cứu của họ. Nhưng một bài báo không thể tái lập kết quả thì không nên được cho xuất bản
Những nội dung quá dài để đưa vào phần thí nghiệm nên đưa vào tài liệu thông tin bổ sung điện tử. Tuy nhiên, sẽ tốt hơn nếu khi tải PDF xuống thì phần bổ sung được đính kèm với bài báo. Phải tự đi tìm riêng thật sự rất phiền. Cũng có những lĩnh vực, như phân tích đặc tính vật liệu, thường cung cấp thông tin bổ sung chứa nhiều dữ liệu và chi tiết
Các bộ dữ liệu lớn nên được đưa vào kho lưu trữ hoặc tạp chí dữ liệu. Khi đó phương pháp vẫn được bình duyệt, còn bộ dữ liệu có DOI nên dễ tái sử dụng hơn. Đây cũng là một cách hay để nhân đôi số bài báo của nghiên cứu sinh vào cuối chương trình tiến sĩ
Việc fork benchmark để tạo nhiệm vụ riêng rồi không nói rõ thì đơn giản là độc ác
Dù khó hoặc không thể tái hiện, khoa học quan sát vẫn là một nhánh của khoa học
Hãy nghĩ đến bức ảnh đầu tiên về một con mực khổng lồ còn sống trong môi trường sống tự nhiên, công bố năm 2005: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
Ai lại nghiêm túc nghĩ rằng kết quả đó lẽ ra không nên được xuất bản cho đến khi người khác tái hiện được
Chẳng lẽ kết quả thử nghiệm lâm sàng thuốc cũng không được công bố cho đến khi được tái hiện sao
Làm sao tái hiện “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign”, vốn đòi hỏi một ngôi sao, thiên thể ngoài Sao Hải Vương 486958 Arrokoth, và một khu vực cụ thể ở Argentina phải căn chỉnh chính xác: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Làm sao tái hiện kết quả bay sượt qua Pluto hay việc cho trực thăng bay trên Mars
Cũng có bài báo “Insights from a laboratory fire” mà tôi biết qua “In The Pipeline”: https://www.nature.com/articles/s41557-023-01254-6
Nội dung là cháy phòng thí nghiệm hóa học tương đối phổ biến nhưng bị báo cáo thiếu, và hậu quả có thể chết người. Trong trường hợp này, tái hiện bởi đồng nghiệp thì liên quan gì
Trong các trường hợp như vậy, tái hiện nghĩa là người khác có thể chạy mã đó trên dataset đó và thu được cùng kết quả
Các phòng thí nghiệm có cần cải thiện môi trường phần mềm và học công cụ mới không? Có cần từ bỏ những bí quyết bí mật ngày xưa không? Đó chính là điểm mấu chốt
Vấn đề không phải là việc công bố phát hiện mới, mà là thiếu động lực để xác nhận nó sau khi đã công bố
Một quan sát mới về mực khổng lồ, dù không còn mới nữa, vẫn rất có giá trị. Vì vậy các quan sát mới nên được khuyến khích
Bay sượt qua Pluto hay trực thăng Mars thực ra cũng không phải ví dụ hay. Ta sẽ phải gửi thêm tàu thăm dò, còn các trường hợp và dữ liệu về phương tiện bay trong khí quyển Mars có khả năng sẽ tràn ngập trong tương lai. Cũng có thể thực hiện rất nhiều mô phỏng. Các máy quang phổ và nhiều thiết bị khác sẽ tiếp tục được hướng về Pluto
Ngay cả trong các trường hợp như vậy, dù là dữ liệu từ cùng một thiết bị thí nghiệm, nếu các nhóm khác nhau phân tích độc lập thì có thể tăng độ vững chắc. Không phải mọi thứ đều trắng đen rạch ròi. Quan sát nằm trên một phổ, một số đáng tin cậy hơn nhiều so với số khác, và tái hiện là một yếu tố trong đó
Với cháy phòng thí nghiệm, để biết hiện tượng nào bắt nguồn từ đặc thù của một phòng thí nghiệm cụ thể, cần nhiều hơn một trường hợp. Cần những thứ như phân tích thống kê và phân tích nhân tố. Khi đó, tái hiện không có nghĩa là cố ý phóng hỏa phòng thí nghiệm thật
Nó giống như nghiên cứu tai nạn ô tô. Ta không cố ý giết người, nhưng vẫn cần liên tục có các bài báo mới nghiên cứu dựa trên những sự kiện đã xảy ra thực tế để xác nhận hoặc bác bỏ các quan sát trước đó
Trong một thế giới hoàn hảo, cả việc thu thập dữ liệu cũng sẽ được tái hiện, nhưng chúng ta không sống trong một thế giới hoàn hảo
Thử nghiệm lâm sàng thuốc cũng vậy. Vì các công ty nói dữ liệu gốc là bí mật kinh doanh, luôn có những cuộc đấu tranh để lấy dữ liệu gốc của thử nghiệm lâm sàng. Vì thế việc kiểm chứng độc lập rất đắt đỏ, nhưng tôi cho rằng mọi thứ sẽ tốt hơn nhiều nếu FDA yêu cầu công bố 100% dữ liệu đã thu thập, chứ không chỉ các kết luận đã được biên tập và một phần tài liệu hỗ trợ
Ví dụ, FDA từng nói sẽ mất hàng chục năm để công bố dữ liệu gốc của các thử nghiệm lâm sàng vaccine COVID. Tại sao phải như vậy. Và đó còn là sau khi bị kiện buộc phải làm
Khi học cao học ngành khoa học máy tính, tôi đã dành khá nhiều thời gian cho chi tiết triển khai trong các bài báo, nhưng điều tôi liên tục nhận ra là bài báo không nêu hết các nhược điểm và các ca thất bại của kỹ thuật. Dù cũng có những ngoại lệ xuất sắc
Vì áp lực không xuất bản thì chết, nghiên cứu có rất ít sự trung thực. May mắn là vẫn có những người công khai minh bạch công việc của mình, nhưng nhìn chung khoa học đang chìm trong một biển nghiên cứu đầy thiếu minh bạch và thất bại trong tái hiện
CI/CD buộc ta phải mã hóa chính xác cách build và triển khai để đưa một thứ gì đó vào môi trường production. Docker và máy ảo là cách đi vòng qua vấn đề này bằng cách cung cấp một “máy của tôi” có thể dễ dàng sao chép và chia sẻ
Trong lĩnh vực ngôn ngữ lập trình, các hội nghị đã bắt đầu cho phép tác giả nộp các artifact đã được đóng gói. Thường là mã nguồn, dữ liệu đầu vào, dữ liệu huấn luyện, v.v., và đa phần được đánh giá riêng sau khi bài báo được phản biện
Artifact thường do một ủy ban riêng, thường gồm nghiên cứu sinh cao học, đánh giá, và như mọi khi, tất cả đều là tình nguyện. Ngay cả khi có hướng dẫn rõ ràng, chỉ riêng việc chạy cùng một đoạn mã trong môi trường khác để thu được cùng kết quả đã đủ khó. Nếu “tái lập” một kỹ thuật phần mềm đòi hỏi một nhóm khác phải triển khai lại từ đầu, thì điều đó có vẻ bất khả thi
Tôi không thể hình dung việc viết hướng dẫn để một phòng thí nghiệm khác tái lập thành công các thí nghiệm ở tuyến đầu của vật lý, hóa học, sinh học sẽ khó đến mức nào. Vấn đề không chỉ là thiết bị chuyên dụng, mà là những gì diễn ra ở ranh giới của khoa học khi làm nghiên cứu tiên tiến
Đề xuất kiểu này có cảm giác như do một người không làm khoa học, chưa từng trải qua quy trình phản biện đồng cấp trong bất kỳ lĩnh vực nào, viết ra. Thực tế không vận hành như vậy
Trong các ngành khoa học “cứng”, có vẻ nhiều trường hợp việc tái lập không khó đến thế. LK-99 là một ví dụ thú vị: dù nhìn chung mọi người đồng ý rằng bài báo được viết vội và thiếu chi tiết, dường như người ta vẫn tái lập thí nghiệm thành công. Đó là khoa học tuyến đầu, nhưng bản thân việc tái lập không phải là vấn đề. Phần lớn khoa học không phải là LHC
Vấn đề thực sự của tái lập xuất hiện ở các lĩnh vực “mềm” hơn. Ở đó, không chỉ là vấn đề tính ngẫu nhiên hay độ khó của thí nghiệm. Có thể thường xuyên thấy những bài báo, hoặc cả lĩnh vực, về nguyên tắc cũng không thể tái lập. Các nhà nghiên cứu không nghĩ rằng người khác cần có khả năng tái lập công trình của mình, hoặc đôi khi còn cố ngăn việc tái lập. Cách phổ biến nhất là thu thập dữ liệu theo cách không thể tái lập rồi cố ý không công bố, và đôi khi chính thiết kế nghiên cứu đã có vấn đề
Nhìn vào những điều này, suy luận tự nhiên nhất là họ không muốn có nỗ lực tái lập vì họ biết có khả năng tuyên bố của mình không đúng
Vì vậy, chỉ cần người phản biện đồng cấp hoặc tạp chí kiểm tra những điều rất cơ bản, chẳng hạn liệu tuyên bố này về nguyên tắc có thể tái lập hay không, cũng đã là một khởi đầu tốt. Vẫn sẽ còn những bài báo tái lập được tốt nhưng kết luận sai, những bài có phương pháp luận phi logic, hoặc những bài quá hiển nhiên nên tái lập được, nhưng có quá nhiều “quả thấp” dễ hái
Phản biện đồng cấp là lời giải đúng cho sai vấn đề: https://open.substack.com/pub/experimentalhistory/p/science-...
Tái lập là một mục tiêu đáng giá, nhưng cần có động lực nghề nghiệp. Tôi nghĩ trong hầu hết chương trình, nên đưa việc tái lập nghiên cứu vào một phần của chương trình đào tạo. Nó có thể trở thành một cột mốc trên con đường lấy bằng tiến sĩ thay cho một bài báo
Sự phân biệt giữa liên kết mạnh và liên kết yếu cũng giống với việc một số nền văn hóa không ưa chất kích thích, còn những nền văn hóa khác không ưa chất thư giãn