Nghiên cứu mở, nghiêm ngặt và có thể tái lập: Cẩm nang dành cho người làm thực tiễn (2021)
(stanforddatascience.github.io)- Khi thiết kế và chia sẻ nghiên cứu theo hướng mở·minh bạch·có thể tái lập, phạm vi tiếp cận, khả năng kiểm chứng và khả năng phân tích lại của kết quả sẽ tăng lên
- Các bài báo trả phí, mã nguồn không công khai, dữ liệu không thể truy cập, và phần mềm đã ngừng hỗ trợ khiến các nhà nghiên cứu khác khó kiểm tra quy trình phân tích thực tế
- Thiết kế thí nghiệm và phân tích kém chất lượng làm các phát hiện sai lệch tích tụ trong tài liệu học thuật, đồng thời làm tăng chi phí để nhà nghiên cứu mới phân biệt đâu là kết quả đáng tin cậy
- Dù tính mở và khả năng tái lập đòi hỏi thêm công sức và bị giới hạn bởi cơ chế tưởng thưởng, chúng vẫn giúp phát hiện sai sót sớm và nâng cao độ tin cậy của nghiên cứu
- Cẩm nang được chia thành các thực hành mô-đun về thiết kế nghiên cứu, phân tích·báo cáo dữ liệu, và công khai tư liệu nghiên cứu để có thể áp dụng từ phần cần thiết trước
Vì sao cần tính mở và khả năng tái lập
- Nếu nghiên cứu không được thực hiện và chia sẻ theo cách mở·minh bạch·có thể tái lập, lợi ích của nghiên cứu sẽ giảm đi
- Khi bài báo được xuất bản qua các kênh chỉ cho phép truy cập trả phí, số người có thể xem kết quả nghiên cứu bị hạn chế, và phạm vi tiếp cận tiềm năng của đầu ra nghiên cứu cũng thu hẹp
- Nhiều phân tích rất phức tạp nên gần như không thể mô tả đầy đủ mọi lựa chọn và quy trình chỉ bằng bài báo chính
- Nếu không có mã nguồn đi kèm, người khác khó chắc chắn chính xác những gì đã được thực hiện
- Ngay cả khi mã nguồn đã được công khai, việc không thể truy cập dữ liệu hoặc do phần mềm đã ngừng hỗ trợ vẫn có thể khiến việc tái lập hay phân tích lại nghiên cứu cũ trở nên khó khăn
- Nếu không thể dễ dàng phân tích lại các nghiên cứu trước đây, cộng đồng sẽ khó khám phá các hướng phân tích khác, kết hợp các bộ dữ liệu, hoặc khái quát hóa thí nghiệm sang bối cảnh mới
Chi phí của các thực hành nghiên cứu sai lệch
- Nếu không dành đủ sự cẩn trọng cho thiết kế thí nghiệm và phân tích, khả năng các phát hiện sai lệch tích tụ trong tài liệu học thuật sẽ tăng lên
- Càng có nhiều kết quả khó tin cậy, nhà nghiên cứu mới càng phải tốn nhiều thời gian hơn để hiểu đối tượng nghiên cứu và đạt được tiến bộ thực sự
Vì sao nhà nghiên cứu chưa tích cực với tính mở và khả năng tái lập
- Nghiên cứu mở, minh bạch và có thể tái lập đòi hỏi thêm công sức, và cơ chế tưởng thưởng hiện nay không phải lúc nào cũng đền đáp cho nỗ lực đó
- Tuy vậy, nhiều lĩnh vực đang thay đổi, và một số cộng đồng đánh giá cao những nỗ lực như vậy
- Cái giá của sai sót có thể rất lớn, và tính mở giúp tránh sai sót
- Một số dữ liệu không thể được chia sẻ hợp pháp do quyền riêng tư, bản quyền hoặc các yếu tố khác
- Nghiên cứu sử dụng loại dữ liệu này nhìn chung có thể kém hữu ích hơn cho thế giới so với nghiên cứu dùng dữ liệu cởi mở hơn
- Dù vậy, việc công khai minh bạch các phân tích đã thực hiện, quy trình thu thập dữ liệu, hay các phương pháp như đăng ký trước vẫn có thể nâng cao độ tin cậy của nghiên cứu
- Có những trường hợp lo ngại rằng việc công khai dữ liệu và mã nguồn sẽ làm lộ sai sót hoặc chất lượng lập trình thấp
- Những lo ngại đó là dễ hiểu, nhưng nhìn chung là đi sai hướng
- Tốt hơn là phát hiện lỗi từ sớm, và đa số mọi người đánh giá tích cực việc công khai, bất kể chất lượng mã nguồn ra sao
- Chia sẻ mã nguồn ngay từ đầu với mục tiêu sẽ công khai cuối cùng cũng giúp cải thiện chất lượng
- Nhiều người cũng không biết nên bắt đầu từ đâu
- Các hướng dẫn hiện có về khoa học mở và khả năng tái lập thường ở dạng sách hoàn chỉnh hoặc tập hợp tài liệu đồ sộ, có thể tạo cảm giác phải học cả một triết lý tổng thể và cách tiếp cận nghiên cứu toàn diện
Cách tiếp cận của cẩm nang
- Cẩm nang này không nhằm thay đổi hoàn toàn nghiên cứu chỉ trong một lần, mà tập trung vào cách làm cho nghiên cứu dần trở nên mở·minh bạch·có thể tái lập hơn theo nhiều cách khác nhau
- Mỗi bước tự nó đều có thể mang lại một mức lợi ích nhất định
- Dù có những sắc thái và yêu cầu riêng theo từng lĩnh vực, phần lớn các lĩnh vực xử lý dữ liệu và phân tích thống kê đều có nhiều điều để học hỏi lẫn nhau
- Hình thức được định hướng như sau
- Mô-đun: có thể dùng riêng từng ý tưởng hoặc kết hợp chúng
- Thực tiễn: tập trung vào các thực hành khả thi và có tác động lớn
- Tổng quát: có thể áp dụng cho bất kỳ lĩnh vực nào xử lý dữ liệu và phân tích thống kê
- Ngắn gọn: hướng đến các nhà khoa học bận rộn không có thời gian tham gia cả một khóa học đầy đủ ngay lúc này
Ba phần chính
- Phần thứ nhất nói về thiết kế nghiên cứu cẩn trọng để bảo đảm và cho thấy rằng kết quả và kết luận là hợp lệ và hữu ích
- Cẩn trọng xác định các tham số thí nghiệm, chẳng hạn dùng phân tích công suất để ước lượng cỡ mẫu phù hợp
- Phân biệt nghiên cứu khám phá và nghiên cứu khẳng định
- Lập kế hoạch trước cho phân tích thống kê
- Thu thập đầy đủ dữ liệu liên quan để có thể so sánh với các nghiên cứu trước
- Bao gồm thêm các yếu tố như đăng ký trước, chuẩn bị cho các vấn đề tiềm ẩn, và cân nhắc các hệ quả đạo đức
- Phần thứ hai trình bày các thực hành tốt nhất cho phân tích dữ liệu và báo cáo kết quả
- Các quyết định và cân nhắc cần thiết trước khi xử lý dữ liệu
- Kế hoạch phân tích thống kê được chuẩn bị trước
- Tạo dữ liệu phù hợp
- Chuẩn bị dữ liệu minh bạch
- Trực quan hóa dữ liệu giàu thông tin
- Tóm tắt dữ liệu bằng thống kê phù hợp
- Phân tích dữ liệu tránh các sai lầm thường gặp
- Các cân nhắc bổ sung cho nghiên cứu y học
- Báo cáo phân tích thống kê một cách minh bạch và toàn diện
- Các ví dụ từ tài liệu xuất bản thể hiện các nguyên tắc của cẩm nang
- Phần thứ ba nói về cách công khai toàn bộ tư liệu nghiên cứu liên quan cho mọi người
- Open Data: công khai dữ liệu thô để phục vụ nghiên cứu tiếp theo và sao lặp
- Open Source Code: làm cho pipeline phân tích trở nên minh bạch, đồng thời cho phép người khác mượn dùng hoặc kiểm chứng
- Reproducible Environments: không chỉ cung cấp dữ liệu và mã nguồn mà còn cả môi trường giúp chạy lại phân tích một cách dễ dàng
- Open Publication Models: cho phép mọi người xem các đầu ra học thuật liên quan đến nghiên cứu
- Documenting Processes and Decisions: làm rõ không chỉ đã làm gì và làm như thế nào, mà cả vì sao lại làm như vậy thông qua các cơ chế như sổ tay thí nghiệm công khai
Phạm vi phụ lục
- Phụ lục đề cập đến các tài nguyên hỗ trợ như câu hỏi thường gặp, các cân nhắc theo từng lĩnh vực và liên kết tới tài liệu bổ sung
1 bình luận
Ý kiến trên Hacker News
Ghi lại phiên bản các package đã dùng cũng là điều tốt, nhưng cách tốt hơn là cung cấp một mô tả môi trường có chuỗi phụ thuộc được cố định hoàn toàn, như Guix channel hoặc Nix flake, cùng với mã nguồn
Docker cũng có thể ép dùng phiên bản cố định, nhưng chỉ một lần
apt updatelà có thể làm mọi thứ hỏng hoàn toànNix và Guix không chỉ cung cấp môi trường để chạy mã với cùng công cụ và phiên bản, mà còn cho phép tạo các container image có thể chia sẻ
Việc một trường đại học thường rất tốn kém như Stanford cung cấp tài liệu học tập miễn phí là rất tốt
Có ai đã dùng thử chưa? Có ổn không?
Nhóm của chúng tôi hiện đang chuyển từ mảng phần mềm sang khoa học dữ liệu, và tài liệu này có vẻ có thể giúp lấp khoảng cách đó
Trang có nhúng https://stanforddatascience.github.io/best-practices/index.h...
Có thể tóm tắt rằng cuốn cẩm nang này là một hướng dẫn đưa ra các thực hành tốt nhất nhằm làm cho khoa học trở nên cởi mở, minh bạch và có thể tái lập hơn