- Sau khi bản preprint của bài báo “Artificial Intelligence, Scientific Discovery, and Product Innovation” được đăng tải trên arXiv vào tháng 11/2024, đã xuất hiện các vấn đề về độ chính xác và tính trung thực của nghiên cứu
- MIT đã tiến hành một cuộc điều tra nội bộ không công khai, kết luận rằng bài báo thiếu độ tin cậy và đã chính thức gửi yêu cầu rút bài tới arXiv và The Quarterly Journal of Economics
- Theo thư ngỏ công khai dưới danh nghĩa Committee on Discipline của MIT, trường hoàn toàn không tin tưởng vào nguồn gốc, độ tin cậy và độ chính xác của dữ liệu trong bài báo, đồng thời cũng không có cơ sở để tin vào chính kết quả nghiên cứu
- Theo chính sách của arXiv, chỉ tác giả mới có thể yêu cầu rút bài, nhưng vì tác giả không thực hiện yêu cầu này nên MIT đã thay mặt gửi đề nghị chính thức và mong muốn bài báo sớm bị rút kèm thông báo rõ ràng
Ảnh hưởng của bài báo và phản ứng của MIT
- Bài báo preprint là nghiên cứu chưa trải qua phản biện đồng cấp (peer review)
- Bài báo này đang tạo ra ảnh hưởng đáng kể trong các thảo luận học thuật về AI và khoa học
- MIT thúc đẩy việc rút bài chính thức nhằm giảm thiểu tác động tiêu cực của các nội dung thiếu chính xác đối với các cuộc thảo luận đó
- Tác giả hiện không còn trực thuộc MIT
Tầm quan trọng của tính liêm chính trong nghiên cứu
- Tính liêm chính trong nghiên cứu là một giá trị cốt lõi của MIT và thuộc về sứ mệnh trọng tâm của trường
- MIT đang vận hành các quy trình không công khai cùng những chính sách liên quan để phản ứng nhanh trước các vấn đề về hành vi sai trái trong nghiên cứu
- Có thể xem các chính sách và quy trình liên quan trên trang web chính thức của MIT
Lập trường chính thức của giảng viên
- Giáo sư Daron Acemoglu và Giáo sư David Autor được nhắc tới trong chú thích của bài báo và đã đưa ra tuyên bố chính thức như sau
- Bài báo này là công trình của một cựu nghiên cứu sinh tiến sĩ năm hai của khoa kinh tế, chưa được công bố trên tạp chí học thuật đã qua phản biện, nhưng đã được thảo luận sôi nổi trong các tài liệu về AI và khoa học
- Theo thời gian, các nghi vấn về tính hợp lệ của nghiên cứu đã xuất hiện và được báo cáo tới các bộ phận liên quan
- Vào tháng 2/2024, MIT đã tiến hành điều tra nội bộ không công khai theo chính sách nội bộ
- Do hạn chế về công bố thông tin, họ khó có thể công bố kết quả, nhưng một lần nữa nhấn mạnh rằng họ hoàn toàn không tin tưởng vào nguồn gốc, độ tin cậy và tính trung thực của dữ liệu cũng như nghiên cứu
- Lý do họ công khai nội dung này là vì bài báo, dù chưa được xuất bản, vẫn đang ảnh hưởng tới các thảo luận về tác động của AI đối với khoa học
- MIT coi trọng việc bảo đảm hồ sơ nghiên cứu chính xác, đồng thời khẳng định rõ rằng việc dựa vào kết quả của bài báo này để thảo luận trong giới học thuật và không gian công cộng là không phù hợp
Kết luận và khuyến nghị
- MIT khuyến nghị giới học thuật và công chúng không sử dụng bài báo này như tài liệu tham khảo học thuật
- Bảo đảm độ chính xác và độ tin cậy của nghiên cứu được xem là ưu tiên hàng đầu
1 bình luận
Ý kiến Hacker News
Đang cố hiểu rằng chỉ tác giả mới có thể yêu cầu rút bài trên arXiv; MIT nói theo kiểu ra thông báo lập trường rằng họ đã yêu cầu tác giả rút bài nhưng việc đó vẫn chưa diễn ra. Cách MIT truyền đạt thông tin, vừa bảo vệ quyền riêng tư ở mức phù hợp vừa phần nào cho thấy diễn biến sự việc, có vẻ là ổn. Cũng có suy đoán rằng tác giả đã để lại bài báo rồi tự nguyện rời MIT với hy vọng dẫn tới cơ hội mới, và có lẽ không ngờ MIT sẽ đưa ra lập trường chính thức về chuyện này
Có ý kiến cho rằng MIT đang đổ toàn bộ trách nhiệm lên đầu nghiên cứu sinh để che giấu sai sót của chính mình. Tác giả nhận được thư giới thiệu từ các giáo sư MIT nổi tiếng và giàu ảnh hưởng, và khó tin một nghiên cứu sinh tiến sĩ năm hai có thể một mình thực hiện một nghiên cứu lừa đảo quy mô lớn như vậy mà không có quan hệ trong ngành. Các con số trong abstract như "AI phát hiện nhiều vật liệu mới hơn 44%, tăng 39% số đơn xin cấp bằng sáng chế, tăng 17% đổi mới downstream" bị cho là chỉ nhìn số thôi cũng đã đáng nghi nếu đối chiếu với thực tế nghiên cứu công nghiệp. Với mức này thì chỉ cần cảm quan cơ bản cũng đủ biết là gian dối
Cũng xác nhận rằng tác giả đã tạo website giả để che dấu vết của mình, thậm chí còn đăng ký cả domain như thể từng làm việc tại công ty Corning. Vụ Corning phải dùng WIPO để cưỡng chế chuyển giao tên miền cũng được đính kèm
Cũng chia sẻ video tác giả tự trình bày seminar về chính bài báo của mình qua Zoom. Nhìn lại thì thấy rõ thói quen không nhìn vào màn hình hay camera khi nói dối, và có nhắc tới cảm giác bất an rằng kiểu nói dối ứng biến như vậy có thể đã trở thành thói quen hằng ngày
Ấn tượng đầu tiên là dữ liệu trong các biểu đồ trông quá sạch, giống dữ liệu bị thao túng hơn là dữ liệu thật. Đặc biệt, vào tháng 5/2022, chỉ khoảng 6 tháng trước khi chatGPT xuất hiện, một nghiên cứu sinh năm hai lại được cho là đã thuyết phục một phòng thí nghiệm nghiên cứu vật liệu của tập đoàn lớn triển khai thí nghiệm ở quy mô hàng nghìn người, nhưng không hề giải thích được điều gì khiến việc đó xảy ra. Phần mô tả mô hình cũng chỉ lướt qua kiểu GAN+diffusion mà không có chi tiết cụ thể; theo kinh nghiệm thực tế ở doanh nghiệp lớn, việc triển khai quy mô như vậy trong thời gian ngắn là chuyện tuyệt đối không thể
Có nhắc tới sự tương đồng với vụ gian lận bài báo của Michael LaCour ở chỗ thiết kế thí nghiệm trong bài này cũng gần như bất khả thi ngoài đời thực. Khi đó, các tỷ lệ phản hồi và phản hồi lại từ panel khảo sát cũng phi lý trái với thường thức, và ngay cả những công ty thực sự có năng lực làm thí nghiệm cũng nói rằng họ không thể thực hiện quy trình như vậy
Cũng chỉ ra rằng tác giả nói đã được MIT IRB phê duyệt thí nghiệm trên người và còn nêu cả số hồ sơ, nhưng vào thời điểm đó thì người này thậm chí còn chưa nhập học tiến sĩ
Trong phần Q&A, tác giả nói mình dùng GNN chứ không phải GAN, nhưng cũng chia sẻ rằng không khí của khán giả trong buổi trình bày dường như không đào sâu chất vấn tính hợp lệ của bài báo
Khi một bài báo khó tái lập và bản thân lĩnh vực lại quá rộng, người ta đặt câu hỏi rốt cuộc đến bao giờ nó mới thực sự được kiểm chứng, và cho rằng cần suy nghĩ nhiều hơn về việc có bao nhiêu bài báo gian lận trong lĩnh vực đó. Cũng có trải nghiệm cá nhân rằng trong ML thực sự từng có không ít người bịa số
Có ý kiến cho rằng việc dùng phân tích văn bản tự động để thu được dữ liệu phân bổ thời gian làm việc hằng tháng của các nhà khoa học gần như ổn định suốt cả năm ngay từ đầu đã là điều vô lý. Nếu có dữ liệu như vậy thì chất lượng của nó phải tốt đến mức ngoài sức tưởng tượng, nhưng ngoài đời thì gần như không thể
Các nhà kinh tế học nổi tiếng của MIT đứng về phía nghi ngờ độ tin cậy của bài báo, và trong lúc kiểm chứng các trường hợp đổi mới tại những tập đoàn vật liệu có thật, họ không thể giải quyết bất đồng nên đã giao MIT điều tra. Việc chỉ đuổi sinh viên là chưa đủ; nếu các giáo sư đã tích cực thúc đẩy bài báo này thực sự có tham gia vào nghiên cứu thì lẽ ra tối thiểu cũng phải xác minh xem có tồn tại phòng thí nghiệm bí ẩn quy mô cả nghìn người hay không, và liệu công cụ AI đó có thực sự được sử dụng hay không
Có người mỉa mai rằng trong 21 người được liệt kê ở phần lời cảm ơn, không một ai nghi ngờ nguồn gốc dữ liệu. Một trong số đó còn viết cả một thread Twitter rất được chú ý về nghiên cứu này, nhưng khi gần đây được báo tin về vụ việc thì chỉ đáp ngắn gọn rằng "có vẻ dữ liệu của bài báo không đáng tin cậy"
Cũng than rằng trong giới học thuật có rất nhiều giáo sư chỉ nổi tiếng về danh tiếng chứ không thực sự đọc kỹ bài báo, và bản thân người nói cũng đang trực tiếp trải nghiệm thực trạng đó. Không thể nêu tên thật, nhưng vẫn cố nhìn tích cực vì ít ra còn có một đồng hướng dẫn tốt trong hoàn cảnh khó khăn
Khi có người hỏi nguồn trích dẫn là từ đâu, câu trả lời là bài của Washington Post và WSJ
Có người chú ý rằng bài báo này đã được trích dẫn gần 50 lần. Nếu là tạp chí truyền thống trước đây thì ít nhất còn có thể để lại thông điệp liên quan đến vấn đề của bài báo, nhưng với arXiv thì khi lần theo bài báo, gần như không có cách nào biết được rằng từng có tranh cãi hay bê bối xung quanh nó; đây được xem là điểm yếu của máy chủ preprint
Cũng nói rõ rằng phần lớn trong khoảng 50 lượt trích dẫn đó đến từ các preprint như arXiv hay những nơi như ResearchGate. Con số được trích dẫn trong tạp chí peer review mới là thước đo thực tế hơn. arXiv bị xem như một blog PDF không qua thẩm định, chỉ có một chút cơ chế mời nên khả năng phòng vệ khá yếu. Trong lúc bàn luận còn nhắc tới một ví dụ cũ về bài báo mật mã học kỳ quặc
Có ý kiến rằng điểm yếu này bắt nguồn từ việc thiếu phản biện; arXiv chỉ có tính quản trị ở mức nào đó chứ không đủ để tạo ra độ tin cậy thực sự. Muốn tin một bài báo thì либо phải tin tác giả, либо phải tự mình xem xét, và ngay cả khi rút bài thì lý do cũng không được lưu lại riêng nên mỗi người phải tự lần dấu. Người nói còn trích lại thông báo rút bài của một bài mà mình từng thấy
Cũng chia sẻ rằng bài báo này đã từng được thảo luận trên HN vài tháng trước
Nhấn mạnh rằng ngay từ khi đó đã có người nhận ra sự đáng ngờ, kèm theo link tham khảo
Cũng bổ sung tiêu đề và link của bài thảo luận để chia sẻ thông tin
Có ý kiến cho rằng thay vì xóa hẳn bài báo thì nên thêm một ghi chú vào preprint nghiên cứu để báo về các vấn đề và khả năng gian lận. Vì bài báo đã được trích dẫn nên sau này có thể nảy sinh nhu cầu kiểm tra ảnh hưởng thực chất của nó; nếu bài biến mất hoàn toàn thì chỉ còn lại khoảng trống
Cũng nhắc rằng khi rút bài thì các phiên bản cũ vẫn còn, và MIT đã thực sự yêu cầu rút bài. Đồng thời chỉ ra rằng tiêu đề các bài báo truyền thông có phần dễ gây hiểu lầm
Có người cho rằng cần đánh dấu cảnh báo cả ở các bài đang trích dẫn nó, chẳng hạn bằng biểu tượng cảnh báo, để bài báo gian lận không tiếp tục được dẫn nguồn và ảnh hưởng của trò lừa đảo không kéo dài mãi
Cũng bày tỏ mong muốn arXiv nên có ít nhất một trang kiểu "từng có một bài báo ở đây nhưng đã bị rút"
Có người nghi ngờ lập trường của MIT khi chỉ nói về lỗi của nghiên cứu sinh mà phủ nhận toàn bộ khả năng có vốn VC, đi đêm hay tham nhũng có tổ chức ở phía sau. Quan điểm này cho rằng nếu biết trước bài báo sớm muộn cũng sẽ bị lộ nhưng vẫn tận dụng nó để thổi phồng giá trị và kỳ vọng của thị trường AI nhằm trục lợi, rồi khi tranh cãi bùng lên chỉ nộp một khoản nhỏ và xin lỗi, thì rốt cuộc vẫn là cấu trúc thu lợi rất lớn. Cũng chỉ ra rằng các công ty dược đôi khi vận hành theo cách này. Vì ngay cả những tổ chức hay ấn phẩm tưởng như đáng tin cũng có nhiều bài báo sai hoặc hơi bóp méo sự thật, nên việc chỉ viện dẫn bài báo chí không bảo đảm tính chặt chẽ logic
Có ý kiến rằng thông báo chính thức của MIT quá ít chi tiết, còn bài WSJ thì có thêm đôi chút thông tin nhưng vẫn thiếu cụ thể. Một lần nữa nhắc lại rằng các nhà kinh tế học đã tích cực quảng bá bài báo này, và chỉ sau khi có chất vấn từ một nhà khoa học máy tính bên ngoài thì MIT mới tiến hành điều tra nội bộ
Có ý kiến rằng chỉ riêng việc lộ ra là một "nghiên cứu sinh tiến sĩ năm hai trước đây" cũng đã ngầm cho thấy người này đã bị đuổi