- Công cụ Hallucination Check của GPTZero đã phân tích 4.841 trong số 5.290 bài báo được chấp nhận tại NeurIPS 2025 và xác nhận hơn 100 “trích dẫn ảo (hallucinated citations)”
- Trong nhiều bài báo, đã phát hiện dấu vết do AI tạo ra như tác giả không tồn tại, DOI·URL sai, tiêu đề bị ngụy tạo
- GPTZero định nghĩa các lỗi này là “vibe citing”, tức dạng trích dẫn được pha trộn·biến đổi từ thông tin bài báo có thật để trông có vẻ hợp lý
- Tất cả các trường hợp đều đã được chuyên gia con người kiểm chứng, và công cụ này có tỷ lệ bỏ sót rất thấp (phát hiện 99%); thay vào đó, nó đánh dấu các trường hợp nghi vấn theo hướng thận trọng
- Đây được xem là một ví dụ cho thấy sự cần thiết của tự động hóa phát hiện lỗi trích dẫn do AI tạo ra trong quá trình viết và thẩm định bài báo nghiên cứu
Kết quả phân tích bài báo NeurIPS 2025 của GPTZero
- GPTZero đã quét 4.841 trong số 5.290 bài báo được chấp nhận tại NeurIPS 2025 và phát hiện hơn 100 trích dẫn ảo
- Mỗi trường hợp đều được con người kiểm chứng là trích dẫn không thực sự tồn tại
- Ví dụ, đã phát hiện nhiều trích dẫn chứa tên tạp chí, tên tác giả và DOI không tồn tại
- GPTZero phân loại các lỗi trích dẫn như vậy là dấu vết do AI tạo ra (vibe citing)
- Dạng điển hình là trích dẫn giả được tạo bằng cách kết hợp hoặc biến đổi tiêu đề và tác giả của các bài báo có thật
- Một số dùng tiêu đề giống với bài báo thật, nhưng được xác định là sai do không khớp về năm·nguồn·tác giả
Định nghĩa và các kiểu của ‘Vibe Citing’
- GPTZero định nghĩa ‘vibe citing’ là “trích dẫn do AI tạo sinh tạo ra bằng cách kết hợp·biến đổi các nguồn có thật”
- Bao gồm các trường hợp ngụy tạo hoặc tổng hợp tên tác giả·tiêu đề·nhà xuất bản·DOI
- Cũng có trường hợp trích dẫn một phần từ bài báo có thật, hoặc tạo ra tên tạp chí giả
- Ngược lại, những lỗi đơn thuần như lỗi chính tả·liên kết chết·thiếu số trang được xem là lỗi của con người nên bị loại khỏi phân loại này
- GPTZero đưa ra bảng so sánh để phân biệt trích dẫn thật, trích dẫn lỗi và trích dẫn ảo
- Ví dụ: trường hợp biến bài báo “Deep learning” thành “Samuel LeCun Jackson. Deep learning. Science & Nature, 2021.” được phân loại là trích dẫn ảo
Chức năng của công cụ Hallucination Check
- Hallucination Check là hệ thống phát hiện dựa trên AI giúp tự động hóa việc kiểm chứng trích dẫn
- Tự động đánh dấu các trích dẫn không thể xác minh trực tuyến
- Hỗ trợ tác giả·biên tập viên·người phản biện rà soát nhanh lỗi trích dẫn
- Các bước sử dụng
- Tác giả tự động kiểm tra trích dẫn trong bài trước khi nộp
- Người phản biện nhanh chóng nhận diện các trích dẫn chưa được xác minh
- Ban biên tập hội nghị·tạp chí có thể dùng song song với AI Detector để đồng thời phát hiện dấu vết do AI viết và lỗi trích dẫn
Độ chính xác kiểm chứng của GPTZero
- Hallucination Check có tỷ lệ bỏ sót rất thấp (độ chính xác phát hiện 99%)
- Nghĩa là xác suất bỏ qua trích dẫn ảo thực sự là cực kỳ thấp
- Đổi lại, tỷ lệ dương tính giả có phần cao hơn do cách phát hiện thận trọng
- GPTZero cho biết họ cũng đã phát hiện hàng chục lỗi trích dẫn do AI tạo ra theo cùng phương pháp trong ICLR 2026, báo cáo của Deloitte và các trường hợp khác
Ý nghĩa đối với giới học thuật và hệ sinh thái xuất bản
- Trường hợp NeurIPS 2025 cho thấy cùng với sự lan rộng của việc dùng công cụ AI để viết bài báo, vấn đề suy giảm độ tin cậy của trích dẫn cũng đang lộ rõ
- GPTZero đang hợp tác với ban tổ chức ICLR để xây dựng hệ thống tự động kiểm chứng các bài nộp trong tương lai
- Những nỗ lực như vậy được kỳ vọng sẽ dẫn tới nâng cao hiệu quả·tính minh bạch của phản biện bài báo và củng cố hệ thống kiểm chứng nội dung do AI tạo ra
1 bình luận
Ý kiến trên Hacker News
Tôi đã kiểm tra ngẫu nhiên một bài báo mà đồng nghiệp ở Google của tôi là đồng tác giả
Bài bị nêu vấn đề là bài ICLR 2024, trong đó hai tác giả được trích dẫn đã bị bỏ sót và một người khác (Kyle Richardson) lại bị thêm vào sai
Trích dẫn này nằm ở phần bối cảnh chứ không phải cốt lõi của bài, và rất có thể chỉ là lỗi gõ đơn giản phát sinh trong quá trình tự động hoàn thành bằng AI
Trong bộ dữ liệu chắc hẳn có cả những trường hợp nghiêm trọng, nhưng thứ tôi thấy chỉ là lỗi nhỏ có thể sửa ngay bằng cách kiểm tra DOI
Việc đưa những bài có kiểu ‘một lỗi đơn lẻ’ này vào có vẻ như nhằm tối đa hóa hiệu ứng quảng bá sản phẩm cho phía tác giả
Vấn đề là không ai biết đó có phải lỗi duy nhất hay không
Sự tồn tại của lỗi như vậy là tín hiệu cho thấy bài báo đã được nộp khi chưa được kiểm chứng đầy đủ, và là dấu vết của việc dùng LLM cẩu thả
Muốn xác minh phần còn lại thì cần chuyên môn và các thí nghiệm tái lập
Nếu hiện tượng này lan rộng, nền tảng niềm tin của chính hoạt động nghiên cứu có thể bị lung lay
Nhưng trong trường hợp này thì lại sai
Việc ảo giác xuất hiện trong tài liệu tham khảo, theo tôi, là tín hiệu rất mạnh cho thấy toàn bộ bài báo được viết bằng AI
Chỉ cần kiểm tra DOI là có thể lọc ra, nhưng hiện tại xác minh trích dẫn không phải là thủ tục cốt lõi trong quy trình phản biện bài báo
Mô hình niềm tin vốn vẫn xem trích dẫn là một dạng văn bản mang tính tường thuật thì không còn mở rộng được nữa
Tôi đang thực hiện tại Duke University một dự án nhằm biến quá trình trích dẫn và xác minh thành hạ tầng có thể kiểm chứng bằng máy (Liberata)
Ngược lại, việc loại bỏ các trường hợp “vô hại” mới là cách làm đánh lừa hơn
Để dữ liệu tự nói lên điều đó là cách tiếp cận trung thực
Hiện tượng này có vẻ sẽ gây tổn hại nghiêm trọng cho nghiên cứu khoa học
Vốn dĩ đã có vấn đề thao túng dữ liệu, mà nếu LLM còn tạo ra được các bài báo nghe rất hợp lý thì tình hình sẽ tệ hơn
Dù vậy, đây cũng có thể là dịp để mọi người coi trọng hơn vấn đề reproducibility
Hầu như không có tổ chức nào tài trợ cho đề xuất kiểu “cần 2 năm và 1 triệu USD để kiểm chứng một bài báo đáng ngờ từ năm ngoái”
Nếu không thay đổi cấu trúc phân bổ kinh phí khoa học thì rất khó giải quyết
Nếu đánh giá bằng số lượng bài báo thì bài chất lượng thấp sẽ tràn ngập, còn nếu đánh giá bằng số lần trích dẫn thì lại chỉ khuyến khích nghiên cứu thiên về khám phá
Nghiên cứu tái lập thì ít được trích dẫn, và rốt cuộc danh tiếng lẫn sinh kế đều gắn với “khám phá”, nên không ai đầu tư vào tái lập cả
Các dự án như Liberata đang cố chuyển văn hóa xuất bản từ trọng tâm là “tính mới” sang trọng tâm là “kiểm chứng và tái lập”
Nếu sự thay đổi này xảy ra, thì sự hỗn loạn hiện tại có thể trở thành quá trình điều chỉnh cần thiết
Theo góc nhìn đó, ngay cả khi mọi bài báo đều có thể tái lập thì những vấn đề căn bản của khoa học cũng không được giải quyết
Bài liên quan: Replication studies can’t fix science
Phía NeurIPS cho biết họ không xem việc có trích dẫn bị ảo giác (reference hallucination) là lý do khiến toàn bộ bài báo mất hiệu lực
Theo bài Fortune đầy đủ, việc sử dụng LLM đang tiến hóa rất nhanh, và đến năm 2025 thì các reviewer đã được hướng dẫn phải đánh dấu ảo giác
Quan điểm của họ là dù 1,1% bài báo có lỗi trích dẫn, điều đó cũng không làm nội dung của bài báo tự thân trở nên vô hiệu
Nó tạo cảm giác như họ chọn ra đúng một lý do vô hại nhất để che phủ toàn bộ vấn đề
Khoa học vốn đã trải qua khủng hoảng reproducibility, giờ lại còn thêm vấn đề ảo giác
Trong bối cảnh ảnh hưởng của doanh nghiệp tư nhân ngày càng lớn, tương lai của open science trông khá u ám
Ngay cả việc rút bài cũng không mang lại bất lợi thực chất, và đây là cấu trúc mà kỳ vọng lợi ích của hành vi gian lận là dương
Nếu incentive không đổi thì tình hình chỉ xấu thêm
Để LLM xử lý phần trích dẫn rốt cuộc sẽ dẫn tới việc giao luôn cả khâu diễn giải dữ liệu cho nó, và điều đó có thể tạo ra kết quả bị ảo giác
Trớ trêu ở chỗ, bài báo nghiên cứu vốn bao gồm khảo sát tài liệu để tạo ra cuộc đối thoại tri thức với các nghiên cứu trước đó
Nhưng thao túng trích dẫn bằng LLM không phải là đứng trên vai người khổng lồ, mà là đứng trên vai ảo ảnh
Tôi đã nhận được một bài review cho WACV 2024 rõ ràng là do AI viết hoàn toàn
Reviewer đã viết bốn đoạn review hoàn toàn khác nhau vào bốn ô văn bản (tóm tắt, điểm mạnh, điểm yếu, tổng đánh giá), và chúng còn mâu thuẫn với nhau
Tình trạng này là do reviewer bị quá tải, và cần thêm nhiều tình nguyện viên hơn
(Nếu bạn là người có thể review bài báo, tôi khuyên hãy chủ động liên hệ với program chair của hội nghị mà bạn yêu thích)
Có những bài báo chèn cả các tên giả như ‘Firstname Lastname’, ‘John Doe’, ‘Jane Smith’ vào phần trích dẫn mà vẫn không ai nhận ra
Với một nghiên cứu sinh tiến sĩ có bài NeurIPS đầu tiên, phần thưởng kinh tế là cực kỳ lớn
Hầu hết kỳ thực tập ở big tech đều gần như xem bài first-author tại NeurIPS/ICML/ICLR là điều kiện bắt buộc
Chỉ cần vượt qua một lần thì mức lương có thể tăng gấp hai hoặc ba, và cũng không quá lời nếu nói rằng cả sự nghiệp sẽ mở ra
Trong cấu trúc như vậy, việc xuất hiện hành vi gian lận không có gì đáng ngạc nhiên
Chỉ với một bài NeurIPS, ngay cả khi chưa có bằng tiến sĩ, người ta vẫn có thể đủ tư cách vào vị trí nghiên cứu với mức lương hơn 300.000 USD
Nếu là Spotlight hoặc Oral, giá trị đó thậm chí có thể lên đến 7 chữ số
Mọi người đều đồng ý rằng cấu trúc incentive hiện tại đã sinh ra kiểu hành vi này
Vậy thì có lẽ nên dùng “cây gậy” thay vì “củ cà rốt”
Đây là đề xuất áp dụng mức chế tài đủ sức kết thúc sự nghiệp nếu phát hiện ra LLM hallucination hoặc thao túng dữ liệu
Các công cụ phát hiện AI hiện vẫn chưa đủ đáng tin, và cũng có thể có những sai sót đơn giản do lỗi BibTeX hay trong quá trình chỉnh ngữ pháp
Tôi cho rằng hình phạt nặng chỉ chính đáng khi chứng minh được đó là hành vi gian lận có chủ ý, giống như thao túng dữ liệu rõ ràng
Sẽ rất thú vị nếu phân tích xem trong các bài báo trước năm 2020 đã có bao nhiêu trường hợp ngụy tạo nguồn trích dẫn
Tôi không hoàn toàn tin cả LLM lẫn trình phát hiện AI
Chỉ là bây giờ tần suất của chúng đang tăng tốc mà thôi
Vấn đề lỗi trích dẫn sẽ biến mất khi chi phí tìm kiếm AI và thu thập dữ liệu rẻ hơn hiện tại 100 lần
Nhưng đến lúc đó, việc phân biệt liệu bài báo do AI viết có phản ánh thực tại hay không cũng sẽ trở nên khó khăn,
và một thời đại kiểu ‘tấm gương xác suất (stochastic mirror)’ sẽ xuất hiện