Các hội nghị AI lớn đang ngập trong nhận xét phản biện do AI viết

• Trong các nhận xét phản biện bài báo của hội nghị quốc tế về học máy ICLR 2026, 21% được xác nhận là do trí tuệ nhân tạo viết hoàn toàn
• Công cụ phát hiện AI của Pangram Labs đã phân tích 75.800 nhận xét phản biện và phát hiện dấu vết sử dụng AI trong hơn một nửa
• Một số nhà nghiên cứu cho biết họ nhận được phản hồi dài dòng bất thường hoặc không chính xác, làm dấy lên khả năng do AI tạo ra
• Phía hội nghị cho biết sẽ kiểm tra bằng công cụ tự động xem có vi phạm chính sách sử dụng AI hay không, đồng thời đang tiến hành các bước khôi phục niềm tin
• Vụ việc lần này là một ví dụ cho thấy nhu cầu cấp bách phải đảm bảo tính minh bạch và độ tin cậy của quy trình phản biện học thuật

---

Thực trạng sử dụng AI được hé lộ trong phản biện bài báo tại ICLR 2026

• Trong các nhận xét phản biện bài báo của hội nghị quốc tế về học máy ICLR 2026, phân tích cho thấy khoảng 21% được viết hoàn toàn bằng AI, và hơn một nửa chịu ảnh hưởng của AI
  • Phân tích do Pangram Labs thực hiện, nhắm vào tổng cộng 19.490 bài báo và 75.800 nhận xét phản biện
  • Pangram đã công bố kết quả bằng cách sử dụng công cụ phát hiện văn bản do AI tạo ra
• Hội nghị cho biết có kế hoạch rà soát bằng công cụ tự động xem việc sử dụng AI có vi phạm chính sách phản biện hay không
  • Người phụ trách chương trình của ICLR 2026 cho biết đây là trường hợp đầu tiên mà vấn đề AI trong phản biện bị phơi bày trên quy mô lớn

Quá trình điều tra và những vấn đề do các nhà nghiên cứu nêu ra

• Nhiều nhà nghiên cứu đã chia sẻ trên mạng xã hội các nhận xét phản biện bị nghi là do AI viết
  • Một số nhận xét phản biện chứa ‘trích dẫn ảo (hallucinated citations)’ hoặc phản hồi mơ hồ, dài dòng
• Graham Neubig của Carnegie Mellon University đã nhận được một nhận xét phản biện bất thường và yêu cầu xác minh liệu nó có phải do AI tạo ra hay không
  • Ông đăng thông báo treo thưởng trên X (trước đây là Twitter), và Max Spero của Pangram Labs đã phản hồi rồi tiến hành điều tra toàn diện
  • Pangram cho biết họ đã viết mã để phân tích văn bản của toàn bộ bài nộp chỉ trong 12 giờ

Kết quả phân tích của Pangram Labs

• Công cụ của Pangram hoạt động bằng cách dự đoán văn bản do LLM (mô hình ngôn ngữ lớn) tạo ra hoặc biên tập
  • Kết quả cho thấy 15.899 nhận xét phản biện được tạo hoàn toàn bằng AI, và 199 bài báo (1%) cũng bị xác định là được viết hoàn toàn bằng AI
  • 61% bài báo do con người viết, 9% chứa văn bản do AI tạo ra chiếm hơn một nửa
• Pangram đã nộp mô hình của mình tới ICLR 2026 dưới dạng preprint, và một phần phản biện cho bài đó cũng bị xác định là do AI tạo ra

Phản ứng của các nhà nghiên cứu

• Desmond Elliott của University of Copenhagen chỉ ra rằng một trong các nhận xét phản biện cho bài báo ông gửi đã hiểu sai nội dung chính của bài và nêu các con số không chính xác
  • Nghiên cứu sinh của ông suy đoán rằng nhận xét phản biện đó có vẻ như do LLM viết
  • Theo kết quả phân tích của Pangram, nhận xét phản biện đó thực sự được xác nhận là hoàn toàn do AI tạo ra
  • Nhận xét này đã cho bài báo điểm đánh giá thấp nhất, khiến nó rơi vào ranh giới được chấp nhận hay không

Phản ứng của hội nghị và các bài toán sắp tới

• Phía hội nghị thông báo sẽ triển khai công cụ tự động phát hiện việc sử dụng AI, với mục tiêu khôi phục độ tin cậy của phản biện
• Người phụ trách chương trình cho biết qua quá trình lần này, cần phải định nghĩa lại khái niệm niềm tin
• Vụ việc này là một ví dụ cho thấy AI đã xâm nhập sâu vào quy trình phản biện học thuật, khiến đảm bảo tính minh bạch trong đánh giá nghiên cứu trở thành bài toán trọng tâm

[yuntae]

Có khá nhiều ví dụ review thú vị.
https://reddit.com/r/MachineLearning/…

[GN⁺]

Ý kiến trên Hacker News

• Tôi nghĩ sự phụ thuộc vào AI trong việc viết lách đang gia tăng, nhưng phương pháp được dùng trong bài này trông giống quảng bá cho Pangram hơn
  Phần lớn các công cụ phát hiện AI đều không đáng tin cậy, và thậm chí còn gây hại cho những người chưa từng dùng LLM
  Có thể xem thảo luận liên quan tại liên kết này

  • Tôi là đồng sáng lập của Pangram. Chúng tôi đã đạt được tiến bộ thực chất trong lĩnh vực này
    Nếu bạn đang nghĩ đến các bộ phát hiện lỗi thời như GPTZero, thì bạn chưa thấy những cải thiện hiệu năng gần đây
    Theo bài báo của các nhà kinh tế học Đại học Chicago, trên 1.992 tài liệu do con người viết đã ghi nhận 0 trường hợp dương tính giả, và tỷ lệ phát hiện tài liệu do AI viết vượt 99%
  • Các công cụ phát hiện AI chỉ có hại khi được dùng để trừng phạt con người
    Dùng cho phân tích thống kê như nghiên cứu lần này thì không sao
    Thực tế gần như không có bài báo nào được viết bằng AI, và việc AI được dùng nhiều chủ yếu ở phần review là một kết quả tự nhiên
  • Có những người không tin LLM, nhưng lại sẵn sàng dùng LLM nếu nó xác nhận định kiến của họ
    Tiêu chuẩn kép này khá thú vị

• Dù con số 20% có chính xác hay không, ai cũng cảm nhận được chất lượng review suy giảm ở các hội nghị hàng đầu
  Trong một số lĩnh vực, thông đồng giữa reviewer thực sự tồn tại, thậm chí có trường hợp AC cũng dính líu
  Giờ đây không ai còn review bài báo một cách tận tâm chỉ vì đó là ‘điều đúng đắn về nguyên tắc’ nữa

  • Trước đây, dù không có động lực rõ ràng, người ta vẫn review một cách có lương tâm, nhưng văn hóa đó đã biến mất hoàn toàn
  • Trong bối cảnh các nhà nghiên cứu AI được săn đón với mức lương khổng lồ, việc hệ thống bị méo mó là điều tất yếu
  • Có thể xem hiện tượng này như một dạng điều chỉnh của thị trường
    Có quá nhiều bài báo phục vụ sự nghiệp, nên reviewer ngày càng bớt quan tâm hơn

• Theo phân tích của Pangram, 21% review tại ICLR là hoàn toàn do AI tạo ra, và hơn một nửa có dấu vết AI
  Nhưng điều đáng hỏi là “bằng chứng” là gì, và làm sao chứng minh đó là nội dung do AI tạo ra

  • Cách dùng từ “bằng chứng” là không phù hợp. Nhưng phân tích thống kê thì có thể khách quan
    Các công cụ như vậy phù hợp cho mục đích đó
  • Thực tế họ đã viết bài báo giải thích phương pháp luận
  • Có khi bộ phát hiện AI bản thân cũng là AI
  • Tôi cũng gặp vấn đề tương tự khi chấm bài tập sinh viên
    Hầu hết tôi cảm thấy là do AI viết, nhưng vì không thể chứng minh nên không thể làm gì
  • Thực ra không thể phân biệt chỉ bằng văn bản
    Nếu không có thêm thông tin như metadata, thì việc phán đoán LLM có viết hay không tự nó đã vô nghĩa

• Tiêu đề có thể đúng, nhưng độ tin cậy của các bộ phát hiện AI vẫn còn thấp
  Không có bằng chứng nào cho thấy công cụ của Pangram đã rũ bỏ được tai tiếng đó

  • Với tư cách là đồng sáng lập Pangram, tôi xin nói rằng tỷ lệ dương tính giả của chúng tôi ở mức 1 trên 10.000
    Bài blog giải thích chi tiết
    Trong 10.202 review của ICLR 2022, có 10.190 bài do con người viết, chỉ 12 bài có dấu vết chỉnh sửa bằng AI
  • Các bài báo hội nghị vốn tuân theo văn phong khuôn mẫu, nên rất khó phân biệt có phải AI hay không
  • Nếu bài báo là 1% còn review là 20% do AI, thì đơn giản là vì reviewer phụ thuộc vào AI nhiều hơn
    Không thể kết tội từng cá nhân, nhưng gần như có thể chắc chắn rằng rất nhiều review đã được giao cho AI

• Nhìn tiêu đề bài viết “21% review được AI tạo ra”, tôi lại có cảm giác con số này thấp hơn mong đợi

  • Nếu 21% là hoàn toàn do AI tạo ra, thì đó chính là hành vi gian lận rõ ràng
    Giống tình huống “những lỗ trên miếng phô mai Thụy Sĩ xếp thẳng hàng” trong điều tra tai nạn, đây là kết quả của sự lơ là trong công việc chồng chất lên nhau

• Ban đầu tôi thấy bất ngờ, nhưng 21% lại là một con số thấp đến mức gây sốc
  Hơn nữa, con số này đến từ một công ty bán công cụ phát hiện AI, nên cũng có khả năng dương tính giả

• Điều cốt lõi không phải là review có được AI viết hay không, mà là độ chính xác của review

  • Không, đó không phải trọng tâm
    Hội nghị luôn nhân danh ‘peer review’, mà dù AI có giỏi đến đâu thì nó cũng không phải đồng nghiệp
  • Nếu nghiên cứu thực sự hữu ích và chính xác thì điều đó mới quan trọng hơn
    Trông như Pangram đang cố kích động sự phẫn nộ bằng phát hiện AI để tạo clickbait
  • Thực tế là thế này
    1. Nhà khoa học thực hiện một nghiên cứu mang định kiến
    2. Reviewer dùng AI tạo ra một bài review trông có vẻ hợp lý
    3. Cuối cùng chính nhà nghiên cứu lại phải tự review lại, tạo ra một vòng lặp kỳ quái

• Rốt cuộc, những nạn nhân đầu tiên của con quái vật do AI tạo ra lại chính là những lao động tri thức như lập trình viên, nhà nghiên cứu và trường đại học đã tạo ra nó

• Hội nghị này trước đây từng là nơi xảy ra lỗi OpenReview khiến toàn bộ reviewer tạm thời bị lộ danh tính
  Theo bài viết liên quan, sau đó các điểm số bị đặt lại và các AC mới sẽ đưa ra quyết định lại từ đầu

• Về sau, có lẽ sẽ tốt hơn nếu mọi bài báo đều được cung cấp sẵn review bằng AI, còn reviewer con người sẽ bổ sung cho kết quả đó
  Như vậy reviewer sẽ kiểm tra đầu ra của AI, còn tác giả cũng nhận được phản hồi có thể dự đoán trước
  Tất nhiên reviewer con người cũng có thể lại dùng AI, nhưng tác giả chắc cũng sẽ làm vậy thôi