Cập nhật thông lệ nộp bài review và position paper trong danh mục Khoa học máy tính (CS) của arXiv

• Danh mục Khoa học máy tính (CS) của arXiv đã áp dụng thông lệ kiểm duyệt mới đối với các bài báo review (survey) và position paper
• Từ nay, các bài báo như vậy chỉ có thể được nộp lên arXiv sau khi đã được chấp nhận thông qua phản biện đồng cấp (peer review) tại tạp chí hoặc hội nghị
• Khi nộp, bắt buộc phải kèm theo tài liệu chứng minh đã phản biện đồng cấp thành công (ví dụ: tham chiếu tạp chí, metadata DOI)
• Các bài nộp không có tài liệu xác minh nhiều khả năng sẽ bị từ chối, đây là biện pháp nhằm ứng phó với làn sóng bài báo đổ vào quá mức gần đây do AI tạo sinh gây ra
• Thông qua thay đổi này, arXiv muốn chỉ chia sẻ các bài tổng quan chất lượng cao và tập trung vào việc lưu thông các bài báo nghiên cứu cốt lõi

---

Yêu cầu nộp bài đã thay đổi

• Bài review và position paper chỉ có thể được nộp lên arXiv sau khi đã được chấp nhận tại tạp chí hoặc hội nghị và hoàn tất phản biện đồng cấp
  • Khi nộp phải kèm tài liệu chứng minh đã phản biện đồng cấp thành công
  • Nếu không có chứng cứ, khả năng bị từ chối là rất cao
• Mức phản biện của workshop không được xem là phản biện đồng cấp theo nghĩa truyền thống, nên không đáp ứng yêu cầu nộp bài

Bối cảnh chính sách

• Theo chính sách chính thức của arXiv, bài review và position paper không phải là loại nội dung được cho phép một cách chính thức
  • Trước đây, chỉ một số ít bài báo chất lượng cao được chấp nhận theo quyền quyết định của moderator
• Gần đây, do sự lan rộng của AI tạo sinh và mô hình ngôn ngữ lớn (LLM), số lượng bài review chất lượng thấp đã tăng vọt
  • Phần lớn chỉ ở mức liệt kê tài liệu tham khảo đơn thuần, thiếu thảo luận nghiên cứu mới
• Trong tình hình này, gánh nặng rà soát của các moderator đã trở nên quá mức, gây ảnh hưởng đến mục tiêu cốt lõi của arXiv (chia sẻ bài báo nghiên cứu)

Mục tiêu của thay đổi

• Hỗ trợ để chỉ những bài review và position paper có giá trị do chuyên gia viết mới có thể được tìm thấy dễ dàng trên arXiv
• Giảm tải công việc cho moderator và tập trung vào việc xem xét các loại nội dung chính thức
• Duy trì mục tiêu cốt lõi của arXiv là thúc đẩy khám phá khoa học nhanh chóng và tự do

Khác biệt giữa trước đây và hiện tại

• Trước đây, các bài review thường do một số ít nhà nghiên cứu danh tiếng hoặc theo yêu cầu của các tổ chức chính thức (ví dụ: Annual Reviews, IEEE, Computing Surveys) nên có chất lượng cao
• Position paper cũng phần lớn được tạo ra bởi các hội học thuật hoặc tổ chức nghiên cứu của chính phủ (ví dụ: Computing Research Association, National Academies)
• Hiện nay, mỗi tháng có hàng trăm bài review được nộp, và tình hình đã đạt tới mức khó kiểm soát chất lượng

Tận dụng các tổ chức phản biện bên ngoài

• arXiv không có đủ nhân lực và nguồn lực để tự thực hiện việc xác minh chất lượng
• Thay vào đó, họ công nhận việc kiểm chứng từ các tổ chức phản biện bên ngoài đáng tin cậy (hội nghị, tạp chí)
  • Các tổ chức này thực hiện đánh giá chuyên sâu về các chủ đề liên quan đến AI như quyền riêng tư, đạo đức, an toàn, bảo mật
• Nhờ đó, arXiv có thể chỉ chia sẻ những bài báo có chất lượng được bảo đảm

Nộp lại và ngoại lệ

• Các bài báo bị từ chối do chưa hoàn tất phản biện đồng cấp có thể được nộp lại thông qua thủ tục kháng nghị (appeal) nếu sau đó đã hoàn tất đánh giá
  • Tuy nhiên, không thể nộp lại nếu không có kháng nghị được chấp thuận
• Các bài báo nghiên cứu đề cập đến tác động xã hội của khoa học và công nghệ (cs.CY, physics.soc-ph, v.v.) không thuộc phạm vi áp dụng của thay đổi lần này

Khả năng mở rộng sang các danh mục khác

• Mỗi danh mục của arXiv được các moderator chuyên môn vận hành một cách độc lập
• Dù tất cả các danh mục đều tuân theo cùng một chính sách, bài review về cơ bản vẫn là loại nội dung không chính thức
• Nếu ở các lĩnh vực khác cũng xảy ra làn sóng bài báo tăng mạnh dựa trên LLM, các biện pháp siết chặt phản biện tương tự có thể sẽ được áp dụng
• Nếu có thay đổi như vậy, sẽ có thông báo chính thức

[GN⁺]

Ý kiến Hacker News

• Chỉ ra rằng vấn đề nằm ở cấu trúc khen thưởng theo số lượng con người tạo ra
  Nếu nhà nghiên cứu được khuyến khích dựa trên số bài báo, họ sẽ lợi dụng hệ thống bằng cách xuất ra càng nhiều bài càng tốt với chất lượng tối thiểu
  Cơ chế thưởng theo lượt xem hay theo số lần hiển thị quảng cáo cũng tương tự, đều dẫn đến hành vi bị bóp méo
  Cuối cùng, thế giới trực tuyến là một hệ thống được thiết kế để tối ưu hóa thuật toán, chứ không phải cho con người

  • Có nghe nói cấu trúc tương tự cũng xuất hiện trong ngành hỗ trợ người vô gia cư
    Ở San Francisco, số tiền NGO nhận được được quyết định theo “số người vô gia cư đã giúp”, nên rốt cuộc lại tạo ra động lực duy trì họ thay vì giảm số lượng
  • Có quan điểm cho rằng không nên đổ lỗi cho LLM
    Vấn đề là con người và hệ thống khuyến khích, chứ không phải bản thân công cụ
  • Sức hút của LLM nằm ở chính khả năng “cho đầu ra nhanh”
    Văn hóa đo hiệu quả bằng những chỉ số vô nghĩa như số dòng code hay số commit vốn đã sai từ trước
    Có cảm giác chúng ta đang sống trong “địa ngục Goodhart” — một thế giới nơi thao túng chỉ số đã trở thành mục tiêu
    Dù nói đùa, đây cũng là lời châm biếm thực tế doanh nghiệp nơi kiểu quản trị lấy chỉ số làm trung tâm cuối cùng gây ra các sự cố quy mô lớn
  • Vậy thì một hệ thống khen thưởng lấy chất lượng làm trung tâm sẽ trông như thế nào, đó là điều khiến họ tò mò
    Họ đặt câu hỏi thế giới trực tuyến lấy con người làm trung tâm sẽ có hình dạng ra sao, và người tạo nội dung nên được tưởng thưởng như thế nào
  • Một số người cho rằng vấn đề này đang bị hiểu sai
    Họ nhấn mạnh rằng không phải số lượng bài báo mà khả năng giành kinh phí nghiên cứu và chất lượng đề xuất mới là cốt lõi thực sự

• Có sự hiểu lầm rằng arXiv sẽ không còn nhận preprint (bài báo công bố sớm) nữa
  Thực ra chỉ là ‘bài tổng quan’ và ‘position paper’ bị đổi thành chỉ có thể nộp sau khi đã qua phản biện ở journal hoặc hội nghị

  • Họ giải thích rằng biện pháp này cần thiết vì LLM có thể dễ dàng tạo ra các bài báo dạng ý kiến mà không có đóng góp kỹ thuật
  • Đây không phải thay đổi chính sách, vì từ trước những loại bài như vậy vốn đã không nằm trong phạm vi arXiv cho phép
  • Không thể tải lên bản journal, nhưng vẫn có thể đăng nội dung giống hệt ngoại trừ định dạng
  • Có ý kiến cho rằng arXiv đang dần biến thành kiểu blog phục vụ CV, nên thay đổi lần này có thể lại là tín hiệu tích cực
  • Bài báo nghiên cứu vẫn có thể nộp bình thường

• Có đề xuất đưa hệ thống danh tiếng vào arXiv
  Ý tưởng là tác giả tải kèm khóa PGP công khai để hình thành một mạng lưới tin cậy

  • Dựa trên web-of-trust, họ đề xuất cấu trúc nơi bất kỳ ai cũng có thể đề cử bài báo và mạng lưới tin cậy sẽ được tính toán để đánh giá chất lượng
    Nó có thể bớt khép kín hơn các tạp chí học thuật hiện có, đồng thời có trật tự hơn so với mở hoàn toàn
  • Cũng có đề xuất mô hình trong đó arXiv vẫn giữ preprint miễn phí, nhưng cung cấp dịch vụ phản biện chuyên gia có thu phí
  • Có người kể rằng một giáo sư từng đưa ra đề xuất cực đoan kiểu “hãy loại các nhà nghiên cứu ngoài Ivy League” — một cách mỉa mai để chỉ ra sự bất công của danh tiếng

• Có ý kiến chỉ ra vấn đề kiểm soát chất lượng của arXiv
  Chỉ riêng tháng 10 đã có 26.000 bài nộp (liên kết thống kê), và có quá nhiều bài không được kiểm chứng
  Họ đề xuất thu một khoản phí nộp nhỏ để giảm spam

  • Tuy vậy, cũng có ý kiến cho rằng nên xử lý trực tiếp người dùng LLM thay vì trừng phạt toàn bộ người dùng
  • Cũng có phân tích cho rằng đây không phải vấn đề tiền bạc, mà vì bài báo có thể mang lại lợi ích thực tế như việc làm, nhập học, visa
  • Nếu có phí nộp, ít nhất nó nên đủ chi trả cho chi phí rà soát tối thiểu, và có thể phân loại theo mức độ như ‘chưa rà soát · rà soát đơn giản · rà soát đầy đủ · xác minh tái lập’
  • Cũng có ý kiến cho rằng chỉ cần thu 1 đô la phí đăng ký như Metafilter cũng đã có tác dụng ngăn spam

• Có chỉ trích rằng tiêu đề bài đăng trên HN là sai
  Cách diễn đạt chính xác hơn phải là “Do số lượng bài tổng quan do AI viết tăng mạnh, arXiv lĩnh vực CS yêu cầu phản biện đồng cấp đối với bài tổng quan”

  • Cụm “Due to LLMs” trong tiêu đề gốc có thể bị hiểu nhầm là ‘bài báo do LLM viết’
  • Mục đích ban đầu của arXiv là công bố trước khi phản biện, nên biện pháp lần này không làm tổn hại giá trị đó
  • Một số người tiếc rằng từ nay sẽ khó còn được thưởng thức sự hài hước kỳ quặc do các bài báo LLM tạo ra

• Có người thắc mắc về động cơ của những người đưa bài báo do AI tạo hoàn toàn lên arXiv
  Quy trình nộp vốn phiền phức, nên họ tự hỏi vì sao vẫn cố làm

  • Có giải thích rằng thói quen lâu đời trong học giới là tăng số bài để thao túng h-index, và LLM đang làm điều đó tăng tốc
  • Trong các diện như visa EB-1, việc là ‘tác giả bài báo học thuật’ là một tiêu chí đánh giá, nên ngay cả việc đăng bài mang tính hình thức cũng có giá trị lớn
  • Cũng có suy đoán rằng mục đích đơn giản là khoe thành tích, để cho gia đình hoặc nhà tuyển dụng xem

• Có người chỉ ra rằng phần lớn các bài chất lượng thấp đều là chủ đề liên quan đến AI
  Nhiều người khi mới tiếp xúc LLM lần đầu thường thử kiểu tự tham chiếu như “hãy để LLM viết về chính LLM”
  Kết quả là tạo ra những bản tóm lược chắp vá từ dữ liệu gốc

  • Các bài báo do AI tạo cũng được tìm thấy ở những lĩnh vực ngoài CS, và một số còn trích dẫn các bài báo không tồn tại
  • Họ mong arXiv đừng thu hẹp thành kiểu ‘chỉ cho phép nghiên cứu mới’; hiện đã có cả bài báo nghiên cứu do AI tạo, và loại này còn khó phát hiện hơn
  • Giá trị của arXiv nằm ở phản hồi sớm và tính công khai, nên ‘chỉ cho phép bài đã phản biện’ trên thực tế gần như đồng nghĩa với ‘đừng vào nữa’

• Có ý kiến đánh giá tích cực biện pháp lần này của arXiv
  Trong các lĩnh vực thay đổi nhanh như multi-agent systems hay agentic LLMs, cần có tiêu chí rõ ràng
  Nếu yêu cầu metadata có thể đọc bằng máy như loại bài báo, liên kết dữ liệu·code, phạm vi benchmark, thì độ tin cậy có thể tăng lên
  Nếu chuẩn hóa tag ‘Survey’ hoặc ‘Position’ cùng với checklist về khả năng tái lập, thì có thể giữ chất lượng mà không chặn các ý tưởng ban đầu

• arXiv từ lâu đã gặp vấn đề về các bài báo chất lượng thấp phục vụ tự quảng bá
  Đây là hiện tượng có từ trước cả LLM

  • Nhưng arXiv về bản chất là nền tảng chia sẻ kết quả nhanh, nên có người cho rằng sự giảm chất lượng này không hẳn là một ‘nỗi đau’, mà là cấu trúc buộc người dùng tự sàng lọc để đọc