Công cụ phát hiện AI cáo buộc nhầm sinh viên gian lận - gây ra hậu quả lớn
- Khoảng hai phần ba giáo viên cho biết họ thường xuyên sử dụng các công cụ để phát hiện nội dung do AI tạo ra. Ở quy mô như vậy, ngay cả tỷ lệ lỗi nhỏ cũng có thể nhanh chóng tích lũy.
Trường hợp của Moira Olmsted
- Moira Olmsted, người đã tạm nghỉ học đại học vào đầu đại dịch để lập gia đình, rất mong muốn được quay lại trường.
- Năm 2023, cô đăng ký một khóa học trực tuyến tại Central Methodist University, nhưng bài tập nộp của cô bị công cụ phát hiện AI đánh giá là có khả năng do AI tạo ra và bị chấm 0 điểm.
- Olmsted cho rằng vì cô mắc rối loạn phổ tự kỷ nên cô viết theo phong cách rất khuôn mẫu, khiến bài viết có thể bị hiểu nhầm là do AI tạo ra.
- Điểm số cuối cùng đã được điều chỉnh, nhưng cô nhận một cảnh báo nghiêm khắc rằng nếu bị nêu tên lần nữa thì sẽ bị xử lý như đạo văn.
Vấn đề về độ chính xác của công cụ phát hiện bài viết AI
- Các công cụ phát hiện bài viết AI tốt nhất có độ chính xác rất cao, nhưng không hoàn hảo.
- Businessweek đã thử nghiệm GPTZero và Copyleaks trên 500 mẫu bài luận xét tuyển đại học được nộp ngay trước khi ChatGPT ra mắt.
- Các dịch vụ này đã nhầm lẫn gắn cờ 1-2% số bài luận là có khả năng do AI viết.
- Những sinh viên bị dính false positive nhiều khả năng là người thuộc phổ thần kinh đa dạng, người dùng tiếng Anh như ngôn ngữ thứ hai, hoặc những người được dạy phải dùng từ vựng đơn giản và văn phong máy móc.
- Các dịch vụ phát hiện AI đôi khi cũng có thể bị qua mặt bởi các công cụ tự động được thiết kế để ngụy trang bài viết AI thành bài viết của con người.
Trường hợp của Ken Sahib
- Ken Sahib, một sinh viên đa ngôn ngữ đã sống phần lớn thời thơ ấu ở Ý, cho biết anh cảm thấy "choáng ngợp" khi nhận 0 điểm cho bài tóm tắt đọc trong môn mạng tại Berkeley College.
- Giảng viên khẳng định đó là bài do AI tạo ra, nói rằng mọi công cụ đều cho ra cùng một kết quả.
- Sahib cuối cùng vẫn qua môn, nhưng sự việc này đã làm xấu đi mối quan hệ của anh với giảng viên.
Những vấn đề phát sinh khi sử dụng công cụ phát hiện AI
- Một số nhà giáo dục đang rút dần khỏi công cụ phát hiện AI và cố gắng tích hợp AI vào chương trình học, nhưng nhiều trường đại học và trung học vẫn tiếp tục sử dụng các công cụ này.
- Điều này khiến lớp học tràn ngập cảm giác lo âu và hoang mang về các cáo buộc sai.
- Sinh viên đại học cho biết họ phải bỏ ra rất nhiều thời gian để bảo vệ tính xác thực của bài làm của mình, làm suy giảm trải nghiệm học tập.
- Họ cũng bắt đầu sợ sử dụng các dịch vụ hỗ trợ viết bằng AI phổ biến và các công cụ kiểm tra ngữ pháp vốn được tiếp thị riêng cho sinh viên.
Các startup phát hiện AI
- Công cụ phát hiện bài viết AI thường xem xét perplexity, tức mức độ phức tạp của từ ngữ trong bài nộp.
- Các công ty phát hiện AI nhấn mạnh rằng dịch vụ của họ không nên bị xem là thẩm phán, bồi thẩm đoàn và người thi hành án, mà chỉ nên được dùng như một điểm dữ liệu để hướng dẫn và cung cấp thông tin cho giáo viên.
- Copyleaks đang cấp quyền truy cập cho sinh viên để họ có thể xem điểm AI của chính mình.
- Turnitin đang mở rộng danh mục sản phẩm AI bằng các dịch vụ giúp sinh viên cho thấy quá trình họ đã xây dựng bài viết như thế nào.
Cách sinh viên đối phó
- Sau khi bị nêu tên, Olmsted trở nên ám ảnh với việc tránh thêm một cáo buộc nữa. Cô quay màn hình quá trình mình làm bài viết trên laptop và làm việc trong Google Docs để theo dõi các thay đổi và tạo ra một dấu vết số.
- Nathan Mendoza, sinh viên năm ba ngành kỹ thuật hóa học tại UC San Diego, dùng GPTZero để kiểm tra trước bài làm của mình. Anh nói phần lớn thời gian của mình được dùng để chỉnh lại cách diễn đạt nhằm tránh bị công cụ phát hiện AI gắn cờ nhầm.
- Một số sinh viên khác đã tăng tốc quy trình này bằng cách dùng các dịch vụ "humanize AI" có thể tự động viết lại bài nộp để vượt qua công cụ phát hiện AI.
Dịch vụ "humanize AI"
- Theo thử nghiệm Hix Bypass của Bloomberg, một bài luận do con người viết nhưng bị GPTZero nhận nhầm là 98.1% do AI tạo ra đã giảm mạnh xuống còn 5.3% AI sau khi được dịch vụ này chỉnh sửa.
Vấn đề khi sử dụng các công cụ hỗ trợ viết như Grammarly
- Sinh viên bắt đầu cân nhắc lại việc sử dụng các công cụ hỗ trợ viết trực tuyến phổ biến như Grammarly.
- Bloomberg phát hiện rằng nếu dùng Grammarly để "cải thiện" bài luận hoặc làm cho nó "nghe có vẻ học thuật hơn", thì một bài vốn được chấp nhận là 100% do con người viết lại bị chuyển thành 100% do AI viết.
- Kaitlyn Abellar của Florida SouthWestern State College cho biết cô đã gỡ các plugin của những chương trình như Grammarly khỏi máy tính của mình.
Hệ thống hiện tại không bền vững
- Với một số nhà giáo dục và sinh viên, hệ thống hiện tại có vẻ không bền vững do gánh nặng đặt lên cả hai phía bàn giáo viên và vì AI sẽ tiếp tục tồn tại.
- Adam Lloyd, giáo sư tiếng Anh tại University of Maryland, nói rằng "trí tuệ nhân tạo sẽ là một phần của tương lai dù chúng ta thích hay không" và rằng "việc cô lập AI khỏi lớp học hoặc cố ngăn sinh viên sử dụng nó là một ý tưởng sai lầm".
Ý kiến của GN⁺
- Vấn đề false positive của các công cụ phát hiện AI có thể gây tác động nghiêm trọng, đặc biệt với sinh viên thuộc phổ thần kinh đa dạng, người học tiếng Anh và những người dùng văn phong đơn giản. Các cơ sở giáo dục cần cân nhắc đến các nhóm sinh viên này và diễn giải kết quả phát hiện AI một cách thận trọng.
- Cuộc chạy đua vũ trang giữa công cụ phát hiện AI và các dịch vụ humanize AI làm xói mòn niềm tin giữa nhà giáo dục và sinh viên, trong khi gần như không mang lại lợi ích giáo dục. Về dài hạn, tìm cách tích hợp AI vào chương trình học có thể là hướng tiếp cận tốt hơn.
- Thay vì cấm sử dụng các công cụ như Grammarly để cải thiện kỹ năng viết của sinh viên, cần cân nhắc cách tận dụng chúng cho mục đích giáo dục. Ví dụ, giáo viên có thể trực tiếp cung cấp danh sách công cụ được khuyến nghị hoặc hướng dẫn cách sử dụng phù hợp.
- Việc các công ty phát hiện AI như Copyleaks, Turnitin cố gắng phát triển các dịch vụ thân thiện hơn với sinh viên là một thay đổi tích cực. Tuy nhiên, thay vì phụ thuộc quá mức vào các công cụ này, sẽ phù hợp hơn nếu xử lý các trường hợp đáng ngờ thông qua trao đổi cởi mở với sinh viên.
- Để chuẩn bị cho một tương lai mà AI và con người chắc chắn sẽ cùng tồn tại, điều quan trọng là phải giáo dục sinh viên về cách sử dụng công cụ AI một cách có đạo đức và bồi dưỡng năng lực tư duy sáng tạo, phản biện. Để làm được điều đó, cần có những thay đổi mang tính đổi mới trong chương trình học và cách đánh giá.
1 bình luận
Ý kiến trên Hacker News
Dựa trên 30 năm kinh nghiệm giảng dạy toán trong giáo dục bậc cao, gian lận tràn lan trong các kỳ thi từ xa. Giải pháp là không cho phép dùng công nghệ và yêu cầu thi trực tiếp, nhưng sinh viên sẽ không đăng ký học. Họ cho rằng hội đồng giáo dục đại học nên bắt buộc điều này cho mọi lớp học. Tuy nhiên, chỉ thi trực tiếp thôi là chưa đủ. Sinh viên đã quen với việc làm mọi thứ để qua môn hơn là học thật, và gian lận đang gia tăng. Giáo dục K-12 cũng cần thay đổi.
AI sẽ tiếp tục tồn tại, vì vậy cần những cách mới để đánh giá kết quả học tập của sinh viên. Trước đây, máy tính bỏ túi từng bị cấm trong thi cử vì không được phép sử dụng, nhưng giờ đây chúng ta sống trong thời đại có "máy tính bỏ túi" 24/7. Cần thích nghi với thay đổi và để xã hội cùng quyết định cách ứng phó.
Vấn đề là không giải thích cho sinh viên vì sao AI đã gắn cờ bài làm của họ. Thuật toán cần phải có khả năng giải thích chính xác vì sao một bài làm cụ thể bị gắn cờ. Các giải pháp dựa trên AI hiện nay không thể làm điều đó, nên không phù hợp.
Giáo viên của một học sinh đã cảnh báo rằng mọi bài luận sẽ được kiểm tra bằng phần mềm phát hiện AI, nhưng chính thông báo cảnh báo đó lại bị xác định là do AI tạo ra.
Với tư cách là một tư vấn viên làm việc tại một bệnh viện đại học lớn, người này dùng ChatGPT để chỉnh tiếng Anh cho ngắn gọn và mang tính kinh doanh hơn. Trình phát hiện AI có thể hoạt động, nhưng không hữu ích bằng công cụ kiểm tra chính tả. AI chỉ là mô hình ngôn ngữ lớn, mà thực ra cũng chẳng phải là một "mô hình" theo nghĩa đó. Giáo viên cần phải trở thành những người phát hiện nói dối giỏi.
Nếu việc phát hiện AI không chính xác 100%, thì nó không phù hợp để quyết định tương lai của hàng triệu học sinh, sinh viên và người trẻ. Cần rời xa công nghệ hoặc hình thức bài luận. Phải thay đổi tiêu chí về mức độ làm chủ một chủ đề.
Việc nhận ra nội dung do AI tạo ra có thể dễ với con người, nhưng rất khó để lập trình cho máy tính làm điều đó. Khi từng làm việc với công cụ phát hiện đạo văn ở công ty cũ, người này nhận ra chúng dễ bị đánh lừa đến mức nào.
Việc giáo viên dùng công cụ phát hiện LLM để đánh trượt sinh viên là điều mâu thuẫn. Giáo viên cáo buộc sinh viên không hiểu bài tập, nhưng bản thân giáo viên cũng không hiểu quyết định của công cụ và đang né tránh trách nhiệm.
Trường học của con họ đã triển khai máy quét vũ khí chạy bằng AI, nhưng nó lại nhận nhầm chiếc laptop Lenovo do trường cấp là vũ khí. Người ta mua và tin vào các sản phẩm AI, nhưng chúng không hoạt động đúng cách.
Thật đáng ngạc nhiên khi mọi người đã bắt đầu tin vào thuật toán. Họ không biết nó hoạt động thế nào, cũng không thể giải thích, nhưng vẫn tin rằng nó cứ thế mà chạy đúng. Nếu bị kết luận là gian lận, thì không thể làm gì được. Có quá nhiều người không chịu trách nhiệm. Trước đây, người ta có thể bị nghi gian lận, nhưng nếu không chứng minh được thì cũng chẳng sao. Còn bây giờ, thậm chí không cần phải chứng minh nữa, vì người ta tin là đã có hệ thống.