OpenAI âm thầm ngừng công cụ phát hiện AI của mình
(decrypt.co)- AI Classifier là công cụ được ra mắt để nhận diện văn bản do AI tạo sinh như ChatGPT viết, nhưng đã bị ngừng vận hành sau khoảng nửa năm vì độ chính xác thấp
- Việc ngừng hoạt động không được thông báo riêng, mà chỉ được biết đến qua ghi chú được thêm vào bài đăng blog từng giới thiệu công cụ này; liên kết tới bộ phân loại cũng không còn truy cập được
- Ngay khi ra mắt, OpenAI cũng đã nói rõ rằng bộ phân loại này "không hoàn toàn đáng tin cậy"; nó chỉ nhận diện được 26% văn bản do AI viết và phân loại nhầm 9% văn bản của con người là do AI
- Tồn tại các hạn chế như độ tin cậy giảm với văn bản dưới 1.000 ký tự, phân loại nhầm văn bản của con người, và hiệu năng giảm ngoài dữ liệu huấn luyện
- Đây là lĩnh vực được giới giáo dục đặc biệt quan tâm do lo ngại học sinh, sinh viên dùng ChatGPT để viết bài luận; việc nhận thức về giới hạn và tác động của các bộ phân loại văn bản AI là rất quan trọng
AI Classifier ngừng hoạt động
- AI Classifier đã âm thầm bị ngừng vận hành vào tuần trước với lý do "độ chính xác thấp (low rate of accuracy)"
- Không có thông báo mới riêng biệt; việc này chỉ được giải thích bằng ghi chú được thêm vào bài đăng blog từng công bố công cụ
- Liên kết từng dẫn tới bộ phân loại của OpenAI cũng không còn được cung cấp
Bối cảnh ra mắt và hiệu năng ban đầu
- Vào tháng 1, OpenAI công bố đây là công cụ phát hiện liệu nội dung có được tạo bằng AI tạo sinh như ChatGPT hay không
- Công cụ được ra mắt với tuyên bố có thể phân biệt văn bản do con người viết và văn bản do AI viết, nhưng ngay khi đó cũng đã nêu rõ rằng nó "không hoàn toàn đáng tin cậy"
- Công bố số liệu từ đánh giá "challenge set" đối với văn bản tiếng Anh
- Xác định chính xác 26% văn bản do AI viết là "có khả năng cao do AI viết"
- Phân loại nhầm 9% văn bản do con người viết là do AI viết
Hạn chế của AI Classifier
- Độ tin cậy thấp với văn bản dưới 1.000 ký tự
- Phân loại sai bài viết của con người là do AI viết
- Bộ phân loại dựa trên mạng nơ-ron có hiệu năng kém ở các miền nằm ngoài dữ liệu huấn luyện
Định hướng sắp tới của OpenAI
- Đang thực hiện các công việc để phản ánh phản hồi, đồng thời nghiên cứu các kỹ thuật xuất xứ (provenance) hiệu quả hơn cho văn bản
- Cam kết phát triển và triển khai cơ chế giúp người dùng nhận biết nội dung âm thanh, video có được AI tạo ra hay không
Giới giáo dục và nhu cầu phát hiện AI
- Sau khi ChatGPT ra mắt vào tháng 11, các nhà giáo dục bày tỏ lo ngại về việc học sinh, sinh viên lạm dụng để viết bài luận
- Dù thừa nhận việc nhận diện văn bản AI là một chủ đề thảo luận quan trọng trong giới giáo dục, OpenAI cũng nhấn mạnh rằng việc nhận thức về giới hạn và tác động của các bộ phân loại văn bản do AI tạo ra trong lớp học cũng quan trọng không kém
- Khi các công cụ AI ngày càng tinh vi xuất hiện gần như mỗi ngày, một ngành phát hiện AI quy mô nhỏ (cottage industry) đã hình thành
- Chưa có phản hồi đối với yêu cầu bình luận của Decrypt
1 bình luận
Ý kiến trên Hacker News
May là họ đã làm vậy, nhưng tất nhiên lẽ ra phải thông báo
Thật đáng ngạc nhiên là trong hệ sinh thái này có quá nhiều người tin rằng chỉ nhìn vài câu là có thể phân biệt được có phải AI viết hay không. Điều còn vô lý hơn là những người có thẩm quyền lại thực sự tin vào phán quyết của các công cụ “AI viết vs con người viết” vốn không thể bảo đảm, rồi hành động theo đó
Hy vọng việc này trở thành thêm một ví dụ cho thấy không thể đơn giản xác định một chuỗi văn bản có phải do LLM xuất ra hay không
Những mô hình như vậy ngay từ đầu đã được định sẵn là thất bại, trừ khi các tham số được giữ bí mật tuyệt đối và không bao giờ rò rỉ. Kể cả có bí mật, điều đó cũng chỉ có nghĩa là chỉ những người có quyền truy cập mới có thể đánh lừa nó, còn người khác thì không, nên cuối cùng đối phương cũng có động lực tự tạo mô hình của mình và dẫn tới một cuộc chạy đua vũ trang vô tận
Lời giải thực sự nên là cần có những công cụ tốt hơn để tự động nhận diện nội dung hay, bất kể do con người hay AI viết. Nếu làm được điều đó thì sẽ rất hữu ích, và ngay cả khi có cạnh tranh, thì cũng là cạnh tranh để tạo ra nội dung chất lượng cao hơn
“Bộ phát hiện” có rất ít thông tin, và tiêu chí còn tương đối hợp lý chỉ là những thứ như văn phong. ChatGPT đúng là có một số văn phong đặc trưng, nhưng tuyệt đối không phải chỉ có một văn phong duy nhất; càng hoạt động tốt, theo định nghĩa nó càng viết tốt hơn ở nhiều văn phong đa dạng hơn
Nếu vấn đề là mọi người dùng sai, thì gần với việc công cụ đó không được thiết kế đúng cho mục đích mà mọi người cần. Ví dụ, nếu vấn đề là dùng sai khi có quá ít câu, thì có thể thêm điều kiện như số câu tối thiểu để bảo đảm mức độ tin cậy tối thiểu
Cách trình bày ý nghĩa cũng tương tự. Nếu mọi người không hiểu thống kê hay toán học, hãy thể hiện ý nghĩa bằng cách trực quan như hình tròn hay đồng xu. Loại bỏ lựa chọn có vẻ không phải điều tốt, đặc biệt là việc loại bỏ với thái độ hoài nghi như thể phán xét rằng mọi người không xứng đáng có nó thì thật vô lý
Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]
Tốt. Nếu không đáng tin cậy thì sự tồn tại của nó còn gây hại hơn, vì tạo ra cảm giác an toàn giả tạo
Một ví dụ tương tự: cửa hàng pizza giao tận nơi trong khu tôi từng làm việc niêm phong hộp bằng tem an toàn để nhân viên giao hàng không thể động vào hay ăn vụng. Nhưng vì lý do vận hành, thỉnh thoảng họ quên dán. Những hộp không có tem bắt đầu bị khách trả lại hết vì họ lo pepperoni đã bị lấy mất, và không lâu sau cửa hàng dừng luôn cơ chế đó
Cũng giống như việc nếu quên niêm phong bảo mật trên lọ aspirin, người ta sẽ không nói rằng vì có ai đó trong quá trình sản xuất đã không niêm phong lọ nên bỏ hết mọi niêm phong
Công cụ này đã kích động rất nhiều vụ cáo buộc sai trong giới học thuật. Vợ tôi đang làm tiến sĩ, và cô ấy thường kể chuyện các giáo sư buộc tội nhầm sinh viên là đã dùng ChatGPT
Gần đây tôi nghe nói giáo viên yêu cầu học sinh nộp bài tập bằng Google Docs, rồi xem lịch sử chỉnh sửa để kiểm tra xem các em có tự viết toàn bộ bài hay chỉ dán một bài luận đã hoàn chỉnh vào rồi chỉnh sửa lại hay không.
Tất nhiên, học sinh thông minh sẽ dễ dàng tìm ra cách stream đầu ra của GPT vào Google Docs. Thậm chí có thể làm cho nó trông như thể thỉnh thoảng quay lại “chỉnh sửa”.
Học sinh lanh lợi nhưng thiếu đạo đức thì gần như không thể bị phát hiện, dù có đặt ra rào cản nào. Cách này chỉ chặn được những học sinh không lanh lợi mà thôi.
Bất kỳ ai cũng có thể tạo một agent nhập từ từ bài viết do ChatGPT tạo vào Google Docs. Google cũng có thể đánh giá khả năng tài liệu đó do con người nhập, nhưng họ sẽ không làm vậy vì cùng lý do OpenAI đã ngừng công cụ này.
Sẽ có người đọc tin này hoặc luồng thảo luận này rồi tạo ra một trình soạn thảo hoặc bộ đánh giá như vậy. Một giải pháp khác là quay màn hình trong lúc viết. Giải pháp tốt nhất, đồng thời cũng là khó nhất đối với nhà giáo dục, là không yêu cầu hoặc chấm điểm những thứ mà robot có thể viết tốt hơn phần lớn con người.
Tuy nhiên cách này không hay lắm. Dự án làm ở nhà đánh giá một tập năng lực khác; có người giỏi hơn ở bên này, người khác lại giỏi hơn ở bên kia. Dù vậy, thực tế vẫn là thực tế.
Nếu có hơn 30 học sinh, khả năng giáo viên kiểm tra từng lịch sử chỉnh sửa là thấp.
Kết luận rằng “nửa năm sau, công cụ đó đã chết, vì nó không thực hiện được mục đích thiết kế” cũng chính là kết luận tôi rút ra khi thử nghiệm các bộ phát hiện hình ảnh.
Việc phát hiện tự động hiện nay không đáng tin cậy lắm. Tôi đã thử AI or Not của Optic, công cụ tuyên bố đạt độ chính xác 95%, trên vài hình ảnh của mình. Những ảnh có nội dung AI thì được gắn nhãn đúng là do AI tạo, nhưng khoảng 50% các ảnh ghép stock photo do tôi tạo cũng bị gắn nhãn là do AI tạo.
Nếu AI tạo sinh không phải là một mục tiêu luôn dịch chuyển, tôi đã lạc quan rằng các công cụ như vậy sẽ phát triển và trở nên rất đáng tin cậy. Nhưng thực tế không phải vậy, và tôi nghi ngờ liệu một ngày nào đó đây có thể trở thành một giải pháp đáng tin cậy hay không.
Nội dung này lấy từ bài viết của tôi về nghệ thuật AI: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...
Theo kinh nghiệm của tôi, nếu phản hồi của ChatGPT bị các công cụ như ZeroGPT phân loại là do AI tạo, thì chỉ cần thay đổi prompt một chút và yêu cầu nó viết sao cho không nghe giống AI viết, là đã có thể vượt qua phát hiện với xác suất rất cao.
Hơn nữa, nếu yêu cầu nó tạo phản hồi theo văn phong của một tác giả nổi tiếng nào đó, trong nhiều trường hợp các mô hình phát hiện AI sẽ cho kết quả là 100% do con người viết.
Có vẻ các bản cập nhật gần đây đã làm giọng văn của ChatGPT thay đổi đáng kể, nên giờ không còn lọt vào radar phát hiện nữa.
Tốt. Tôi cũng cho rằng việc đưa watermark vào đầu ra của AI là ngõ cụt. Thà giả định mọi nội dung đều là giả cho đến khi được chứng minh ngược lại.
Nếu cần một bức ảnh đáng tin cậy, có vẻ tốt hơn là ký mật mã vào ảnh ở cấp phần cứng ngay tại thời điểm chụp. Việc tự nguyện đưa watermark vào nội dung AI hoàn toàn vô nghĩa.
Tôi làm trong ngành SEO và đã nói chuyện với vài “ông lớn”; họ tin rằng một bản cập nhật AI của Google đang được chuẩn bị. Với tình trạng hiện tại, trong tương lai gần kết quả tìm kiếm sẽ bị nội dung AI nuốt chửng hoàn toàn.
Về dài hạn tôi nghĩ đó là một nước đi ngu ngốc, nhưng hiện nay đã có các bộ phân loại AI phát hiện được ChatGPT và các mô hình khác khá thành công trong các bài viết dài. Originality.ai là ví dụ tiêu biểu.
Cách làm khá đơn giản: tạo ra một lượng ví dụ khổng lồ từ các mô hình chính như ChatGPT, GPT-4, LLaMA, rồi xây dựng mô hình phân loại.
Điểm yếu rõ ràng của chiến lược này là tinh chỉnh sẽ làm thay đổi đầu ra về văn phong. Cũng “ông lớn” đó nói rằng bằng phương pháp tinh chỉnh riêng, họ đã vượt qua được bộ phát hiện của Originality.ai, và quá trình đó tốn vài tháng thử nghiệm cùng hàng nghìn đô la.
Tình trạng hiện tại của Google là thảm họa. Bài nào cũng dài 100 đoạn, còn câu trả lời cần tìm thì bị chôn ở đâu đó giữa bài để tăng thời gian ở lại trang và cuộn trang nhằm chiều lòng thuật toán.
Tôi đang chờ Google nhấn chìm hết các website spam kiểu này.
Nhiều bài viết ở đây dường như cho rằng việc phân loại thực tế giữa văn bản do con người tạo và văn bản do AI tạo sẽ trở nên bất khả thi, vì mọi nỗ lực như vậy có thể bị vô hiệu hóa bằng nhiều cách trong một trò mèo vờn chuột bất tận.
Nếu chấp nhận điều đó, thì thách thức tôi dự đoán là như sau.
Chúng ta mới chỉ ở giai đoạn rất đầu của cuộc cách mạng AI, và để LLM trong tương lai trở nên tinh vi và mạnh mẽ hơn, chúng cần dữ liệu huấn luyện chất lượng cao do con người tạo hoặc con người tuyển chọn. Quy mô dữ liệu đó có khả năng lớn đến mức khó tuyển chọn, tinh lọc và kiểm tra chất lượng thủ công.
Và không còn nghi ngờ gì nữa, trong tương lai mọi phương tiện truyền thông sẽ bị bắn phá và spam hóa bởi nội dung do AI tạo.
Vậy để huấn luyện các LLM tương lai và khai mở tiềm năng của chúng, làm sao chúng ta có thể lọc dữ liệu thật khỏi nhiễu do AI tạo?
Vấn đề này cứ làm tôi băn khoăn một thời gian; vì không có cách diễn đạt hay hơn, trước đây tôi từng tạm gọi nó là ô nhiễm dữ liệu. Tôi tò mò về các góc nhìn khác.
Cách duy nhất để ngăn AI trả lời câu hỏi trên các nền tảng số là xây dựng một cơ sở dữ liệu học máy dựa trên phong cách gõ phím được tích lũy trong suốt thời gian sinh viên theo học tại một cơ sở giáo dục
Chúc may mắn khi xin được phê duyệt cho việc đó. Ngay cả để tiếp cận dữ liệu điểm số hay nhân khẩu học, các khoa cũng phải để nhóm vận hành đi qua quy trình ủy ban 3 cấp
¯_(ツ)_/¯ Vậy thì chỉ còn cách dùng giấy. Đã đến lúc luyện lại OCR rồi
Nhưng những nơi có nhiều dữ liệu phong cách gõ thực tế hơn lại là Google, Microsoft, Meta, và mọi công ty vận hành SaaS về tài liệu, email, nhắn tin. Có lẽ nhiều sinh viên viết bài luận trên Google Docs, Word rồi nộp dưới dạng tệp đính kèm hoặc sao chép dán vào ô văn bản