Điều gì xảy ra khi AI học từ AI: hiện tượng ‘sụp đổ mô hình’ và cách phòng tránh

Sụp đổ mô hình (Model Collapse) là gì?

• Hiện tượng suy thoái xảy ra khi AI được huấn luyện lại bằng dữ liệu do AI tạo ra
• Một rủi ro mang tính cấu trúc đã được chứng minh dựa trên bài báo trên Nature

Đặc điểm bề ngoài

• Hiệu năng trung bình và điểm benchmark được giữ nguyên hoặc tăng lên
• Nhưng các trường hợp hiếm (outlier·edge case) dần biến mất
• Đầu ra ngày càng hội tụ theo hướng điển hình, an toàn và trung bình

Cơ chế cốt lõi

• Giai đoạn đầu → học từ dữ liệu do con người tạo ra
• Sau đó → nội dung do AI tạo ra bùng nổ trên web → mô hình mới học từ dữ liệu tổng hợp
• Mỗi thế hệ khuếch đại và củng cố các điểm mù của thế hệ trước
• Các sự kiện/dữ liệu hiếm bị dần dần bỏ qua → mất đi vĩnh viễn

Triệu chứng cụ thể theo từng modality

• Văn bản: trôi chảy nhưng rỗng và lặp lại, ưu tiên quan điểm an toàn thay vì ý tưởng mới (ví dụ: lạm dụng em-dash)
• Hệ thống gợi ý: loại bỏ sự tò mò và tính đa dạng → feed bị thu hẹp cực độ
• Hình ảnh/video: chỉ hội tụ vào các phong cách quen thuộc, gần như không thể biến thể sáng tạo (ví dụ: luôn nằm trong một phạm vi thẩm mỹ tương tự)
• Điểm chung: không phải “trục trặc” mà là được tối ưu để “ngày càng giống nhau quá mức”

Biện pháp phòng ngừa và ứng phó

• Theo dõi và quản lý nguồn gốc (Provenance)
  → bảo tồn dữ liệu do con người tạo ra và ưu tiên huấn luyện bằng dữ liệu đó, phân biệt rõ dữ liệu do AI tạo ra
• Chọn độ chắc chắn thay vì sự tiện lợi
  → tránh thiên lệch về trung tâm của dữ liệu AI, duy trì độ phức tạp của thế giới thực
• Đề cao giá trị của phạm vi (Range)
  → dành không gian huấn luyện cho các trường hợp hiếm (chấp nhận đánh đổi một phần hiệu quả)
• Tái định nghĩa các trường hợp hiếm là tài sản chứ không phải nhiễu

Thông điệp kết luận

• Học đệ quy (AI → AI) về lâu dài là thảm họa
• Lập luận “đừng dùng dữ liệu AI để huấn luyện AI” ngày càng có cơ sở vững chắc hơn
• Sự thờ ơ với nguồn gốc dữ liệu huấn luyện là yếu tố rủi ro lớn nhất

Hiện nay, phần lớn các mô hình lớn đã hấp thụ một lượng đáng kể dữ liệu tổng hợp, vì vậy trong tương lai việc quản lý nguồn gốc và bảo tồn dữ liệu hiếm sẽ trở thành nhiệm vụ cốt lõi.