Mô hình AI NLP siêu lớn đang đi về đâu?

Tình hình hiện tại

• LaMDA được công bố tại Google I/O, GPT-3 mà MS đã mua giấy phép độc quyền, và LLM (Large Language Model) do Facebook tự phát triển cho dịch thuật và quản lý nội dung — các tập đoàn lớn đang phát triển những mô hình NLP siêu lớn của riêng mình

• Khi các mô hình được mỗi bên xây dựng theo cách không công khai được đưa vào ứng dụng trong đời sống thực, gần như chưa có nghiên cứu nào về việc các khiếm khuyết của LLM sẽ ảnh hưởng đến con người ra sao, có những vấn đề gì và liệu có thể giải quyết chúng hay không.

• Tháng 12 năm ngoái, Google sa thải Timnit Gebru, đồng trưởng nhóm của bộ phận AI đạo đức (Ethical AI), khiến vấn đề càng trở nên nghiêm trọng hơn

Những nỗ lực mới

• Trong dự án BigScience do Huggingface dẫn dắt, hơn 500 nhà nghiên cứu trên toàn thế giới đang cùng thúc đẩy việc xây dựng một LLM mã nguồn mở.

• Nhóm công tác đo lường tác động môi trường của LLM, bao gồm cả dấu chân carbon phát sinh từ quá trình huấn luyện và vận hành mô hình, có tính đến chi phí vòng đời của siêu máy tính (life-cycle costs)

• Nhóm công tác suy nghĩ về cách có thể thu thập dữ liệu huấn luyện theo một phương thức có trách nhiệm

---

Vì nội dung này khó tóm tắt nên tôi cũng không tóm tắt được tốt lắm.

Giống như chương trình nghị sự về "thu nhập cơ bản" xuất hiện từ những lo ngại và hy vọng đối với công nghệ, có vẻ như từ những kỳ vọng và quan ngại đối với GPT-3 xuất hiện từ năm ngoái, chương trình nghị sự về "lo ngại đối với phát triển AI khép kín" đang nổi lên trên bề mặt. Tôi muốn đọc lại bài viết này một lần nữa vào khoảng năm 2050.