Unix vs. Linux
Oracle vs. MySQL
Mã nguồn mở đã tạo ra đổi mới thông qua hợp tác. Sức mạnh của mã nguồn mở nằm ở tính minh bạch và sự cộng tác. Linux, MySQL và các dự án mã nguồn mở thành công khác là kết quả của điều đó.
GPT-n vs. Llama?
Llama có những giới hạn đối với đổi mới mở.
Để đổi mới mô hình Llama, cần phải có khả năng pretraining, nhưng hiện tại chỉ có thể post-training. Lý do là vì dữ liệu huấn luyện của Llama chưa được công khai. Trong AI và deep learning, mã nguồn chính là bộ dữ liệu huấn luyện. Tuy nhiên, Llama chỉ công bố model weights, còn dữ liệu huấn luyện, mã huấn luyện mô hình, hyperparameter, v.v. thì không công bố. Với weights của Llama hiện nay, có thể thực hiện các đổi mới mang tính tinh chỉnh như fine-tuning hay lightweighting, nhưng không thể tạo ra những đổi mới ở cấp model weights vốn chỉ có thể đạt được thông qua pretraining. Bởi trong AI và deep learning, việc xây dựng bộ dữ liệu huấn luyện chính là lập trình và gỡ lỗi. Dữ liệu huấn luyện của Llama là không công khai, nên công chúng không có cách nào hợp tác để cải thiện nó. Xét ở khía cạnh này, khó có thể xem Llama là mã nguồn mở.
Ngoài ra, cộng đồng còn thiếu tài nguyên GPU.
Nghe nói việc huấn luyện Llama đã sử dụng H100*16k GPU. Chỉ riêng GPU đã vượt quá 600 tỷ won. Nếu tính thêm chi phí hạ tầng để vận hành cùng tiền điện và các chi phí khác, con số này sẽ dễ dàng vượt 1 nghìn tỷ won. Đây không phải điều mà ai cũng có thể thử. Muốn cộng đồng mã nguồn mở có thể đổi mới, có lẽ cần phải có các cụm GPU công cộng.
Tóm lại
Để đổi mới mở có thể diễn ra trong lĩnh vực AI và deep learning, tối thiểu cần có hai điều sau.
Công khai dữ liệu huấn luyện
Cung cấp cụm GPU công cộng quy mô lớn
Tuy nhiên, khả năng thực hiện điều 1 là rất thấp do vấn đề bản quyền. Và điều 2 thì cần tới 1 nghìn tỷ won.
Kết luận là, trong tình hình hiện nay, khả năng đổi mới mở trong lĩnh vực AI và deep learning là rất thấp. Tuy nhiên, nếu có đột phá phần cứng như GPU hoặc chip neuromorphic, thì câu chuyện có thể sẽ khác.
1 bình luận
Unix vs. Linux
Oracle vs. MySQL
Mã nguồn mở đã tạo ra đổi mới thông qua hợp tác. Sức mạnh của mã nguồn mở nằm ở tính minh bạch và sự cộng tác. Linux, MySQL và các dự án mã nguồn mở thành công khác là kết quả của điều đó.
GPT-n vs. Llama?
Llama có những giới hạn đối với đổi mới mở.
Để đổi mới mô hình Llama, cần phải có khả năng pretraining, nhưng hiện tại chỉ có thể post-training. Lý do là vì dữ liệu huấn luyện của Llama chưa được công khai. Trong AI và deep learning, mã nguồn chính là bộ dữ liệu huấn luyện. Tuy nhiên, Llama chỉ công bố model weights, còn dữ liệu huấn luyện, mã huấn luyện mô hình, hyperparameter, v.v. thì không công bố. Với weights của Llama hiện nay, có thể thực hiện các đổi mới mang tính tinh chỉnh như fine-tuning hay lightweighting, nhưng không thể tạo ra những đổi mới ở cấp model weights vốn chỉ có thể đạt được thông qua pretraining. Bởi trong AI và deep learning, việc xây dựng bộ dữ liệu huấn luyện chính là lập trình và gỡ lỗi. Dữ liệu huấn luyện của Llama là không công khai, nên công chúng không có cách nào hợp tác để cải thiện nó. Xét ở khía cạnh này, khó có thể xem Llama là mã nguồn mở.
Ngoài ra, cộng đồng còn thiếu tài nguyên GPU.
Nghe nói việc huấn luyện Llama đã sử dụng H100*16k GPU. Chỉ riêng GPU đã vượt quá 600 tỷ won. Nếu tính thêm chi phí hạ tầng để vận hành cùng tiền điện và các chi phí khác, con số này sẽ dễ dàng vượt 1 nghìn tỷ won. Đây không phải điều mà ai cũng có thể thử. Muốn cộng đồng mã nguồn mở có thể đổi mới, có lẽ cần phải có các cụm GPU công cộng.
Tóm lại
Để đổi mới mở có thể diễn ra trong lĩnh vực AI và deep learning, tối thiểu cần có hai điều sau.
Tuy nhiên, khả năng thực hiện điều 1 là rất thấp do vấn đề bản quyền. Và điều 2 thì cần tới 1 nghìn tỷ won.
Kết luận là, trong tình hình hiện nay, khả năng đổi mới mở trong lĩnh vực AI và deep learning là rất thấp. Tuy nhiên, nếu có đột phá phần cứng như GPU hoặc chip neuromorphic, thì câu chuyện có thể sẽ khác.