GPT-3 giờ không còn là cái tên duy nhất trên thị trường

 (lastweekin.ai)
16 điểm bởi xguru 2021-11-10 | 1 bình luận | Chia sẻ qua WhatsApp

  • Đúng là GPT-3 đã tạo ra cú sốc lớn trên thị trường AI: một mô hình AI siêu quy mô mạnh về "text-in text-out"

  • Vì là dịch vụ trả phí nên nhiều tổ chức đã bắt đầu tự tạo các mô hình tương tự GPT-3 của riêng mình

→ Tuy nhiên điều đó không hề dễ vì cần sức mạnh tính toán rất lớn. OpenAI với mô hình 175B tham số đã hợp tác với Microsoft để sử dụng 10.000 GPU và 45 terabyte dữ liệu văn bản

→ Tính ra, chi phí để huấn luyện GPT-3 vào khoảng 10~20 tỷ won

  • Nhiều nỗ lực khác nhau đã xuất hiện

→ EleutherAI, CPM, PanGu-α, HyperCLOVA, Jurassic-1, Megatron-Turing NLG

  • Đáng ngạc nhiên là nỗ lực đầu tiên nhằm tạo ra thứ tương tự GPT-3 lại đến từ cộng đồng mã nguồn mở với "EleutherAI"

→ Đã công bố "The Pile", một bộ dữ liệu tương tự GPT-3

→ Sau đó họ tiếp tục công bố từ các phiên bản nhỏ như GPT-Neo 1.3B, 2.7B cho đến gần đây là GPT-J-6B với 6B tham số

  • Sáu tháng sau khi GPT-3 được công bố, các nhà nghiên cứu của Đại học Thanh Hoa và BAAI (Học viện AI Bắc Kinh) đã cùng công bố CPM (Chinese Pre-trained Language Model)

→ Tạo ra mô hình 2.6B tham số từ 100GB văn bản tiếng Trung. Tuy chưa bằng GPT-3 nhưng đáng chú ý ở chỗ được huấn luyện trên văn bản tiếng Trung

  • Không lâu sau đó Huawei công bố PanGu-α với bộ tham số 200B (sử dụng 1.1TB văn bản tiếng Trung)

  • Naver công bố HyperCLOVA với 204B tham số

  • AI21 Labs của Israel công bố Jurassic-1 với 178B tham số

  • NVIDIA và Microsoft công bố Megatron-Turing NLG với mô hình 530B tham số

  • Về bản chất, ngày càng có nhiều mô hình khổng lồ tương tự GPT-3 được tạo ra, và chúng sẽ còn lớn hơn trong vài năm tới

  • Xu hướng cần đầu tư hàng tỷ USD để huấn luyện các mô hình quy mô lớn như vậy có lẽ sẽ còn tiếp diễn trong một thời gian nữa

→ Điều đáng lo là chỉ những công ty có nguồn tài trợ dồi dào mới có thể tạo ra các mô hình kiểu này

  • Rất khó dự đoán xu hướng này sẽ kéo dài bao lâu, hay liệu có những khám phá lớn vượt qua GPT-3 hay không

  • Hiện tại chúng ta đang ở giữa hành trình đó, và sẽ rất thú vị khi theo dõi xem điều gì xảy ra trong vài năm tới

Bài viết liên quan

1 bình luận

 
xguru 2021-11-10