SantaCoder - Mô hình sinh mã được huấn luyện với 1,1 tỷ (1.1B) tham số

 (huggingface.co)
6 điểm bởi xguru 2022-12-29 | 2 bình luận | Chia sẻ qua WhatsApp
  • Mô hình ngôn ngữ đa ngôn ngữ được huấn luyện trên mã Python, Java, Javascript
  • Được cho là vượt trội hơn InCoder (6.7B) của Facebook và CodeGen-Multi (2.7B) của Salesforce trong tác vụ sinh LTR và infilling
  • Sử dụng một phần của bộ dữ liệu The-Stack v1.1 (6TB) do BigCode công bố

Bài viết liên quan

2 bình luận

 
siabard 2022-12-29

Hiện tại các dự án AI đang được đẩy rất mạnh nhờ sức mạnh từ số lượng tham số, nhưng tôi khá tò mò mức giá phải được đặt ở đâu thì mới có thể đảm bảo lợi nhuận. Liệu giống như CoPilot, chỉ với $10 một tháng thì có thực sự đủ để bù chi phí không... (Dù tôi biết lo lắng cho các tập đoàn lớn là chuyện khá vô ích...)
 
xguru 2022-12-29

GitHub CoPilot là 12B, nên nghe nói chất lượng mã được tạo ra có khác biệt đôi chút so với model này.