StarCoder, LLM cho mã nguồn do dự án BigCode công bố

• Mô hình 15.5B được huấn luyện trên 1 nghìn tỷ token cho hơn 80 ngôn ngữ lập trình
• Để tạo sinh hiệu quả, sử dụng MQA và có cửa sổ ngữ cảnh 8192 token
  • StarCoderBase: được huấn luyện trên bộ dữ liệu The-Stack v1.2 (6TB) với dữ liệu của hơn 80 ngôn ngữ
  • StarCoder: mô hình được huấn luyện thêm nhiều hơn cho Python
• Cung cấp bản demo chat và tiện ích mở rộng cho VSCode

[ninebow]

Đây là liên kết tới bài báo trong bài đăng thông báo trên Twitter. :)

https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

[ninebow]

Hình như cũng đã được phát hành để có thể dùng ngay trong HuggingFace Chat. :)
https://huggingface.co/chat/?model=bigcode/starcoder

[xguru]

SantaCoder - mô hình sinh mã được huấn luyện với 1,1 tỷ (1.1B) tham số