Meta AI công bố mô hình Code Llama 70B

• LLM hiệu năng cao dành cho sinh mã, được xây dựng bằng cách lấy mẫu thêm nhiều dữ liệu hơn từ Llama 2 với bộ dữ liệu chuyên biệt cho mã và huấn luyện trong thời gian dài hơn
• Đạt 67.8 trên HumanEval, cho thấy hiệu năng tốt nhất trong số các mô hình mở
• Tương tự giấy phép trước đó, có thể dùng cho cả mục đích nghiên cứu và thương mại
• 3 mô hình
  • CodeLlama-70B
  • CodeLlama-70B-Python
  • CodeLlama-70B-Instruct
• Hiện được cung cấp với 4 kích cỡ: 7B/13B/34B/70B

[ragingwind]

Nếu có thể chạy cục bộ trên máy từ M2 Max trở lên thì có lẽ đây sẽ là món đồ chơi tuyệt nhất.

[xguru]

Nếu được lượng tử hóa thì có lẽ sẽ chạy khá ổn. Chỉ cần đợi thêm một chút là sẽ ra thôi nhỉ

[xguru]

Liên kết ở trên là liên kết để gửi yêu cầu truy cập tới Meta, nhưng trên Hugging Face thì đã công khai hết rồi
https://huggingface.co/codellama

[GN⁺]

Ý kiến trên Hacker News

• Có thể phát triển plugin Jetbrains là CodeGPT để chạy cục bộ. Có thể xem plugin đó tại đây.
• Có thể xem mô hình trên Hugging Face: CodeLlama-70b-hf.
• Một người dùng đang sử dụng ChatGPT và GitHub Copilot thắc mắc có thể tận dụng các mô hình này trong VS Code như thế nào. Có nhiều tiện ích mở rộng GPT cho VS Code, nhưng hầu hết либо không còn được cập nhật hoặc dẫn tới gói trả phí, nên họ nghĩ tiếp tục dùng GitHub Copilot sẽ tốt hơn.
• Cần ghi nhận Meta vì đã cho thấy sự cam kết tuyệt vời đối với machine learning mã nguồn mở.
• Nhìn vào việc các mô hình code nhỏ tốt đến mức nào, thật tò mò mô hình 70B này sẽ thể hiện năng lực ra sao.
• Nhiều người nhắc đến việc dùng 4090 và các mô hình nhỏ, nhưng hiếm khi thấy phân tích về mức tiêu thụ năng lượng. Có vẻ Microsoft đang trợ giá mạnh cho Copilot; nếu dùng Copilot trong 30% thời gian mỗi ngày, thì trong một tháng, mô hình 7B hoặc 13B chạy trên 4090 sẽ tiêu thụ bao nhiêu kWh và chi phí điện là bao nhiêu?
• Tò mò không biết hiện mô hình Copilot cục bộ tốt nhất là gì, và có tiện ích mở rộng nào cho vscode mang lại trải nghiệm tương tự không. Vì đang có 4090, nên kỳ vọng có thể chạy được khá nhiều mô hình.
• Baptiste Roziere gần đây đã có một bài nói chuyện rất hay về Code Llama, có thể xem tại đây.
• Sẽ rất thú vị nếu có thể chạy cục bộ trên các thiết bị như M2 Max và hoạt động như Copilot thông qua plugin IDE. Nó có thể giúp tiết kiệm thời gian giải quyết những vấn đề nhàm chán trong dự án hoặc viết mã "boilerplate", để tập trung vào những công việc kỹ thuật phần mềm khó hơn.
• Có lẽ lập trình viên trung bình không có phần cứng để chạy thứ này ở tốc độ cần thiết, nên không rõ plugin này nhắm đến đối tượng nào. Dù vậy, đây vẫn là một tính năng rất ấn tượng.