- Meta đã công bố Code Llama, mô hình chuyên cho lập trình được xây dựng dựa trên Llama 2.
- Có thể sinh mã từ cả mã nguồn và prompt ngôn ngữ tự nhiên, và theo kết quả benchmark nội bộ thì hiệu năng vượt ChatGPT.
- Phát hành lần lượt các mô hình 7B, 13B, 34B được huấn luyện với 500 tỷ token mã và dữ liệu liên quan.
- Hỗ trợ tối đa 100.000 token ngữ cảnh, giúp dễ viết các chương trình dài hơn hoặc nhập các điều kiện chi tiết, mã thực tế vào prompt.
- Ngoài mô hình gốc, Code Llama còn được phát hành với 2 biến thể bổ sung.
- Code Llama - Python: mô hình được tinh chỉnh thêm với 100 tỷ token mã Python.
- Code Llama - Instruct: mô hình được tinh chỉnh với 5 tỷ token lệnh, tối ưu cho đầu vào ngôn ngữ tự nhiên và đầu ra là mã.
- Các mô hình khác không được tối ưu cho ngôn ngữ tự nhiên, nên khi tạo mã thông qua ngôn ngữ tự nhiên thì cần dùng mô hình này.
- Kết quả đo hiệu năng mô hình qua HumanEval và MBPP cho thấy mô hình đạt mức tương đương hoặc cao hơn ChatGPT (GPT 3.5).
- Khi GPT 3.5 đạt 48,1% trên HumanEval thì Code Llama - Python đạt 53,7%.
- GPT 4 vẫn ở mức 67%, nên vẫn còn khoảng cách cần bắt kịp.
- Meta đã bổ sung nhiều biện pháp an toàn để giảm thiểu rủi ro Code Llama có thể tạo mã độc.
- Thử nghiệm thực tế cho thấy mô hình tạo ra ít mã độc hơn so với ChatGPT.
2 bình luận
Giấy phép có vẻ giống với Llama. Nếu MAU vượt 700 triệu người thì phải xin cấp phép. Dù sao thì chắc các công ty Hàn Quốc cũng không gặp vấn đề lớn đâu haha
Được phát hành với cùng giấy phép như Llama 2.
Tôi cũng biết StarCoder vẫn hơi thiếu một chút, vậy giờ đã thực sự có một lựa chọn thay thế cho Copilot rồi sao?
Dù sao thì khi nghĩ đến những thứ như thế này, có lẽ hiệu năng của GPT 4 thực sự rất ấn tượng.
Nó cũng làm tốt tiếng Hàn, và trong các benchmark thì GPT 4 cho thấy hiệu năng cao hơn hẳn...
GPT 3.5 cũng vượt trội về tiếng Hàn so với các mô hình mở khác.
Hy vọng sẽ có một mô hình mã nguồn mở sinh mã cũng hoạt động tốt bằng tiếng Hàn.