- Code Llama là một mô hình ngôn ngữ lớn (LLM) tiên tiến được thiết kế cho lập trình, có thể tạo mã và ngôn ngữ tự nhiên mô tả về mã từ cả prompt mã lẫn prompt ngôn ngữ tự nhiên.
- Mô hình này được xây dựng trên Llama 2 và có ba phiên bản: Code Llama (mô hình mã cơ bản), Code Llama - Python (chuyên cho Python), Code Llama - Instruct (được tinh chỉnh để hiểu chỉ dẫn bằng ngôn ngữ tự nhiên).
- Code Llama miễn phí cho mục đích nghiên cứu và sử dụng thương mại, và được phát hành theo cùng giấy phép cộng đồng như Llama 2.
- Mô hình có thể được dùng cho hoàn thành mã và gỡ lỗi, đồng thời hỗ trợ nhiều ngôn ngữ phổ biến như Python, C++, Java, PHP, Typescript (Javascript), C#, Bash, v.v.
- Code Llama có ba kích cỡ với 7B, 13B, 34B tham số, và mỗi mô hình đều được huấn luyện trên 500B token dữ liệu mã và dữ liệu liên quan đến mã.
- Các mô hình này được cung cấp để phù hợp với nhiều dịch vụ và yêu cầu độ trễ khác nhau; mô hình 34B cho kết quả tốt nhất, còn các mô hình nhỏ hơn như 7B và 13B phù hợp hơn với các tác vụ cần tốc độ cao và độ trễ thấp.
- Các mô hình Code Llama có thể xử lý ngữ cảnh tối đa 100.000 token, rất hữu ích cho việc tạo các chương trình dài hơn và gỡ lỗi các codebase lớn hơn.
- Hai biến thể bổ sung cũng đã được tinh chỉnh là Code Llama - Python (chuyên biệt trên 100B token mã Python) và Code Llama - Instruct (được điều chỉnh để tạo ra các câu trả lời hữu ích và an toàn bằng ngôn ngữ tự nhiên).
- Trong các bài kiểm tra benchmark, Code Llama vượt qua các LLM công khai khác ở các tác vụ lập trình, đạt 53,7% trên HumanEval và 56,2% trên Mostly Basic Python Programming (MBPP).
- Các biện pháp an toàn đã được áp dụng để giảm thiểu rủi ro liên quan đến Code Llama, bao gồm đánh giá định lượng về nguy cơ tạo ra mã độc hại.
- Công thức huấn luyện và trọng số mô hình của Code Llama có thể được xem tại kho GitHub của Code Llama.
- Bài nghiên cứu về Code Llama cung cấp thông tin chi tiết về quá trình phát triển mô hình, các giới hạn và những thách thức trong tương lai.
- Các nhà phát triển cũng đã cập nhật Responsible Use Guide để bổ sung hướng dẫn về cách phát triển các mô hình con một cách có trách nhiệm.
- Code Llama được thiết kế để hỗ trợ các kỹ sư phần mềm ở mọi lĩnh vực và truyền cảm hứng cho những người khác tận dụng Llama 2 để tạo ra các công cụ đổi mới mới cho nghiên cứu và sản phẩm thương mại.
1 bình luận
Ý kiến Hacker News