Code Alpaca - LLaMA được huấn luyện bằng chỉ thị sinh mã

• Mô hình được tinh chỉnh dựa trên Stanford Alpaca 7B/13B để phù hợp hơn cho lập trình viên sử dụng trong các tác vụ lập trình
• Thay thế bằng bộ dữ liệu 20K Instruction Following liên quan đến sinh mã (sử dụng kỹ thuật Self-Instruct)
• Điều chỉnh một phần pipeline tạo dữ liệu: thay đổi prompt để liên quan đến sinh/chỉnh sửa/tối ưu mã thay vì các tác vụ thông thường
• Fine-tune bằng mã huấn luyện trên Hugging Face và Deepspeed