Lit-LLaMA - Bản triển khai LLaMA mã nguồn mở dựa trên nanoGPT

• Mã nguồn mở được phát triển hoàn toàn độc lập dựa trên nanoGPT với giấy phép Apache 2.0, thay vì dùng mã LLaMA có giấy phép GPL
• Được triển khai trong một tệp duy nhất, không có boilerplate, nên đơn giản và tương đương về mặt số liệu với mô hình gốc
• Hỗ trợ FlashAttention, lượng tử hóa, tinh chỉnh LoRA, huấn luyện trước và nhiều tính năng khác
• Được tối ưu để chạy trên phần cứng tiêu dùng