Lit-LLaMA - Bản triển khai LLaMA mã nguồn mở dựa trên nanoGPT

 (github.com/Lightning-AI)
25 điểm bởi xguru 2023-04-03 | 1 bình luận | Chia sẻ qua WhatsApp
  • Mã nguồn mở được phát triển hoàn toàn độc lập dựa trên nanoGPT với giấy phép Apache 2.0, thay vì dùng mã LLaMA có giấy phép GPL
  • Được triển khai trong một tệp duy nhất, không có boilerplate, nên đơn giản và tương đương về mặt số liệu với mô hình gốc
  • Hỗ trợ FlashAttention, lượng tử hóa, tinh chỉnh LoRA, huấn luyện trước và nhiều tính năng khác
  • Được tối ưu để chạy trên phần cứng tiêu dùng

Bài viết liên quan

1 bình luận

 
xguru 2023-04-03

nanoGPT là đoạn mã mà Andrej Karpathy, cựu trưởng bộ phận AI của Tesla, đã viết lại từ minGPT.
nanoGPT - mã nguồn mở để huấn luyện/tinh chỉnh GPT cỡ trung nhanh nhất

FlashAttention