Unsloth: Finetune Llama 3 nhanh gấp 2 lần với context dài hơn gấp 6 lần, dùng ít VRAM hơn 68%

• Unsloth, công cụ dùng để tinh chỉnh mô hình ngôn ngữ lớn, nay đã hỗ trợ mẫu Llama 3 mới nhất của Meta, cho phép tinh chỉnh nhanh gấp 2 lần và giảm 63% mức sử dụng VRAM so với Flash Attention 2 (FA2) và Hugging Face (HF).

• Khi dùng Unsloth, bản 70B của Llama 3 tinh chỉnh nhanh hơn 1,8 lần và dùng ít VRAM hơn 68%, nhờ đó cho phép độ dài context dài hơn nhiều trong quá trình tinh chỉnh. Điều này đặc biệt hữu ích cho các tác vụ cần ngữ cảnh rộng như hỏi đáp hoặc sinh văn bản.

• Unsloth cũng hỗ trợ lượng tử hóa 4-bit cho các mẫu Llama 3, giúp tải xuống nhanh hơn 4 lần và giảm yêu cầu bộ nhớ. Các mô hình 4-bit đã được lượng tử hóa sẵn cho cả bản 70B instruct và bản base của Llama 3 đều có sẵn trên trang Hugging Face.

• Ngoài ra, Unsloth còn xử lý các đặc điểm riêng và các “lỗi” cụ thể của Llama 3, chẳng hạn như tokenizer không có token BOS và mô hình base có các token chưa được huấn luyện. Unsloth tự động khắc phục những vấn đề này trong quá trình tinh chỉnh để bảo đảm việc huấn luyện chính xác và hiệu quả.