Alpaca-LoRA: Tinh chỉnh chỉ dẫn LLaMA bằng Low-Rank

• Thử tinh chỉnh chỉ dẫn cho LLaMA trên phần cứng cá nhân bằng Low-Rank Adaptation
• Mô hình có thể chạy trên Raspberry Pi, đồng thời cho chất lượng tương tự text-davinci-003
• Mã huấn luyện có thể chạy trong vòng 5 giờ trên một RTX 4090 duy nhất
• Sử dụng PEFT (Parameter-Efficient Fine-Tuning) của Hugging Face và bitsandbytes của Tim Dettmer để fine-tuning với chi phí thấp và hiệu quả