LLaMA-Adapter V2: Công cụ tinh chỉnh LLaMA hiệu quả

 (github.com/ZrrSkywalker)
7 điểm bởi xguru 2023-05-03 | 1 bình luận | Chia sẻ qua WhatsApp
  • Có thể huấn luyện LLaMA thành mô hình Instruction-Following & MultiModal chỉ trong 1 giờ với vỏn vẹn 1,2 triệu tham số có thể huấn luyện
  • Alpaca cần 7B tham số, 13G dung lượng lưu trữ và 3 giờ, trong khi
    LLaMA-Adapter chỉ cần 1,2M tham số, 4,7M dung lượng lưu trữ và 1 giờ là đủ

Bài viết liên quan

1 bình luận

 
bytebrawlers 2023-05-03

Đây chẳng phải điểm chính là đã dùng phương thức PEFT tương tự LoRA và hơn hết là hỗ trợ Visual Context sao? Các cách tiếp cận SFT (Instruction Fine Tune) của PEFT cho LLaMA vốn đã quá nhiều rồi...