- Những thay đổi trong 3 ngày sau bài viết "SD Moment đang đến"
- Chạy được trên Raspberry Pi 4GB bằng llama.cpp. 10 giây mỗi token
- Giờ có thể chạy dễ dàng với Dalai
- Sau khi đạt 26 giây mỗi token trên Pixel 6 bằng llama.cpp, đã cải thiện xuống còn 1 giây mỗi token trên Pixel 5
- Stanford phát hành Alpaca, bản fine-tune LLaMA 7B
Stanford's Alpaca
- Điểm yếu lớn của mô hình LLaMA là thiếu "instruction tuning" cho hỏi-đáp
- Một trong những đổi mới lớn của OpenAI là bổ sung instruction tuning vào GPT-3
- Stanford cung cấp 52.000 mẫu huấn luyện cho việc này và giúp có thể huấn luyện chỉ với $100
- Mô hình nhỏ nhất 7B giờ đã có thể chạy trên Raspberry Pi/điện thoại di động, và cho kết quả rất ấn tượng
- Tuy vậy, hiện vẫn chưa dùng được cho mục đích thương mại (không thể vì 3 lý do: giấy phép của LLaMA / dữ liệu instruction set được tạo từ mô hình OpenAI / không thiết kế biện pháp an toàn)
Điều này có ý nghĩa gì?
- Mô hình cấp phép của LLaMA không quá liên quan với tôi
- LLaMA đã cho thấy có thể huấn luyện một mô hình ngôn ngữ lớp GPT-3 bằng các tài nguyên nhìn chung là sẵn có
- llama.cpp đã cho thấy có thể chạy LLM trên phần cứng tiêu dùng ở mức 4GB
- Alpaca cho thấy chỉ với 52K mẫu và chi phí $100 cũng có thể fine-tune mô hình 7B (giảm xuống 4GB bằng lượng tử hóa 4bit), và cho kết quả tương tự text-davinci-003 mới nhất
- Dù vậy, thứ được dùng để so sánh là mô hình 7B đầy đủ (13.48GB, số thực dấu phẩy động 16bit), chứ không phải mô hình 4GB đã giảm xuống 4bit; tôi vẫn chưa thấy tài liệu nào so sánh rõ ràng sự khác biệt chất lượng giữa hai bên
Chưa có bình luận nào.