Những người đang fine-tune llama2
(news.ycombinator.com)Đây là một trường hợp fine-tune llama2 được chia sẻ trên Hacker News.
Fine-tuning là việc điều chỉnh bổ sung mô hình AI bằng bộ câu hỏi + câu trả lời của riêng mình.
Người ta nói rằng để fine-tuning, tối thiểu có thể bắt đầu từ 50 ví dụ, nhưng nếu có thể thì nên có từ 1.000 ví dụ trở lên.
Tác giả cho biết mô hình Llama 7B đã fine-tune rẻ hơn GPT-3.5 hơn 50 lần.
Tất nhiên, việc so sánh Llama 7B với GPT-3.5 (165B) là khá khập khiễng, nhưng vì các mô hình GPT đã fine-tune không hề rẻ, nên tôi nghĩ rằng các trường hợp fine-tune rồi sử dụng Llama có thể sẽ ngày càng tăng.
2 bình luận
"Bạn có thể chạy LLAMA 70B trên cặp 4090/3090 với quantization. Nếu dùng cặp 3090, bạn có thể có một hệ thống chạy LLAMA 2 70B với context 12K với chi phí < $2K.
Tôi đã dựng hai hệ thống như vậy sau khi đốt từng đó tiền chỉ trong một tuần cho ChatGPT."
https://news.ycombinator.com/item?id=37489601
Phần bình luận khá ấn tượng. Xem các bình luận bên dưới thì họ nói rằng các đội khác nhau quản lý dữ liệu theo những định dạng khác nhau, nhưng đã dùng ChatGPT để chuẩn hóa và chỉ mất một tuần là đồng bộ được định dạng dữ liệu. Nếu kết hợp kiểu này thật tốt thì sao?!
Ồ, ý tưởng hay thật đấy. Mình ấn tượng việc đến cả CEO của Replicate cũng xuất hiện để bình luận.
Mình còn nhớ ý kiến cho rằng chi phí của GPT-3.5 (đoán là turbo) và chi phí của llama 70b sẽ tương tự nhau.
Cá nhân mình vẫn định dùng GPT trong công việc thực tế, nhưng thấy các startup tận dụng lợi thế với llama + fine-tuning đang bắt đầu xuất hiện nên mang về chia sẻ.