Alpaca: Mô hình Instruction-Following mã nguồn mở mạnh mẽ ở mức GPT-3.5

• Stanford CRFM đã fine-tune LLaMA 7B của Meta bằng 52K dữ liệu Instruction-Following
• Hoạt động tương tự GPT-3.5 (text-davinci-003) của OpenAI, nhưng nhỏ hơn rất nhiều và chi phí rẻ hơn
• Công bố recipe huấn luyện và dữ liệu, và dự kiến sẽ phát hành cả trọng số mô hình sau này
• Chỉ công bố cho mục đích nghiên cứu, cấm sử dụng thương mại
• Việc fine-tune mất 3 giờ trên 8 GPU A100 80GB, và có thể thực hiện trên cloud với chi phí dưới khoảng 100 USD

[xguru]

Repo: https://github.com/tatsu-lab/stanford_alpaca
Bản demo web: https://crfm.stanford.edu/alpaca/

Việc công bố LLaMA đúng là đang tạo ra một khoảnh khắc Stable Diffusion. Mọi thứ đang thay đổi cực kỳ nhanh.