ChatLLaMA - Bản triển khai mã nguồn mở của ChatGPT dựa trên LLaMA

• LLaMA do Meta phát hành gần đây không được fine-tune cho quy trình huấn luyện RLHF
• ChatLLaMA là một bản triển khai RLHF dùng LLaMA, là mã nguồn mở hoàn chỉnh để xây dựng dịch vụ theo phong cách ChatGPT
• Có thể huấn luyện nhanh hơn ChatGPT khoảng 15 lần
• Tích hợp sẵn hỗ trợ DeepSpeed ZERO để tăng tốc quy trình fine-tune
• Hỗ trợ đầy đủ các phiên bản 7B, 13B, 33B, 65B của LLaMA để có thể chọn kích thước phù hợp với nhu cầu

[xguru]

LLaMA - bản triển khai mã nguồn mở của ChatGPT dựa trên LLaMA