DeepSpeed Chat - Khung huấn luyện mô hình kiểu ChatGPT bằng RLHF

 (github.com/microsoft)
12 điểm bởi xguru 2023-04-17 | 1 bình luận | Chia sẻ qua WhatsApp
  • Khung hệ thống mã nguồn mở nhanh, chi phí thấp và có khả năng mở rộng
  • Có thể tạo ra các mô hình phong cách ChatGPT chất lượng cao ở mọi quy mô thông qua RLHF (Reinforcement Learning from Human Feedback) end-to-end
  • Chỉ với 1 cú nhấp, có thể huấn luyện, tạo và phục vụ mô hình ChatGPT 1.3B tham số trong vòng 1,36 giờ bằng một GPU NVIDIA A6000 duy nhất được trang bị 48GB bộ nhớ
  • Đang được sử dụng bởi Databricks Dolly, CarperAI-TRLX, Huggingface-PEFT cùng nhiều dự án khác

Bài viết liên quan