DeepSpeed - thư viện tối ưu hóa deep learning do MS công bố

• Trình bao bọc nhẹ trên PyTorch

• Thay đổi mã ở mức tối thiểu, mô hình lớn hơn gấp 10 lần, tốc độ nhanh hơn trên 5 lần

• Giảm thiểu bộ nhớ sử dụng khi huấn luyện (4x) bằng cách áp dụng Zero Redundancy Optimizer (ZeRO)