TorchTune - Thư viện Pytorch của Meta dành cho tinh chỉnh LLM

• Thư viện Native-Pytorch để dễ dàng xây dựng, tinh chỉnh và thử nghiệm LLM
• Triển khai PyTorch thuần cho các LLM phổ biến
• Hỗ trợ nhiều định dạng checkpoint, bao gồm checkpoint theo định dạng HF
• Cung cấp recipe huấn luyện cho các kỹ thuật tinh chỉnh được dùng rộng rãi, cùng benchmark tham chiếu và bộ kiểm tra độ chính xác toàn diện
• Đánh giá mô hình đã huấn luyện thông qua EleutherAI evaluation harness
• Tích hợp với dataset của HuggingFace cho huấn luyện
• Hỗ trợ huấn luyện phân tán bằng FSDP của PyTorch Distributed
• Cấu hình YAML giúp dễ dàng thiết lập quá trình chạy huấn luyện
• [Dự kiến] Hỗ trợ dtype độ chính xác thấp và các kỹ thuật lượng tử hóa của TorchAO
• [Dự kiến] Hỗ trợ tích hợp với nhiều inference engine khác nhau