AITemplate - Khung Python chuyển đổi mạng nơ-ron sâu thành mã C++ CUDA/HIP hiệu năng cao

• Chuyển đổi mạng nơ-ron sâu thành mã C++ CUDA (GPU NVIDIA) / HIP (GPU AMD) để suy luận nhanh hơn
• Đạt hiệu năng gần mức roofline fp16 TensorCore/MatrixCore trên các mô hình lớn như ResNet, BERT, VisionTransformer, Stable Diffusion
• Mã nguồn mở thống nhất, cởi mở và linh hoạt
• Khả năng tương thích ngược tuyệt vời (không phụ thuộc vào thư viện/runtime bên thứ ba). Mỗi mô hình được biên dịch thành nhị phân portable
• Horizontal Fusion / Vertical Fusion / Memory Fusion
• Hoạt động với hoặc không với PyTorch