- Thư viện tensor hiệu năng cao và framework học sâu dựa trên Rust dành cho tính toán số, suy luận mô hình và huấn luyện
- Đảm bảo tính linh hoạt động trong khi vẫn giữ hiệu năng tối ưu hóa ở cấp độ framework đồ thị tĩnh
- Hỗ trợ nhiều backend GPU/CPU
- GPU: CUDA, ROCm, Metal, Vulkan, WebGPU, LibTorch, Candle, v.v.
- CPU: dựa trên CubeCL, NdArray, Candle, LibTorch
- Có thể chạy cả trong môi trường Wasm và no_std
- Được thiết kế xoay quanh Backend trait, với cấu trúc backend có thể thay thế trên nhiều phần cứng và môi trường runtime khác nhau
- Decorator backend Autodiff: thêm khả năng vi phân tự động cho mọi backend
- Decorator backend Fusion: tính năng hợp nhất kernel
- Backend Router: hỗ trợ phân phối phép toán giữa nhiều phần cứng như CPU và GPU
- Backend Remote: hỗ trợ tính toán phân tán và thực thi từ xa qua mạng
- Hỗ trợ tích hợp toàn bộ quy trình huấn luyện và suy luận
- Giám sát huấn luyện theo thời gian thực bằng dashboard terminal dựa trên Ratatui
- Có thể triển khai cùng một mã nguồn từ thiết bị nhúng đến cụm GPU quy mô lớn
- Hỗ trợ tái sử dụng mô hình hiện có thông qua khả năng nhập mô hình PyTorch, Safetensors, ONNX
- Suy luận trên trình duyệt dựa trên WebAssembly và WebGPU
- Hỗ trợ môi trường no_std, nên có thể chạy cả trên thiết bị nhúng không có hệ điều hành
- Phân phối theo giấy phép kép MIT/Apache 2.0
2 bình luận
Không biết hiệu năng so với PyTorch thế nào nhỉ.
Rust, Wasm, WebGPU — toàn những cái tên rất đáng mừng.