Hodu - Framework ML Rust

Gần đây, một người quen thân của tôi đã tạo ra một framework ML tên là Hodu bằng Rust.
Tôi cũng từng thực hiện một dự án tương tự, nên nghĩ rằng đây sẽ là tài liệu đáng xem để chia sẻ với những ai quan tâm đến framework ML.

Các đặc điểm chính

• Hỗ trợ no_std: cấu trúc gọn nhẹ có thể chạy cả trên vi điều khiển
• Biên dịch đồ thị tĩnh: có thể lưu đồ thị đã biên dịch một lần vào thiết bị nhúng để suy luận dễ dàng
• Chế độ thực thi kép:
  • Tạo mẫu thử: thử nghiệm dựa trên đồ thị động
  • Triển khai production: thực thi ổn định dựa trên đồ thị tĩnh
• Backend hiệu năng cao
  • Backend XLA: hiệu năng tối đa thông qua tối ưu hóa đồ thị và biên dịch JIT
  • Backend native HODU: triển khai thuần Rust, chạy không bị ràng buộc bởi nền tảng
• API trực quan: phong cách PyTorch/TensorFlow
• Bảo đảm an toàn bộ nhớ: hệ thống ownership của Rust chặn hoàn toàn rò rỉ bộ nhớ và data race
• Hỗ trợ nhiều thiết bị: CPU, CUDA (NVIDIA GPU), Metal (Apple GPU)

Hodu được cho biết đã phát triển đến hiện tại từ maidnx, một dự án mà người quen đó khởi đầu để học ML bằng Rust.

Tính năng xla khi build cần LLVM/Clang + RAM 8GB+ + dung lượng đĩa 20GB+, và thời gian build cũng khá lâu.
Hỗ trợ CUDA GPU hiện vẫn chưa được triển khai hoàn chỉnh, và tối ưu hóa SIMD cũng đang được lên kế hoạch.
Hiện chưa khuyến nghị sử dụng trong môi trường production; dự án đang được phát triển tích cực nên vẫn có các tính năng mang tính thử nghiệm hoặc chưa hoàn thiện.