Whisper Jax: triển khai API Whisper nhanh nhất
(github.com/sanchit-gandhi)- Tối ưu hóa mô hình nhận dạng giọng nói Whisper của OpenAI để triển khai với tốc độ cao
- Chạy bằng JAX trên TPU v4-8. Nhanh hơn tối đa 70 lần so với khi chạy bằng PyTorch trên GPU A100
- Có thể chạy trên cả CPU/GPU/TPU, đồng thời có thể vận hành độc lập hoặc dưới dạng endpoint inference
Chưa có bình luận nào.