KubeAI - Vận hành Private AI trên Kubernetes
(github.com/substratusai)- Cung cấp HTTP API tương thích với OpenAI
- Tự động mở rộng quy mô dựa trên tải
- Có thể phục vụ LLM mã nguồn mở trên nền CPU/GPU
- Không phụ thuộc gì thêm (Istio, Knative, v.v.)
- Tích hợp sẵn Chat UI
Chưa có bình luận nào.