Cog: công cụ container cho machine learning

• Công cụ mã nguồn mở giúp đóng gói mô hình machine learning ở mức sẵn sàng cho production
• Dễ dàng tạo Docker image bao gồm đầy đủ best practice như image cơ sở của NVidia + caching + Python + giá trị mặc định cho biến môi trường
  → để các phiên bản CUDA/cuDNN/PyTorch/TensorFlow/Python tương thích với nhau
• Tạo schema OpenAPI thông qua Pydantic
• Tự động tạo RESTful HTTP API bằng FastAPI thông qua kiểu mô hình
• Cung cấp queue worker dựa trên Redis cho các mô hình deep learning chạy lâu hoặc xử lý batch (dự kiến sẽ bổ sung thêm các loại khác)
• Được tạo ra cho Replicate, một dịch vụ ML SaaS, nhưng cũng có thể dùng trên hạ tầng riêng của bạn