vLLM Compose - Dễ dàng chuyển đổi/phục vụ nhiều mô hình vLLM bằng Docker Compose profile

Đây là công cụ quản lý TUI chuyên dụng cho vLLM, giúp giải quyết những bất tiện khi phục vụ nhiều LLM trên máy cục bộ (phải nhập lại lệnh docker cho từng mô hình, nhớ cấu hình GPU, theo dõi trạng thái).

• Lưu cấu hình theo từng mô hình dưới dạng profile YAML, khởi động/dừng chỉ với một lần nhấn Enter trong TUI
• Quick Setup: chỉ cần nhập tên mô hình là tự động tạo profile + cấu hình
• Bao gồm dashboard giám sát GPU theo thời gian thực và tính năng ước tính trước mức sử dụng bộ nhớ (hf-mem)
• Tự động hoàn thành các đối số vLLM: tự động trích xuất danh sách đối số khả dụng từ image vLLM thực tế để hoàn thành bằng phím Tab
• Giấy phép MIT, yêu cầu môi trường Python 3.10+ / Docker / NVIDIA GPU

https://bae-changhyun.github.io/vllm-compose/