Cải tổ vLLM Recipes - cấu hình theo từng tổ hợp model + phần cứng chỉ với một cú nhấp
(recipes.vllm.ai)recipes.vllm.ai đã được cải tổ mạnh mẽ. Giờ đây bạn có thể nhận câu trả lời một cách tương tác cho câu hỏi "chạy model X trên phần cứng Y với vLLM như thế nào?".
Những thay đổi chính
URL mirror HuggingFace — chỉ cần thay huggingface.co bằng recipes.vllm.ai là có thể chuyển ngay đến recipe của model đó (ví dụ: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Trình dựng lệnh tương tác — chọn phần cứng, variant và chiến lược song song hóa để tạo ngay lệnh vllm serve có thể dùng trực tiếp
Phần cứng dạng cắm-rút — chuyển đổi một lần nhấp giữa NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X), tự động áp dụng cờ và biến môi trường
JSON API — cung cấp mọi recipe qua đường dẫn /.json để agent và công cụ tự động hóa có thể dùng trực tiếp
Đóng góp recipe bằng kỹ năng agent
Kho lưu trữ đã tích hợp kỹ năng agent, cho phép đóng góp recipe mới theo quy trình end-to-end. Agent sẽ hướng dẫn từ chạy benchmark đến tạo recipe và gửi PR.
→ github.com/vllm-project/recipes
2 bình luận
Có vẻ vẫn còn khá nhiều mô hình chưa có.
Vì vậy, đây có vẻ là một cơ hội tốt để đóng góp.