Cải tổ vLLM Recipes - cấu hình theo từng tổ hợp mô hình + phần cứng chỉ với một cú nhấp
(recipes.vllm.ai)recipes.vllm.ai đã được cải tổ mạnh mẽ. Với vLLM, bạn có thể nhận câu trả lời theo cách tương tác cho câu hỏi “chạy mô hình X trên phần cứng Y như thế nào?”.
Những thay đổi chính
URL mirror HuggingFace — chỉ cần đổi huggingface.co thành recipes.vllm.ai là có thể chuyển thẳng tới recipe của mô hình đó (ví dụ: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Trình dựng lệnh tương tác — chọn phần cứng, variant, chiến lược song song hóa là sẽ tạo ngay lệnh vllm serve có thể dùng trực tiếp
Phần cứng dạng plugin — chuyển đổi một chạm giữa NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X), tự động áp dụng cờ và biến môi trường
JSON API — cung cấp mọi recipe qua đường dẫn /.json để agent và công cụ tự động hóa có thể dùng trực tiếp
Đóng góp recipe bằng kỹ năng agent
Repository đã bao gồm kỹ năng agent, cho phép bạn đóng góp recipe mới theo quy trình end-to-end. Agent sẽ hướng dẫn từ chạy benchmark đến tạo recipe và gửi PR.
→ github.com/vllm-project/recipes
4 bình luận
Chắc chỉ một thời gian nữa là có thể triển khai chỉ bằng một cú nhấp trên bất kỳ thiết bị nào rồi nhỉ... ghê thật run run
Có vẻ giờ những thứ dùng cho dịch vụ rồi cũng sẽ lần lượt xuất hiện hết.
Có vẻ vẫn còn khá nhiều mô hình chưa có.
Vì vậy, đây có vẻ là một cơ hội tốt để đóng góp.