Cafe24 ra mắt LLM Router

• Hạ tầng LLM tích hợp cho phép gọi hơn 100 mô hình như Claude, Gemini, Qwen, Llama, DeepSeek thông qua một endpoint duy nhất
• Cung cấp một API duy nhất tương thích OpenAI, nên không cần học hay duy trì riêng đặc tả API, logic retry và định dạng streaming khác nhau của từng provider
• Auto Router phân tích prompt để xác định loại tác vụ như coding/suy luận/dịch thuật/sáng tạo và tự động chọn mô hình có chi phí tối ưu
  • Ví dụ: "Hãy tạo code infinite scroll cho React" → phát hiện coding → claude-sonnet-4-6
• Với Auto Fallback, khi xảy ra sự cố hoặc timeout sẽ lập tức chuyển sang tuyến thay thế được định nghĩa sẵn; các lệnh gọi thất bại sẽ không bị tính phí (ZCI)
  • Ví dụ: qwen3-72b → llama-3.3-70b → deepseek-v3
• Provider Routing cho phép thiết lập mức ưu tiên provider theo tiêu chí chi phí, tốc độ và thông lượng
• Ở chế độ BYOK (Bring Your Own Key), có thể đăng ký trực tiếp các khóa OpenAI/Anthropic/Google đang sở hữu để tự kiểm soát chi phí
• Với Semantic Cache, các câu hỏi tương tự có thể bỏ qua hoàn toàn việc gọi LLM để tiết kiệm chi phí token, và phản hồi được trả về ở mức ms
• Tính năng Preset cho phép lưu gộp mô hình Primary, System Prompt, Sampling và chuỗi Fallback nhiều tầng; lệnh gọi chỉ còn một dòng và việc điều chỉnh được xử lý trên console nên ZERO cần redeploy code
• Privacy & quản trị hỗ trợ tự động masking thông tin nhạy cảm (PII) trong log và dữ liệu được truyền tới mô hình
• Trên Realtime Dashboard có thể kiểm tra yêu cầu, chi phí, xu hướng token, tỷ trọng chi phí theo từng mô hình, tỷ lệ thành công/thất bại và log chi tiết theo từng request
• Trong Playground, có thể so sánh ngay chất lượng phản hồi, tốc độ và chi phí giữa các mô hình mà không cần code
• Mô hình trả phí theo mức sử dụng bằng credit không có cam kết hay thuê bao, phí cơ bản hằng tháng là 0 won, cấp credit miễn phí ngay khi đăng ký, đồng thời hỗ trợ tính phí theo KRW và xuất hóa đơn thuế