Mozilla AI đã công bố máy chủ proxy mã nguồn mở any-llm-gateway để giải quyết tình trạng chi phí tăng vọt và kìm hãm đổi mới khi sử dụng LLM (mô hình ngôn ngữ lớn). Đây là công cụ cấp production được xây dựng dựa trên thư viện any-llm hiện có, với các tính năng quản lý ngân sách, quản lý khóa API và phân tích mức sử dụng được tăng cường.
Tính năng chính:
- Quản lý ngân sách thông minh: Thiết lập các tier ngân sách dùng chung để nhiều người dùng cùng sử dụng. Hỗ trợ tự động đặt lại theo ngày/tuần/tháng, có thể chọn cưỡng chế áp dụng hoặc chỉ theo dõi.
- Hệ thống khóa API linh hoạt: Hỗ trợ master key (cho các dịch vụ đáng tin cậy) và virtual key (có thể đặt thời hạn hết hạn/metadata, kích hoạt hoặc hủy bỏ). Tự động theo dõi chi tiêu theo từng người dùng.
- Phân tích mức sử dụng toàn diện: Ghi lại số token, chi phí và metadata cho từng request. Hỗ trợ báo cáo chi tiêu theo người dùng và phân bổ chi phí.
Tính thực tiễn:
Cung cấp API tương thích OpenAI và chỉ định model theo định dạng provider:model (ví dụ: openai:gpt-4o-mini). Bao gồm streaming và tự động theo dõi token. Có thể triển khai đơn giản bằng Docker, đồng thời phù hợp với môi trường production nhờ hỗ trợ cấu hình YAML/biến môi trường và probe Kubernetes.
Công cụ này hữu ích cho việc triển khai gói cước SaaS, quản lý nhóm nghiên cứu và các trường hợp tương tự, đồng thời nhấn mạnh sự cân bằng giữa kiểm soát chi phí và đổi mới. Vì là mã nguồn mở, bất kỳ ai cũng có thể tự do sử dụng và tùy biến.
Chưa có bình luận nào.