BricksLLM - Cổng AI dành cho LLM
(github.com/bricks-cloud)- Cổng AI cloud-native được viết bằng Go
- Hoạt động như proxy cho OpenAI
- Có thể tạo khóa API với Rate Limit, Cost Limit và TTL để cung cấp khả năng kiểm soát truy cập chi tiết mà OpenAI không hỗ trợ
- Mục tiêu là hỗ trợ nhiều LLM khác nhau như LLama2, Claude, PaLM2, đồng thời đơn giản hóa việc vận hành LLM
Chưa có bình luận nào.