liteLLM - Máy chủ proxy hỗ trợ hơn 50 LLM

• Có thể gọi API /chat/completion tới nhiều LLM khác nhau như Azure, OpenAI, Replicate, Anthropic, Hugging Face
• Chuẩn hóa định dạng Input/Output theo định dạng OpenAI
• Hỗ trợ fallback mô hình (ví dụ: nếu GPT-4 thất bại thì gọi llama2)
• Hỗ trợ logging: Supabase, Posthog, Mixpanel, Sentry, Helicone
• Theo dõi lượng token sử dụng
• Triển khai Semantic Caching
• Hỗ trợ streaming và bất đồng bộ