Portkey AI Gateway - dùng hơn 100 LLM qua 1 API

• Có thể gọi mọi LLM qua một API hợp nhất như giao diện giữa ứng dụng và LLM
  • OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini, v.v.
• Rất nhanh (9.9x) và footprint nhỏ (~45kb)
• Có thể cân bằng tải giữa nhiều mô hình/nhà cung cấp/khóa
• Giúp ứng dụng vận hành ổn định thông qua fallback và tự động thử lại

[ragingwind]

Nếu hoạt động tốt thì sẽ khá hữu ích.

[vrv18]

Tôi là một trong những người bảo trì — rất mong nhận được phản hồi từ cộng đồng!