OpenLLM - Nền tảng mở để vận hành LLM trong môi trường production

• Hỗ trợ nhiều loại LLM khác nhau để suy luận và triển khai
  • StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
• Phục vụ LLM dưới dạng RESTful API hoặc gRPC chỉ với một lệnh
  • Có thể gọi từ WebUI, CLI, Python/Javascript Client hoặc bất kỳ HTTP Client nào
• Tích hợp sẵn hỗ trợ cho LangChain, BentoML, HuggingFace
• Dự kiến sẽ hỗ trợ fine-tuning LLM