Basaran - Giải pháp thay thế mã nguồn mở cho OpenAI Text Completion API

• Cung cấp API streaming tương thích với OpenAI cho các mô hình sinh văn bản dựa trên Hugging Face Transformer
  • Có thể sử dụng các LLM khác theo cách tương tự như dịch vụ của OpenAI
• Có thể sinh nội dung streaming với nhiều chiến lược giải mã khác nhau
• Hỗ trợ cả mô hình chỉ decoder và mô hình encoder-decoder
• Detokenizer hỗ trợ surrogates và whitespace
• Có tùy chọn quantization. Hỗ trợ nhiều GPU
• Hiển thị tiến trình theo thời gian thực bằng SSE (Server-Sent Events)