LocalAI - API tương thích OpenAI có thể tự lưu trữ

• API REST tương thích với OpenAI, cho phép sử dụng nhiều LLM khác nhau
• Có thể chạy cả khi không có GPU. Hỗ trợ tăng tốc GPU với các LLM tương thích llama.cpp
• Hỗ trợ nhiều mô hình, bao gồm phiên âm âm thanh, tạo văn bản và tạo ảnh (Stable Diffusion)
• Sau khi được nạp một lần, mô hình sẽ được giữ trong bộ nhớ để hỗ trợ suy luận nhanh
• Hỗ trợ toàn bộ các mô hình tương thích ggml: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..