- Lưu đệm câu trả lời của LLM để giảm chi phí LLM cho tổ chức và tăng tốc độ phản hồi
- Thông qua chiến lược lưu đệm ngữ nghĩa, tìm các truy vấn tương tự hoặc có liên quan để tăng tỷ lệ cache hit
- Chuyển truy vấn thành embedding bằng thuật toán embedding và thực hiện tìm kiếm liên quan cho embedding này thông qua vector store
- LLM Adapter: hỗ trợ OpenAI ChatGPT và LangChain (dự kiến cũng sẽ hỗ trợ Bard/Anthropic/LLaMA, v.v.)
- MultiModal Adapter: OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
- Embedding Generator: OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
- Cache Storage: SQLite, PostgreSQL, MySQL, SQLServer,..
- Vector Store: Mulvus, Zilliz Cloud, FAISS, Hnswlib
- Cache Manager: LRU, FIFO
Chưa có bình luận nào.