OneRAG - mã nguồn RAG do PM chatbot tạo ra, có thể thay thế vector DB/LLM và hơn thế nữa chỉ bằng một dòng cấu hình
(github.com/notadev-iamaura)Là một người không phải lập trình viên nhưng đã nhiều lần triển khai các sản phẩm liên quan đến chatbot, từ một thời điểm nào đó tôi bắt đầu muốn tự mình tạo ra sản phẩm đúng như mình hình dung.
Vì vậy tôi bắt đầu phát triển chatbot trên Kmong.
Dạo gần đây có khá nhiều dự án trên Kmong do người không phải lập trình viên thực hiện, và tôi cũng đã kiếm được khoảng 14 triệu won trong 5 tháng kể từ tháng 9 năm ngoái chỉ với một công cụ RAG chatbot duy nhất.
Yêu cầu của khách hàng phần lớn khá giống nhau, nhưng việc phải sửa mã để đáp ứng các pipeline RAG hơi khác nhau và cách sử dụng vector DB khác nhau lại khá phiền, nên tôi đã tạo ra OneRAG.
Ý tưởng cốt lõi: chỉ cần thay đổi một dòng trong tệp cấu hình là có thể thay thế bất kỳ thành phần nào
Các thành phần được hỗ trợ:
- Vector DB: Weaviate, Chroma, Pinecone, Qdrant, pgvector, MongoDB
- LLM: Gemini, OpenAI, Claude, OpenRouter
- Reranker: Jina, Cohere, Google, OpenAI, Local
- Cache: Memory, Redis, Semantic
- Extra: GraphRAG, PII Mask, Agent
Khởi động nhanh trong 5 phút:
git clone https://github.com/notadev-iamaura/OneRAG
cd OneRAG && make quickstart
Dựa trên FastAPI, đi kèm Docker Compose, và hỗ trợ NLP tiếng Hàn cơ bản.
(Tôi đã làm việc trong mảng dịch vụ AI tại Hàn Quốc)
Giấy phép MIT. Tôi rất mong nhận được phản hồi về kiến trúc hoặc góp ý xem nên bổ sung thành phần nào nữa.
8 bình luận
Gần đây tôi cũng mơ hồ cảm thấy mình cần một dịch vụ như thế này. Tôi tò mò không biết bạn có dự định bổ sung các mô hình Trung Quốc như GLM của zhipu hay kimi không.
Cảm ơn bạn đã góp ý!
Hiện tại cũng có thể gọi model dựa trên OpenRouter, nên nếu bạn cấu hình gọi dựa trên OpenRouter thì có thể gọi model mà bạn nói đến chỉ bằng cách đổi tên model.
Nếu là kiến trúc để model bạn nhắc tới chạy cục bộ, chúng tôi muốn cập nhật trong thời gian tới.
Tuy nhiên, có lẽ sẽ là sau khi chúng tôi thấy đó là model đạt mức có thể dùng cho RAG tiếng Hàn.
Trước đó, chúng tôi dự định bổ sung một pipeline đơn giản hóa để những ai mới tiếp cận RAG có thể thử nghiệm một cách dễ dàng hơn.
Ví dụ, chúng tôi đang cân nhắc các tính năng như tận dụng Grok Collections API để có thể làm RAG đơn giản hơn với ít thiết lập hơn :)
Cảm ơn bạn đã phản hồi. Bạn đang nói đến dịch vụ OpenRouter tại https://openrouter.ai/ phải không? Phần bạn nói rằng đó là mô hình đủ mức để dùng cho RAG tiếng Hàn thì thật ra là điều tôi không nắm quá rõ, nhưng với tôi thì GLM 4.7 đã liên tục cho ra câu trả lời tiếng Hàn tốt hơn Sonnet 4.5 với các prompt tôi muốn, nên mức độ tin tưởng của tôi đã tăng lên đôi chút. Vì vậy, có lẽ bạn cũng nên thử chú ý theo dõi nó.
Vâng, đúng vậy! Dựa trên API OpenRouter ở liên kết đó, việc thay đổi mô hình khá dễ dàng.
(Tuy nhiên, sẽ phát sinh thêm khoảng 5% chi phí trên số tiền nạp, nên có thể dùng tiện lợi ở mức dự án thử nghiệm)
Tôi cũng sẽ trực tiếp thử dùng và kiểm tra hiệu năng của GLM4.7, rồi lên kế hoạch để có thể áp dụng nhé :)
Ứng dụng web được trau chuốt đẹp mắt, có vẻ sẽ rất phù hợp để dùng làm backend cho chatbot.
Vâng, có vẻ cũng khá ổn để trang trí frontend cho đẹp và dùng trong dự án cá nhân :)
Cảm ơn vì đã công khai!
Vâng! Hy vọng nó có thể giúp ích dù chỉ một chút trong việc thử nghiệm sản phẩm RAG một cách đơn giản!