AutoRAG: công cụ tự động tìm ra pipeline RAG tối ưu

• AutoRAG tự động tối ưu RAG giống như cách AutoML tự động tối ưu ML
• RAG (Retrieval-Augmented Generation), giúp LLM có thể trả lời cả những kiến thức mà mô hình chưa biết thông qua truy xuất trong hàng nghìn tài liệu như PDF, Word, v.v., đang thu hút rất nhiều sự quan tâm.
• Việc xây dựng một pipeline RAG có hiệu năng cao trên tài liệu thực tế là điều khó khăn.
• Với RAG, tổ hợp phù hợp sẽ khác nhau tùy theo dữ liệu và mục tiêu, và để tìm được tổ hợp tối ưu cần lặp lại rất nhiều lần việc thử nghiệm và đánh giá.
• Các tổ hợp pipeline RAG rất đa dạng; chỉ riêng 12 mô-đun hiện được AutoRAG hỗ trợ cũng đã tạo ra 960 kiểu kết hợp.
  (Không tính embedding và mô hình ngôn ngữ vào tổ hợp)
• AutoRAG tự động tối ưu RAG giống như cách AutoML tự động tối ưu ML
• Có thể sử dụng chỉ bằng cách chỉnh sửa đơn giản file YAML.
• Có thể chạy ngay RAG tối ưu đã tìm được dưới dạng máy chủ fastAPI để sử dụng.

---

Khi học về RAG, xây dựng nhiều pipeline và thử nghiệm hiệu năng, khó khăn lớn nhất mà tôi cảm nhận được là “tối ưu hóa theo từng bộ dữ liệu”.
Trong giới học thuật, mỗi ngày đều có các mô-đun hoặc pipeline RAG mới được đề xuất, nhưng nhiều trường hợp dù mất công mang về áp dụng vào dữ liệu thực tế thì hiệu năng lại không hề cải thiện. Ngoài ra, quá trình xây dựng bộ dữ liệu đánh giá từ các tài liệu như PDF, rồi thử nghiệm và đánh giá bằng nhiều mô-đun khác nhau cũng rất phiền phức và vất vả.

Chúng tôi dự đoán rằng phần lớn các đội phát triển RAG cũng sẽ gặp phải khó khăn tương tự, nên nhóm của chúng tôi đã tạo ra AutoRAG dưới dạng mã nguồn mở. Nếu xem GitHub và tài liệu Docs của chúng tôi rồi làm theo, bạn sẽ có thể sử dụng một cách dễ dàng.

Cả những người đã chăm chỉ xây dựng RAG từ trước lẫn những người mới bắt đầu bước vào RAG đều sẽ có thể hài lòng khi sử dụng!