Giới hạn của RAG và GraphRAG như một trong những cách bổ sung cho những giới hạn đó

1. Kỷ nguyên ChatGPT đã đến. Ngày nay, chúng ta đang sống trong một thời đại mà sức ảnh hưởng của các mô hình ngôn ngữ lớn lớn đến mức có thể được gọi là cuộc cách mạng công nghiệp lần thứ ba. Ngay cả mẹ tôi, mỗi khi có điều gì thắc mắc, cũng dùng ChatGPT, cho thấy phạm vi ứng dụng của nó đang ngày càng mở rộng, không phân biệt thế hệ.
2. Nghĩ về lý do vì sao phạm vi ứng dụng lại rộng như vậy, có lẽ là vì nó có thể lấy và truyền đạt khá chính xác những thông tin mà người dùng muốn. Đối với những người đã mệt mỏi vì quá tải thông tin, nó chọn lọc và mang đến đúng những thông tin “cần thiết”.
3. Dù cho đến nay đã có những bước tiến vượt bậc, vẫn tồn tại không ít trở ngại. Lấy một ví dụ, đó là hiện tượng “hallucination”. Tức là nó có mang thông tin đến, nhưng lại là thông tin không chính xác. Hiện tượng này có nhiều nguyên nhân. Nếu nói về nguyên nhân tiêu biểu nhất, đó là hiểu sai ý định của người dùng và mang về những thông tin không liên quan. Cách giải quyết nguyên nhân này thì đơn giản: nắm bắt “tốt” ý định của người dùng và cung cấp những thông tin “liên quan”.
   4, Để cải thiện điều này, đã có nhiều nỗ lực được thực hiện. Có thể phân loại chủ yếu thành 4 cách. 1. Xây dựng mô hình ngôn ngữ lớn ngay từ đầu, 2. Lấy một mô hình ngôn ngữ lớn đã được huấn luyện “tốt” và tiếp tục huấn luyện thêm cho phù hợp với lĩnh vực mong muốn, 3. Giữ nguyên mô hình ngôn ngữ lớn nhưng bổ sung thêm ngữ cảnh cho truy vấn của người dùng, 4. Vẫn dùng mô hình ngôn ngữ lớn nhưng trong quá trình trả lời người dùng, cung cấp thêm ngữ cảnh về “thông tin liên quan” để làm nổi bật tính liên quan đó. Cũng như có nhiều cách tiếp cận, mỗi cách đều có ưu và nhược điểm riêng.
4. Cách 1 có ưu điểm là vì được xây dựng từ đầu nên có thể trình bày ngữ cảnh rõ ràng của dữ liệu cho mô hình ngôn ngữ lớn ngay từ đầu, nhưng nhược điểm là chi phí xây dựng từ đầu không hề nhỏ.
   2 có ưu điểm là tận dụng ngữ cảnh của một mô hình ngôn ngữ lớn đã được huấn luyện “tốt”, rồi chọn lọc áp dụng một lượng nhỏ dữ liệu chuyên biệt theo miền nên chi phí tương đối rẻ và độ chính xác cũng được đảm bảo ở một mức nào đó. Tuy nhiên, nhược điểm là rất khó duy trì hài hòa giữa việc không làm mất đi ngữ cảnh vốn có của mô hình ngôn ngữ lớn và việc giữ lại ngữ cảnh chuyên biệt theo miền.
   3 có ưu điểm là chi phí thấp vì chỉ cần xử lý truy vấn của người dùng và bổ sung “tốt” ngữ cảnh về ý định. Nhưng nhược điểm là trong quá trình thêm ngữ cảnh, tính chủ quan của người thêm ngữ cảnh có thể can thiệp, khiến ngữ cảnh thiếu tính khách quan; nếu thiên lệch bị phản ánh quá mạnh thì ngữ cảnh thậm chí có thể tác động tiêu cực.
   4 có ưu điểm là có thể trả lời truy vấn của người dùng bằng các phản hồi phản ánh thông tin tương đối mới và chi phí triển khai thấp. Tuy nhiên, vì chất lượng câu hỏi thay đổi rất đa dạng tùy theo tài liệu liên quan, nên việc xác định và lấy tài liệu liên quan như thế nào cần được tiếp cận một cách chiến lược, kết hợp đồng đều nhiều yếu tố, nên có nhược điểm là độ phức tạp cao.
5. Ngoài ra, phần nội dung chi tiết so sánh toàn diện theo 5 khía cạnh gồm cost, accuracy, domain-specific terminology, up-to-date response, transparency and interpretability cũng được ghi lại rất rõ tại https://deci.ai/blog/… , nên tôi khuyên bạn nên tham khảo thử.
6. Đến đây, chúng ta đã nói về nhiều phương pháp đang được thử nghiệm để giải quyết hiện tượng hallucination, một vấn đề phát sinh trong các mô hình ngôn ngữ lớn. Trong bài viết này, chúng ta sẽ xem xét RAG (Retrieval Augment Generation), công nghệ thuộc cách số 4, tức là lấy “thông tin liên quan” một cách hiệu quả để bổ sung ngữ cảnh, đồng thời tìm hiểu về những giới hạn của RAG và cả GraphRAG như một trong những cách bổ sung cho các giới hạn đó.