Cách giải quyết vấn đề của ngữ cảnh dài

• Khi sử dụng ngữ cảnh dài, có nhiều vấn đề điển hình về quản lý thông tin có thể phát sinh như ô nhiễm ngữ cảnh, nhiễu loạn, xung đột và mất tập trung
• Quản lý thông tin là yếu tố cốt lõi, và thông tin sai lệch sẽ trực tiếp ảnh hưởng xấu đến chất lượng đầu ra
• Các chiến thuật chính như RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading cho thấy hiệu quả rõ rệt
• Cần lưu ý rằng ngay cả khi cửa sổ ngữ cảnh của các LLM hiện đại rất lớn, việc lạm dụng thông tin không cần thiết vẫn gây ra vấn đề thực tế
• Mỗi chiến thuật đều giúp nhà thiết kế agent quản lý ngữ cảnh một cách có hệ thống, đồng thời nâng cao hiệu quả và độ chính xác

---

Các vấn đề phát sinh trong ngữ cảnh dài và tóm lược

Khi sử dụng ngữ cảnh dài, các kiểu thất bại điển hình có thể xảy ra trong hệ thống bao gồm:

• Ô nhiễm ngữ cảnh: hiện tượng thông tin bịa đặt (hallucination) hoặc lỗi bị đưa vào ngữ cảnh rồi liên tục được tham chiếu lại
• Mất tập trung do ngữ cảnh: ngữ cảnh trở nên quá dài khiến mô hình chỉ tập trung vào ngữ cảnh thay vì dựa vào những gì đã học ban đầu
• Nhiễu loạn ngữ cảnh: thông tin không cần thiết được thêm vào, dẫn đến phản hồi kém chất lượng
• Xung đột ngữ cảnh: thông tin hoặc công cụ mới được thêm vào mâu thuẫn với thông tin hiện có

Tất cả những vấn đề này đều bắt nguồn từ quản lý thông tin; giống như câu châm ngôn trong lập trình “Garbage in, garbage out”, chất lượng thông tin đầu vào ảnh hưởng rất lớn đến kết quả.
May mắn là có nhiều chiến thuật có thể giúp giảm thiểu hoặc ngăn ngừa hiệu quả các vấn đề trên

Các chiến thuật quản lý ngữ cảnh chính

---

RAG (Retrieval-Augmented Generation)

• RAG là phương pháp chỉ chọn thông tin cần thiết để đưa cho LLM, từ đó nâng cao chất lượng phản hồi
• Khi cửa sổ ngữ cảnh của LLM ngày càng lớn, nhiều người có xu hướng “nhét mọi thứ vào”, nhưng thông tin không cần thiết lại có thể phá hỏng kết quả
• RAG đến nay vẫn là một kỹ thuật cực kỳ quan trọng

Tool Loadout (lựa chọn cấu hình công cụ)

• Phương pháp chỉ chọn lọc những công cụ cần thiết để đưa vào ngữ cảnh
• Mô tả công cụ được quản lý trong vector DB, sau đó dùng RAG theo từng prompt để chọn ra bộ công cụ tối ưu
• Từ hơn 30 công cụ trở đi, mô tả chồng chéo bắt đầu gây nhiễu; và khi vượt quá 100 công cụ, hiệu năng mô hình giảm mạnh
• Trong bài báo “Less is More”, Llama 3.1 8b thất bại khi được cung cấp 46 công cụ nhưng thành công khi chỉ được cung cấp 19 công cụ
• Họ đã dùng một bộ gợi ý dựa trên LLM để có thể chọn công cụ cần thiết một cách động, nhờ đó hiệu năng, tốc độ và hiệu quả điện năng đều được cải thiện

Context Quarantine (cô lập ngữ cảnh)

• Phương pháp quản lý ngữ cảnh riêng biệt trong các luồng tách rời
• Bài toán được chia thành nhiều phần như nghiên cứu, khám phá..., và mỗi phần do một agent riêng đảm nhiệm
• Trong hệ thống multi-agent của Anthropic, mỗi sub-agent dùng một cửa sổ ngữ cảnh độc lập để nâng cao hiệu quả và độ chính xác
• Thiết kế này đặc biệt mạnh trong những tác vụ cần khám phá đồng thời theo nhiều hướng

Context Pruning (cắt tỉa ngữ cảnh)

• Phương pháp liên tục loại bỏ thông tin không cần thiết hoặc đã cũ
• Trong lĩnh vực NLP, nhiều kỹ thuật pruning đã được sử dụng từ rất lâu
• Gần đây đã xuất hiện các mô hình chuyên “dọn dẹp” ngữ cảnh nhẹ và nhanh như Provence (1.75GB, có thể nén tài liệu tới 95%)
• Nếu quản lý ngữ cảnh dưới dạng có cấu trúc như dictionary, việc cắt tỉa và tóm tắt (nén) sẽ dễ dàng hơn

Context Summarization (tóm tắt ngữ cảnh)

• Cách nén và tóm tắt toàn bộ ngữ cảnh khi độ dài trở nên quá lớn
• Không chỉ hữu ích để tránh vượt quá giới hạn cửa sổ, mà còn hiệu quả trong việc ngăn lặp lại không cần thiết hoặc tình trạng mất tập trung
• Điều quan trọng ở bước nén là xác định rõ thông tin nào cần được giữ lại
• Có thể tích lũy và cải thiện dữ liệu đánh giá thông qua một bước tóm tắt riêng dùng LLM-powered

Context Offloading (đưa ngữ cảnh ra ngoài)

• Chiến lược tạo không gian bộ nhớ bên ngoài ngữ cảnh để lưu lại ghi chú
• Ví dụ, công cụ “think” của Anthropic cung cấp một scratchpad riêng để khuyến khích LLM lưu các ghi chú trung gian cần thiết
• Có thể áp dụng hữu ích trong phân tích đầu ra công cụ, xác minh chính sách, ra quyết định tuần tự, v.v.
• Việc lưu riêng các kết quả trung gian giúp ngăn ngữ cảnh bị ô nhiễm hoặc trở nên phức tạp không cần thiết
• Hiệu năng và độ chính xác được cải thiện, có trường hợp tăng tới 54%

Kết luận và điểm cần lưu ý khi thiết kế agent

• Quản lý ngữ cảnh chính là phần khó nhất trong thiết kế agent
• Khi lập trình với LLM, cách kết hợp và quản lý thông tin, công cụ và bối cảnh sẽ quyết định thành bại
• Dù cửa sổ ngữ cảnh có lớn đến đâu, không phải mọi thông tin đều hữu ích.
• Cần kiểm tra xem từng thành phần có thật sự mang lại giá trị hay không, và chủ động quản lý ngữ cảnh bằng 6 phương pháp được giới thiệu ở trên: RAG, Tool Loadout, Context Quarantine, Pruning, Summarization, Offloading