Hỏi HN: Tháng 12/2023, làm thế nào để huấn luyện một LLM/ChatGPT tùy biến bằng chính tài liệu của tôi?

Cách cung cấp một bộ tài liệu tùy chỉnh cho LLM

• Thảo luận về cách tốt nhất để cung cấp bộ tài liệu của người dùng cho LLM (Large Language Models) nhằm nhận được câu trả lời phù hợp mà không tạo ra kết quả phi thực tế.
• Tập trung vào cách "dạy" cho LLM một bộ tài liệu cụ thể. Điều này không nhất thiết có nghĩa là huấn luyện mô hình riêng, mà cũng bao gồm các cách tiếp cận như RAG (Retrieval-Augmented Generation).
• Có một chủ đề từ 5 tháng trước, nhưng cần thông tin phù hợp với tình hình hiện tại vào tháng 12/2023.

Ý kiến của GN⁺

• Việc sử dụng LLM để trích xuất thông tin chính xác từ một bộ tài liệu cụ thể đang ngày càng trở nên quan trọng cùng với sự phát triển của công nghệ.
• Những kỹ thuật này giúp người dùng có được kết quả tùy chỉnh như mong muốn, và có thể được ứng dụng trong nhiều lĩnh vực như business intelligence, nghiên cứu, giáo dục, v.v.
• Việc tận dụng các cách tiếp cận hiện có như RAG hoặc tìm kiếm phương pháp mới là rất quan trọng; điều này sẽ góp phần nâng cao khả năng ứng dụng của LLM và mang lại kết quả chính xác, đáng tin cậy hơn.

[GN⁺]

Ý kiến trên Hacker News

• Việc huấn luyện trên tài liệu thực ra không diễn ra; nhiều startup dùng thuật ngữ này nhưng trên thực tế họ dùng RAG (Retrieval-Augmented Generation).

  • Llamaindex được xem là lựa chọn tốt nhất.
  • Phần lớn các startup tuyên bố huấn luyện trên tài liệu thực chất đang dùng RAG.
  • Khuyến nghị tìm các script tự động tạo cặp câu hỏi và câu trả lời bằng qLoRA.
  • Rất hiếm trường hợp được dùng thành công cho kho tri thức tài liệu cá nhân; chủ yếu được dùng cho các kỹ năng như toán học, suy luận, Python, v.v.
  • Đã được chứng minh bằng thực nghiệm rằng chỉ đơn giản đưa một tập tài liệu vào fine-tuning là không hiệu quả.

• Cần cân nhắc các cách tiếp cận khác nhau tùy theo lượng tài liệu.

  • RAG hoạt động tốt với tập dữ liệu nhỏ, và Llamaindex đã làm rất nhiều kỹ thuật trong lĩnh vực này.
  • Kết hợp fine-tuning và RAG hiệu quả với các tập dữ liệu lớn có kiến thức có thể dễ dàng tìm thấy trên internet.
  • Tiền huấn luyện liên tục là cần thiết khi có tập dữ liệu rất lớn và kiến thức độc quyền.

• AWS Bedrock dễ sử dụng; có thể tải tài liệu lên S3, đồng bộ vào cơ sở dữ liệu vector và dùng qua API.

  • Bedrock là một sản phẩm cung cấp nhiều mô hình khác nhau cùng một API chung.

• h2ogpt là một triển khai RAG đầy đủ tính năng, có thể xử lý tài liệu ở nhiều định dạng và hỗ trợ nhiều cách triển khai hosting mô hình.

• Có thể mua tài khoản ChatGPT và tải tài liệu của mình lên, từ đó tạo ra AI hội thoại tùy chỉnh.

• GPT4 Assistants hiện có thể xử lý RAG theo mặc định, và PrivateGPT là một trong những lựa chọn nổi tiếng cho việc này.

• Copilot Builder của Microsoft Office cho phép người dùng tạo AI Copilot chỉ trong vài giây bằng cách chỉ định URL cơ bản, tệp đã tải lên, v.v.

• Cheshire Cat là một framework trợ lý AI lưu tài liệu dưới dạng "ký ức" để có thể truy xuất lại sau này.

• Có một video hướng dẫn cách fine-tune Mistral 7B bằng QLoRA, đồng thời đề cập rằng kỹ thuật RAG có thể là lựa chọn phù hợp hơn.