Phát hiện ảo giác của mô hình ngôn ngữ lớn bằng entropy ngữ nghĩa

Phát hiện ảo giác bằng entropy ngữ nghĩa trong mô hình ngôn ngữ lớn

Tóm tắt

• Mô hình ngôn ngữ lớn (LLM): Các hệ thống LLM như ChatGPT hay Gemini cho thấy khả năng suy luận và trả lời câu hỏi vượt trội, nhưng thường gặp vấn đề 'ảo giác' khi tạo ra đầu ra sai hoặc câu trả lời không có căn cứ.
• Vấn đề ảo giác: Gây ra nhiều vấn đề như bịa đặt tiền lệ pháp lý, thông tin sai lệch trong bài báo, và rủi ro trong lĩnh vực y tế.
• Giới hạn của các giải pháp hiện có: Việc định hướng tính trung thực thông qua giám sát hoặc học tăng cường mới chỉ thành công một phần.
• Phương pháp mới: Đề xuất một bộ ước lượng bất định dựa trên entropy và thống kê để phát hiện các thế hệ sinh ngẫu nhiên và sai lệch (confabulation). Cách này tính bất định ở mức ý nghĩa thay vì dựa vào thứ tự từ cụ thể.
• Khả năng áp dụng: Hoạt động không phụ thuộc vào bộ dữ liệu hay tác vụ, không cần kiến thức trước về tác vụ và có khả năng khái quát mạnh với các tác vụ mới.

Nội dung chính

Tầm quan trọng của vấn đề ảo giác

• Định nghĩa ảo giác: Khi LLM tạo ra nội dung không trung thành với nguồn đã cho hoặc phi logic.
• Ví dụ về confabulation: Tạo ra các câu trả lời ngẫu nhiên khác nhau cho cùng một câu hỏi.
• Các nguyên nhân hiện có: Được huấn luyện bằng dữ liệu sai, nói dối để theo đuổi phần thưởng, hoặc thất bại có hệ thống trong suy luận hay khái quát hóa.

Phát hiện confabulation bằng entropy ngữ nghĩa

• Tổng quan phương pháp: Đo lường định lượng khả năng đầu vào sẽ dẫn đến việc tạo ra câu trả lời ngẫu nhiên và thiếu căn cứ.
• Entropy ngữ nghĩa: Tính entropy dựa trên ý nghĩa của câu để ước lượng bất định. Entropy cao biểu thị mức bất định cao.
• Phân cụm: Tính entropy bằng cách phân cụm các câu trả lời có ý nghĩa tương tự nhau.

Đánh giá và kết quả

• Bộ dữ liệu: Được đánh giá trên nhiều bộ dữ liệu như TriviaQA, SQuAD, BioASQ, NQ-Open, SVAMP.
• Mô hình: Được thử nghiệm trên nhiều mô hình như LLaMA 2 Chat, Falcon Instruct, Mistral Instruct, GPT-4.
• Hiệu năng: Entropy ngữ nghĩa cho hiệu năng tốt hơn entropy đơn giản hoặc các phương pháp học có giám sát hiện có.

Hiệu năng tổng thể

• AUROC: Chỉ số đo khả năng dự đoán lỗi của mô hình; entropy ngữ nghĩa đạt điểm cao nhất.
• AURAC: Chỉ số đo độ chính xác trên các câu hỏi còn lại sau khi từ chối những câu hỏi có khả năng cao gây confabulation; entropy ngữ nghĩa cho hiệu năng tốt nhất.

Ý kiến của GN⁺

1. Tính thực tiễn: Entropy ngữ nghĩa có thể áp dụng cho nhiều bộ dữ liệu và tác vụ, nên tính thực tiễn cao. Đặc biệt, nó khái quát rất tốt sang các tác vụ mới.
2. Đóng góp kỹ thuật: Vượt qua giới hạn của cách tính entropy đơn giản hiện có và đề xuất một cách tiếp cận mới để đo bất định ở mức ngữ nghĩa.
3. Tiềm năng tương lai: Phương pháp này về sau cũng có thể được áp dụng để cải thiện độ tin cậy của tóm tắt trừu tượng hoặc LLM hội thoại.
4. Giới hạn: Không giải quyết được trường hợp hệ thống học dữ liệu sai một cách có hệ thống hoặc lỗi suy luận có hệ thống. Những vấn đề này cần cách tiếp cận riêng.
5. Công nghệ cạnh tranh: So với các phương pháp ước lượng bất định khác, entropy ngữ nghĩa cho hiệu năng vượt trội, nhưng trong một số tình huống nhất định các phương pháp khác có thể hiệu quả hơn.

[GN⁺]

Ý kiến trên Hacker News

• Vấn đề toán học: Cách tiếp cận đánh giá phân phối đầu ra của LLM có vấn đề về mặt toán học.
• Ví dụ về độ tương đồng: Dùng ví dụ Tom Cruise và Taylor Swift để giải thích sự khác biệt giữa độ tương đồng trong không gian vector từ và độ chính xác.
• Đặc tính phân phối: Có ý kiến cho rằng không thể đánh giá độ chính xác nếu không biết đặc tính của phân phối đầu ra.
• Mô hình thống kê: Có các mô hình thống kê để đánh giá độ bất định của ANN, nhưng ở quy mô LLM thì có thể không thực tế.
• Vấn đề hallucination: Phần lớn hallucination trông rất hợp lý và thuyết phục, nhưng thực tế lại là thông tin sai.
• Hệ thống logic: Có ý kiến cho rằng LLM cần được huấn luyện sao cho bao gồm cả các hệ thống logic.
• Quy trình huấn luyện: Nên dùng các mô hình hiện có để tạo ra các quan hệ logic, rồi dùng chúng cho việc huấn luyện LLM mới.
• Vai trò của ngôn ngữ: Có ý kiến cho rằng ngôn ngữ không phải nền tảng của trí tuệ, mà mô phỏng nhất quán mới quan trọng hơn.
• Hallucination và sự thật: Có ý kiến cho rằng LLM không liên quan đến đúng sai hay sự thật.
• Bản chất của hallucination: Muốn biết LLM có đang hallucination hay không thì phải biết sẵn đáp án đúng.
• Marketing AI: Có thể sẽ tốt hơn nếu marketing AI như một công cụ tạo văn bản.
• Phân tích độ nhạy: Việc thay đổi đầu vào để xem ý nghĩa của đầu ra thay đổi thế nào có thể là một hướng thú vị.
• Trường hợp Enron: Có nhắc đến trường hợp sau vụ Enron, nơi người ta có thể dự đoán bằng cách dùng 'bullshitometer'.
• Đo lường định lượng: Đã phát triển một cách để đo lường định lượng khả năng đầu vào tạo ra câu trả lời ngẫu nhiên.
• Giảm thiểu hallucination: Có ý kiến cho rằng cần áp dụng nhiều biện pháp ở các mức độ khác nhau để giảm thiểu hallucination.
• Knowledge graph: Có những nỗ lực dùng knowledge graph và FAQ để giảm hallucination.
• LLM kép: Dùng một LLM thứ hai để phát hiện tính tương đương ngữ nghĩa có thể gây ra độ phức tạp không cần thiết.