Vì sao mô hình ngôn ngữ tạo ra ảo giác? by OpenAI

Vấn đề độ tin cậy của hệ thống AI

1. Nỗ lực nâng cao tính hữu ích và độ tin cậy của hệ thống AI

   • OpenAI đang nỗ lực để làm cho hệ thống AI hữu ích hơn và đáng tin cậy hơn.
   • Dù có những nỗ lực này, một trong những vấn đề khó giải quyết ngay cả khi mô hình ngôn ngữ ngày càng mạnh hơn là ảo giác (hallucinations).

2. Định nghĩa và vấn đề của ảo giác

   • Ảo giác là khi câu trả lời do mô hình tạo ra một cách đầy tự tin lại không đúng sự thật.
   • Đây là một vấn đề quan trọng có thể làm suy giảm độ tin cậy của hệ thống AI.

3. Kết quả nghiên cứu và nguyên nhân của ảo giác

   • Một bài nghiên cứu mới cho rằng lý do mô hình ngôn ngữ tạo ra ảo giác là vì quy trình huấn luyện và đánh giá tiêu chuẩn thường thưởng cho việc đoán thay vì thừa nhận sự không chắc chắn.
   • Điều này làm tăng khả năng mô hình AI tạo ra thông tin sai.

4. Hiện tượng ảo giác ở ChatGPT và GPT-5

   • ChatGPT cũng gặp hiện tượng ảo giác.
   • GPT-5 tuy đã giảm đáng kể ảo giác, đặc biệt khi thực hiện suy luận, nhưng hiện tượng này vẫn có thể xảy ra.
   • Điều này cho thấy vẫn cần có nghiên cứu và cải tiến liên tục để nâng cao độ tin cậy của hệ thống AI.

Định nghĩa ảo giác

• Ảo giác là những phát biểu có vẻ hợp lý nhưng sai do mô hình ngôn ngữ tạo ra.
• Những ảo giác này có thể xuất hiện theo cách không lường trước được, và thậm chí xảy ra cả với những câu hỏi đơn giản.

Ví dụ về ảo giác

• Ví dụ, khi hỏi một chatbot phổ biến về tiêu đề luận án tiến sĩ của Adam Tauman Kalai, chatbot đã tự tin đưa ra ba câu trả lời khác nhau.
• Tuy nhiên, các câu trả lời đó đều sai.

Vấn đề của phương pháp đánh giá

• Phương pháp đánh giá hiện nay đang đặt ra các động lực sai lệch.
• Bản thân việc đánh giá không trực tiếp gây ra ảo giác, nhưng phần lớn cách đánh giá hiệu năng mô hình hiện nay lại khuyến khích đoán và làm suy yếu sự trung thực về mức độ không chắc chắn.
• Ví dụ, nếu nghĩ đến bài kiểm tra trắc nghiệm, khi không biết đáp án, việc đoán bừa vẫn có thể đúng nếu may mắn.
• Cách làm này tạo ra một môi trường mà thành tích có thể được cải thiện nhờ đoán ngẫu nhiên hơn là nhờ đánh giá chính xác.

Cách đánh giá hiệu năng của mô hình

1. Khái niệm đánh giá hiệu năng mô hình
   Việc đánh giá hiệu năng của mô hình được thực hiện dựa trên độ chính xác của câu trả lời cho câu hỏi được đưa ra.

2. Xử lý sự không chắc chắn
   Nếu mô hình không biết câu trả lời cho một câu hỏi cụ thể, việc trả lời rằng "không biết" không đảm bảo sẽ nhận được điểm chính xác.

3. Khả năng đoán
   Ví dụ, nếu mô hình đoán ngày sinh của ai đó là "10 tháng 9", thì vẫn có xác suất 1/365 đoán đúng.

4. Khác biệt về điểm số hiệu năng
   Trên hàng nghìn câu hỏi kiểm tra, mô hình thích đoán có thể đạt kết quả tốt hơn trên bảng điểm so với mô hình thận trọng biết thừa nhận sự không chắc chắn.

Kết luận và hàm ý

• Giới hạn trong đánh giá hiệu năng mô hình
  Dù mô hình hay đoán có thể ghi điểm cao hơn, cần lưu ý rằng điều đó không có nghĩa là nó thực sự cung cấp thông tin chính xác.

• Tầm quan trọng của độ tin cậy
  Vì vậy, khi đánh giá độ tin cậy và độ chính xác của mô hình, cần xem xét không chỉ điểm số đơn thuần mà còn cả tầm quan trọng của việc cung cấp thông tin chính xác.

So sánh độ chính xác và tỷ lệ lỗi của mô hình

• Độ chính xác: mô hình OpenAI o4-mini đời cũ cho thấy hiệu năng nhỉnh hơn đôi chút.
• Tỷ lệ lỗi: nhưng tỷ lệ lỗi của mô hình này (tức tỷ lệ phát sinh ảo giác) lại khá cao.
• Đoán có chiến lược: đoán một cách có chiến lược khi không chắc chắn có thể cải thiện độ chính xác, nhưng lại làm tăng lỗi và ảo giác.
• Tiêu chí đánh giá: khi lấy trung bình kết quả từ hàng chục bài đánh giá, phần lớn benchmark nhấn mạnh chỉ số độ chính xác. Điều này dẫn đến một sự nhị phân sai lầm giữa đúng và sai.

Cách tiếp cận mới trong đánh giá

1. Nêu vấn đề
   Cách đánh giá hiện tại chỉ tập trung vào độ chính xác. Điều này có thể trở thành yếu tố làm giảm độ tin cậy của việc đánh giá.

2. Đề xuất giải pháp
   Có thể tiếp cận theo hướng áp dụng mức phạt lớn hơn với lỗi sai nhưng đầy chắc chắn, và mức phạt nhẹ hơn với sự không chắc chắn. Đây có thể là cách nâng cao tính công bằng của đánh giá.

3. Cho điểm một phần
   Việc cho điểm một phần đối với cách thể hiện sự không chắc chắn phù hợp là rất quan trọng. Điều này tạo cơ hội để học sinh hoặc người làm bài thể hiện suy nghĩ của mình.

4. Xu hướng nghiên cứu
   Nhiều nhóm nghiên cứu đang khám phá các phương pháp đánh giá có tính đến sự không chắc chắn và calibration. Cách tiếp cận này có thể đưa ra những tiêu chuẩn mới vượt ra ngoài độ chính xác đơn thuần.

Hiểu nguyên nhân của ảo giác

• Ảo giác là hiện tượng xuất hiện những sai lệch thực tế cụ thể.
• Nguồn gốc của những sai lệch này nằm ở quá trình học của mô hình ngôn ngữ.
• Mô hình ngôn ngữ học thông qua pretraining bằng cách dự đoán từ tiếp theo từ một lượng lớn văn bản.
• Khác với các bài toán machine learning truyền thống, mỗi phát biểu không được gắn nhãn "đúng/sai".

Tính dai dẳng của vấn đề ảo giác

• Có nhiều lý do khiến việc loại bỏ ảo giác trở nên khó khăn.
• Cách mô hình ngôn ngữ được huấn luyện đóng vai trò quan trọng trong việc tạo ra ảo giác.
• Vì phương thức học này không trực tiếp cung cấp thông tin chính xác, nên ảo giác có thể xuất hiện.
• Tính đặc thù và phức tạp của ảo giác có liên hệ chặt chẽ với dữ liệu huấn luyện của mô hình ngôn ngữ.

Tầm quan trọng của góc nhìn thống kê

• Bài nghiên cứu này nhằm làm rõ bản chất của ảo giác và phản bác những hiểu lầm phổ biến.
• Thông qua cách tiếp cận thống kê, nghiên cứu muốn góp phần phân tích và hiểu hiện tượng ảo giác.
• Ảo giác có liên hệ mật thiết với độ chính xác của mô hình AI.

Mối quan hệ giữa ảo giác và độ chính xác

• Lập luận: có niềm tin rằng nếu cải thiện độ chính xác thì ảo giác sẽ biến mất.
• Có ý kiến cho rằng mô hình đạt độ chính xác 100% sẽ không bao giờ tạo ra ảo giác.
• Tuy nhiên, cách nhìn này bỏ qua bản chất thật sự của ảo giác.

Giới hạn của độ chính xác

• Phát hiện: độ chính xác sẽ không bao giờ đạt tới 100%.
• Lý do:
  1. bất kể kích thước mô hình
  2. bất kể khả năng truy xuất và suy luận
  3. một số câu hỏi trong thế giới thực vốn dĩ không thể trả lời
• Những giới hạn này cho thấy không thể loại bỏ hoàn toàn hiện tượng ảo giác.

Hướng nghiên cứu trong tương lai

• Nghiên cứu trong tương lai cần tìm kiếm các cách tiếp cận thay thế để giảm ảo giác.
• Bên cạnh việc nâng cao độ chính xác của mô hình, cần có nhiều phương pháp luận khác nhau để hiểu nguyên nhân của ảo giác và giải quyết chúng.
• Hiểu sâu hơn về hiện tượng ảo giác sẽ góp phần nâng cao độ tin cậy của trí tuệ nhân tạo.