- Có rất nhiều tranh luận về mức độ mà các mô hình ngôn ngữ lớn (LLM) sở hữu Theory of Mind, tức khả năng hiểu người khác biết gì và không biết gì
- Trong notebook này, tác giả khám phá một phần của vấn đề đó bằng cách yêu cầu 9 chatbot LLM giải bài toán sinh nhật của Cheryl (một câu đố logic nổi tiếng trong đó các nhân vật có trạng thái kiến thức khác nhau ở những thời điểm khác nhau)
Tóm tắt hiệu năng của LLM
- Tất cả các LLM đều quen thuộc với bài toán, nên không cần mô tả bài toán trong prompt mà chỉ cần nhắc tên
- Phần lớn nhớ chính xác đáp án của bài toán là ngày 16 tháng 7
- Tuy nhiên, không mô hình nào có thể viết chương trình để tìm ra lời giải
- Tất cả LLM đều không phân biệt được các trạng thái kiến thức khác nhau của các nhân vật theo thời gian
- Ít nhất với bài toán này, các LLM không có Theory of Mind (điều này có thể là vì hầu như không có chương trình Python về Theory of Mind trong dữ liệu huấn luyện của LLM)
Tóm tắt phản hồi theo từng LLM
Con người thực tế
- Có thể giải chính xác bài toán gốc và viết chương trình xử lý cả các tập ngày mới lẫn các biến thể khác của bài toán
- Đã đưa ra khái niệm BeliefState, tức tập hợp các ngày khả dĩ mà một người tin là có thể là ngày sinh nhật
- Mô hình hóa phát biểu của các nhân vật thành các hàm nhận một ngày cụ thể làm đầu vào và trả về true nếu phù hợp với phát biểu
ChatGPT 4o
- Bắt đầu bằng phần tóm tắt bài toán rất tốt
- Đã cố viết lời giải tổng quát, nhưng không theo dõi được các trạng thái niềm tin khác nhau của các nhân vật theo thời gian
Microsoft Copilot
Gemini Advanced
- Điểm tốt là định nghĩa thành nhiều hàm, nhưng vẫn không xử lý đúng sự thay đổi trạng thái theo thời gian
Meta Llama 405B
Claude 3.5 Sonnet
- Điểm tốt là đã thử minh họa rõ ràng bằng các ngày khác nhau, nhưng với ví dụ thứ hai thì chỉ tình cờ báo đúng rằng không có lời giải
Perplexity
- Trông có vẻ hứa hẹn nhờ có các biến riêng albert_knows và bernard_knows, nhưng cuối cùng vẫn không xử lý đúng
- Dù nhận các ngày có thể làm tham số, nó lại bỏ qua đầu vào và định nghĩa
month_days dựa trên các ngày gốc
HuggingFace Chat
- Là mô hình duy nhất đề xuất định nghĩa lớp, nhưng vẫn mắc lỗi tương tự
- Dù nhận danh sách ngày có thể trong hàm khởi tạo, nó lại hardcode các tháng và ngày cụ thể của bài toán gốc
You.com
- Mắc lỗi tương tự các mô hình khác, nhưng kết cục còn chọn nhầm ngày thay vì không chọn được ngày nào
Ý kiến của GN+
- Đây là một cách thú vị để đánh giá năng lực Theory of Mind về mặt lý thuyết của LLM
- Tất cả LLM đều nhớ đáp án đúng, nhưng không mô hình nào tạo được chương trình theo dõi sự thay đổi trạng thái kiến thức của các nhân vật theo thời gian
- Điều này có thể là do các mẫu mã mà LLM được huấn luyện không bao gồm kiểu suy luận này
- Để cải thiện hiệu năng của LLM với dạng bài toán suy luận này, có thể hữu ích nếu huấn luyện bằng các chương trình xử lý tường minh những kịch bản như vậy
- Cần thử thêm nhiều bài toán tương tự để mở rộng hiểu biết của chúng ta về năng lực Theory of Mind của LLM
4 bình luận
Vì đây là một ngành công nghiệp tiên phong tối tân, nên nó giống như xây dựng một thứ gì đó chưa biết trên nền đất trống. Lúc này cũng cần đến trí tưởng tượng mang tính logic. Hãy nghĩ về người đồng sáng lập Apple.
Đã bị loại trừ vì có từ ngữ quảng cáo.
Sinh nhật của Cheryl trở nên nổi tiếng sau khi xuất hiện trong đề thi Olympic Toán học Singapore năm 2015, đến mức còn có cả trang wiki.
(Nghe nói thực ra cũng có một phiên bản ban đầu xuất hiện từ năm 2006.)
https://en.wikipedia.org/wiki/Cheryl%27s_Birthday
Bài toán như sau.
Albert và Bernard trở thành bạn của Cheryl và hỏi ngày sinh nhật của cô ấy.
Cheryl đưa cho họ 10 ngày sau.
Cheryl nói cho Albert biết tháng sinh nhật của mình, còn nói cho Bernard biết ngày sinh nhật.
Albert: Tôi không biết sinh nhật của Cheryl là khi nào, nhưng tôi biết Bernard cũng sẽ không biết.
Bernard: Ban đầu tôi cũng không biết sinh nhật của Cheryl là khi nào. Nhưng bây giờ thì tôi biết rồi.
Albert: Vậy thì bây giờ tôi cũng biết sinh nhật của Cheryl là khi nào.
Sinh nhật của Cheryl là ngày nào?
Ý kiến Hacker News
find_cheryls_birthdayphân tích các ngày có thể có để tìm ra ngày sinh của Cheryl