Một tác vụ đơn giản cho thấy sự sụp đổ suy luận ở các LLM mới nhất

Alice ở xứ sở thần tiên: một tác vụ đơn giản cho thấy sự sụp đổ hoàn toàn của suy luận trong các mô hình ngôn ngữ lớn mới nhất

Tóm tắt các ý chính

• Mô hình ngôn ngữ lớn (LLMs): các mô hình thể hiện hiệu năng mạnh mẽ trên nhiều tác vụ và điều kiện khác nhau, đồng thời tuân theo quy luật mở rộng rằng hiệu năng được cải thiện khi tăng quy mô tiền huấn luyện.
• Vấn đề: các mô hình ngôn ngữ lớn mới nhất cho thấy sự sụp đổ nghiêm trọng về chức năng và năng lực suy luận trong các bài toán thường thức đơn giản. Ngay cả với những vấn đề con người có thể giải quyết dễ dàng, chúng vẫn tự tin đưa ra câu trả lời sai và biện minh cho đáp án sai bằng những lời giải thích phi logic.
• Các can thiệp thất bại: những nỗ lực nhằm dẫn dắt mô hình tìm ra câu trả lời đúng thông qua nhiều dạng tăng cường prompt hoặc tái đánh giá nhiều bước đều thất bại.
• Cần đánh giá lại: cần đánh giá lại các năng lực được tuyên bố của thế hệ mô hình ngôn ngữ lớn hiện nay, đồng thời xây dựng các benchmark chuẩn hóa có thể phát hiện đúng mức những lỗi suy luận cơ bản này.

Ý kiến của GN⁺

• Giới hạn kỹ thuật: điều này cho thấy các mô hình ngôn ngữ lớn vẫn còn giới hạn trong một số tình huống nhất định. Điều đó gợi ý rằng cần thêm nghiên cứu và cải tiến để nâng cao độ tin cậy của mô hình.
• Benchmark chuẩn hóa: cần có các benchmark chuẩn hóa mới để đánh giá chính xác hiệu năng của mô hình. Điều này có thể giúp các nhà nghiên cứu hiểu rõ hơn điểm yếu của mô hình và cải thiện chúng.
• Ứng dụng thực tế: những khiếm khuyết này cho thấy cần thận trọng khi sử dụng mô hình ngôn ngữ lớn trong các ứng dụng thực tế. Đặc biệt, nếu được dùng cho các quyết định quan trọng thì có thể phát sinh vấn đề về độ tin cậy.
• Công nghệ thay thế: có thể cần cân nhắc các công nghệ AI hoặc mô hình khác. Ví dụ như học tăng cường hoặc các mô hình lai có thể là lựa chọn thay thế.
• Hướng nghiên cứu tương lai: nghiên cứu này đưa ra những hướng đi mới để vượt qua giới hạn của mô hình ngôn ngữ lớn. Chẳng hạn, cần phát triển các mô hình có thể mô phỏng tốt hơn năng lực thường thức và suy luận của con người.

[GN⁺]

Ý kiến trên Hacker News

• Với những ai định đọc bài báo, phần chính của bài có thể đọc nhanh trong 10 trang đầu.
• Các ví dụ được nêu trong bài báo khá dễ hiểu, nhưng vẫn còn nghi ngờ liệu các công cụ có thực sự giải quyết được vấn đề hay không.
• Các công cụ AI thực ra không suy nghĩ hay lập luận, nhưng nhiều người vẫn có xu hướng xem chúng là AI đa dụng.
• Có vẻ bài báo khó có thể ảnh hưởng đến sự cường điệu quanh AI.
• Với câu hỏi: "Alice có 60 anh em trai và 212 chị em gái. Anh em trai của Alice có bao nhiêu chị em gái?", GPT-4 đã đưa ra đáp án đúng.
• Khi trong thí nghiệm, mô hình được dẫn dắt để không "nghĩ thành tiếng", GPT-4 liên tục đưa ra đáp án sai.
• Ở các ví dụ phức tạp hơn, GPT-4 có xu hướng thất bại.
• Mô hình Gemini giải được bài toán mà không cần gợi ý thêm, nhưng lại bối rối khi được đưa các con số.
• Dựa trên giả định rằng Alice không thể có hàng trăm anh em, tôi cho rằng câu hỏi này không hợp lý.
• Các bộ dữ liệu đánh giá của những LLM lớn đều đã nằm trong dữ liệu huấn luyện, nên vô dụng cho việc đánh giá độ tin cậy.
• Cách tốt hơn là tạo ra các bài kiểm tra mới để đánh giá LLM.
• Khả năng công chúng phổ thông giải được những câu đố như vậy trong thời gian giới hạn là không cao.
• Bài toán AIW+ khó giải hơn bài toán AIW thông thường.
• Vì các tác giả bài báo đã tạo ra hàng trăm bài toán cây gia đình, nên đáp án có thể trông như rất rõ ràng.
• Vấn đề được nêu trong bài báo thực chất là một biến thể của câu đố rất cơ bản.
• Có vẻ bài báo đã chọn lọc các kết quả tiêu cực gây bất ngờ để trình bày.
• LLM vẫn còn yếu trong suy luận quan hệ.
• LLM thiếu khả năng duy trì sự tập trung trong thời gian dài.
• Ý tưởng cho rằng LLM có thể hiện thực hóa AGI chỉ là kiểu suy nghĩ đầy hy vọng.
• Có một bài thuyết trình rất hay cho thấy LLM cực kỳ yếu trong việc lập kế hoạch và suy luận.