Hiểu giới hạn suy luận toán học của LLM

GSM-Symbolic: Hiểu giới hạn suy luận toán học của mô hình ngôn ngữ lớn

• Những tiến bộ gần đây của mô hình ngôn ngữ lớn (LLM) đã khơi dậy sự quan tâm đối với năng lực suy luận hình thức trong toán học.
• Benchmark GSM8K được sử dụng rộng rãi để đánh giá suy luận toán học của mô hình đối với các câu hỏi ở trình độ tiểu học.
• Hiệu năng của LLM trên GSM8K đã cải thiện đáng kể trong những năm gần đây, nhưng liệu năng lực suy luận toán học thực sự có tiến bộ hay không vẫn chưa rõ ràng.
• Để giải quyết vấn đề này, nghiên cứu đã thực hiện một khảo sát quy mô lớn trên nhiều mô hình mới nhất, cả mã nguồn mở lẫn đóng.
• Để khắc phục giới hạn của các cách đánh giá hiện có, nghiên cứu giới thiệu GSM-Symbolic, một benchmark cải tiến được cấu thành từ các mẫu ký hiệu cho phép tạo ra nhiều dạng câu hỏi khác nhau.
• GSM-Symbolic cho phép đánh giá được kiểm soát tốt hơn, từ đó cung cấp chỉ số đáng tin cậy hơn để đo lường năng lực suy luận.
• Kết quả nghiên cứu cho thấy LLM thể hiện mức biến động đáng kể khi trả lời các phiên bản khác nhau của cùng một câu hỏi.
• Đặc biệt, trên benchmark GSM-Symbolic, chỉ cần thay đổi giá trị số trong câu hỏi cũng làm hiệu năng của mọi mô hình suy giảm.
• Nghiên cứu cũng khảo sát tính dễ tổn thương trong suy luận toán học của các mô hình này, và cho thấy hiệu năng giảm mạnh khi số lượng mệnh đề trong câu hỏi tăng lên.
• Từ đó đưa ra giả thuyết rằng các LLM hiện nay chưa thể thực hiện suy luận logic thực sự, mà chủ yếu sao chép các bước suy luận từ dữ liệu huấn luyện.
• Khi thêm vào câu hỏi một mệnh đề có vẻ liên quan nhưng không đóng góp vào chuỗi suy luận cần thiết để đi đến đáp án cuối cùng, hiệu năng của mọi mô hình hiện đại đều giảm tới 65%.

Tóm tắt của GN⁺

• Nghiên cứu này giúp hiểu chi tiết hơn về năng lực và giới hạn suy luận toán học của mô hình ngôn ngữ lớn.
• Benchmark GSM-Symbolic cung cấp một công cụ giúp đánh giá chính xác hơn năng lực suy luận của mô hình thông qua nhiều dạng câu hỏi khác nhau.
• Nghiên cứu cho thấy LLM có xu hướng sao chép các bước suy luận từ dữ liệu huấn luyện hơn là thực hiện suy luận logic thực sự.
• Một số benchmark khác được khuyến nghị để đánh giá năng lực suy luận toán học gồm có MATH, MATHQA, v.v.

[GN⁺]

Ý kiến trên Hacker News

• Sự suy giảm hiệu năng của LLM tương tự khả năng giải quyết vấn đề của sinh viên năm nhất đại học. Các bài toán đơn giản được xử lý tốt, nhưng với những bài cần nối nhiều bước thì độ chính xác giảm đi. Điều này cho thấy LLM có thể tư duy logic ở mức của một học sinh tốt nghiệp trung học
  • Ví dụ, với các bài toán có chứa thông tin không cần thiết, hiệu năng của LLM giảm đáng kể. Điều này cũng tương tự con người khi đọc những bài toán có kèm thông tin thừa
• Kết quả nghiên cứu về điểm yếu trong suy luận toán học cho thấy hiệu năng giảm khi số mệnh đề trong câu hỏi tăng lên. Điều này có thể là vì LLM không thể thực hiện suy luận logic thực sự
  • Trong quá trình token hóa, việc dự đoán các bài toán số học đơn giản trở nên vô nghĩa. Điều này gợi ý sự cần thiết của việc dùng công cụ, nhưng lại là tín hiệu tiêu cực đối với suy luận logic thực sự
• Xuất hiện kết quả tương tự với bài toán "Alice in Wonderland". Đây có thể là vấn đề của một mô hình đang ở trạng thái trung gian giữa đối sánh mẫu và suy luận
  • Điều này cho thấy không thể tin cậy hoàn toàn vào các kết quả benchmark LLM liên quan đến toán học và suy luận. Ký tự, con số và cấu trúc câu trong bài toán ảnh hưởng lớn đến kết quả
• Trong benchmark GSM-Symbolic, chỉ cần thay đổi giá trị số cũng làm hiệu năng của tất cả mô hình suy giảm. Đây là bằng chứng của hiện tượng quá khớp, cho thấy LLM có giới hạn mang tính nền tảng trong việc học suy luận toán học
• Cách "tư duy" của LLM phần lớn đủ để vượt qua chương trình học ở trường. Tuy nhiên, nếu gặp giáo viên ra đề không dựa vào đối sánh mẫu, chúng có thể gặp khó khăn
• Với những câu đố logic nổi tiếng, LLM không thể giải được bài toán nếu thay đổi một vài yếu tố cụ thể. Điều này cho thấy LLM không thể thực hiện suy luận hình thức
• Dù LLM không thể suy luận hình thức, chúng vẫn có thể giải được nhiều bài toán logic bằng cách áp dụng các "bước suy luận" từ dữ liệu huấn luyện. Đây là một sự lưỡng phân thú vị
• Sẽ rất thú vị nếu có nghiên cứu cho thấy giới hạn của suy luận toán học ở con người và động vật. Có thể tồn tại những ý tưởng mà con người không thể hiểu được, và điều đó làm dấy lên câu hỏi liệu ta có thể tạo ra những cỗ máy suy luận theo cách mà con người không thể làm được hay không