LIMO: Suy luận càng ít càng tốt (Less is More for Reasoning)

• Tổng quan nghiên cứu

  • Mô hình LIMO đưa ra một phát hiện giúp hiểu mới về cách năng lực suy luận phức tạp xuất hiện trong các mô hình ngôn ngữ lớn.
  • Trái với suy nghĩ trước đây, suy luận toán học phức tạp có thể được khơi gợi hiệu quả chỉ với số lượng ít ví dụ.
  • Chỉ với 817 mẫu huấn luyện, LIMO đạt độ chính xác 57.1% trên AIME và 94.8% trên MATH.
  • Đây là kết quả cải thiện lớn so với 6.5% và 59.2% của các mô hình dựa trên SFT trước đó, đồng thời chỉ sử dụng 1% dữ liệu huấn luyện của các cách tiếp cận trước đây.

• Hiệu năng của LIMO

  • LIMO cho thấy mức cải thiện hiệu năng tuyệt đối 40.5% trên 10 benchmark khác nhau, vượt qua các mô hình được huấn luyện với lượng dữ liệu nhiều hơn gấp 100 lần.
  • Điều này thách thức quan niệm trước đây rằng SFT dẫn đến khả năng khái quát hóa hơn là ghi nhớ.

• Giả thuyết LIMO

  • Giả thuyết LIMO đề xuất rằng nếu tri thức theo miền đã được mã hóa đầy đủ trong mô hình nền tảng trong giai đoạn tiền huấn luyện, thì năng lực suy luận phức tạp có thể xuất hiện chỉ với số lượng minh họa tối thiểu.
  • Ngưỡng để khơi gợi suy luận phức tạp được quyết định bởi hai yếu tố chính:
    1. Mức độ hoàn chỉnh của nền tảng tri thức được mã hóa trong mô hình trong quá trình tiền huấn luyện.
    2. Hiệu quả của các ví dụ hậu huấn luyện với vai trò là các "mẫu nhận thức", cho thấy cách mô hình tận dụng nền tảng tri thức để giải các bài toán suy luận phức tạp.

• Cung cấp mã nguồn mở

  • LIMO được cung cấp như một bộ mã nguồn mở toàn diện nhằm thúc đẩy khả năng tái lập và các nghiên cứu trong tương lai về suy luận hiệu quả dữ liệu.