Vai trò của tri thức thủ tục trong tiền huấn luyện đối với việc thúc đẩy suy luận của mô hình ngôn ngữ lớn

• Ảnh hưởng của tri thức thủ tục đối với suy luận của mô hình ngôn ngữ lớn

• Năng lực và giới hạn của mô hình ngôn ngữ lớn (LLM) đã được nghiên cứu chi tiết trong vài năm gần đây. LLM cho thấy khả năng giải quyết vấn đề, nhưng khi so với con người vẫn tồn tại khoảng cách về suy luận, từ đó đặt ra nghi vấn về độ vững chắc của các chiến lược khái quát hóa.

• Do khối lượng dữ liệu khổng lồ được dùng trong thiết kế LLM, rất khó áp dụng phương pháp đo lường khái quát hóa truyền thống là tách bộ huấn luyện và bộ kiểm thử. Để vượt qua điều này, nghiên cứu xem xét các chiến lược khái quát hóa mà LLM sử dụng trong dữ liệu tiền huấn luyện khi thực hiện các tác vụ suy luận.

• Sử dụng hai kích thước mô hình (7B và 35B) cùng 2.5B token tiền huấn luyện, nghiên cứu xác định các tài liệu ảnh hưởng đến đầu ra của mô hình đối với ba tác vụ suy luận toán học đơn giản, rồi so sánh chúng với dữ liệu ảnh hưởng đến việc trả lời các câu hỏi thực tế.

• Mô hình chủ yếu sử dụng các tập dữ liệu riêng biệt cho từng câu hỏi thực tế, nhưng với các câu hỏi suy luận khác nhau trong cùng một tác vụ, tài liệu thường tạo ra ảnh hưởng tương tự, cho thấy sự hiện diện của tri thức thủ tục.

• Câu trả lời cho các câu hỏi thực tế thường xuất hiện trong dữ liệu có ảnh hưởng lớn nhất, nhưng với câu hỏi suy luận thì bản thân đáp án hoặc đáp án của các bước suy luận trung gian không cho thấy mức ảnh hưởng cao.

• Phân tích định tính các tài liệu hàng đầu đối với câu hỏi suy luận xác nhận rằng những tài liệu có ảnh hưởng thường chứa tri thức thủ tục, thể hiện cách giải thông qua công thức hoặc mã.

• Những phát hiện này cho thấy cách tiếp cận suy luận mà mô hình sử dụng không chỉ là truy xuất đơn thuần, mà là một chiến lược có thể khái quát hóa bằng cách tổng hợp tri thức thủ tục từ các tài liệu thực hiện những dạng suy luận tương tự.

[GN⁺]

Ý kiến Hacker News

• Chỉ ra rằng LLM không thể tìm thấy ví dụ cho mọi bài toán trong dữ liệu huấn luyện, đồng thời nói rằng không có đủ ví dụ truy xuất dữ kiện cần thiết cho kiểu khám phá giống truy hồi thông tin

  • Điều này không mâu thuẫn với bài báo LLM của Apple, và họ tin rằng LLM chỉ có thể thực hiện những biến thể nhỏ từ các ví dụ có sẵn
  • Bày tỏ sự khó chịu với việc dùng thuật ngữ "suy luận", cho rằng đây là cách các công ty LLM tạo ra để diễn đạt công nghệ theo hướng cảm tính
  • Nhấn mạnh rằng khả năng chỉ dẫn máy móc bằng ngôn ngữ tự nhiên là một bước tiến lớn

• Chỉ ra rằng con người phải giải quyết vấn đề theo từng bước thì mạng nơ-ron mới có thể bắt chước điều đó

  • Giải thích lợi ích bất ngờ của việc huấn luyện bằng mã

• Nhắc đến việc LLM cho thấy năng lực giải quyết vấn đề, nhưng vẫn có khoảng cách về suy luận khi so với con người

  • Chỉ ra rằng nhiều người dùng xem LLM đơn thuần là bộ dự đoán token tiếp theo

• Giải thích rằng khi mô hình ngôn ngữ trả lời các câu hỏi suy luận, chúng thường truy xuất thông tin từ một tập tài liệu giới hạn

  • Ngược lại, đề xuất rằng việc kéo thông tin từ nhiều tài liệu có liên hệ trừu tượng với câu hỏi nên là một chiến lược suy luận có tính khái quát hơn

• Lập luận rằng quá trình tiền huấn luyện của Google đóng vai trò quan trọng trong thiết kế chip

  • Giải thích rằng việc các thử nghiệm không dùng tiền huấn luyện chưa đạt tới trình độ công nghệ hiện tại là điều đương nhiên

• Đặt câu hỏi vì sao các hình ảnh được tạo ra lại mang cảm giác như ác mộng, và cho rằng cần nhiều dữ liệu huấn luyện suy luận hơn

  • Nhắc đến việc chứng minh toán học có thể là "quả thấp dễ hái" nhất trong dữ liệu phi tổng hợp

• Thông qua so sánh AlphaGo và AlphaZero, giải thích rằng tri thức quy trình của con người có ích cho huấn luyện ML, nhưng có thể cũng có giới hạn

• Đề xuất rằng huấn luyện bằng ghi chú của học sinh, bài thi, bài phê bình sách, v.v. có thể giúp LLM tốt hơn, và nói rằng điều này sẽ rất thú vị