Phân tích các LLM để hiểu năng lực suy luận

Tìm hiểu: mô hình suy luận

• Định nghĩa mô hình suy luận: Mô hình suy luận là quá trình trả lời những câu hỏi cần tạo nhiều bước, bao gồm các bước trung gian, để giải quyết vấn đề phức tạp. Ví dụ, câu hỏi như "Nếu một đoàn tàu chạy 60 dặm/giờ trong 3 giờ thì đi được bao xa?" cần suy luận, khác với câu hỏi đơn giản dựa trên sự thật.

• Vì sao cần mô hình suy luận: Phù hợp với các tác vụ phức tạp như câu đố, bài toán nâng cao và bài toán lập trình phức tạp. Tuy nhiên, chúng không cần thiết cho các tác vụ đơn giản như tóm tắt, dịch thuật và hỏi đáp dựa trên tri thức. Mô hình suy luận tốn kém hơn và đôi khi có thể gây lỗi do suy nghĩ quá mức.

Pipeline huấn luyện DeepSeek R1

• DeepSeek-R1-Zero: Mô hình dựa trên DeepSeek-V3 đã tiền huấn luyện 671B, được huấn luyện chỉ bằng học tăng cường (RL). Đây được gọi là huấn luyện "cold start", và khác với RLHF thông thường ở chỗ không có giai đoạn fine-tuning có giám sát (SFT).

• DeepSeek-R1: Mô hình suy luận chủ lực của DeepSeek, được cải thiện từ DeepSeek-R1-Zero thông qua giai đoạn SFT bổ sung và huấn luyện RL.

• DeepSeek-R1-Distill: Sử dụng dữ liệu SFT được tạo ở giai đoạn trước để fine-tune các mô hình Qwen và Llama nhằm cải thiện năng lực suy luận.

4 phương pháp chính để xây dựng và cải thiện mô hình suy luận

1. Scaling tại thời điểm suy luận: Cách tăng tài nguyên tính toán trong lúc suy luận để cải thiện chất lượng đầu ra. Ví dụ, thêm các cụm từ như "hãy nghĩ từng bước" vào prompt đầu vào để khuyến khích mô hình tạo ra các bước suy luận trung gian.

2. Học tăng cường thuần túy (RL): DeepSeek-R1-Zero cho thấy suy luận có thể xuất hiện như một hành vi thông qua RL thuần túy. Mô hình sử dụng phần thưởng về độ chính xác và phần thưởng về định dạng để phát triển các kỹ năng suy luận cơ bản.

3. Fine-tuning có giám sát (SFT) và học tăng cường (RL): DeepSeek-R1 kết hợp SFT và RL để cải thiện hiệu năng suy luận. Đây là một cách tiếp cận quan trọng để xây dựng mô hình suy luận hiệu năng cao.

4. Fine-tuning có giám sát (SFT) thuần túy và chưng cất: DeepSeek huấn luyện các mô hình nhỏ hơn để tăng hiệu quả. Dù là mô hình nhỏ hơn, chúng vẫn cho hiệu năng tương đối mạnh so với DeepSeek-R1-Zero.

Nhận định về DeepSeek R1

• DeepSeek-R1 được phát hành theo giấy phép MIT mã nguồn mở, trở thành một nguồn tài nguyên hữu ích cho giới nghiên cứu. So với o1 của OpenAI, DeepSeek-R1 hiệu quả hơn về thời gian suy luận. Tuy nhiên, do thiếu chi tiết về o1 của OpenAI, việc so sánh trực tiếp là khó khăn.

Phát triển mô hình suy luận với ngân sách hạn chế

• Chưng cất mô hình có thể là một lựa chọn thay thế hiệu quả về chi phí. Nhóm DeepSeek đã chứng minh điều này với các mô hình R1-distilled, nhỏ hơn rất nhiều so với DeepSeek-R1 nhưng vẫn thể hiện hiệu năng suy luận mạnh mẽ.

[GN⁺]

Ý kiến trên Hacker News

• Có xu hướng các mô hình suy luận của LLM được tối ưu hóa quá mức cho các bài toán lập trình và toán học

  • Những vấn đề không được xác định rõ cần nhiều suy luận hơn, và điều này phải vượt ra ngoài sự mơ hồ đơn thuần của kỹ thuật phần mềm
  • LLM có xu hướng được căn chỉnh quá mức với các bài toán toán học nên ở những lĩnh vực khác lại không suy nghĩ đủ sâu
  • Thích tự học và cần một đối thoại viên có thể hiểu các chủ đề phức tạp cũng như nhận ra những hiểu lầm
  • LLM có thể giải tốt các bài toán lập trình, nhưng đang được căn chỉnh quá mức với các câu đố lập trình/toán học

• Cần có nghiên cứu về việc huấn luyện LLM bằng ngôn ngữ hình thức bị giới hạn thay vì ngôn ngữ tự nhiên

  • Đã có công việc tích hợp Lean với ChatGPT, nhưng đó không phải là cách do LLM được huấn luyện bằng ngôn ngữ tự nhiên dẫn dắt
  • Hình dung một hệ thống có thể thử nhiều cách tiếp cận một cách sáng tạo và tránh được các lộ trình sai

• "Suy nghĩ quá mức" của các mô hình suy luận có thể trở thành vấn đề lớn tiếp theo

  • Suy nghĩ sâu hơn không phải lúc nào cũng tốt hơn

• Bài báo R1 khá dễ đọc và kết quả tự tự giải thích

  • Khuyến nghị đọc các bài báo R1, V3 và DeepSeekMath

• Việc LLM có thực sự "nghĩ" hay không là một cuộc thảo luận riêng

  • Việc máy tính có thể suy nghĩ hay không là vấn đề đã được giải quyết từ lâu

• Có những trường hợp thực tế AI nhận diện quá mức trong ảnh y khoa

  • Dữ liệu huấn luyện khiến nó nhận ra các yếu tố biểu thị ung thư

• Cần hiểu rằng LLM không thể suy luận

• Tuyên bố về "aha moment" trong báo cáo kỹ thuật DeepSeek-R1 là đáng nghi

  • Nó dựa trên mô hình DeepSeek V3 và gặp vấn đề suy nghĩ quá mức cùng các vấn đề về định dạng
  • Cộng đồng đang nỗ lực tái hiện pipeline này

• Vài tháng trước đã đề xuất trên HN một phương pháp tinh chỉnh để cải thiện LLM, và hiện nay điều đó được mô tả là "suy luận"

  • Không ngờ DeepSeek lại chiếm lĩnh thị trường bằng một phương pháp đơn giản như vậy
  • Cần nghiêm túc xem xét trực giác