Open-R1: Dự án tái hiện mã nguồn mở hoàn chỉnh của DeepSeek-R1

DeepSeek-R1 là gì?

• Mô hình o1 của OpenAI được huấn luyện bằng cách sử dụng nhiều tài nguyên tính toán hơn để giúp các LLM thực hiện tốt hơn các tác vụ suy luận.
• DeepSeek-R1 cho thấy hiệu năng tương đương hoặc tốt hơn mô hình o1 của OpenAI, đồng thời học cách suy luận mà không cần giám sát của con người thông qua học tăng cường (RL) thuần túy.
• Việc công khai DeepSeek-R1 làm dấy lên nhiều câu hỏi về thu thập dữ liệu, huấn luyện mô hình và các quy luật mở rộng.

Họ đã làm điều đó như thế nào?

• DeepSeek-R1 là mô hình suy luận được xây dựng dựa trên DeepSeek-V3, và là mô hình 671B Mixture of Experts (MoE).
• DeepSeek-R1-Zero được huấn luyện chỉ bằng học tăng cường, sử dụng Group Relative Policy Optimization (GRPO) để tăng hiệu quả.
• DeepSeek-R1 cải thiện độ rõ ràng và khả năng đọc ở giai đoạn đầu bằng các ví dụ nhỏ, sau đó tạo ra câu trả lời nhất quán qua các giai đoạn học tăng cường và tinh lọc.

Open-R1: Những mảnh ghép còn thiếu

• Việc công khai DeepSeek-R1 mang lại lợi ích lớn cho cộng đồng, nhưng bộ dữ liệu và mã nguồn chưa được công bố.
• Dự án Open-R1 đặt mục tiêu tái cấu trúc dữ liệu và pipeline huấn luyện của DeepSeek-R1, đồng thời cung cấp tính minh bạch về cách học tăng cường cải thiện suy luận.

Kế hoạch theo từng giai đoạn của Open-R1

1. Tái hiện mô hình R1-Distill: Trích xuất bộ dữ liệu suy luận chất lượng cao từ DeepSeek-R1 và học chưng cất
2. Sao chép pipeline huấn luyện RL thuần túy của R1-Zero: Xây dựng bộ dữ liệu quy mô lớn về toán học, logic và mã
3. Xây dựng quy trình huấn luyện từng bước từ mô hình nền → SFT → RL

Cách đóng góp

• Có nhiều cách để đóng góp cho dự án Open-R1, như đóng góp mã hoặc tham gia thảo luận trên Hugging Face.
• Dự án này không chỉ tập trung vào việc tái hiện kết quả mà còn nhấn mạnh việc chia sẻ các hiểu biết với cộng đồng.