Hành trình đưa DeepSeek Inference Engine thành mã nguồn mở

• Đội ngũ DeepSeek đã công bố kế hoạch hoàn trả bộ máy suy luận nội bộ (DeepSeek Inference Engine) cho mã nguồn mở
• Bộ máy suy luận hiện tại dựa trên vLLM, và đang được cân nhắc chia sẻ khi nhu cầu triển khai các mô hình DeepSeek-V3 và R1 tăng lên
• Việc công khai toàn bộ là khó khả thi do code hiện có, các phụ thuộc hạ tầng và gánh nặng bảo trì, thay vào đó sẽ chuyển hướng sang cách đóng góp theo mô-đun và theo từng tính năng
• Trong thời gian tới, họ dự định phối hợp chặt chẽ với cộng đồng mã nguồn mở để chia sẻ các tối ưu hiệu năng và các tính năng có thể tái sử dụng
• DeepSeek sẽ tích cực đồng bộ hỗ trợ Day-0 với cộng đồng trong tối ưu suy luận và khi phát hành mô hình

---

Hành trình đưa DeepSeek Inference Engine thành mã nguồn mở

Phản hồi từ Open Source Week và các đóng góp tiếp theo

• Gần đây, tại Open Source Week, họ đã công khai mã nguồn của nhiều thư viện
• Trong bối cảnh cộng đồng phản hồi tích cực, hoạt động hợp tác, thảo luận và sửa lỗi đã diễn ra rất sôi nổi
• Từ đó, DeepSeek đã quyết định chia sẻ bộ máy suy luận nội bộ của mình dưới dạng mã nguồn mở

Công nghệ nền tảng

• Framework huấn luyện của DeepSeek dựa trên PyTorch
• Bộ máy suy luận được phát triển từ một bản fork ban đầu của dự án vLLM, với nhiều tùy biến chuyên biệt cho các mô hình DeepSeek

Những ràng buộc thực tế khi công khai toàn bộ dưới dạng mã nguồn mở

• Khác biệt codebase: bắt đầu từ một bản fork vLLM hơn 1 năm trước, nên dù cấu trúc tương tự nhưng đã thay đổi đáng kể
• Phụ thuộc vào hạ tầng nội bộ: gắn chặt với hạ tầng riêng của DeepSeek như các công cụ quản lý cụm, khiến việc sử dụng bên ngoài gặp khó khăn
• Thiếu nguồn lực bảo trì: với tư cách là một nhóm nghiên cứu nhỏ, họ không đủ dư địa để duy trì liên tục một dự án mã nguồn mở quy mô lớn

Phương án thay thế: hợp tác với các dự án mã nguồn mở hiện có

Trong thời gian tới, họ dự kiến đóng góp theo các hướng sau:

• Tách xuất các tính năng theo mô-đun: chia các thành phần có thể tái sử dụng thành các thư viện độc lập để đóng góp
• Chia sẻ tối ưu hiệu năng: đưa các cải tiến hiệu năng và ý tưởng thiết kế từ phần triển khai nội bộ vào các dự án mã nguồn mở hiện có

Lời cảm ơn tới cộng đồng và tầm nhìn phía trước

• Nếu không có cộng đồng mã nguồn mở, tiến bộ trong phát triển AGI có lẽ đã không thể đạt được
• Hệ điều hành, ngôn ngữ, framework ML, bộ máy suy luận... nền tảng của đổi mới AI chính là hệ sinh thái mã nguồn mở
• DeepSeek sẽ tiếp tục nỗ lực thông qua phối hợp với cộng đồng để đảm bảo lợi ích của AGI có thể đóng góp cho toàn nhân loại

[!NOTE]
Bài viết này là phần hướng dẫn về chiến lược mã nguồn mở hóa codebase của DeepSeek Inference Engine.
Trong tương lai, liên quan đến việc công bố mô hình, DeepSeek dự định tiếp tục mở rộng hợp tác với cộng đồng mã nguồn mở và các đối tác phần cứng.
Đặc biệt, trước khi phát hành mô hình, họ sẽ chia sẻ trước và đồng bộ các công nghệ liên quan đến suy luận để điều phối hệ sinh thái, qua đó cho phép hỗ trợ SOTA ngay từ Day-0 trên nhiều môi trường phần cứng khác nhau.

[GN⁺]

Ý kiến trên Hacker News

• Vào tháng 3, vLLM đã áp dụng các cải tiến từ bài báo của DeepSeek, giúp hiệu năng DeepSeek trong vLLM v0.7.3 tăng hơn khoảng 3 lần

  • Vẫn còn nhiều dư địa để cải thiện
  • Đã benchmark bằng vLLM với dataset sharegpt đạt 5K token/giây, và với random 2000/100 đạt 12K token/giây
  • Theo tổng quan hệ thống suy luận DeepSeek-V3/R1, mỗi node H800 cung cấp trung bình 73.7k token/giây đầu vào khi prefilling (bao gồm cache hit) hoặc 14.8k token/giây đầu ra khi decoding
  • DeepSeek triển khai một kiến trúc suy luận khác, nhưng điều này cho thấy vẫn còn nhiều chỗ để cải thiện
  • Mong sẽ có thêm mã nguồn mở

• Đồng cảm với điểm rẽ của codebase

  • Dựa trên fork ban đầu của vLLM rồi tùy biến cho mô hình DeepSeek khiến việc mở rộng trở nên khó khăn
  • Cách tiếp cận tách ra các thư viện con có thể bảo trì và chia sẻ trực tiếp thông tin là một cách tốt để hợp tác với cộng đồng
  • Có những trở ngại, nhưng họ không chọn con đường dễ là không đóng góp
  • Có thể chỉ chia sẻ thông tin về công nghệ thì sẽ tốt hơn, nhưng đây vẫn là chia sẻ tri thức
  • Có vẻ như việc không làm những điều đó sẽ dễ hơn cho họ
  • Xin dành lời khen cho họ

• Động cơ để các công ty AI thương mại chia sẻ kết quả nghiên cứu và bí quyết

  • Lý do Google công bố kiến trúc Transformer
  • Họ có thể muốn làm điều tốt cho nhân loại và thúc đẩy tiến bộ
  • Thắc mắc làm sao ban lãnh đạo công ty có thể đưa ra hành động đi ngược lợi ích thương mại
  • Tò mò liệu có logic thương mại nào thúc đẩy việc chia sẻ thông tin và tài sản trí tuệ hay không

• "Có những thứ thú vị cho cộng đồng mã nguồn mở, nhưng để chạy được bên ngoài công ty thì cần dọn dẹp rất nhiều, và không có nhân lực để bảo trì đúng cách sau khi phát hành"

  • Nhiều công ty đang ở trong tình huống này
  • Mong họ mã nguồn mở nó kèm một ghi chú kiểu: "Chúng tôi sẽ không bảo trì cái này, nhưng cứ tự do fork nhé"

• Đã thấy công việc kỹ thuật tốt từ DeepSeek

  • Mong điều này sẽ tiếp tục

• Tò mò liệu đây có phải là chiến lược của Trung Quốc nhằm tung ra hàng loạt công cụ AI, mô hình mã nguồn mở, v.v. để đối phó với sự thống trị của Mỹ hay không

  • Nghĩ đây là điều tốt cho thị trường

• tl;dr "Fork của vLLM đã trở nên không thể duy trì, và giờ họ định xây dựng lại một cách công khai"

• Cảm giác đây là một cách để triển khai kiểm duyệt