Huawei bị tố sao chép các mô hình Qwen và DeepSeek rồi tuyên bố là mô hình của hãng

• Huawei bị tố nội bộ rằng đã sao chép các mô hình AI cỡ lớn của Qwen và DeepSeek, sau đó đưa ra như sản phẩm tự phát triển mang tên ‘Pangu’
• Theo lời kể của một nhân viên nội bộ trong đội Pangu, một số mô hình thực chất không phải do hãng tự phát triển mà chỉ là các mô hình mã nguồn mở bên ngoài được đổi tên
• Về mặt kỹ thuật, các mô hình chủ chốt như 135B V2 và Pro MoE 72B được xác định là có mức độ trùng khớp đáng kể với cấu trúc của Qwen và DeepSeek
• Nội bộ cho biết cách làm này đã dẫn tới suy giảm tinh thần nghiên cứu và chảy máu nhân sự, đồng thời sự kém hiệu quả trong quản trị và chính sách nhân sự thiếu minh bạch càng làm vấn đề trầm trọng hơn
• Dù vẫn có những mô hình thực sự do hãng tự phát triển như Pangu V3, việc sao chép và văn hóa nghiên cứu không được ghi nhận đã để lại tổn hại lớn đối với niềm tin trong toàn tổ chức
• Người tố giác cho biết đã quyết định công khai sự thật dưới danh tính thật của mình, đồng thời kêu gọi tổ chức tự nhìn lại và thay đổi

---

Bi kịch của Pangu: nội tình đau đớn phía sau mô hình ngôn ngữ lớn Pangu của Huawei Noah Ark Lab

Giới thiệu người tố giác và bầu không khí tại hiện trường

• Tác giả cho biết mình thuộc đội mô hình lớn Pangu của Huawei Noah, đồng thời xác thực danh tính bằng cách đối chiếu thông tin nội bộ về cơ cấu tổ chức, dự án và thành phần lãnh đạo
• Dự án Pangu trên thực tế gần với một tổ chức giao hàng hơn là một tổ chức nghiên cứu, liên tục bị ép tiến độ, làm việc quá tải, và chịu áp lực không ngừng từ các đợt đánh giá lẫn báo cáo
• Cường độ công việc và tính quan liêu ở mức cực đoan; việc phải sống tại ký túc xá xa gia đình trong thời gian dài và làm cuối tuần diễn ra thường xuyên
• Trên thực tế, thay vì quyền tự chủ và sáng tạo trong nghiên cứu, văn hóa doanh nghiệp bị chi phối bởi tiến độ bàn giao và chỉ tiêu thành tích của từng dòng sản phẩm như Cloud, ICT

Những đêm không ngủ, ý thức sáng tạo bị chà đạp

• Sau tranh cãi về việc đạo nhái mô hình Qwen, một bộ phận nhà nghiên cứu đồng thời trải qua sự xấu hổ, tức giận và bất lực
• Bản thân người tố giác nói rằng dù lo sợ sự trả đũa từ một tập đoàn khổng lồ và mạng lưới nội bộ, họ không thể tiếp tục chịu đựng việc che giấu sự thật và quảng bá sai lệch ra bên ngoài, nên đã quyết định lên tiếng theo lương tâm

Khó khăn kỹ thuật và khởi đầu của việc sao chép

• Các mô hình Pangu giai đoạn đầu từng cố gắng tự huấn luyện trên nền tảng Huawei Ascend NPU, nhưng gặp phải hàng loạt thử sai nghiêm trọng như hiệu suất tokenizer thấp và hiệu năng mô hình yếu
• Họ bị tụt lại phía sau các mô hình dùng GPU của đối thủ như Alibaba và Zhipu, còn nỗ lực huấn luyện mô hình dense 230B nội bộ thì kết thúc trong thất bại
• Vì vậy, phòng thí nghiệm mô hình nhỏ đã gắn mác “tự phát triển”, nhưng trên thực tế lại sao chép mô hình Qwen-1.5 (110B) và chỉnh sửa nhẹ để tạo ra 135B V2 rồi đưa vào sử dụng; ngay trong nội bộ cũng lộ rõ sự tương đồng về mã và cấu trúc
• Lãnh đạo chủ chốt và ban quản lý được cho là biết rõ thực trạng này nhưng vẫn làm ngơ vì áp lực thành tích và nhu cầu thể hiện kết quả ra bên ngoài

Thành tựu kỹ thuật thực sự: Pangu V3

• Sau nhiều nỗ lực, đội ngũ đã huấn luyện độc lập từ đầu trên Ascend một mô hình Pangu V3 (135B Ultra) hoàn toàn do hãng tự phát triển
• Họ vượt qua nhiều trở ngại kỹ thuật như thống nhất tokenizer và ổn định đường cong loss, qua đó đạt hiệu năng tương đương đối thủ
• Thành tựu này là bằng chứng cho năng lực phát triển mô hình lớn độc lập, không phải sao chép, và là nguồn tự hào của đội ngũ nghiên cứu

Nỗi vất vả không được ghi nhận đằng sau sự phân công

• Phòng thí nghiệm mô hình nhỏ liên tục lấy dữ liệu, mã nguồn và kết quả rồi dễ dàng chỉnh sửa/phân phối mô hình, trong khi thành tích và phần thưởng phần lớn lại thuộc về tổ chức đó
• Vì vậy, nhiều nhà nghiên cứu tận tâm либо rời tổ chức, hoặc chua chát coi đây là vết nhơ trong sự nghiệp kỹ thuật của mình

Các trường hợp sao chép lần hai như 224B MoE/718B clone

• Trong quá trình phát triển mô hình MoE 718B mới, họ tiếp tục gần như sao chép nguyên trạng DeepSeekv3 rồi đặt tên là Pangu Pro MoE 72B để phát hành
• Nội bộ biết rõ cách làm này, nhưng bầu không khí chung là im lặng vì nỗi sợ cho sự sống còn của chính mình và nỗi sợ nói ra sự thật

Quản trị hành chính phi lý

• Với các nhà nghiên cứu thực thụ, tổ chức áp dụng nghiêm ngặt quy trình, phả hệ mô hình và hệ thống kiểm toán, khiến tốc độ phát triển bị chậm lại
• Nhưng với các mô hình sao chép, tiêu chuẩn kép “cấp trên làm thì đều được thông qua” vẫn ăn sâu bén rễ

Lý do công khai và quyết định từ chức

• Sau vụ HonestAGI, công ty bắt đầu triển khai quản lý khủng hoảng và nỗ lực che giấu ở cấp nội bộ
• Người tố giác nói rằng họ không thể tiếp tục tham gia vào “các báo cáo giả” và sự thông đồng nội bộ, đồng thời bày tỏ ý định yêu cầu xóa tên mình khỏi danh sách thành viên dự án, báo cáo, và tự nguyện nghỉ việc

Lời kêu gọi cuối cùng và tình cảm dành cho đồng nghiệp

• Nhiều đồng nghiệp đã chuyển sang ByteDance, DeepSeek, Tencent, Kuaishou và các công ty khác, cho thấy tình trạng chảy máu chất xám tại Huawei là rất nghiêm trọng
• Tác giả nhấn mạnh rằng nếu có đổi mới, môi trường phù hợp và ít cản trở chính trị hơn, họ hoàn toàn có thể phát triển mô hình lớn và chip ở đẳng cấp thế giới
• Người này cũng bày tỏ sẵn sàng chấp nhận cả nguy cơ bị đe dọa an toàn cho bản thân và gia đình do việc xác thực nội dung và các tiết lộ bổ sung sau này

Giải thích thêm về các tình tiết liên quan

• Trong trường hợp clone 135B V2, phòng thí nghiệm mô hình nhỏ chỉ hưởng lợi về khen thưởng và ưu đãi, còn gánh nặng hỗ trợ downstream và bảo trì lại bị đẩy sang đội phát triển gốc (4th brigade)
• Ngay cả trong phần ghi tên tác giả của báo cáo kỹ thuật Pangu, những người có đóng góp cốt lõi cho việc phát triển mô hình vẫn bị loại ra, trong khi có cả người không đóng góp thuộc phòng thí nghiệm mô hình nhỏ được đưa vào, cho thấy các thực hành học thuật thiếu công bằng đã trở nên phổ biến

[GN⁺]

Ý kiến trên Hacker News

• Có quan điểm cho rằng tác giả bài gốc thể hiện một góc nhìn khá ngây thơ. Ở giai đoạn đầu, đội Ascend (tính theo NPU 910A thế hệ 1) có hiệu năng kém hơn Nvidia, và đó là kết quả đương nhiên. Ban lãnh đạo đã hỗ trợ đội đi theo phương án thay thế dựa trên GPU có thể thương mại hóa ngay, và hướng đi này được củng cố bởi chính trị nội bộ. Cuối cùng đội Ascend cũng giải quyết được các vấn đề kỹ thuật, nhưng nhiều thành viên đã kiệt sức hoặc chuyển sang các công ty AI khác của Trung Quốc vì bị đối xử bất công, thiên vị quan liêu và thiếu ghi nhận. HW (có lẽ là Huawei) từ lâu đã có chiến lược và văn hóa khai thác quá mức nhân tài hạng nhất; ngay từ thập niên 90, khi các nhà mạng Trung Quốc tuyển người từ Nortel, Siemens, Lucent, nhiều nhân sự gốc Hoa vốn quen với văn hóa công sở phương Tây đã khó thích nghi với văn hóa doanh nghiệp Trung Quốc thực tế và bị burnout, nhưng rốt cuộc HW vẫn thống trị ngành nhờ văn hóa làm việc cực đoan. Giờ đây, sau lệnh trừng phạt, công ty đã trở thành doanh nghiệp mang tính chiến lược, với giá trị tăng mạnh nhờ bán dẫn, chip nội địa và AI. Trong bối cảnh quốc tế hiện tại, HW đã ở vị thế có thể làm bất cứ điều gì để thống trị thị trường. Qua bức thư nghỉ việc này có thể thấy HW rốt cuộc đã đổ đủ nhân lực để đưa Ascend lên mức có thể vận hành, và về sau có khả năng tiếp tục ném nhân tài vào đó đến mức đủ sức cạnh tranh với Nvidia. Không chỉ tác giả mà đa số người đi làm đều có trực giác rằng trả công công bằng và tạo môi trường làm việc tốt cho nhân viên là điều thiết yếu. Nhưng trong 30 năm qua, HW đã liên tục chiến thắng bằng cách trả lương cực cao cho vô số người rất thông minh (bao gồm cả những người yêu nước), ném họ vào giải quyết vấn đề và thúc ép đến khi họ gục ngã
• LLM về cấu trúc vốn hoàn toàn không tương thích với bản quyền. Nếu đã có thể dùng dữ liệu của người khác để huấn luyện mà không trả đồng nào, thì theo logic đó việc sao chép cũng phải là tự do. Cuối cùng đây chỉ là hiệu ứng boomerang của việc sao chép
  • Một cách ngây thơ thì là không tương thích, nhưng có người cho rằng luật sư rồi sẽ tìm ra cách hợp pháp hóa bằng cách nào đó
• Trước đây các nhà xuất bản bản đồ thường cài những con hẻm giả để dễ phát hiện vi phạm bản quyền. Có người thắc mắc liệu cách này có thể áp dụng cho LLM hay không
  • Khi làm ở Malwarebytes, từng có nghi ngờ rằng IOBit đã đánh cắp DB. Dù đã có bằng chứng rõ ràng, để người bình thường cũng dễ hiểu, họ tạo ra một chương trình sản phẩm mới chỉ tồn tại trên đúng một máy duy nhất rồi thêm chữ ký của nó vào DB. Chương trình đó là một tệp không độc hại, thực tế không thể phát tán; khi phía bên kia thêm nó vào DB của họ, vụ việc được công bố trên blog và gây tiếng vang lớn. Trường hợp liên quan: vụ IOBit ăn cắp
  • Một ví dụ tiêu biểu là cố tình cài các lỗi hoặc hiện tượng bất thường cực nhỏ nhưng vô hại vào chip máy tính. Nhiều sản phẩm do Trung Quốc làm ra là kết quả reverse engineering từ sản phẩm của công ty khác như TI nên có nhiều kiểu khuyết điểm như vậy. Ngay cả trong nội bộ Trung Quốc họ cũng làm trò đó với nhau. Tất cả đều bị xem là cùng một kiểu lách luật
  • Từng thấy ví dụ về dự án OML 1.0: Fingerprinting. Đây là công cụ nhúng dấu vân tay vào mô hình để nhận diện quyền sở hữu LLM và ngăn chặn sử dụng trái phép
  • YouTuber Jay Foreman từng làm video về những con hẻm giả trên bản đồ
  • Trong bài tố cáo gốc bằng tiếng Trung có đoạn sau: nhóm phân tích Honestagi ngạc nhiên khi mô hình này vẫn cho độ tương đồng rất cao dù đã trải qua thời gian fine-tuning bổ sung rất dài. Lượng tài nguyên tính toán dùng để “rửa” các tham số của mô hình này đủ để tạo mới một mô hình cùng cấp. Theo lời đồng nghiệp, họ còn thử nhiều cách như cố tình huấn luyện bằng dữ liệu bị ô nhiễm để xóa watermark của Qwen. Cách làm này sẽ trở thành một trường hợp chưa từng có tiền lệ trong lĩnh vực nghiên cứu phả hệ mô hình và về sau có thể được dùng làm ví dụ chuẩn khi kiểm chứng các phương pháp nghiên cứu mới
• Apple đã giới thiệu một LLM dựa trên Qwen2.5-Coder-7B nhưng có bổ sung ý tưởng riêng. Thay đổi chính là mô hình được huấn luyện tùy biến bằng các ví dụ mã do Apple tự tạo, và khi tăng nhiệt độ thì nó có thể sinh ra nhiều khối mã mà không cần giữ thứ tự. Bài liên quan: tin về Apple LLM thảo luận HN
• Nhấn mạnh vào hiệu quả kiểu Trung Quốc. Có ý kiến cho rằng phương Tây đang bị trói chân bởi luật bản quyền của quá khứ
• Đây là một bản báo cáo rất con người và thẳng thắn. Nó cho thấy sự hỗn loạn bên trong tập đoàn lớn và cấu trúc mà lãnh đạo gây áp lực theo hướng có lợi hơn cho những đội ngũ thiếu trung thực. Tác giả đã rời công ty và được đánh giá là người có nhân cách tốt
  • Thực ra bản báo cáo này cần được đặt cùng mạch với các thư nghỉ việc khác xuất hiện liên tiếp gần đây ở Trung Quốc. Gần đây bài viết rời công ty của một cựu binh Alibaba 15 năm cũng chỉ trích rằng sự suy tàn của văn hóa doanh nghiệp tại các tập đoàn lớn là nguyên nhân làm suy yếu năng lực cạnh tranh và khiến sản phẩm mới thất bại. Các luận điểm của báo cáo là: 1. Sự thổi phồng ở tầm quốc gia về năng lực của Huawei 2. Sự dối trá với khách hàng trả tiền 3. Thực trạng thao túng chỉ số thành tích gần như được ngầm cho phép hoặc khuyến khích dưới hệ thống quản trị ám ảnh KPI (và việc này, cùng với lý tưởng và sự mất niềm tin của tác giả, là cốt lõi của báo cáo)
• Có người cảm thấy câu “Thứ Bảy về cơ bản là ngày làm việc, nhưng đôi khi lại có giờ trà chiều hoặc thậm chí cả món tôm” mang chất thơ. Họ thắc mắc liệu có lý do đặc biệt nào khiến món tôm càng nước ngọt được phục vụ trong hoàn cảnh như vậy không
  • Có suy đoán rằng “dù phải làm thứ Bảy nhưng thỉnh thoảng vẫn có đồ ăn nhẹ, và tôm càng nước ngọt có thể đơn giản là món rất được ưa chuộng, hoặc cũng có thể là dịch sai”
• Có người thấy lạ trước mô tả tổ chức kiểu “Chúng tôi thuộc dự án ‘Tập đoàn quân dã chiến số 4’, LLM ngôn ngữ lõi là Lữ đoàn 4, còn nhóm mô hình nhỏ của Wang Yunhe là Lữ đoàn 16”. Họ nghi ngờ không biết đây có phải là tổ chức thực sự thuộc quân đội đảng cộng sản hay không
  • Có quan điểm cho rằng Tập đoàn quân dã chiến số 4 thực sự đã không còn tồn tại sau năm 1955, nên nhiều khả năng đây chỉ là cách đặt mật danh tiếp tục được dùng cho dự án LLM
  • Có nhắc đến văn hóa doanh nghiệp kiểu quân đội của Huawei. Ngay cả chương trình orientation cho nhân viên mới cũng được tổ chức như lễ tốt nghiệp huấn luyện quân sự. Tài liệu tham khảo: văn hóa quân sự hóa của Huawei
• Có câu hỏi rằng rốt cuộc ai mới là người tạo ra mô hình nguyên thủy ban đầu
• Từng có trường hợp một thành viên Huawei Lab thực sự phá hoại quá trình huấn luyện mô hình rồi bị sa thải, và có ý kiến nghi ngờ liệu đó có phải chính là người tố cáo ở trên hay không
  • Có lẽ trường hợp được nhắc tới là vụ một thực tập sinh ByteDance cài mã độc vào mô hình AI rồi bị sa thải. Bài liên quan: bytedance-intern-fired