Project Digits của Nvidia, “siêu máy tính AI cá nhân”
(techcrunch.com)- Nvidia đã công bố tại CES 2025 một thiết bị nhỏ gọn có thể đặt trên bàn làm việc, dựa trên phần cứng AI Grace Blackwell
- Project Digits là siêu máy tính AI cá nhân chạy cục bộ toàn bộ ngăn xếp phần mềm AI của Nvidia, nhắm tới một lựa chọn nằm giữa đám mây và máy trạm
- Nvidia cho biết một thiết bị đơn có GB10 Grace Blackwell Superchip, hỗ trợ hiệu năng tối đa 1 petaflop và chạy được mô hình tới 200 tỷ tham số
- GB10 được phát triển cùng với MediaTek, gồm GPU Blackwell, CPU Grace 20 lõi, 128GB bộ nhớ và bộ nhớ flash tối đa 4TB
- Dự kiến được bán với giá 3.000 USD từ tháng 5 thông qua các đối tác chính, nên dù là một môi trường phát triển AI cục bộ mạnh mẽ, nhóm người mua cá nhân có thể sẽ bị giới hạn
Grace Blackwell xuất hiện trên bàn làm việc
- Nvidia đã giới thiệu Project Digits tại CES 2025 ở Las Vegas
- Project Digits là “siêu máy tính AI cá nhân” cung cấp nền tảng phần cứng Grace Blackwell của hãng trong một kiểu dáng nhỏ gọn
- Các đối tượng chính được nhắm tới là nhà nghiên cứu AI, nhà khoa học dữ liệu và sinh viên
- CEO Jensen Huang giải thích rằng Project Digits chạy toàn bộ ngăn xếp AI của Nvidia và có thể được dùng như một nền tảng điện toán đám mây đặt trên bàn làm việc cũng như một máy trạm
Quy mô chạy mô hình và cấu hình phần cứng
-
GB10 Grace Blackwell Superchip
- Project Digits được trang bị GB10 Grace Blackwell Superchip mới của Nvidia
- Thiết bị cung cấp hiệu năng tính toán tối đa 1 petaflop cho việc tạo mẫu, tinh chỉnh và chạy mô hình AI
- Nvidia cho biết một thiết bị Project Digits đơn lẻ có thể chạy mô hình tối đa 200 tỷ tham số
-
Cấu hình chip và bộ nhớ
- GB10 được phát triển với sự hợp tác của MediaTek
- Đây là cấu trúc kết nối giữa GPU Nvidia Blackwell và CPU Nvidia Grace 20 lõi
- Bên trong có 128GB bộ nhớ hợp nhất và bộ nhớ flash tối đa 4TB
-
Mở rộng và cách sử dụng
- Kết nối hai máy Project Digits có thể cho phép chạy mô hình tối đa 405 tỷ tham số tùy theo tác vụ
- Có thể dùng độc lập hoặc kết nối với PC Windows hoặc Mac thông thường
- Hệ điều hành là DGX OS dựa trên Linux của Nvidia
Thời điểm ra mắt và giá bán
- Project Digits dự kiến sẽ được bán với giá 3.000 USD từ tháng 5 thông qua “các đối tác chính”
- Huang nói rằng việc đưa Grace Blackwell Superchip đến với hàng triệu nhà phát triển và đặt siêu máy tính AI lên bàn làm việc của các nhà khoa học dữ liệu, nhà nghiên cứu AI và sinh viên sẽ mở rộng sự tham gia vào kỷ nguyên AI
2 bình luận
Hy vọng hiệu năng cũng sẽ tốt như lời quảng bá và việc bảo trì cũng được thực hiện tốt.
Ý kiến trên Hacker News
Nhìn chiếc Jetson Nano nằm trong góc, Nvidia đã bỏ rơi nó sau 4 năm nên giờ nghỉ hưu chỉ còn làm cái chặn giấy
Nó được tung ra như một máy tính bo mạch đơn dành cho “AI”, nhưng lại dựa trên một bản Ubuntu 18.04 tùy biến vốn đã lỗi thời; khi 18.04 hết hỗ trợ, Nvidia cũng dừng hẳn việc cập nhật JetPack độc quyền và driver
Kết quả là cả stack machine learning như CUDA, Pytorch cũng trở nên vô dụng; trừ khi hỗ trợ phần mềm được đưa vào upstream của Linux kernel, tôi sẽ không mua máy tính bo mạch đơn của Nvidia nữa
Quan hệ giữa Nvidia và Linux nói chung khá phức tạp. Họ có cung cấp driver, nhưng một trong những cách chắc chắn nhất để làm hỏng một bản cài Linux đến mức không cứu được là cài hoặc nâng cấp driver đó
Cảm giác như họ chỉ chịu làm mức tối thiểu để có thể nói rằng “nó chạy được”, hơn là ưu tiên Linux như một nền tảng được hỗ trợ hạng nhất
Thành thật mà nói, máy tính bo mạch đơn của Nvidia gây phiền toái nhiều hơn lợi ích nhận được
Có vẻ đã cải thiện nhiều, nhưng vì trong bản fork JetPack Linux vẫn có driver
nvgpuriêng cho Tegra và nó vẫn chưa được tách khỏi cây đó, nên hạn chế “kernel không có GPU” là khá lớnNếu không làm rõ ràng về robotics và suy luận AI ở edge thì có những lựa chọn thay thế tốt hơn
Thiết bị này, xét theo tên gọi, thiết kế kiểu DGX và phần mềm như DGX OS, có cảm giác gần với thiết kế Grace Hopper/datacenter hơn là Tegra
Phía workstation/server như vậy dùng UEFI, và có khả năng dùng Linux kernel upstream cùng driver Nvidia mã nguồn mở trên bản phân phối bạn muốn
Nếu đúng thế, nó có thể trở thành một máy Linux thông thường, quen thuộc hơn nhiều so với dòng Jetson, nhưng vẫn chưa rõ GH200/GB200 có cần các bản vá tùy biến hay không
Thời gian sẽ trả lời, nhưng nếu một GPU tốt kết hợp với một thiết kế ARM Cortex tốt và hoạt động giống một hộp Linux truyền thống hơn dòng Jetson, nó có thể trở thành một máy suy luận AI cục bộ tuyệt vời
Theo kinh nghiệm, các nhà cung cấp không theo kịp upstream về bản vá bảo mật. Nghĩ đến hệ sinh thái đóng của Nvidia thì tôi không kỳ vọng nhiều vào hỗ trợ dài hạn
Cái này có vẻ có ý nghĩa lớn hơn cả GPU dòng 5x
Xét cơn sốt AI/LLM, ngay cả nếu M4 Max/Ultra Mac mini ra mắt, nó vẫn có thể ăn bớt một phần nhóm nhà phát triển AI kiểu sở thích mà Apple đang nắm
Vài năm qua có vẻ Nvidia làm đúng mọi thứ, khiến tôi ước gì mình đã nắm cổ phiếu của họ
Xeon Phi thất bại vì nhiều lý do, nhưng tính sẵn có của phần mềm được tối ưu hóa không nhất thiết phải là một phần thất bại đó
Hiện nay có Xeon, EPYC, MI300C với nhiều core tiết kiệm điện, nhưng nếu trong 10 năm qua chúng ta đã dùng phần mềm được tối ưu cho loại phần cứng này thì bài toán khai thác hiệu năng đã được giải quyết rồi
Với Itanium cũng vậy, điều đầu tiên Intel lẽ ra phải đảm bảo là hỗ trợ Linux tốt, và việc đó có thể chuẩn bị từ trước khi silicon đầu tiên ra đời
Trong một thời gian, hỗ trợ Itanium khá tốt, nhưng giờ nó đã là một nền tảng chết từ lâu
Sun cũng thất bại tương tự với SPARC. Sau khi họ từ bỏ workstation, không còn lộ trình onboarding dễ dàng nữa
Việc giữ cho hệ điều hành còn liên quan bằng OpenSolaris và gần như làm ngơ cho x86 Solaris để mọi người có thể học và đào tạo là điều họ đã làm tốt
Giá mà Oracle Cloud ít nhất cung cấp SPARC dưới dạng instance đám mây thì tốt
IBM cũng đang đi theo con đường đó. Không có máy POWER nhập môn hợp lý nào đủ sức cạnh tranh về hiệu năng với x86 cấp workstation
Gần như chỉ có những máy half-rack nhỏ có thể đặt trong thùng máy cạnh bàn
Tôi hầu như không thấy công ty nào muốn triển khai hệ thống mới bằng AIX, IBMi, Linux on POWER, vì xây dựng trên các nền tảng cạnh tranh quá dễ
Có thể kiếm instance AIX, IBMi, IBM Z trên IBM Cloud nhưng không dễ, và tôi cũng không tìm được hướng dẫn kiểu “từ 0 đến SSH/5250/3270”
Linux on Z thì có thể, nhưng có vẻ IBM không có cách cung cấp Linux on POWER, chỉ còn một số phòng lab HPC vẫn cung cấp tài nguyên kiểu đó
Nhiều doanh nghiệp sẽ mua các thiết bị như vậy để phát triển cục bộ, nhằm dành các chip enterprise đắt đỏ cho mục đích thương mại
Một nước đi thiên tài. Form factor nhét được hiệu năng như thế vào kích thước gần giống Mac mini còn đáng kinh ngạc hơn
Bỏ 6.000 USD mua hai máy mà có thể chạy mô hình 400B+ cục bộ thì đúng là khó tin
Chỉ một năm trước, tưởng tượng chạy thứ như ChatGPT trên desktop còn là chuyện không dám mơ
Dù vậy, vì người dùng sở thích thúc đẩy rất nhiều cải tiến trong stack công nghệ, nếu họ bắt đầu dùng thứ này thì hệ sinh thái NVIDIA sẽ càng bám rễ sâu hơn
Những chiếc Mac có unified memory là mối đe dọa mà ông ấy phải phản ứng ngay. Nhìn vào thì Jensen là một CEO thời chiến, và ông ấy không đùa
Việc AMD vắng mặt ở phân khúc cao cấp cũng không có gì đáng ngạc nhiên. Nvidia đang đối đầu trực diện với Apple, còn AMD không phải là công ty kinh doanh theo hướng cạnh tranh với Apple
Vì mọi người muốn fine-tune trong thời gian rảnh và cả tạo ảnh người lớn nữa
Biểu đồ Venn của những người đăng bài nói rằng họ chạy diffusion model và LLM tại nhà gần như là một hình tròn
Thật đáng ngạc nhiên khi Nvidia tung ra một siêu máy tính desktop chạy Linux có hiệu năng/giá tốt hơn bất cứ thứ gì bên phía Wintel, còn stack phần mềm mới thì không port sang Win32 mà chỉ chạy trên WSL2
Có khi năm của Linux desktop thật sự sẽ đến
Neoverse N2 20 nhân có vẻ không đặc biệt vượt trội so với Zen 5 16 nhân
Phần GPU trông hứa hẹn, nhưng họ không nói đến băng thông bộ nhớ, cấu hình, thông số chi tiết hay hiệu năng
Tôi chỉ thấy những thông tin mơ hồ như “từ 3000 USD”, tối đa 4TB NVMe, tối đa 128GB RAM
Tôi cũng kỳ vọng AMD Strix Halo, tức AI Max+ 395, sẽ khá cạnh tranh
Nếu vậy thì có lẽ chỉ là phần nối dài của dòng chảy “Unix trên workstation” suốt vài thập kỷ qua
Nvidia hợp tác chặt chẽ với Microsoft để phát triển card, các tính năng chủ chốt được đưa vào DirectX trước, rồi vào Vulkan và OpenGL dưới dạng extension của Nvidia; về sau, khi các vendor khác làm theo các extension tương tự thì chúng trở thành chuẩn
WSL2 về bản chất chẳng phải là máy ảo sao? Vậy tức là chạy trên Linux, và Linux cũng có thể chạy trong WSL2, đúng không?
Nếu thật sự chỉ hoạt động trên WSL2 thì lại là chuyện khác
Tôi đã kỳ vọng vì nghĩ đây là một workstation Linux, nhưng nếu WSL2 dính vào bằng cách nào đó hoặc là bắt buộc thì phải tránh ngay
Tôi hơi ngạc nhiên vì có nhiều bình luận so sánh chi phí với các giải pháp cloud giá rẻ
Tôi nghĩ đề xuất giá trị của Nvidia hoàn toàn khác
Ví dụ, nếu một startup ở EU xử lý dữ liệu cá nhân hoặc bí mật công ty và muốn dùng LLM để phân tích chúng, thì chỉ riêng việc dữ liệu không rời khỏi tầng hầm đã có thể đáng hơn 3000 USD, miễn là hiệu năng không phải nút thắt
So với việc trả tiền theo token, tôi sẽ làm nhiều thử nghiệm ngớ ngẩn với LLM hơn hẳn trên phần cứng do mình sở hữu
Thực tế ngay bây giờ tôi cũng dành nhiều thời gian với các Llama local nhỏ hơn là với Claude
Ngay cả khi không làm việc nhạy cảm, tôi vẫn ngại gửi dữ liệu của mình cho các công ty này
Sản phẩm này không cạnh tranh với cloud, mà cạnh tranh với Mac mini và GPU hiệu năng cao; trong thị trường đó, 3000 USD là mức giá rất hấp dẫn
Nếu một công ty công nghệ đặt vài thiết bị như vậy tại chỗ, người dùng có thể truy vấn LLM của công ty bằng dữ liệu nhạy cảm
Hiện tôi đang phát triển, huấn luyện và dùng các model chạy trên phần cứng ghép từ linh kiện còn lại sau khi nâng cấp desktop; tôi chắc chắn sẽ mua một cái này, và nếu chạy tốt thì có thể mua hai cái
Tuy nhiên, quy định hoặc lợi ích kinh doanh đôi khi cũng đòi hỏi dư thừa dữ liệu và bảo vệ dữ liệu, nên cách để mọi thứ chỉ onsite có thể không đáp ứng được các yêu cầu đó
Có một thị trường chưa được bàn nhiều ở đây, đó là tin sinh học
Illumina, ông lớn trong thị trường này, đã cung cấp chip phần cứng tùy biến cho server tên là DRAGEN để phân tích nhanh hàng nghìn bộ gene
Khi giải trình tự bộ gene người trở nên phổ biến, thị trường chính của sản phẩm này là y học cá nhân hóa
Các công ty như Oxford Nanopore dùng GPU onboard cho việc basecalling, tức chuyển đổi tín hiệu điện thô từ máy giải trình tự thành A, T, G, C, nhưng do hạn chế về kích thước và điện năng nên kết quả không tốt như kỳ vọng
Thiết bị này có thể là một bước ngoặt lớn cho những nơi như ONT, đặc biệt là với các tác vụ thú vị hơn như adaptive sequencing
Ở các mảng khác của tin sinh học, ví dụ phần lớn phần mềm phân tích hằng ngày, mức độ phụ thuộc vào CPU và RAM vẫn rất lớn
Illumina đã mua công ty làm chip này với giá 100 triệu USD
Chi phí phân tích một bộ gene trên phần cứng phổ thông trong cloud thường dưới 10 USD
Tất nhiên, những chip như vậy có thể cho phép các phân tích hiện không thể làm được hoặc bị chặn vì chi phí
Nhưng ít nhất hiện nay, nút thắt của genomics không phải phân tích mà là chi phí giải trình tự, hiện ở mức khoảng 400–500 USD mỗi bộ gene
Tuy vậy, tôi nghĩ vẫn còn 1–3 năm nữa ASI mới thực sự bắt đầu
Vì tò mò nên tôi tìm thử, thiết bị này chạy một thứ gọi là DGX OS
Các tính năng chính của DGX OS 6 là: dựa trên Ubuntu 22.04, kernel Linux LTS mới nhất 5.15, cập nhật các gói phần mềm như Python và GCC, kernel Linux tối ưu cho Nvidia hỗ trợ GPU Direct Storage mà không cần patch bổ sung, truy cập mọi nhánh driver Nvidia GPU và các phiên bản CUDA Toolkit, Ubuntu OFED mặc định và tùy chọn cài NVIDIA OFED cho tính năng bổ sung, hỗ trợ Secure Boot, hỗ trợ DGX H100/H200
Tôi nhớ đến chuyện sẽ ra sao khi nâng cấp trong lúc đang có đống driver Nvidia dạng binary blob nằm đó
À, xin lỗi, phải gọi là telemetry mới đúng
Nvidia đã làm điều mà Intel/AMD lẽ ra phải làm nếu muốn đe dọa hệ sinh thái CUDA
Họ đã tung ra một thiết bị/GPU suy luận cục bộ 128GB “giá rẻ”
Làm tốt đấy, và các nỗ lực AI của Intel/AMD trong tương lai trông khá u ám
Chỉ cần làm phân tích SWOT cơ bản về vị thế của Nvidia, họ hẳn đã phải tính đến khả năng đối thủ tung ra một sản phẩm như vậy
Dù là Apple, bên đã dần gặm nhấm quanh khu vực này, hay AMD/Intel, những bên có thể hoặc lẽ ra phải làm được
Không có gì đảm bảo mọi chuyện sẽ đi theo hướng này, nhưng một tương lai trong đó các mô hình như LLM xuất hiện trên mọi bàn làm việc và trong mọi ngôi nhà là hoàn toàn hợp lý
Đây không phải là một thiết bị ngoại vi nối vào máy tính để chạy các tác vụ đặc thù, mà là một máy tính hoàn chỉnh chạy Linux
Nó giống như một ẩn sĩ trong khu vườn. Khiến người ta hình dung đến một tương lai mà một ngày nào đó ai cũng có một phiên bản tương lai của thứ này, thiết bị đó cùng sống và cùng học với họ, và khác với AI SaaS dựa trên đám mây, có thể được dạy ngay lập tức nên mang lại lợi thế vượt khỏi mức trung bình
Dù có lợi thế, số người tự vận hành máy chủ Plex thay vì dùng thuê bao streaming vẫn rất ít
Ở phía cục bộ, nếu phần cứng tiếp tục tiến bộ và người ta tiếp tục phát hiện rằng các mô hình nhỏ có thể xử lý khá tốt nhiều tác vụ, thì các workstation cục bộ hiệu năng cao như thế này nhiều nhất cũng chỉ giữ được sức hút trong một ngách
Không biết cụm này xuất phát từ đâu
IBM Roadrunner là siêu máy tính đầu tiên đạt 1 petaflop, tức 1 triệu tỷ phép toán dấu phẩy động mỗi giây, vào ngày 25/5/2008
Nó có giá 100 triệu USD, 2,35MW, 6000ft²
Trong khi đó Project Digits được thiết kế cho nhà nghiên cứu AI, nhà khoa học dữ liệu và sinh viên, cung cấp hiệu năng lên tới 1 petaflop để tạo prototype, fine-tune và chạy mô hình AI bằng GB10 Grace Blackwell Superchip mới của Nvidia
3000 USD, 1kW, 0,5ft²
Vì vậy chênh lệch tối thiểu đã là 8 lần, và trên thực tế có lẽ còn lớn hơn nhiều
Tôi cũng rất nghi ngờ việc Digits có thể đạt 1/8 petaflop ở FP32 hay không
Những khác biệt còn lại thì có vẻ hợp lý nếu xét khoảng thời gian 20 năm
Trông giống bản kế nhiệm của Nvidia Jetson AGX Orin 64GB Developer Kit: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
Tôi tò mò về thông số chi tiết về băng thông bộ nhớ và hiệu năng tính toán
Nếu vẫn như hiện nay, thì trong suốt vòng đời có khi chỉ nhận được 1–2 bản cập nhật kernel lớn, và để chạy tiện ích flash OS lại phải làm chuyện kỳ quặc là cài một bản Ubuntu 6 năm tuổi lên PC x86
Lý do nó nổi tiếng trong cộng đồng công nghệ là vì hội chứng máy tính đơn bo mạch
Mọi người hào hứng mua vì những việc họ nghĩ là có thể làm, rồi một năm sau 95% nằm trong ngăn kéo vì thứ nó thực sự làm tốt lại khác với lý do họ mua
Sản phẩm này, như bài viết nói, gần với hậu duệ của một biến thể HPC hơn
Có vẻ nó được chủ đích trở thành một thiết bị nhập môn thực sự hữu ích cho những người muốn thực hiện hoặc chạy các tác vụ AI phổ biến tốt hơn một PC tùy ý
Tuy nhiên Nvidia là công ty không hay hạ giá, nên chắc phải có điểm nào đó trong phần chi tiết