- Để giảm gánh nặng tự thiết lập môi trường phát triển AI cục bộ, Ryzen AI Halo cung cấp một mini PC Ryzen AI Max+ 395 kèm ROCm, driver, mô hình và công cụ phát triển
- Cấu hình duy nhất gồm CPU Zen 5 16 nhân/32 luồng, GPU tích hợp Radeon 8060S, NPU XDNA 2, 128GB bộ nhớ hợp nhất LPDDR5x-8000, SSD 2TB, giá 3.999,99 USD
- Trong llama-bench, Apple Silicon Mac Studio vượt trước thiết bị Ryzen AI Max+ 395; riêng phần sinh token cho thấy hiệu năng cao hơn 2–3 lần ở Gemma 4 do khác biệt về băng thông bộ nhớ
- Điểm khác biệt của Halo không nằm ở bộ xử lý mới, mà ở việc cung cấp một điểm khởi đầu đã được căn chỉnh tương thích như AMD Ryzen AI Developer Center, Best Known Configurations và AMD AI Playbooks
- Với AMD Lemonade và FastFlowLM, gpt-oss-20b-FLM đã được chạy trên XDNA 2 NPU; trong trạng thái CPU/GPU gần như không được sử dụng, hệ thống ghi nhận mức tiêu thụ tối đa 35W và tốc độ sinh 20 tokens/s
Bộ kit phát triển AI mini dựa trên Ryzen AI Max+ 395
- AMD Ryzen AI Halo là PC cỡ nhỏ được xây dựng quanh bộ xử lý AMD Ryzen AI Max+ 395 nền tảng Zen 5, được thiết kế để giúp bắt đầu học phát triển AI dựa trên ROCm hoặc phần cứng AMD dễ dàng hơn
- Bộ xử lý có cấu hình 16 nhân/32 luồng, trong khi phần lớn tác vụ AI do đồ họa tích hợp Radeon 8060S đảm nhiệm
- NPU, vốn trước đây không có nhiều trường hợp sử dụng, cũng thực sự có thể được dùng trên thiết bị này
- Sản phẩm được bán với một cấu hình phần cứng duy nhất, có các thông số chính như sau
- SSD M.2 2TB có thể tháo rời
- 128GB LPDDR5x-8000 bộ nhớ hợp nhất
- 256GB/s băng thông bộ nhớ
- Dung lượng lưu trữ 2TB đủ để lưu nhiều mô hình cục bộ, còn bộ nhớ 128GB đủ để nạp vài mô hình có kích thước vừa phải mà vẫn còn không gian cho hệ thống vận hành
- Giá bán là 3.999,99 USD, có thể mua với một cấu hình duy nhất được cài sẵn Windows 11 Pro hoặc Linux
- Người dùng có thể cài OS mong muốn sau khi nhận máy, nhưng có vẻ AMD sẽ không cung cấp riêng image Linux/Windows xuất xưởng cùng các driver, chương trình và mô hình đã đóng gói
- Sản phẩm thử nghiệm là phiên bản Linux chạy bản phân phối AMD Linux tùy biến dựa trên Debian 13.4
Khung máy nhỏ và khả năng mở rộng
- Khác với hình ảnh marketing, Halo là một thiết bị dạng hộp rất nhỏ, có diện tích đáy khoảng hình vuông 15cm, chiều cao dưới 5cm
- Trọng lượng là 1,2kg, nhưng nếu muốn mang theo thì cần tính cả adapter nguồn 240W, vốn là thành phần bắt buộc
- Nút nguồn và các cổng đều được đặt ở mặt sau
- 4 cổng USB 3.2 Type-C
- 1 cổng HDMI 2.1
- 1 cổng Ethernet 10GbE
- Wi-Fi 7 và Bluetooth 5.4
- Cổng USB-C gần nút nguồn nhất chỉ dùng cho đầu vào USB-C Power Delivery
- Dù không có cấu trúc xếp chồng rõ ràng, các chân đỡ ở góc và khe hút gió ở mọi mặt vẫn tạo khả năng đặt chồng để dùng Windows và Linux riêng biệt hoặc cấu hình cluster
- Hệ thống làm mát dùng 2 quạt blower hút không khí từ phía trên và các cạnh, đẩy qua tản nhiệt rồi xả ra phía sau
- Bình thường máy yên tĩnh, nhưng tốc độ quạt có thể tăng lên khi xử lý TDP 120W của bộ xử lý bên trong
- Vòng đèn trắng ở đáy vỏ nhấp nháy màu xanh khi ở trạng thái tiết kiệm điện, và có thể tắt đèn
Tháo máy và cấu hình bên trong
- Do là mini PC mật độ cao, không có nhiều phần có thể trực tiếp kiểm tra bên trong, nhưng có thể mở nắp đáy bằng cách tháo 4 con ốc dưới chân đỡ tháo rời bằng nam châm
- Có thể dễ dàng tiếp cận SSD M.2 2280 mà không cần tháo thêm
- Muốn tháo vỏ trên để lộ lõi tính toán thì cần ngắt thêm một vài kết nối
- Bản thân lõi có thể lấy ra, nhưng không có nhiều phần để người dùng can thiệp thêm
- Tấm kim loại nhìn thấy khi mở vỏ đáy lần đầu có thể tháo bằng 4 con ốc, nhưng đã không tháo để tránh động vào vật liệu dẫn nhiệt
Hiệu năng LLM nhìn từ llama-bench
- Ryzen AI Max+ 395, tên mã Strix Halo, là bộ xử lý đã được cung cấp từ mùa xuân 2025, nên Halo không quảng bá hiệu năng mới ở phần này
- Các phần cứng khác dùng cùng bộ xử lý gồm Framework Desktop, Beelink GTR9 Pro, X+ Rival và ACEMAGIC M1A PRO
- Bài kiểm tra hiệu năng nhằm xác nhận thiết bị có đạt mức hiệu năng kỳ vọng hay không trước khi xem cấu hình phần mềm, vốn là trọng tâm của sản phẩm
- Thử nghiệm chủ yếu dựa trên llama-bench đi kèm llama.cpp
- llama.cpp là engine suy luận mã nguồn mở để nạp và chạy các mô hình ngôn ngữ lớn định dạng GGUF
- llama-bench đo xử lý prompt (prompt processing, pre-fill) và sinh token (token generation, decoding)
- Hiệu năng token/giây của LLM nhạy với khác biệt tương thích và dao động, nên cần xem kết quả cùng nhiều nguồn khác
Kết quả kiểm tra llama-bench cơ bản
- Bài kiểm tra cơ bản dùng cấu hình pp512/tg128, mô phỏng tình huống người dùng nhập 512 token và mô hình sinh 128 token
- Ba mô hình được dùng là các mô hình cỡ 17–32GB được quan tâm gần đây
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Các thiết bị so sánh gồm
- AMD Ryzen AI Halo: AI Max+ 395, 128GB
- Framework Desktop: AI Max+ 395, 128GB
- M2 Ultra Mac Studio: GPU 76 nhân, 128GB bộ nhớ hợp nhất
- M3 Ultra Mac Studio: GPU 80 nhân, 512GB bộ nhớ hợp nhất
- Trên Halo và Framework Desktop, cả runtime ROCm/HIP lẫn Vulkan đều được sử dụng
- Apple Silicon Mac Studio cho hiệu năng cao hơn thiết bị AMD Ryzen AI Max+ 395; khác biệt chính đến từ khoảng 800GB/s băng thông bộ nhớ của Mac so với 256GB/s của Max+ 395
- Giai đoạn xử lý prompt thường bị ràng buộc nhiều bởi năng lực tính toán, và với mô hình dense Gemma 4, chênh lệch giữa Apple Silicon và Max+ 395 nhỏ hơn so với khi chỉ so sánh băng thông bộ nhớ
- Xử lý prompt của các mô hình sparse Mixture of Experts như Qwen 3.6 35B A3B và GLM 4.7 Flash phụ thuộc ít hơn vào tính toán, nên lợi thế băng thông bộ nhớ của Mac thể hiện rõ hơn
- Sinh token thường bị giới hạn bởi băng thông bộ nhớ nhiều hơn đáng kể; với Gemma 4, thiết bị Apple Silicon cho hiệu năng token/giây cao hơn 2–3 lần
- Trên Ryzen AI Max+ 395, không có bên thắng rõ ràng giữa Vulkan và ROCm/HIP
- Backend nhanh hơn phụ thuộc vào khả năng tương thích, kiến trúc mô hình, kích thước context, phần cứng và tối ưu phần mềm
- Cả hai backend đều đang tiếp tục được cập nhật
- Thử nghiệm được thực hiện với Flash Attention bật, nhưng thiết lập này không phải lúc nào cũng đảm bảo hiệu năng cao nhất, nên tốt hơn là tự kiểm tra trên từng hệ thống
Tăng context và mô phỏng sử dụng kiểu agent
- Khi việc dùng LLM dạng agent tăng lên, bài kiểm tra llama-bench bổ sung được thực hiện để xem hiệu năng giảm ra sao khi kích thước context tăng
- Bài kiểm tra mô phỏng đơn giản tình huống một agent nhận chỉ thị rồi gọi công cụ hoặc đưa ra câu trả lời
- Các tham số chính như sau
-p,-n: chỉ định số token dùng cho xử lý prompt và sinh token-b,-ub: chỉ định kích thước batch và microbatch-fa: bật hoặc tắt Flash Attention-ngl: chỉ định số layer của mô hình được offload sang GPU-r: chỉ định số lần lặp-d: chỉ định số token đã có sẵn trong context
- Để giảm tích tụ nhiệt có thể xảy ra khi chạy thử liên tục, một script riêng được dùng để thêm vòng lặp và thời gian trễ
- Cả ba mô hình đều cho thấy suy giảm hiệu năng lớn khi kích thước context tăng
- Gemma 4 không hoàn tất trong vòng 30 phút với tổ hợp backend Vulkan và context 65.536 token
Điện năng và nhiệt độ
- Vì Halo có khung máy rất nhỏ, bài kiểm tra nhằm xác nhận liệu nó có thể duy trì TDP tối đa 120W và boost tối đa 140W của gói Ryzen AI Max+ 395 hay không
- Framework Desktop dùng cùng Ryzen AI Max+ 395 cũng được kiểm tra để so sánh
- Bài kiểm tra được thực hiện bằng cách chạy 20 lần llama-bench prefill test trong khi đo mức tiêu thụ điện tại ổ cắm bằng Quarch QTL2843
- Cả hai thiết bị đều ở chế độ “Performance”, và Halo không cho phép người dùng tùy chỉnh điện năng hoặc làm mát
- AI Max+ 395 của Framework Desktop duy trì đường cơ sở 120W trong suốt bài kiểm tra, và các spike điện năng lên tới 130W xảy ra tương đối thường xuyên
- Halo duy trì khoảng 140W trong 5 phút sau khi bắt đầu kiểm tra, sau đó hạ xuống TDP 120W trong phần còn lại
- Thiết kế blower và các khe hút gió ở mọi mặt của Halo giữ bề mặt ngoài tương đối mát ngay cả ở trạng thái cân bằng nhiệt, nhưng mặt đáy nóng lên khoảng 50°C
- Quạt quay mạnh khi thoát nhiệt, nhưng âm thanh có tính “woosh” hơn là sắc gắt
Giá trị sản phẩm đến từ phần mềm
- Mini PC dựa trên Ryzen AI Max+ 395 có thể mua dưới nhiều sản phẩm khác nhau, nên giá trị độc đáo của Halo nằm ở AMD Ryzen AI Developer Center, cấu hình được tuyển chọn và cam kết hỗ trợ 1st-party hơn là phần cứng mới
- Halo, giống NVIDIA DGX Spark, được thiết kế để giảm thời gian nhà phát triển phải bỏ ra cho thiết lập môi trường khi cần kiểm thử trên phần cứng AMD hoặc NVIDIA cụ thể
- Khác với DGX Spark, Halo có cả phiên bản Linux và Windows
- Phiên bản Linux khi khởi động sẽ vào AMD Ryzen AI Developer Center, nơi thực hiện cài đặt/cập nhật phần mềm, truy cập tài liệu và điều khiển hệ thống
- Theo AMD, Halo không bị khóa nên người dùng có thể cài OS mong muốn
- Tuy nhiên, có vẻ AMD sẽ không cung cấp image cho phép chuyển đổi giữa cấu hình Windows/Linux xuất xưởng của AMD
Best Known Configurations và Playbooks
- AI Halo và Developer Center cho phép truy cập Best Known Configurations(BKC) của AMD
- BKC là cấu hình hệ thống mà AMD đã xác minh rằng phần mềm, package và driver đi kèm tương thích với nhau
- Cấu hình này giảm gánh nặng phải xử lý vấn đề dependency trước khi chạy playbook hoặc bắt đầu học
- AMD AI Playbook trên các hệ thống AI Max+ thông thường cung cấp hướng dẫn dòng lệnh để phân bổ bộ nhớ, nhưng trên AI Halo, thao tác này được đơn giản hóa thành slider hoặc dropdown tùy theo Linux hay Windows
- Halo không ngăn cản thiết lập thủ công hay cấu hình phức tạp; dù có rủi ro trừu tượng hóa chi tiết triển khai và phần cứng, nó cung cấp một điểm khởi đầu trước khi đi sâu hơn
- AMD AI Playbooks là tập hợp các tutorial đơn giản giúp khám phá workload AI trên phần cứng AMD
- Playbooks tập trung vào AI Halo nhưng cũng có phiên bản dành cho Radeon GPU
- Playbooks cũng được công khai trên GitHub, và AMD cho biết họ sẽ duy trì chúng luôn cập nhật như BKC, đồng thời bổ sung playbook mới hằng tháng
Các Playbooks đã dùng thử
- AMD Sync cung cấp cách đơn giản để truy cập từ xa vào Halo qua mạng
- Xem metric trực tiếp
- Mở dự án VSCode
- Khởi động dự án Jupyter Labs
- Truy cập terminal
- AMD Sync chỉ cần cài AMD Sync trên thiết bị từ xa và sao chép thông tin SSH; trong thử nghiệm, quá trình diễn ra không có vấn đề
- Các playbook liên quan đến LM Studio và Lemonade bao quát quy trình tải xuống, quản lý, phục vụ và tương tác với LLM cục bộ
- Playbook LM Studio và Lemonade có luồng ngắn, dễ làm theo, từ cài đặt phần mềm, cập nhật runtime đến tải mô hình đầu tiên
- Cả hai playbook tiếp tục tới các bước dùng LLM cục bộ làm trợ lý lập trình hoặc tương tác theo cách lập trình với OpenAI API
- Playbook VSCode kết nối LLM cục bộ được host từ playbook trước đó với Cline agent trong IDE
- Playbook chạy và fine-tuning LLM dựa trên PyTorch cho thấy nhờ phần mềm, driver và mô hình được cài sẵn, có thể chạy LLM chỉ trong 4–5 bước
- Playbook PyTorch không phải tutorial hoàn chỉnh đi sâu vào cơ chế bên trong script, nhưng đóng vai trò smoke test để nối các dependency và xác nhận hoạt động thì thành công
- Với người mới bắt đầu, phần “Next Steps” cũng cung cấp các ý tưởng để thử tiếp
Ưu và nhược điểm của cấu hình phần mềm
- BKC và playbooks cung cấp một trạng thái chuẩn có thể quay lại bất cứ lúc nào, giúp giảm tình trạng làm theo nhiều tutorial mà vẫn không chạy được gì
- Có thể truy cập trạng thái đó bằng nút System Reset trong Developer Center
- Vì Halo có thể được cài đặt và cấu hình theo nhu cầu như một máy tính thông thường, BKC và playbooks không cản trở quyền tự do của người dùng
- BKC và playbooks cũng có thể giúp người dùng tiến xa hơn bằng cách cho phép các tutorial 3rd-party giả định một điểm khởi đầu và khả năng tương thích đã biết
- Như có thể thấy trong AI Playbook GitHub issues, hiện một số playbook có phần bị lỗi, và vấn đề cũng xảy ra trong quá trình thử nghiệm thực tế
- Nếu AMD không nhanh chóng xử lý các vấn đề này, toàn bộ giá trị phần mềm có thể bị lung lay, và đây vẫn là rủi ro khi mua dựa trên lời hứa về giá trị trong tương lai
NPU thực sự đã được sử dụng
- Trên Halo, có thể chạy LLM trên XDNA 2 NPU thông qua AMD Lemonade và FastFlowLM
- Mô hình chạy là gpt-oss-20b-FLM, và không có telemetry về mức sử dụng NPU
- Khi mức sử dụng CPU/GPU gần như bằng 0, gói AI Max+ 395 tiêu thụ tối đa 35W, và hiệu năng sinh là 20 tokens/s
- NPU thường có hiệu năng tính toán thấp hơn GPU, nhưng bù lại có ưu điểm là hiệu quả năng lượng cao hơn nhiều
- Nó phù hợp với các tác vụ như xử lý nhanh cảm biến, chẳng hạn camera, để dành CPU và GPU cho các công việc chính
- Bộ kit phát triển này, bao gồm Ryzen AI Max+ 395 và NPU, có thể giúp thúc đẩy phát triển LLM cục bộ tiết kiệm điện hơn thay vì dựa vào GPU khổng lồ
Hoạt động USB-C Power Delivery
- Halo được cấp nguồn hoàn toàn qua USB-C PD
- USB-C hiện có thể truyền tối đa 240W, và Halo đi kèm adapter nguồn AC/DC Delta ADP-240KB BA hỗ trợ USB-C PD Extended Power Range(EPR)
- Adapter này có thể cung cấp tối đa 48V, 5A
- Trong thử nghiệm, Halo không kéo quá 200W từ bộ cấp nguồn
- Gói PD giữa adapter nguồn và Halo được đo bằng Infineon CY4500-EPR
- Khi kết nối lần đầu, adapter nguồn thông báo điện áp và dòng điện có thể cung cấp bằng thông điệp SOURCE_CAPABILITIES
- Ban đầu chỉ hiển thị các chế độ đầu ra Standard Power Range(SPR), giới hạn ở 20V, 5A, tức 100W
- Halo gửi thông điệp EPR_MODE để yêu cầu chế độ EPR của adapter nguồn, sau đó xác nhận đầy đủ khả năng EPR
- Halo yêu cầu chế độ đầu ra cố định 48V có thể dùng tối đa 5A, qua đó sử dụng cấu hình tối đa 240W
- Halo liên tục gửi EXTENDED_CONTROL_MESSAGE tới adapter nguồn, và việc thấy dạng thông điệp liên tục này ở đầu ra điện áp cố định là điểm thú vị
1 bình luận
Các ý kiến trên Hacker News
Điểm mới đáng chú ý là AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
Đây là câu trả lời của AMD cho playbooks của Nvidia(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks), và việc AMD bắt đầu nghiêm túc hơn với mảng này là điều đáng mừng
Phần cứng hoàn toàn giống với thứ đã được bán năm ngoái với giá 2.000 USD, và từ các OEM Trung Quốc hiện vẫn có thể mua rẻ hơn 1.000 USD
Việc bài test LLM của LTT Lab trở nên tinh vi hơn là tốt, nhưng các con số có thể thay đổi khá nhiều tùy theo phiên bản ROCm/Vulkan và phiên bản build của llama.cpp
Để khai thác tối đa hiệu năng Strix Halo, việc tinh chỉnh kernel và các tiện ích như ryzenadj sẽ hữu ích, và hầu hết đã được tổng hợp tại http://strixhalo.wiki/
Nếu dùng cho lập trình hoặc tác vụ agent, khi mô hình hỗ trợ MTP thì đã khá trưởng thành, và tốc độ decode có thể nhanh hơn khoảng 30%
Nói ngắn gọn để tiết kiệm thời gian, như bài viết cũng nêu, bộ xử lý AMD Ryzen AI Max+ 395(Strix Halo) đã có từ mùa xuân 2025, và Halo không mang lại gì mới ở khía cạnh đó
Nó vẫn bị giới hạn băng thông bộ nhớ 256 GB/s như các bo mạch trước đó, nên không hiểu vì sao giờ lại ra mắt như một món đồ mới
Với mức giá tương tự có thể mua Framework Desktop, còn GMKtec EVO-X2 thì rẻ hơn một chút
Từ góc nhìn của AMD, việc tự thu lợi nhuận thay vì bán rẻ hơn cho các hãng PC là điều đương nhiên
Cứ mua một máy tower thông thường hoặc máy rack server là được
Tôi rất muốn có một máy với bộ nhớ từ 128GB trở lên, nhưng bỏ 4.000 USD mà chỉ có 256 GB/s thì quá khắc nghiệt
Lại còn phải chịu cả nhược điểm của cả ARM lẫn AMD
Đến khi RTX Spark ra mắt có lẽ phải lên 6.000 USD, và tôi lo rằng nếu xuất hiện máy 128GB trở lên với 700+ GB/s thì giá sẽ thành 10.000 USD, vượt tầm với của hầu hết người tiêu dùng
Thành thật mà nói hiện giờ không có nhiều lựa chọn tốt, có lẽ nên chờ đến khi thị trường bớt điên rồ
Nếu ai đó làm ra một máy có cả hai, chắc sẽ bán được dễ dàng với giá 10.000 USD, và tôi nghĩ người ta sẽ xếp hàng mua
Ví dụ DS4, tức mô hình lượng tử hóa 1-bit của DeepSeek V4 Flash, đạt khoảng 9~13 token/giây, và thời gian tới token đầu tiên rất lâu
Nó không thực tế cho mô hình lập trình tương tác kiểu agent
Tôi thích Strix Halo, và chủ yếu dùng tốt cho việc chạy liên tục các tác vụ không tương tác như kiểm toán bảo mật phần mềm hoặc thí nghiệm học tập
Là nền tảng thử nghiệm AI thì tốt, nhưng với 4.000 USD có thể mua Asus Ascend GX10 nền Nvidia, và bên đó có lẽ tốt hơn
Nếu dùng cho agent tương tác cục bộ thì có lẽ bạn sẽ chạy Qwen 3.6 hoặc Gemma 4; chúng vừa thoải mái trong 2x64GB GPU và ngay cả GPU cũ cũng có thể nhanh hơn Strix Halo
Chúng cũng nhét vừa, dù chật, trong 32GB, và sẽ chạy tốt trên Mac 48GB hoặc 64GB
Hiện sweet spot bên GPU có vẻ là hai chiếc Radeon AI Pro R9700
Không đắt như giá một chiếc xe cũ như 5090 hay 4090, nhưng cung cấp đủ bộ nhớ và hiệu năng cho suy luận cục bộ, cũng không khó chịu, kỳ quặc hay đòi ống dẫn quạt in 3D như các GPU server cũ trên eBay
Hiện tại chưa có mô hình nào chạy tốt hơn rõ rệt trên các máy suy luận 128GB kiểu này mà lại không chạy tốt trên máy 64GB
Máy 64GB thậm chí có thể nhanh hơn, và trong số GPU 32GB cũng không có nhiều loại chậm hơn, nhưng tốt nhất là đừng mua GPU hiện không được nhà cung cấp hỗ trợ tích cực trong driver và CUDA hoặc ROCm
Những thiết bị này từng rất tuyệt khi rẻ hơn DGX Spark
Nhưng nếu giá ngang nhau thì không có lý do gì mua cái này thay vì Spark
Spark đúng nghĩa là phiên bản nhanh hơn, và hỗ trợ phần mềm cũng tốt hơn
Tôi nói điều này với tư cách người sở hữu một thiết bị Ryzen AI Max 395
Theo nhiều nguồn cung cấp cho giáo dục đại học
CPU của Ryzen tốt hơn DGX Spark, đặc biệt với các chương trình hiện đại đã được cập nhật để dùng AVX-512 thì hiệu năng đa luồng cao hơn nhiều
Chỉ riêng với ứng dụng GPU thì hệ thống NVIDIA mới có khả năng tốt hơn
Tôi đã mất khá lâu mày mò kernel Linux phù hợp, firmware kernel, cài đặt ROCm, v.v.
Tôi có thiết bị Strix Halo và khá thích, nhưng với mức giá này, nếu dùng cho AI thì nên mua ASUS GX 10 dựa trên Nvidia hơn
Hệ sinh thái CUDA vẫn mạnh hơn
AMD có CPU tốt hơn nên làm máy desktop thì ngon hơn, nhưng phía Nvidia nhanh hơn một chút trong các tác vụ suy luận và huấn luyện, hỗ trợ cũng tốt hơn một chút
Với ROCm thì hầu như lúc nào cũng làm được cùng việc, nhưng phải mày mò thêm một chút
Tuy nhiên bản Ubuntu tùy biến mà Nvidia cài sẵn trên phần cứng của họ thì tệ đến mức khó dùng
Nvidia không giỏi phần mềm, tôi đã dùng dòng Jetson vài năm nhưng nó vẫn rất tệ
Vẫn là một bản Ubuntu tùy biến thô ráp, cấu trúc dựa trên image phức tạp và cũng không có UEFI, nên không phải kiểu cứ cài Linux khác vào là xong
Tôi đoán họ cũng sẽ cài Ubuntu cho các thiết bị lớn, nhưng tôi chỉ từng trực tiếp dùng các máy Jetson nhúng nhỏ
Phía AMD thì là PC x86_64 thông thường nên có thể cài gần như bất kỳ Linux nào, và tôi đã cài Fedora lên thiết bị của mình ngay lập tức
Nó chỉ là Ubuntu và tôi không gặp vấn đề gì đáng kể
Cũng phải nói thêm rằng đây là nhà cung cấp duy nhất trong số các thiết bị Linux ARM64 tôi từng thấy thực sự xuất xưởng với Linux được hỗ trợ đúng nghĩa
Tôi đang dùng ASUS GX10 làm workstation chính hằng ngày, thứ không chạy được chỉ khoảng Spotify, có lẽ là vấn đề DRM
Có vẻ cũng không có client Signal ARM64
Lợi thế lớn của DGX Spark so với Strix Halo là tốc độ prefill nhanh hơn nhiều
Nhanh hơn khoảng 5 lần
Phần cứng mạng cũng mạnh đến phi lý, nhưng tôi và 99% người dùng Spark khác có lẽ sẽ không dùng hết hiệu năng đó
Băng thông bộ nhớ 256GB/s chỉ khoảng 1/4 so với 3090
Nếu họ giảm bộ nhớ xuống một nửa và tăng tốc độ lên 4 lần thì sẽ đáng mua hơn
Tốc độ bộ nhớ cao tốt cho mô hình dense hoặc phục vụ với độ đồng thời cao
Nhưng trong môi trường local một người dùng, thường sẽ tốt hơn khi nhờ các nền tảng kiểu này mà dùng được các mô hình MoE mạnh hơn và lớn hơn ở tốc độ hợp lý cùng độ đồng thời thấp
Khi đó các lane PCIe chậm có thể sẽ là nút thắt cổ chai
Nếu workload của bạn vừa trong card 24GB, thì ngay từ đầu bạn không phải là người dùng mục tiêu của phân khúc AI mini PC mà họ đang cố tạo ra
Các mô hình nhỏ có thể chạy tốt hơn nhiều
Cá nhân tôi thấy 3090 hợp lý nhất khi có thể mua ít nhất 2 chiếc, lý tưởng là 4 chiếc, và lúc đó đã là một câu chuyện ngân sách hoàn toàn khác
Mô hình MTP mới Qwen3.6 35B MoE có thể sinh token đến khoảng ngữ cảnh 80k mà không bị chậm đáng kể
Có nhiều token cũng tốt, nhưng vì nó có thể xử lý và mở rộng ngữ cảnh, nó sẽ tiếp tục là một cỗ máy tuyệt vời so với các card đồ họa nhỏ
Module RAM DDR4 32GB có băng thông 25GB/s và giá 160 đô la
Mua 8 thanh thì với 1.280 đô la sẽ có 256GB RAM và băng thông 200GB/s
Nếu mua 16 module 16GB với giá 60 đô la mỗi thanh thì với 960 đô la có thể đạt băng thông 400GB/s
Vấn đề là cần 8 hoặc 16 bộ điều khiển bộ nhớ
Bộ điều khiển bộ nhớ không đắt đến vậy
Intel Core i3-14100F có bộ điều khiển 2 kênh và giá 110 đô la, nên có thể ước tính bộ điều khiển 16 kênh dưới 880 đô la, bộ điều khiển 8 kênh khoảng 440 đô la
Vậy thì chẳng phải tốt hơn là làm một CPU rẻ có 16 bộ điều khiển DRAM thay vì một thiết bị 4.000 đô la chỉ có 128GB sao
Hoặc cũng có thể dùng 2 CPU, mỗi CPU có 8 kênh RAM
DDR5 bản 32GB giá 360 đô la, đắt gấp đôi mà băng thông còn chưa gấp đôi, nên không đáng mua
Tạo nhiều kênh RAM hơn rồi cắm DDR4 hợp lý hơn
Chỉ là mainboard có thể khá đắt
Thay vì chuyển sang DDR5 đắt đỏ, đáng lẽ họ nên hỗ trợ 8/16 kênh DDR4 ngay cả trên các CPU rẻ nhất
Một module DDR5-4800 32GB giá 360 đô la, còn hai module DDR4-3200 32GB giá 320 đô la, nghĩa là dung lượng gấp đôi, băng thông cao hơn và giá thấp hơn
DDR5 đúng là chặt chém
Ở dạng trước đây nó “chỉ” có giá 2.000 đô la, nhưng ngay cả trong chiếc hộp được cập nhật này, băng thông bộ nhớ vẫn thiếu nghiêm trọng
Có vài mẫu có chỗ để lắp GPU rời cho suy luận hybrid, nhưng cá nhân tôi thấy không đáng
Nên để dành tiền cho một cấu hình Xeon hoặc EPYC thì hơn
Không hiểu vì sao các sản phẩm tương tự đều bị chặn đúng ở mức 128GB VRAM
Với giá này tôi đã kỳ vọng ít nhất 224GB VRAM
Nó phụ thuộc vào bus bộ nhớ
Có thể hiểu đại khái 128-bit là 96GB, 256-bit là 192GB, 512-bit là 384GB, 1024-bit là 768GB
https://community.frame.work/t/was-there-no-possible-way-to-...
Vì không muốn các sản phẩm tiêu dùng/homelab biên lợi nhuận thấp thay thế sản phẩm trung tâm dữ liệu, họ cố tình giới hạn VRAM của những sản phẩm đó để chúng kém hấp dẫn hơn cho mục đích trung tâm dữ liệu
Cái này chỉ rẻ hơn một chút so với Nvidia DGX Spark có CUDA, hoặc Mac có 128GB và băng thông bộ nhớ gấp đôi
Ưu điểm của Strix Halo vốn là nó có giá bằng một nửa những cỗ máy mạnh hơn nhiều đó
Mua chip AMD ở mức giá này gần như là điên rồ
Tuy vậy, toàn bộ thị trường phần cứng hiện giờ cũng đang điên rồ, nên đáng tiếc là có vẻ thứ này cũng sẽ bán chạy
M5 Pro có băng thông bộ nhớ cao hơn một chút nhưng hiện chỉ hỗ trợ tối đa 64GB DRAM
Ngay cả cấu hình bộ nhớ nhỏ này cũng đắt hơn AMD hay NVIDIA, và nếu muốn SSD có dung lượng bình thường đủ để chứa LLM và tự tính lượng tử hóa, chứ không phải SSD nhỏ, thì còn đắt hơn nữa
Ví dụ, SSD 4TB và DRAM 64GB đã hơn 5.600 USD
Nếu muốn chạy suy luận LLM, Apple không có vẻ là một giải pháp cạnh tranh
Giá cao hơn nhiều, cần nhiều dung lượng để lưu vài LLM, mà khả năng mở rộng SSD cũng bị hạn chế
Điểm đúng duy nhất là hệ thống AMD Strix Halo trước đây rẻ hơn NVIDIA rất nhiều, nhưng giờ đã có cùng mức giá
CPU của Strix Halo tốt hơn NVIDIA, nhưng nhiều khả năng GPU của NVIDIA tốt hơn GPU của AMD, và CUDA thì được đảm bảo là hoạt động tốt