Framework Desktop là một con quái vật

• Framework Desktop rất yên tĩnh và mang lại hiệu năng cao
• Được trang bị AMD Ryzen AI Max 395+, nên dù có kích thước nhỏ vẫn cho hiệu năng vượt trên cả desktop
• Trong nhiều bài benchmark, máy thể hiện hiệu năng đa nhân vượt trội so với Beelink và Mac Studio
• Phù hợp với nhiều nhu cầu khác nhau như khả năng mở rộng bộ nhớ và chạy mô hình LLM cục bộ
• Đồ họa tích hợp cũng rất mạnh, đồng thời hiệu năng chơi game cũng rất xuất sắc

---

Ấn tượng đầu tiên về Framework Desktop

• Tác giả (DHH) đã sử dụng Framework Desktop trong vài tháng và thấy đây là một chiếc máy rất yên tĩnh với thiết kế thú vị
• Kích thước chỉ 4.5L, rất nhỏ gọn, nhưng mang lại cảm giác nhanh hơn nhiều so với desktop truyền thống
• Mặt trước có thể gắn 21 viên gạch màu, tạo nên ngoại hình đầy cá tính, khác biệt rõ rệt với các đối thủ chuộng RGB
• Cũng có thể tùy biến bằng in 3D, giúp thể hiện cá tính một cách tự do

Bộ xử lý được sử dụng và các đặc điểm thiết kế

• AMD Ryzen AI Max 395+ vốn là chip dành cho laptop, nhưng Framework đã đưa nó vào một desktop siêu nhỏ gọn
• Đây là con chip từng được dùng trong ASUS ROG Flow Z13, HP ZBook Ultra..., và được chọn để tối đa hóa hiệu quả không gian
• Thị trường mini PC đã có rất nhiều sản phẩm, nhưng Framework Desktop gần như là thiết bị duy nhất mang lại môi trường không tiếng ồn hoàn toàn
• So với các mini PC khác như Beelink, độ ồn thấp hơn áp đảo

Benchmark và so sánh hiệu năng

• Trong benchmark đa nhân, Framework Desktop nhanh gấp 2 lần Beelink SER8 và nhanh hơn SER9 hơn 1/3
• So với Mac Studio (M4 Max, M4 Pro), máy cho hiệu năng tốt hơn 40%~50%
• Bài test này chạy MySQL/Redis/ElasticSearch trong Docker cùng với mã Ruby, và lợi thế chạy Docker native trên Linux cũng góp phần tạo ra khác biệt hiệu năng (khoảng 25%)
• Vì workflow của lập trình viên gần như không thể thiếu Docker, nên nếu xét theo sử dụng thực tế thì sức cạnh tranh của Framework Desktop càng nổi bật hơn

CPU và hiệu năng đơn nhân

• AMD 395+ trang bị 16 nhân Zen5 (5.1GHz), điểm Geekbench 6 đa nhân tương đương hoặc nhỉnh hơn M4 Max
• Về hiệu năng đơn nhân, dòng M4 mạnh hơn khoảng 20% (ví dụ: benchmark Speedometer)
• Tuy vậy, trong các tác vụ thông thường như duyệt web, gần như khó cảm nhận rõ khác biệt đơn nhân này

Tính cạnh tranh về giá và khả năng mở rộng bộ nhớ

• Với cấu hình 64GB RAM + 2TB NVMe, Framework Desktop có giá $1,876, còn Mac Studio cùng cấu hình là $3,299
• Khi nâng lên 128GB, chênh lệch giá còn lớn hơn, và trong công việc phát triển dựa trên Docker thì Framework Desktop vẫn nhanh hơn
• Trong môi trường Linux và trình quản lý cửa sổ Hyprland, hiệu quả sử dụng bộ nhớ cao nên phần lớn trường hợp 64GB là đủ

Chạy mô hình LLM cục bộ và tận dụng bộ nhớ

• Bộ nhớ 128GB phù hợp để vận hành mô hình LLM cục bộ, và với kiến trúc bộ nhớ hợp nhất của AMD 395+, GPU có thể tận dụng gần như toàn bộ bộ nhớ
• Có thể chạy cả các mô hình lớn như 120b gpt-oss của OpenAI, với hiệu năng như tạo 40 token mỗi giây (tham khảo liên kết YouTube)
• Tuy nhiên, với 64GB thì khi chạy gpt-oss-20b vẫn có giới hạn về độ chính xác. Các mô hình LLM mới nhất dạng SaaS cho kết quả tốt hơn

Sản phẩm thay thế và thông tin bổ sung

• Beelink SER9 có giá chỉ bằng một nửa nhưng đạt khoảng 2/3 hiệu năng đa nhân, còn đơn nhân thì gần như không khác biệt
• Với đa số lập trình viên, SER9 cũng đã đủ để hài lòng. Nhưng nếu cần hiệu năng tốt hơn trong những tình huống cụ thể, Framework Desktop là một lựa chọn hấp dẫn

Hiệu năng chơi game và dual boot

• Đồ họa tích hợp (iGPU) của Framework Desktop mang lại hiệu năng chơi game tiệm cận RTX 4060
• Ở thiết lập 1440p High, nhiều tựa game lớn vẫn chạy mượt (tham khảo YouTube)
• Khe cắm NVMe kép cũng rất lý tưởng cho thiết lập dual boot Linux/Windows

Kết luận

• Framework Desktop và AMD 395+ là một lựa chọn cực kỳ mạnh cho các lập trình viên dùng Linux
• Máy hội tụ đủ độ yên tĩnh, kích thước nhỏ, đa nhân mạnh, thiết kế khác lạ và cả tính cạnh tranh về giá
• Đây là thời điểm lý tưởng để tận hưởng phần cứng thân thiện với phát triển và phần mềm mã nguồn mở

[onusarang]

AMD Ryzen AI Max+ 395
Tôi đã mua và đang dùng ASUS ROG Flow Z13, dù cũng đã dự đoán trước nhưng nhiệt tỏa ra thực sự khiến tôi rất bối rối.

[fanotify]

Đó chắc là sản phẩm không thể mua ở Hàn Quốc nhỉ..?

[tujuc]

https://frame.work/desktop?tab=overview

Có vẻ là làm được thật đấy... hình như sẽ ra mắt vào quý 4 nhỉ?

[fanotify]

Tôi thấy hiện ra dòng này: We haven’t opened ordering in your region yet, but we’re looking forward to getting there! We can notify you when ordering opens

[mango]

Wow, mình vốn đã quan tâm đến SFF rồi, giờ lại xuất hiện một mẫu desktop hoàn chỉnh mà mình muốn mua.. thèm quá.

[GN⁺]

Ý kiến Hacker News

• Framework Desktop có cấu hình 64GB RAM và 2TB NVMe với giá $1,876, trong khi để mua một chiếc Mac Studio có thông số tương tự thì phải trả gần gấp đôi, nên có cảm giác Framework Desktop quá hấp dẫn về giá, nhưng cũng không nghĩ rằng cứ rẻ hơn Apple là tự động trở thành món hời, trước giờ tôi cứ tưởng dạo này Apple đã định giá cạnh tranh hơn trước, vậy mà Framework dù là một hãng phục vụ thị trường ngách lại rẻ hơn Apple rất nhiều
  • Hiệu năng của nó thực ra gần với Mac Mini hơn là Mac Studio nên nên so với bên đó mới đúng, nếu tính theo giá ở Canada với cấu hình 64GB bộ nhớ và 500GB lưu trữ thì gần như ngang giá, Framework Max+ 64GB: $2,861.16, Apple Mini M4 Pro 64GB: $2,899.00, Apple tính giá lưu trữ cực kỳ đắt nhưng nếu so với Mac Mini thì kể cả giả sử lên 2TB cũng chỉ ở mức premium khoảng 25%, còn khi tự ráp desktop thì có thể dùng SSD NVMe gắn ngoài
  • Apple áp mức premium lớn hơn hẳn khi rời xa cấu hình cơ bản, thật sự rất khó tìm được deal nào tốt hơn mẫu M4 bản tiêu chuẩn
  • Hoàn toàn là do chính sách giá SSD vô lý của Apple, dùng SSD ngoài có thể tiết kiệm được rất nhiều tiền
  • Các mẫu cơ bản của Apple có sức cạnh tranh, nhưng chi phí cộng thêm khi nâng cấp RAM và SSD thuộc hàng cao nhất ngành, tăng từ 16GB lên 32GB bị tính $600 CAD, còn từ SSD 512GB lên 2TB thì bị tính $900 CAD
  • Trước khi chip AMD Ryzen AI Max+ 395 xuất hiện thì với desktop/laptop, Apple gần như là lựa chọn duy nhất cho các tác vụ AI kiểu này, chỉ Apple mới có GPU hỗ trợ được 64~128GB bộ nhớ
• AMD 395+ cũng dùng kiến trúc bộ nhớ hợp nhất giống Apple nên GPU có thể dùng gần như toàn bộ bộ nhớ, vì thế mới dùng CPU “laptop”, nó hơi chậm hơn bộ nhớ chuyên dụng một chút nhưng vẫn đủ để chạy các mô hình lớn với tốc độ token tương đối nhanh
  • Bộ nhớ hợp nhất bị hàn chết... hiệu năng thì nhanh nhưng vẫn thấy tiếc, tôi từng thắc mắc không biết họ có dùng PSU bên trong hay không, rồi khá bất ngờ khi xác nhận là có dùng PSU nội bộ
  • Vì là GPU AMD nên không có CUDA, cần lưu ý điều này, tùy công cụ bạn dùng mà đây có thể là điểm chí mạng
• Tôi đang cân nhắc Framework Desktop cho mục đích phát triển, môi trường LLM cục bộ và home server, riêng cho nhu cầu LLM thì Framework Desktop có lợi thế, nhưng hiện tại có vẻ vẫn còn khá nhiều điểm chưa ổn định để dùng ngay, nên chắc tôi sẽ quan sát thêm trong năm nay
  • Khi cân nhắc mini PC như Minisforum, Beelink v.v., tôi không chắc việc cập nhật firmware UEFI của họ tốt đến đâu, cũng lo về rủi ro backdoor dù là vô tình hay cố ý, thực tế đã từng có trường hợp một tổ chức liên quan tới Trung Quốc tạo cả UEFI rootkit nhắm vào bo mạch chủ ASUS/Gigabyte, xem liên kết liên quan, tôi nghĩ với một số hãng thì có lẽ cần phải áp các biện pháp bảo mật bắt buộc trực tiếp
  • Nếu dùng làm home server thì có thể không phù hợp trừ khi bạn thật sự cần năng lực tính toán rất lớn, tôi mua một chiếc Lenovo mini PC cũ (m75q v.v.) trên eBay với tổng chi phí $500 và nó chạy quá đủ tốt cho hầu hết tác vụ
  • Tôi cũng tò mò không biết Minisforum chạy êm đến mức nào
• Tôi thấy khó hiểu khi đem so với M4 Max, không rõ có phải ý là chip AMD gần đây đã đạt hiệu năng cùng hạng hay không, và điều đó có ý nghĩa gì với LLM chạy on-device
  • Dòng Strix của AMD dùng kiến trúc tương tự Apple M series, với băng thông bộ nhớ và cache rất lớn, nên kết quả chênh lệch hiệu năng khá đáng kể
  • So sánh trên trang omarchy cũng làm tôi ngạc nhiên, chip Apple M chạy rất tốt với các tác vụ data science không dùng GPU, có thể điều này bắt nguồn từ khác biệt hiệu năng phép toán số nguyên so với số thực, benchmark numpy đơn giản: Linux (280ms, 1.53Tflops), MacBook Air m2 của tôi (180ms, 2.4Tflops), còn với LLM thì phép toán số thực quan trọng hơn
  • Lý do DHH so sánh hai chip này là vì cả hai đều là flagship mới nhất, và benchmark cho thấy chúng có đặc tính hiệu năng khác nhau, đặc biệt các benchmark mà DHH thích thường ưu ái bên hỗ trợ tốt Linux native và Docker, còn với LLM cục bộ thì băng thông bộ nhớ cao của M4 Max là lợi thế lớn hơn nhiều, có thể xem thêm benchmark trong bài review của Arstechnica
  • Nếu không xét hiệu năng trên điện năng tiêu thụ mà chỉ xét hiệu năng thuần túy thì chênh lệch không lớn
  • Nghĩ tới việc TSMC là yếu tố cốt lõi của mọi con chip thì M series cũng không đặc biệt đến thế, vì vậy các cơ sở sản xuất của TSMC tại Đài Loan mới trở thành vấn đề an ninh quốc gia đối với Mỹ
• Vì dựa trên RDNA 3.5 nên không có Matrix Core, tính năng đó chỉ có trên RDNA 4 và RDNA 4 phải đến năm 2025 mới có mặt trên desktop, Nvidia thì đã có Tensor Core từ dòng 4000 năm 2022, còn Apple cũng hỗ trợ simdgroup_matrix từ năm 2020, giờ đã là giai đoạn loại phần cứng này đang dần trở nên phổ biến, chỉ là vẫn chưa rõ điều đó sẽ mang lại thay đổi gì cho các workload ngoài ML
  • NPU truy cập cùng vùng bộ nhớ, thậm chí trong một số trường hợp còn có cả FPGA fabric linh hoạt hơn, nên tôi cảm thấy không có Matrix Core vẫn là đủ, rốt cuộc chúng trông như đang đảm nhiệm vai trò tương tự
• Tôi tò mò về so sánh trực tiếp giữa Framework Desktop và mini PC "GMKtec AI Mini Ryzen AI Max+ 395 128GB", phần cứng có vẻ giống nhau và nếu bỏ qua nét độc đáo của Framework thì giá có vẻ còn tốt hơn, muốn hỏi liệu có ai đã trực tiếp so sánh hai máy này chưa
  • Cùng CPU nhưng có lẽ thiết lập TDP khác nhau, đã có tài liệu so sánh với mẫu HP G1a nên có thể tham khảo, tôi khuyên xem review của Phoronix, có cảm nhận rằng Framework cấp được nhiều điện hơn nên nhỉnh hơn ở hiệu năng duy trì
  • GMKtec chỉ là một thương hiệu Trung Quốc thông thường nên sẽ hụt hơi nhiều về bảo hành, hỗ trợ và khả năng sửa chữa, khó mà coi Framework chỉ là sản phẩm “trông cho ngầu” vì nó gần như nằm ở thái cực ngược lại
  • Thực tế giá của hai máy là như nhau, đều $1999 cho cấu hình bộ xử lý 395 và 128GB RAM
  • Tên sản phẩm có chữ "AI" tới hai lần, tôi chỉ mong xu hướng này sớm biến mất
• Tôi thích Framework và cũng đang sở hữu laptop của họ, nhưng chiếc desktop này cho cảm giác chỉ nhấn mạnh yếu tố marketing trong khi khác biệt thực chất không nhiều, giá cũng có vẻ bị đẩy lên cao
  • Nếu không có lựa chọn thay thế đủ tương đồng mà rẻ hơn nhiều thì tôi không cho đó là đắt
  • Đây chủ yếu là sản phẩm đưa nền tảng mobile/mini PC lại gần desktop tiêu chuẩn nhất có thể, nên tôi nghĩ nó không đi chệch tinh thần của Framework quá nhiều
  • Có vẻ nhiều người hiểu nhầm tệp khách hàng của Framework, tôi từng nghĩ khách chính là những người tiên phong sớm hoặc các nhà hoạt động môi trường thiên về FOSS, nhưng gần đây mới biết còn có cả thị trường chuẩn hóa dành cho trường học/doanh nghiệp mua số lượng lớn, việc fw12 có cấu hình yếu cũng là để hợp với kiểu bên mua như vậy (ví dụ học sinh trong trường), desktop này có lẽ cũng không chỉ nhắm người dùng cá nhân mà còn phục vụ các triển khai số lượng lớn
• Tôi đã hủy đơn Framework Desktop và thay vào đó đặt HP Z2 Mini G1a, mục tiêu là thay thế Mac Studio, tôi đã chán sự cố chấp của Apple và chất lượng ngày càng đi xuống, HP nhỏ gọn hơn nhiều và có lợi thế hỗ trợ ECC RAM cùng 10G Ethernet, dù giá đắt hơn đáng kể
  • Tôi đồng ý là mức độ tin cậy với Apple không còn như trước, nhưng cũng không chắc bên còn lại trông có vẻ tốt hơn thật sự sẽ tốt hơn, tôi tò mò xem rồi sẽ thế nào, giờ thì dự án MLX đã có thể chạy trực tiếp trên CUDA
  • ECC RAM làm tôi bị hấp dẫn nên lại nhìn sang HP, ngoại hình của nó cũng có vẻ ổn
  • Tôi tò mò Linux chạy trên thiết bị đó thế nào và mức độ tương thích ra sao
• Vài tuần trước tôi đã xem xét Framework Desktop, chủ yếu vì muốn hiệu năng chơi game tốt hơn GPU tích hợp trên laptop, tôi thiên về các game cũ hơn là game mới nhất, kết luận của tôi là thiết bị này khá ổn nhưng giá khá cao nên xét về kinh tế thì không hấp dẫn, nếu tự ráp thì có thể đạt hiệu năng tốt hơn với chi phí thấp hơn, trong bài có nhắc 9950X chấm điểm thấp hơn Max 395 nhưng thực tế nếu nghĩ đến khác biệt giữa chip laptop 55W và chip desktop 170W thì nên nhìn theo hướng khác, còn có cả vấn đề tương thích Linux nữa (ví dụ chip WiFi/Bluetooth MediaTek trên một số bo ASUS không có driver Linux), việc chọn toàn bộ linh kiện cũng tốn thời gian, nên tôi đồng cảm với lời khuyên của Nirav rằng “cứ mua Framework Desktop cho đơn giản”, cuối cùng tôi chọn eGPU qua USB4/Thunderbolt để có hiệu năng game, laptop hiện tại của tôi vốn đã đủ mạnh nên không cần thêm PC riêng, tôi không quan tâm tới tác vụ LLM nên không tìm hiểu thêm phần đó
• Tôi tò mò GPU AMD có tương thích tốt với workflow AI tạo sinh hay không, vì tôi luôn có cảm giác mọi thứ đều xoay quanh CUDA
  • Có dự án SCALE giúp mã CUDA chạy được trên GPU AMD, đang được phát triển như một giải pháp thay thế drop-in cho Nvidia CUDA và miễn phí cho mục đích cá nhân, giáo dục, có thể xem tại tài liệu chính thức của SCALE, hiện một số tính năng quan trọng như cuDNN và CUDA Graph API vẫn đang trong quá trình triển khai nhưng phạm vi hỗ trợ đang mở rộng dần, tham khảo tình trạng hỗ trợ, chính nhà phát triển SCALE đã trực tiếp giới thiệu điều này
  • Các môi trường dựa trên Ollama và Stable Diffusion chạy tốt trên card AMD, nếu là suy luận chứ không phải huấn luyện thì tôi ngày càng cảm nhận rõ khả năng tương thích đang tốt lên
  • Kết hợp giữa llama.cpp và hỗ trợ Vulkan của Mesa chạy rất tốt trên GPU AMD, tôi đã chạy nhiều workload khác nhau mà không gặp khó khăn gì
  • Trong workflow AI tạo sinh dựa trên LLM thực tế, chip bộ nhớ hợp nhất AMD Max+395 cho hiệu năng và tốc độ đủ để so sánh với Mac Studio hoặc MacBook Pro (để tham khảo, chip Apple cao cấp có băng thông 546GB/s còn AMD khoảng 256GB/s), với suy luận thì cả hai đều hoạt động đủ tốt, còn cho mọi thứ khác thì hệ sinh thái CUDA vẫn tạo cảm giác đáng tin cậy hơn
  • Tôi cũng có cảm nhận tương tự, nếu muốn huấn luyện thì gần như bắt buộc phải có GPU CUDA, còn cho suy luận thì AMD và chip Apple M đang ngày càng tốt lên