Xây dựng máy chủ/NAS tiết kiệm điện với công suất nhàn rỗi 7W bằng Intel thế hệ 12/13
(mattgadient.com)- Tổ hợp Intel i5-12400, ASUS Prime H770-Plus D4, 64GB DDR4, Ubuntu Server 23.04 và Corsair RM750 đạt công suất nhàn rỗi 7W đo tại ổ cắm trước khi gắn thêm thiết bị lưu trữ
- Chìa khóa để đạt mức điện thấp là bật C-State, ASPM L1, RC6, ALPM trong BIOS và dùng PowerTOP auto-tune để đưa gói CPU vào trạng thái tiết kiệm điện C8/C10
- Khi gắn 12 HDD và nhiều NVMe, công suất tăng lên 24~25W; vấn đề JMicron JMB585 chặn ASPM khiến hệ thống bị kẹt ở C3 được giảm nhẹ bằng cách thay sang bộ điều khiển SATA ASM1166
- Khe PCIe/M.2 nối trực tiếp CPU, model NVMe·SATA SSD, NIC Realtek, thiết bị USB và firmware bộ điều khiển SATA đều có thể thay đổi C-State, nên cần A/B test theo từng tổ hợp linh kiện
- Cấu hình cuối cùng gồm 11 HDD và các bộ điều khiển NVMe/SATA cũng giảm xuống 15~16W khi áp dụng spin down HDD, tiết kiệm điện màn hình·bàn phím; về lâu dài, nếu chuyển sang SSD, kỳ vọng công suất nhàn rỗi 10~11W
Cấu hình chuẩn của bản build nhàn rỗi 7W
- Mục tiêu là công suất nhàn rỗi thấp, hiệu năng CPU đủ cho nén, xử lý 12 HDD và tối thiểu 1 NVMe, khả năng mở rộng để sau này chuyển sang 6 NVMe và 6 SATA SSD, đồng thời kiểm soát chi phí
- Giá trị đo 7W là theo đồng hồ đo điện tại ổ cắm trước khi bắt đầu gắn nhiều thiết bị lưu trữ
- Mainboard Intel H770
- CPU Intel i5-12400
- RAM DDR4 64GB
- SSD khởi động Ubuntu Server 23.04
- PSU Corsair
- Thiết lập C-State trong BIOS để đạt C8 và áp dụng
powertop --auto-tune - PowerTOP auto-tune đã vô hiệu hóa bàn phím USB bằng cơ chế tiết kiệm điện cổng USB; nếu giữ bàn phím hoạt động liên tục, công suất tại ổ cắm là 8W
- Khi đầu ra màn hình đang bật, công suất là 9~10W; dùng
consoleblank=600để tắt màn hình sau 600 giây thì giảm xuống 7W
Các bản build tiết kiệm điện trước đây và mục tiêu lần này
- Các ghi chép build tiết kiệm điện trước đây trở thành mốc tham chiếu cho mục tiêu lần này
- PC tiết kiệm điện nền tảng Skylake năm 2016: nhàn rỗi 10W trong Building a Low Power PC on Skylake – 10 watts idle
- NAS/file server gia đình 4 thiết bị lưu trữ năm 2019: nhàn rỗi 9W trong 9w Idle – Creating a low power home NAS / file server with 4 Storage Drives
- Năm 2021, tổ hợp Gigabyte H470M DS3H và Intel i3-10320 đạt 11W nhưng không có bài viết riêng
- Năm 2022, hai hệ thống khác lần lượt là 19W và 27W; không phải mọi tổ hợp CPU/mainboard đều có thể giảm xuống gần 10W
- Để dựng hệ thống mới quanh mức 10W đo tại ổ cắm, cần chọn linh kiện, tinh chỉnh rồi kiểm chứng kết quả thực tế — một việc gần như đánh cược
Chọn mainboard: ASUS Prime H770-Plus D4
- Lựa chọn cuối cùng là ASUS Prime H770-Plus D4
- Khi đó, các lựa chọn phổ thông cho người dùng là mainboard Intel series 600/700 và AMD series 500/600
- Khả năng dùng 6 ổ NVMe trong tương lai là yếu tố quan trọng, nhưng có thể xem là không có mainboard tiêu dùng nào dùng đồng thời cả 6 khe M.2 ở chế độ PCIe
- AMD MEG X570S Unify-X Max trông như có 6 M.2, nhưng theo manual, nếu lấp đầy cả 6 thì khe cuối phải là biến thể SATA
- ASRock Z790 PG Sonic cũng có 6 khe, nhưng do điều kiện loại trừ của khe Gen5 NVMe nên chỉ dùng được 5 khe
- Khi muốn dùng mọi M.2 ở Gen4 x4 trên bo mạch tiêu dùng, sẽ gặp giới hạn lane chipset
- AMD X570, Intel B760: tối đa 3
- AMD B650, Intel H670/Q670/Z690/W680: 4
- AMD X670, Intel H770: 5
- Intel Z790: 6
- Vì mục tiêu 6 NVMe nên cần adapter PCIe-to-M.2; tổng số khe M.2 tích hợp và khe PCIe từ x4 trở lên trở thành tiêu chí chọn mainboard
- Lý do chọn nền tảng Intel là công suất chipset, tốc độ liên kết chipset-CPU, linh kiện sẵn có và lo ngại về điện năng AM5
- TDP của chipset Intel series 600/700 đều là 6W
- Chipset AMD X670 được xem là 7W+7W
- Intel H670/Q670/W680/Z690/H770/Z790 kết nối với CPU bằng DMI 4.0 x8, còn AMD X570/B650/X670 kết nối bằng PCIe 4.0 x4, băng thông lý thuyết tương ứng khoảng 16GB/s so với 8GB/s
- Có thể tái sử dụng DDR4 64GB và CPU Intel thế hệ 12 đang có
- Chipset AMD series 600 chỉ hỗ trợ DDR5
CPU, bộ nhớ, ổ khởi động, PSU
- CPU dùng Intel i5-12400 H0 stepping Alder Lake đang có sẵn
- Ở bản build desktop trước đó, CPU này được chọn vì giải mã phần cứng AV1, tránh overhead silicon của E-core và hiệu năng trong dòng thế hệ 12
- Bản build desktop trước gặp nhiều vấn đề liên quan đến GPU và màn hình, nhưng đây không phải yếu tố cốt lõi trong bản build hướng máy chủ lần này
- Bộ nhớ dùng DDR4-3200 64GB
- 2x16GB Kingston HyperX dual-rank Hynix DJR
- 2x16GB Kingston HyperX single-rank Hynix CJR
- Chạy 4 module ở 16-18-18-36 và đặt điện áp RAM 1.25V
- Trong TestMem5 và Memtest86, 1.22V cũng ổn định nhưng dùng 1.25V để có biên an toàn ổn định
- Ổ khởi động dùng để thử nghiệm là Sandisk Ultra 3D 1TB SATA SSD
- Do có nhiều A/B test PCIe và NVMe, Ubuntu 23.04 được cài trên SATA SSD để để trống khe PCIe
- Sau khi thử nghiệm, OS chính dự kiến chạy trên Samsung SSD 970 EVO Plus 500GB NVMe
- PSU dùng Corsair RM750
- Với hệ thống nhàn rỗi quanh 10W, 750W trông có vẻ dư thừa, nhưng tải tức thời có thể cao khi motor của 12 ổ đĩa cùng bắt đầu quay
- Seagate ghi dòng đỉnh trên rail 12V của một ổ 3.5 inch 10TB là 2A/3A theo DC/AC
- Nếu 6 ổ cùng lúc kéo 150~200W và CPU kéo đỉnh 120W, hệ thống có thể nhảy tức thời từ trạng thái nhàn rỗi 10W lên khoảng 400W
- Thiếu công suất tức thời có thể dẫn tới sụt áp, crash, reboot và hỏng dữ liệu khi đang ghi
Thiết lập điện năng BIOS và OS
- Điều kiện đo điện ban đầu là Ubuntu Server 23.04, Intel PowerTOP auto-tune và đo tại ổ cắm
- Các thiết lập chính áp dụng trong BIOS như sau
- Bật CPU C-state tới C10
- Bật ASPM và đặt tất cả về L1
- Bật RC6(Render Standby)
- Bật Aggressive LPM Support(ALPM)
- Tắt HD Audio, Connectivity Mode, LEDs, GNA Device, Serial Port
- Với mục tiêu tiết kiệm điện, hỗ trợ mainboard và cấu hình BIOS là then chốt
- Trên bo ASUS H770, cần bật Native ASPM và trạng thái L1 phù hợp để tiêu thụ điện thấp
- Thiết lập này nhằm cho phép OS điều khiển thay vì BIOS điều khiển
Nút thắt lộ ra sau khi gắn thiết bị lưu trữ
- Khi kết nối 12 HDD và để ở trạng thái dừng quay, công suất chờ tăng từ 7W lên 24~25W
- Ban đầu dùng 6 HDD 2.5 inch và 6 HDD 3.5 inch
- Vì mainboard chỉ có 4 cổng SATA, phải dùng bộ điều khiển SATA và port multiplier
- Ban đầu cũng dùng 4 NVMe; Western Digital SN770 nóng ngay cả khi nhàn rỗi, có vẻ không vào chế độ tiết kiệm điện
- Sau khi tháo HDD và kiểm tra từng thành phần, bộ điều khiển SATA JMicron JMB585 có vẻ là nguyên nhân chính khiến công suất tăng
- Không có JMB585, gói CPU đạt C6
- Kết nối lại JMB585 thì chỉ đạt tối đa C3
- Nếu thiết bị PCIe không vào ASPM L1, CPU không thể vào trạng thái tiết kiệm điện sâu hơn
- Card điều khiển JMB585 dường như không hỗ trợ ASPM
Ảnh hưởng của lane PCIe nối trực tiếp CPU
- Hệ thống này chỉ đạt C8 khi không có gì được kết nối vào lane PCIe nối trực tiếp CPU
- Cắm bất kỳ thứ gì vào khe PCIe trên cùng hoặc khe NVMe trên cùng thì C6 là giới hạn
- Chênh lệch điện năng giữa C6 và C8 trong thử nghiệm đơn giản có vẻ dưới 1W
- C8 là mức “có thì tốt”, nhưng đạt C6 được xem là bắt buộc
- C3 được đánh giá là dùng quá nhiều điện
- Với mainboard cụ thể này, nếu không thật sự cần độ trễ thấp hoặc toàn bộ băng thông nối trực tiếp CPU, nên tránh dùng lane nối trực tiếp CPU
So sánh bộ điều khiển SATA ASM1166 và JMB585
- Trong quá trình tìm SATA HBA, nhận định rằng bộ điều khiển SATA ASM1166 có thể hỗ trợ ASPM L1, nhưng để dùng đúng cách cần flash firmware
- Sau khi card ASM1166 tới, firmware được flash trước
- Firmware mới nhất dùng file “fix compatibility issue” trong mục tải về SilverStone ECS06: https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/
- Quy trình theo tài liệu của Phil Barker: https://docs.phil-barker.com/posts/…
- File SilverStone có MD5 giống firmware tìm thấy trên diễn đàn unRAID
- Kết quả đo điện khi chưa kết nối ổ đĩa
- Không có bộ điều khiển SATA: 8W, C8
- Gắn ASM1166 vào khe x4 nối chipset: 9W, C8
- Gắn JMB585 vào khe x16 nối CPU: 12W, C3
- Gắn JMB585 vào khe x4 nối chipset: 15W, C3
- Gắn ASM1166 vào khe x16 nối CPU: 22W, C2
- Khi kết nối ổ đĩa, ASM1166 rõ ràng tốt hơn JMB585 về điện năng
- Gắn ASM1166 vào khe x4 nối chipset: 10W, C8
- Gắn 2 ASM1166 vào khe x4 nối chipset và chỉ dùng 1 NVMe: 11W, C8
- Gắn JMB585 vào khe x4 nối chipset: 16W, C3
- Gắn JMB585 vào khe x16 nối CPU: 24W, C2
- Khi gắn 4 ổ vào khe nối chipset, ASM1166 làm tăng công suất hệ thống +2W, còn JMB585 tăng +8W
NVMe và SATA drive cũng làm thay đổi C-State
- Khi dùng WD Black SN770 Gen4 NVMe ở cổng PCIe/NVMe trên cùng nối trực tiếp CPU, xảy ra lỗi AER Bus Error và BadTLP
- Nếu để “PEG – ASPM” trong BIOS là Disabled hoặc L0s thì không có lỗi
- Nhưng L1 quan trọng với tiết kiệm điện nên đây không phải lựa chọn tốt
- Đặt Link Speed là Gen3 làm lỗi giảm đáng kể nhưng không hết
- Thay ổ WD bằng Crucial P3 thì lỗi biến mất
- Khi lắp 2 NVMe Crucial P3 vào khe PCIe x16 nối trực tiếp CPU và khe M.2 trên cùng, nhiệt độ nhàn rỗi của controller cao
- NAND khoảng 27~29°C nhưng controller được báo 49~50°C
- Khi đưa cả hai NVMe sang khe PCIe nối chipset, L1.1/L1.2 được kích hoạt và nhiệt độ controller giảm xuống 38~41°C
- Bản cập nhật cho biết nhiệt độ controller Crucial P3 trong build cuối là 31~34°C, nhiệt độ NAND là 23~24°C
- Thương hiệu và model SATA SSD cũng có thể thay đổi kết quả C-State
- SATA SSD 1TB Patriot P210 giữ hệ thống ở C6
- Các ổ cho phép C10 gồm Samsung 850 EVO SATA SSD, Seagate SATA HDD, Toshiba SATA HDD, Sandisk Ultra 3D SATA SSD, Crucial MX500, v.v.
- Nên chọn SATA SSD theo thương hiệu và model cẩn thận, và kiểm chứng chỉ số hiệu năng trong thời hạn trả hàng sau khi mua
Cấu hình lưu trữ hiện tại và điện năng
- Cấu hình hiện tại đã tăng đáng kể số thiết bị lưu trữ
- 1x ổ khởi động Samsung 970 EVO Plus NVMe 500GB
- 2x Crucial P3 NVMe 4TB
- 5x Seagate HDD 2.5 inch 5TB, mỗi ổ dùng 4TB
- 6x Seagate HDD 3.5 inch 10TB, mỗi ổ dùng 8TB
- 2x card SATA ASM1166
- Với màn hình bật và bàn phím hoạt động, điện năng tại ổ cắm theo từng bước như sau
- 11 HDD đều active-idle: 50W
- 6 HDD 3.5 inch ở Idle B: 38W
- 6 HDD 3.5 inch ở Idle C: 34W
- 6 HDD 3.5 inch spin down về Standby_Z: 21W
- 5 HDD 2.5 inch cũng ở Standby: 18W
- Tắt đầu ra màn hình: 16W
- Cho phép PowerTOP vô hiệu hóa bàn phím USB: 15W
- Công suất standby do Seagate công bố là khoảng 0.8W/ổ 3.5 inch và khoảng 0.18W/ổ 2.5 inch, có vẻ khớp với quan sát thực tế
- Ổ 3.5 inch là thiết bị tiêu thụ điện lớn so với các linh kiện còn lại trong hệ thống
Chuyển đổi dài hạn từ HDD sang SSD
- Vì mức tiêu thụ nhàn rỗi khi HDD ở standby thấp, không cần vội chuyển sang SSD
- Dự kiến sẽ chuyển dần khi HDD và ổ dự phòng hỏng hoặc giá SSD giảm
- Mục tiêu cuối cùng là bản build toàn SSD
- Kế hoạch ban đầu là 1 ổ khởi động, 6x NVMe cho RAIDZ2 và 6x SATA SSD cho RAIDZ2 thứ hai
- NVMe có lẽ là Crucial P3 4TB, SATA SSD có lẽ là Samsung 870 QVO 8TB
- Việc dùng khe M.2/PCIe nối trực tiếp CPU có tính khó đoán và chịu một chút chi phí về C-State·điện năng·nhiệt độ, nên cũng có thể đổi hướng: bỏ một phần NVMe và dùng thêm SATA để tránh lane nối trực tiếp CPU
- Nếu thay toàn bộ HDD bằng SSD, kỳ vọng công suất nhàn rỗi khoảng 10~11W trong khi có 72TB ổ đĩa, RAM 64GB và bộ xử lý khá tốt
ZFS cache và sử dụng Special vdev
- Vì có khả năng mất nhiều thời gian để thay toàn bộ HDD bằng SSD, trong thời gian đó sẽ dùng các tính năng tận dụng thiết bị lưu trữ tốc độ cao của ZFS
- ZFS cung cấp Special Allocation Class và ổ cache L2ARC như các tùy chọn đặt thiết bị lưu trữ tốc độ cao như SSD trước thiết bị lưu trữ chậm
- Special Allocation Class có thể tạo vdev riêng cho metadata và các block nhỏ theo kích thước đã chọn
- Danh sách file và duyệt thư mục nhanh hơn
- Dù bản thân file nằm trên HDD, khi chạy
lstrên nhiều thư mục có thể không đánh thức HDD - Tuy nhiên, vì toàn bộ metadata nằm trên special vdev, nếu vdev này chết thì về thực tế sẽ không thể truy cập mọi dữ liệu
- Cần cấu hình mirror tối thiểu, và cũng có thể cân nhắc 3-way mirror
- L2ARC là cache cấp hai của ZFS
- Khi cache RAM đầy, ZFS sao chép một số block sang L2ARC rồi loại chúng khỏi RAM
- Ở lần truy cập sau, dữ liệu đó được đọc từ L2ARC thay vì từ đĩa
- L2ARC dùng chỉ 1 SSD cũng được; nếu có lỗi checksum hoặc hỏng ổ, ZFS sẽ đọc lại từ đĩa gốc
- Trong cấu hình lần này, NVMe 4TB được dùng làm L2ARC
- Khi các ổ 2.5 inch còn lại đều được thay bằng SSD và lợi thế tốc độ của cache SSD không còn, có thể gỡ thiết bị cache này
Kết luận thực tế
- Nếu muốn công suất nhàn rỗi thấp, BIOS của mainboard phải cung cấp đủ thiết lập C-State, ASPM, ALPM
- Mọi thiết bị cần hỗ trợ ASPM L1 để kết quả ổn định
- Phần khó nhất là tìm bộ điều khiển SATA hỗ trợ ASPM L1
- Nếu có thể, nên dùng mainboard có đủ cổng SATA nối trực tiếp chipset Intel để không cần card rời
- Với NVMe cũng cần tìm hiểu xem sản phẩm có vận hành đúng trạng thái APST tiết kiệm điện dưới ASPM hay không
- Nếu nhắm tới C8, nên tránh dùng lane PCIe nối trực tiếp CPU
- Lane nối trực tiếp CPU là khe PCIe và M.2 trên cùng
- Ngoại lệ là khi cần độ trễ thấp và toàn bộ băng thông nối trực tiếp CPU, hoặc khi thiết bị hoạt động liên tục nên không vào trạng thái tiết kiệm điện
- Đồng hồ đo điện tại ổ cắm như Kill-A-Watt là thiết yếu để xác nhận tình huống thực tế
- Chỉ số phần mềm khó xác nhận hiệu suất PSU, điện chờ của ổ đĩa, ảnh hưởng thiết bị USB và ảnh hưởng đầu ra màn hình
- Theo cập nhật liên quan đến NIC Realtek, các kernel Linux gần đây vô hiệu hóa chế độ tiết kiệm điện L1 trên phần lớn NIC Realtek, khiến CPU không vào được C-State phù hợp và làm tăng điện năng
- Có cách обход, nhưng trong tương lai có khả năng sẽ giới hạn ở mainboard tích hợp adapter mạng Intel 1 Gigabit
- Script được nhắc trong phần bình luận có thể xem tại RTL8125-ASPM.sh.txt
1 bình luận
Ý kiến trên Hacker News
Có một chủ đề trên diễn đàn Đức và tài liệu Google Docs tổng hợp các cấu hình dưới 30W, trông khá hữu ích cho những ai tự dựng homeserver/NAS https://goo.gl/z8nt3A
Cá nhân tôi thấy cấu hình có hiệu năng/giá tốt nhất là Fujitsu D3417-B2, Intel Xeon 1225 V5, 64GB ECC RAM, WD SN850x 2TB, Fractal Design Define Mini C, Pico PSU 120W + bộ nguồn Leicke 120W, quản lý từ xa Intel AMT + MeshCommander
Tôi mua đồ cũ rất rẻ và đang chạy Proxmox; khi không có HDD, điện nhàn rỗi là 9,3W. Có 6 cổng SATA và cổng PCIe nên có thể thêm dung lượng lưu trữ hoặc passthrough GPU rời
Tổng cộng tôi trả €380, nhưng có thể khó kiếm. Nó không hợp lắm cho mã hóa media, nên Core i3 8100 trở lên sẽ tốt hơn; các bo mạch thay thế đáng cân nhắc gồm GIGABYTE C246N-WU2, Gigabyte C246-WU4, Fujitsu D3517-B, Fujitsu D3644, cùng phiên bản Corsair RM550x 2021
Các workstation cũ giá rẻ như Dell T30 hay Fujitsu Celsius W550 cũng ổn để làm server. Phía Fujitsu dùng bo D3417(-A), không dùng ATX 24 pin mà dùng bộ nguồn 16 pin riêng; adapter 24 pin sang 16 pin trên AliExpress hơi rủi ro nên đang được kiểm chứng
Lựa chọn bên Ryzen khá hiếm, nhưng có báo cáo rằng tổ hợp AMD Ryzen 5 PRO 4650G với bo Asus PRIME B550M-A nhàn rỗi khoảng 16W
Bo Fujitsu rất tuyệt và ở EU thì rất rẻ. Cũng có trường hợp reverse engineering license KVM của tính năng quản lý từ xa iRMC S4/S5 https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
HDD có đỉnh công suất lớn khi spin-up, và nếu trong RAID có nhiều ổ thì chúng có thể cùng khởi động, vượt quá mức công suất cho phép
CPU AMD PRO hỗ trợ ECC, điều mà tôi xem là bắt buộc nếu là máy tính thực sự. Phần lớn linh kiện trên bo đã được tắt, và chất lượng gần như ở mức thấp nhất của dòng tiêu dùng
Điểm hay là GPU tích hợp khá ổn trong những tình huống cần đốt thêm điện khi cần
Phần cứng thì tuyệt, nhưng nếu quản lý phần mềm trở thành một việc phải làm thì rất khó biện minh cho các cấu hình tự dựng như thế này
Synology NAS của tôi có 8GB RAM và bộ xử lý J4150, chạy khoảng 15 container, Wireguard và DSM, hệ điều hành của Synology; thường mức nhàn rỗi chỉ khoảng 1–3%
Cuối cùng phần mềm mới tạo ra khác biệt, và DSM là ưu điểm lớn nhất cũng như điều gây ngạc nhiên nhất. Tôi cũng dùng TrueNAS làm server sao lưu thứ hai, nhưng không thể so với DSM
Có những lúc tôi không muốn phải lục log và thử sai chỉ vì cấu hình CRON cơ bản để sao lưu một file từ server khác; DSM thì có vô số trường hợp cứ thế chạy được
Tôi nghĩ Synology đang bỏ lỡ cơ hội trở thành Microsoft của thế giới NAS bằng cách cho phép chạy DSM trên các nền tảng không phải Synology, hoặc ít nhất là làm cho việc tự cài đặt dễ hơn. DSM là một OS tuyệt vời và có thể tự bán được, đồng thời còn có thể dẫn đến upsell các sản phẩm như Active Backup for Business
Xpenology là bootloader cho DSM của Synology, còn DSM là hệ điều hành riêng dựa trên Linux dùng trên thiết bị Synology NAS
Dùng Xpenology cho phép chạy Synology DSM trên các thiết bị x86 như PC thông thường hoặc NAS tự dựng, qua đó dùng được các tính năng multimedia và cloud của DSM mà không cần mua phần cứng Synology
Nhiều người cũng thích cách này vì có thể tự chọn bộ xử lý và RAM mạnh hơn cho các tác vụ như transcode video
Chỉ cần số lựa chọn tổ hợp phần cứng tăng lên một chút là đã gây bùng nổ tổ hợp, khiến việc kiểm thử tất cả trở nên bất khả thi
Nếu có frontend Synology DSM đặt trước cloud IaaS thì có vẻ sẽ khá ổn
Tôi cấu hình năm HDD 16TB Seagate Iron Wolf Pro trên DS1520+ theo RAID6, và giữ một HDD giống vậy làm cold spare; suốt 2 năm nó chạy hoàn toàn không vấn đề
Ngược lại, lịch sử cài Linux của tôi thì đến mức chỉ cần thở thôi cũng làm hỏng, gần như một bộ phim kinh dị về kẻ hủy diệt Linux biết đi
Năm nay họ vẫn bán máy với kernel 4.4, và chỉ các sản phẩm mới ra năm nay mới nhận 5.10. Giữa các bản DSM cũng không thể nhận nâng cấp phiên bản kernel
Có vẻ tác giả đã dựng 5 hệ thống theo chu kỳ khoảng hai năm một lần từ 2016 đến 2023
Một số linh kiện như RAM được tái sử dụng qua nhiều bản build
Điều tôi thắc mắc là chi phí phần cứng và tiền điện trong suốt vòng đời lần lượt là bao nhiêu. Một cỗ máy tốn điện dùng 4 năm đôi khi có thể tốt hơn một máy tiết kiệm điện dùng 2 năm
Hiện theo pcpartpicker, mainboard + CPU là 322 USD, và nếu tính 0,25 USD mỗi kWh thì chi phí dùng 36W liên tục trong 4 năm cũng khoảng 315 USD
Vì vậy, một hệ thống 43W dùng 4 năm có thể rẻ hơn tổng chi phí mua và vận hành so với một hệ thống 7W dùng 2 năm
Tôi hầu như không mở rộng dung lượng lưu trữ. Đến thời điểm đó thì mạng và phần mềm đã cũ nên tôi mua mới, chuyển thiết bị cũ sang làm backup cho thiết bị mới, rồi loại bỏ thiết bị backup còn cũ hơn
Thú vị là chu kỳ nâng cấp này đã duy trì suốt 20 năm, nên rất dễ hiểu khấu hao. Tổng cộng dùng 16 năm, nhưng thực tế là 8 năm làm thiết bị chính và 8 năm làm thiết bị backup
Cấu hình gồm 7950X3D, X670E Taichi, 96GB 6400MHz CL32, 2x4TB Lexar, 4x18TB Seagate Exos X18, RX570 8G, Proxmox
Khi idle không có VM thì khoảng 60~70W, khi idle với VM TrueNAS và đĩa đang quay là 90~100W, còn idle với TrueNAS và Fedora Desktop passthrough GPU là khoảng 150W
Vài tuần nữa tôi định thay RX570 bằng 7900 XTX. RAM cộng thêm khá nhiều điện năng, và với DDR5, mức 3~5W cho mỗi 8GB tùy theo tần số cũng khá phổ biến
Tôi từng nghĩ Proxmox + TrueNAS sẽ khoảng 50~100W, nhưng đã không tính đến mức tiêu thụ điện của 96GB RAM
Cấu hình của tôi là AMD Ryzen 7 PRO 5750GE, 128GB ECC DDR4-3200, Intel XL710-QDA2, LSI 9500-16i, 8 HDD WD 16TB, 2 SSD SK Hynix P41 Platinum M.2 NVMe, 2 SSD Samsung PM9A3 U.2 NVMe, 2 SSD Samsung PM893 SATA
Có BMC, dual 40GbE nên trong một số tình huống có thể duy trì khoảng 55GbE trên mạng, còn phần lớn là 30~35GbE. TrueNAS SCALE chạy như thiết bị lưu trữ thuần cho biên tập video, cụm Proxmox gồm các máy 1L SFF dùng 5750GE và 10GbE chủ yếu chạy Apache Spark, và tôi cũng có cụm k3s Pi4B 8GB
Có phân tầng lưu trữ nên gần như không chạm tới đĩa, đa phần chúng ở trạng thái ngủ. Dữ liệu chủ yếu được gửi/nhận trên U.2 rồi sau đó tự động được chuyển đi. SATA SSD dùng cho metadata, còn boot từ SuperMicro SuperDOM
Zen 3 Ryzen PRO 5750GE là một sản phẩm như kỳ lân, nhưng điện năng rất thấp. Công suất idle cực nhỏ, có GPU tích hợp và hỗ trợ ECC, có các tính năng bảo vệ bộ nhớ của EPYC, đạt khoảng 92% hiệu năng của 5800X nhưng khi tải toàn bộ 8 nhân 16 luồng thì package power bị giới hạn ngay dưới 39W
LSI 9500-16i cung cấp đúng số lane cần thiết, tức 8 lane PCIe và 16 SlimSAS, xử lý được 2 U.2 enterprise và 8 HDD; vì là adapter mới nên điện idle cũng thấp
NIC Intel dual QSFP+ được tôi cố ý chọn vì nếu dùng DAC đồng thụ động thì có thể tiết kiệm 4~5W mỗi port giữa NIC và switch. Ở tốc độ truyền này, độ trễ thấp hơn quang cũng là điểm có ý nghĩa
Kẻ ngốn điện là ASRock X570D4U. Riêng BMC đã ăn 3,2W và bản thân X570 cũng tiêu thụ kha khá. Dù vậy toàn hệ thống idle ở 50W, hầu hết tải là 75~80W, và về lý thuyết có lẽ lên khoảng 180~190W khi mọi thứ đều tải tối đa
Tôi cũng dùng DIMM DDR5 48GB, nhưng HwInfo báo tối đa 6W mỗi module
Cộng NAS 847E16-RJBOD gắn 44 HDD quay, switch 10GbE 48 port POE+, 2 bộ nguồn liên tục, giám sát môi trường và router DECISO OPNsense, mức tiêu thụ trung bình là 1264W, cảm giác như đã thành nhà máy lọc dầu hóa dầu
Một UPS báo hiệu suất 98% theo hệ số công suất, nhưng cái còn lại chỉ 91% nên không tốt lắm
Tôi đã tắt APM trên tất cả HDD. Vì lợi ích tiết kiệm điện mang tính thần thoại không thể đạt được trong cấu hình này chỉ gây thêm độ trễ và hao mòn
SMART hầu như không dự đoán được lỗi, nhưng một trong những tín hiệu mạnh của lỗi ổ đĩa là nhiệt độ tăng nhẹ, thường là kết quả của mòn vòng bi
Nhiệt thải đủ nhiều nên một phòng không cần sưởi, và cũng không có lý do phải hạ nhiệt độ xung quanh datacenter xuống dưới 27°C, nên không nhất thiết cần làm mát
Nước và máy tính thì không nên trộn lẫn, nhưng đó có thể là cách tốt hơn để tận dụng lượng nhiệt thải kia
Tiết kiệm điện thì tốt, nhưng chạy RAID lớn mà không có ECC trong thời gian dài thì thấy không yên tâm. Mình tò mò liệu có giải pháp tốt nào tương tự nhưng vững chắc hơn trong hơn 5 năm không
X11SAE-F hay X12SCA-F, thậm chí đời cũ hơn nữa cũng đủ dùng. Điện năng có thể không thấp đến mức cực kỳ thấp
Mình vẫn đang chạy NAS và container LXC bằng X9SCA+-F cùng một con Xeon rất cũ. Công suất nhàn rỗi không phải 5W mà khoảng 20–30W, nhưng mình chưa từng gặp vấn đề gì, và chắc chắn là nó đã hoàn vốn nhiều lần rồi
Barebone thì rẻ, nhưng bộ nhớ ECC có thể đắt vì không phải RDIMM máy chủ phổ biến. Cũng không phải cấu hình tiết kiệm điện
Nếu muốn lên đến mức xử lý một case đầy HDD hoặc cả hệ 4U thì cần lane PCIe. Trong trường hợp đó, tổ hợp w680, i5-12600K, một thanh ECC UDIMM, SAS HBA ở khe PCIe và Ethernet tích hợp có lẽ gần với mức điện năng thấp nhất có thể
Đáng tiếc là giá nền tảng w680 quá đắt, còn am4/zen2 rẻ hơn nên vẫn đáng dùng
Xeon, Xeon nhúng, am5, am4 đều được, nhưng am4 có thể không có GPU tích hợp
Chạy RAID không ECC trong 5 năm không phải là sai về bản chất; thực tế rất nhiều người dùng như vậy và vẫn ổn
Không rõ từng phần tiêu thụ bao nhiêu, nhưng NAS này cộng với máy tính i5 12400, router và switch dùng 100W điện đo ở ổ cắm khi hoạt động cơ bản. Có khoảng 30 container
So với các workstation cũ từng dùng làm home server trước đây thì mình thấy hiệu quả hơn rất nhiều
Bo này có vẻ hỗ trợ ECC với chip này: Supermicro X13SAE W680 LGA1700 ATX Motherboard
Giá là 550 đô
Cũng có thể dựng xoay quanh bo này rồi gắn số ổ NVMe cần thiết bằng card PCIe 4.0-NVMe. Không rẻ, nhưng ở mức chấp nhận được cho nhu cầu gia đình
Bài viết hay. Trước đây mình từng thử một thứ tương tự
https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...
Với cấu hình nhiều dung lượng lưu trữ thì rất tuyệt
Nếu dữ liệu nằm trên một SSD hoặc một cặp RAID mirror và không cần nhiều tính toán, có thể làm server tiết kiệm điện bằng máy tính đơn bo như RasPi hoặc thứ kiểu NUC
Cá nhân mình đang dùng vài server Atom 1U; ngoài việc thay quạt bộ nguồn bằng Noctua thì chúng chạy không quạt
Ưu điểm so với RasPi là SATA và RAM ECC, và ngay cả thời COVID cũng dễ mua hơn
Mình cũng có một server GPU 4U, nhưng chưa đào sâu cách đưa nó về trạng thái nhàn rỗi ít điện như tác giả, nên hiện tại khi không dùng thì tắt
Không rõ tại sao không dùng N100
N305 cũng hợp mục đích, còn N100 sẽ thấp hơn nữa https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...
Ngoài ra N100 chỉ hỗ trợ RAM 16GB, trong khi người này dùng 64GB. Số lane PCIe cũng là 9 so với 20, có thể quan trọng với trường hợp sử dụng này, và i5 nhìn chung có vẻ nhanh hơn khá nhiều
So sánh: https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
Không biết vài năm nữa nó có nuốt trọn thị trường mini PC không. Nếu giá giảm để cạnh tranh được với nhiều dòng Pi thì càng có vẻ hợp lý
Nó dùng khoảng 2–8W, chỉ dùng adapter 12V bình thường và jack DC barrel. Hoàn hảo cho Home Assistant và ảo hóa nhẹ
Hiệu năng thực tế còn tốt hơn mini PC i5-6500 bốn nhân. Hoàn toàn không chậm chút nào
Đúng là một hệ thống nhỏ đáng kinh ngạc so với giá tiền
Việc cố gắng tiết kiệm và tối ưu ở phía CPU/bo mạch chủ, nhưng lại dùng từ 6 ổ đĩa trở lên thay vì dùng ít ổ hơn với dung lượng lớn hơn, có lẽ là yếu tố tham bát bỏ mâm
Vì ổ đĩa sẽ hỏng, nên để có tính dự phòng cần ít nhất một ổ dư, và tôi khuyên là 2 ổ. Vì ngay cả khi một ổ hỏng, hệ thống vẫn có thể tiếp tục vận hành trong lúc thay thế.
Nếu tạo mirror RAID-1 với 3 ổ, chi phí sẽ trở nên đắt đỏ vì chỉ nhận được dung lượng thực tương đương một ổ, nên đa số sẽ xem xét các biến thể RAID-5 dùng parity kép.
Nhưng nếu đưa hơn 6 ổ vào cấu hình như vậy thì bắt đầu phát sinh vấn đề hiệu năng, và đôi khi striping trên hai RAID sẽ tốt hơn. Khi vượt quá 6 ổ, xác suất hỏng 3 ổ cũng khó có thể bỏ qua, nên cần thêm stripe parity nữa.
Vì vậy tôi cho rằng 6 ổ là điểm phù hợp, nhưng hoàn toàn có thể có những câu trả lời hợp lý khác.
Tất nhiên lượng dữ liệu bạn có nhiều đến đâu cũng quan trọng. Với nhiều người, một ổ đĩa hiện đại là đủ nên họ chọn RAID-1, và tính dự phòng gần như chỉ nhằm tránh phải chờ khôi phục từ bản sao lưu offsite sau khi ổ hỏng.