Xây dựng mạng full-mesh tốc độ cao 10Gbps bằng USB4 với giá 47,98 USD

• Đã xây dựng một cụm Kubernetes bare-metal và thiết lập mạng 10Gbps để giảm chi phí AWS
• Sử dụng mạng dựa trên cầu nối Ethernet USB4 để thay thế switch Ethernet và cáp truyền thống
• Tốc độ mạng đạt 11Gbps nhưng chi phí triển khai chỉ là 47,98 USD

Mini PC so với máy chủ 1U tiêu chuẩn

• Đã cân nhắc loại máy sẽ dùng khi xây dựng cụm bare-metal
• Máy chủ 1U cũ có giá rẻ nhưng kém hiệu quả nếu tính đến chi phí vận hành
• Mini PC rẻ, yên tĩnh và tiêu thụ ít điện năng
• Chọn mini PC Venus UM790 Pro, mức tiêu thụ điện thấp (6W khi nhàn rỗi, 80W khi tải tối đa)
  • CPU AMD Ryzen 9 7940HS + 64GB bộ nhớ + 1T lưu trữ với giá rẻ là $779

Mạng

• Đã thêm 2 mini PC UM790 Pro nữa để mở rộng thành cụm 3 nút
• Sau khi cài đặt hệ thống lưu trữ Ceph, cần kết nối mạng tốt hơn giữa các nút
  • Thiết bị có cổng mạng 2.5G, nhưng vẫn phải mua thêm switch Ethernet
• Xem xét khả năng đạt tốc độ 40Gbps bằng cách tận dụng 2 cổng USB4 trên thiết bị
• Dùng cáp USB4 để tạo mạng full-mesh, tiết kiệm chi phí hơn so với mua switch Ethernet 2.5G

Cấu hình mạng mesh bằng NixOS và Systemd

• Sử dụng NixOS để cấu hình môi trường Linux OS có tính tái lập.
• Dùng systemd-udevd để cấu hình thiết bị mạng cầu nối Thunderbolt và thiết lập IP.

Kết quả benchmark

• Kết quả benchmark bằng iperf3 xác nhận tốc độ mạng 11Gbps

Nhìn lại sau khi triển khai

• Hài lòng vì đã xây dựng được mạng 11Gbps với chi phí thấp.
• Tò mò về nguyên nhân giới hạn tốc độ của mạng dựa trên USB4.
• Khám phá khả năng trong tương lai của việc xây dựng mạng tốc độ cao dựa trên USB/Thunderbolt.

Ý kiến của GN⁺:

• Bài viết này nhấn mạnh tầm quan trọng của việc kỹ sư phần mềm mở rộng hiểu biết về phần cứng. Đặc biệt, bằng cách đưa ra cách tiếp cận sáng tạo để xây dựng mạng tốc độ cao với chi phí thấp, bài viết gợi mở một phương án thay thế mới cho cách làm mạng truyền thống.
• Mạng sử dụng công nghệ USB4 cho thấy có thể mang lại hiệu quả chi phí và tốc độ cao hơn so với các giải pháp dựa trên Ethernet truyền thống. Đây có thể trở thành một lựa chọn hấp dẫn cho các trung tâm dữ liệu quy mô nhỏ hoặc người dùng cá nhân trong tương lai.
• Cách sử dụng các công cụ như NixOS để tự động hóa cấu hình mạng và làm cho nó có thể tái tạo cung cấp thông tin hữu ích cho quản trị viên hệ thống và nhà phát triển.

[aster]

Tôi lại nhìn thành “mua full”..

[pmc7777]

Bố cục được chuẩn bị rất đầy đặn... thật đáng ghen tị

[bus710]

Mình đang dùng IP over TB4/USB4 để truyền tệp, và đúng là cực nhanh haha

[bus710]

Nếu cài thinderbolt-tools, các gói bolt và chỉ cần driver được cài đúng, thì có thể cấu hình giao diện bằng nmcli và dùng ssh hoặc scp dễ dàng như kết nối Ethernet thông thường.

Các thiết bị Intel và Mac hầu như không có vấn đề lớn, nhưng với AMD thì có thể sẽ có một số thiết bị không hoạt động tốt.

[kuroneko]

Biết chuyện này sớm hơn thì tôi đã chọn CPU Intel rồi... huhu

[kuroneko]

Ơ... nếu kết nối trực tiếp USB4/Thunderbolt giữa 2 PC thì nó được nhận như Ethernet à?

Mình đang lên đủ mọi kế hoạch để thử kết nối 10Gbps giữa NAS và PC
(định mua 2 card mạng hỗ trợ 10G rồi nối thẳng với nhau)

Giờ tự nhiên thấy hụt hẫng ghê.

Hay là phải đổi sang mainboard có hỗ trợ USB4/Thunderbolt mới đúng nhỉ...

[kuroneko]

Lúc lướt qua trên HN thì tôi cũng chẳng nghĩ gì nhiều nên bỏ qua luôn,
nhưng xem ở đây thì nội dung đột nhiên lại đập vào mắt;

Dù sao thì nhờ đó mà tôi đã thấy được hướng giải quyết...

Nếu nói về nhược điểm thì chắc chỉ là NAS và PC phải ở gần nhau.
Vì cáp USB4 cùng lắm cũng chỉ khoảng 3 m... (so với cáp LAN tối đa 100 m)

[molla]

Giới hạn về khoảng cách nghiêm trọng hơn nhiều so với tưởng tượng.
Tiêu chuẩn cáp USB-C chỉ hỗ trợ 10Gbps khi dài từ 1m trở xuống. (Đó là lý do cáp dữ liệu USB-C lại ngắn.)
Nếu dài từ 2m trở xuống thì hỗ trợ 5Gbps, còn dài hơn nữa thì chỉ hỗ trợ USB 2.
Nếu chuyển hẳn sang phía Thunderbolt thì có thể dùng cáp active để tăng khoảng cách, nhưng cáp active cũng đắt khủng khiếp, và tôi cũng không rõ nó có tương thích với USB4 hay không.

[kuroneko]

À ha... có vẻ như các loại cáp USB4 dài 3 m đang bán trên thị trường rất có khả năng không đạt được đúng tốc độ.
Chắc phải tìm hiểu thật kỹ rồi mới làm. Vì tôi dùng CPU AMD nên cũng khó dùng Thunderbolt huhu

[GN⁺]

Ý kiến Hacker News

• Thảo luận về giao thức USB4/Thunderbolt:

  • USB4/Thunderbolt là một giao thức gần như kỳ diệu; cách nhanh nhất để di chuyển dữ liệu giữa các PC hiện đại là nối các cổng Thunderbolt bằng cáp USB-C.
  • Kết nối này được Windows nhận diện như một cổng Ethernet, và có thể dễ dàng đạt tốc độ truyền hơn 1GB/s, đủ để bão hòa SSD.
  • Intel đã trình diễn tính năng truyền tệp giữa các thiết bị bằng Thunderbolt 4/5 tại CES. Về lý thuyết, Thunderbolt 4 và 5 lần lượt cung cấp tốc độ 20Gbps và 40Gbps.
  • Nếu chỉ dùng một bộ điều khiển Thunderbolt/USB4, có thể chỉ đạt 11Gbps vì hai cổng USB4 phải chia sẻ làn PCIe 40Gbps.

• Giải thích về cấu trúc mạng:

  • Nếu chỉ có 3 nút thì không gọi là mạng mesh; mạng ring thực sự hình thành khi có từ 3 nút trở lên và một số đích phải đi qua nhiều hop.
  • Mạng mesh là mạng được tạo thành từ các kết nối điểm-điểm tùy ý, nơi có thể tồn tại nhiều đường đi.

• Benchmark mức tiêu thụ điện của máy chủ Dell:

  • Kết quả đo mức tiêu thụ điện của máy chủ Dell r430 cho thấy sau khi khởi động máy dùng khoảng 100 watt, và khi có tải thì tối đa khoảng 220 watt.
  • Tương ứng là 72kWh mỗi ngày, chi phí $11.05 mỗi tháng, và ở trạng thái có tải thì chi phí hàng tháng là $24.3.
  • Nên đặt máy chủ tại cơ sở colocation để giải quyết vấn đề Internet ổn định và tiếng ồn.

• Khả năng xử lý lỗi của USB 4:

  • Có câu hỏi về khả năng xử lý lỗi của USB 4 đối với tình trạng hỏng dữ liệu hiếm gặp khi truyền lượng lớn dữ liệu qua USB.

• Các phương pháp truyền tệp trước đây:

  • Có người chia sẻ ký ức về cách truyền tệp giữa các máy tính MS-DOS bằng cáp song song.

• Tối ưu kết nối Thunderbolt:

  • Khi kết nối Thunderbolt, đặt MTU (đơn vị truyền tối đa) thành 9000 cho hiệu năng tốt hơn so với 1500.

• Hồi tưởng về các cấu trúc mạng thời xưa:

  • Có câu chuyện về việc dùng IP-over-SCSI để nối 8 PC vào một chuỗi SCSI duy nhất với tốc độ U320 trong thập niên 1990.

• Các vấn đề kỹ thuật liên quan đến tốc độ Thunderbolt:

  • Những yếu tố ảnh hưởng đến tốc độ Thunderbolt được nhắc đến gồm cáp, cách bo mạch chủ phân bổ làn PCIe, và cập nhật driver/firmware.

• Thảo luận về giá điện:

  • Có thông tin rằng giá điện dân dụng trung bình là 15.34 cent/kWh, nhưng cũng có người chia sẻ trải nghiệm cá nhân rằng ở San Francisco họ phải trả mức giá đắt hơn gấp đôi.

[cosine20]

Ồ, vậy ra ngày xưa các máy tính có thể kết nối với nhau bằng cáp song song để trao đổi dữ liệu sao???