Meta tái sử dụng RAM cũ trong máy chủ mới bằng chip cầu nối CXL tùy chỉnh

 (theregister.com)
1 điểm bởi GN⁺ 3 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Meta gắn bộ nhớ DDR4 vốn có thể bị loại bỏ vào các máy chủ DDR5 mới, giúp giảm tối đa 25% số lượng máy chủ cần thiết trong một số workload suy luận tách rời
  • Trong khi khoảng 40% đội máy chủ không thể nâng cấp thêm bộ nhớ, bộ nhớ có thể được sử dụng lâu hơn máy chủ, khiến việc tái sử dụng DIMM trở thành một cách tiết kiệm chi phí
  • ASIC tự phát triển Vistara kết nối DDR4 qua giao diện PCIe Gen5 x16 tương thích CXL 2.0/1.1, qua đó vượt qua hạn chế tái sử dụng DDR4 của thiết bị CXL hiện có
  • MemServer dựa trên Vistara kết hợp AMD Turin, 768GB DDR5 và 256GB DDR4, đồng thời phơi bày DDR4 cho OS như một nút NUMA riêng không có CPU
  • Bộ nhớ mở rộng CXL giúp giảm 33% overhead do lỗi tác vụ và khởi động lại vì OOM, cũng như phân mảnh tài nguyên, qua đó giảm gánh nặng vận hành hạ tầng quy mô lớn

Bối cảnh của việc dùng lại DDR4

  • Meta lấy DDR4 DIMM thu hồi từ các máy chủ cũ gắn vào máy chủ mới, tạo thành một pool bộ nhớ có thể chia sẻ
  • Khoảng 40% đội máy chủ không thể nâng cấp thêm bộ nhớ, khiến việc xử lý một số workload trở nên khó khăn
  • Tuổi thọ kỳ vọng của máy chủ là 3–5 năm, trong khi bộ nhớ vẫn có thể hữu dụng trong 7–10 năm
  • Chênh lệch tuổi thọ này khiến việc tái sử dụng bộ nhớ từ máy chủ cũ trong hệ thống mới trở thành một cách tối ưu hóa hiệu quả hạ tầng
  • Tỷ lệ máy chủ không thể nâng cấp thêm: {p:40}

Hạn chế khi triển khai CXL và vai trò của Vistara

  • CXL cho phép chia sẻ bộ nhớ giữa nhiều host, nhưng trong môi trường production, băng thông thấp, độ trễ cao và overhead quản lý tầng bộ nhớ bổ sung có thể trở thành gánh nặng
  • Những hạn chế này có thể càng rõ hơn khi kết hợp các công nghệ bộ nhớ khác nhau trong cùng một hệ thống
  • Meta muốn trộn nhiều loại bộ nhớ trong một máy đơn lẻ, nhưng thiết bị CXL bán sẵn không phù hợp với yêu cầu
    • Hầu hết giải pháp CXL đóng gói DRAM cùng controller, khiến việc tái sử dụng DIMM trở nên khó khăn
    • Nhiều giải pháp không hỗ trợ DDR4, nên không phù hợp để tái chế bộ nhớ cũ
    • Mức tiêu thụ điện và chi phí cũng làm giảm sức hấp dẫn khi triển khai
  • Để lấp khoảng trống này, Meta đã phát triển ASIC tùy chỉnh Vistara

Cấu hình ASIC Vistara

  • Vistara đóng vai trò cầu nối CXL kết nối bộ nhớ DDR4 với bộ xử lý host
  • Giao diện cốt lõi là PCIe Gen5 x16 tương thích CXL 2.0/1.1
  • Mỗi ASIC Vistara có cấu hình sau
    • 2 kênh bộ nhớ DDR4 72-bit độc lập
    • Hỗ trợ tốc độ tối đa 3.200 MT/s
    • Hỗ trợ tối đa 256GB mỗi chip khi dùng DIMM 64GB
  • ASIC được vận hành bằng 2 bộ xử lý RISC-V tùy chỉnh

Phần cứng và phần mềm MemServer

  • Phần cứng Vistara được đưa vào thiết bị mà Meta gọi là MemServer
  • Mỗi MemServer kết hợp các thành phần sau
    • Bộ xử lý AMD Turin
    • 158 lõi, 316 luồng
    • Bộ nhớ 768GB DDR5
    • 256GB DDR4 kết nối qua ASIC Vistara
  • Card CXL Vistara được lắp vào khe chỉ truy cập từ phía sau bên trong chassis MemServer
  • Để xử lý tải nhiệt từ bộ nhớ mật độ cao và thiết bị CXL, chassis dùng quạt công suất lớn và luồng khí định hướng để đưa khí làm mát trực tiếp tới module Vistara
  • Về phần mềm, DDR4 được hiển thị với OS như một nút NUMA riêng không có CPU, tách biệt với nút DRAM cục bộ kết nối trực tiếp với bộ xử lý
  • Nền tảng của Meta ưu tiên dùng DDR4 cục bộ sẵn có trước, rồi dùng bộ nhớ dựa trên CXL khi cần
  • Mã driver Linux CXL dùng cho Vistara đã có trong kernel upstream hoặc đang trong quy trình được đưa lên upstream

Áp dụng production và hiệu quả vận hành

  • Meta áp dụng cấu hình CXL dựa trên Vistara vào hạ tầng hyperscale ở quy mô hàng triệu máy chủ
  • Các workload được áp dụng bao gồm
    • Suy luận ML tách rời gồm các bảng embedding của hệ thống gợi ý
    • Xử lý big data
    • Cơ sở dữ liệu
    • Cache phân tán
    • Hệ thống build CI/CD
  • Các công cụ big data như Spark và Hive xử lý dataset ở quy mô terabyte và petabyte, và có thể cần hàng trăm GB bộ nhớ cho mỗi tác vụ
  • Khi sự kiện OOM xảy ra trong các workload này, các phân tích kinh doanh cốt lõi và pipeline ML có thể bị gián đoạn
  • Phần bộ nhớ dư được mở rộng bằng CXL giúp giảm rủi ro OOM, qua đó giảm 33% overhead liên quan đến lỗi tác vụ, khởi động lại tác vụ và phân mảnh tài nguyên
  • Trong suy luận tách rời, hiệu quả đạt được là giảm tối đa 25% số lượng máy chủ
  • Meta cũng hưởng lợi từ việc tránh mức giá bộ nhớ cao
  • Giảm overhead vận hành: {p:33}
  • Giảm số lượng máy chủ suy luận tách rời: {p:25}

Bài viết liên quan

1 bình luận

 
GN⁺ 3 giờ trước
Các ý kiến trên Hacker News

  • Ở phần đầu Neuromancer của William Gibson, nhân vật chính định bán 3MB RAM ở chợ ngầm; chi tiết này thường được trích dẫn như một ví dụ cho thấy cuốn sách không trụ được với thời gian
    Nhưng nhìn vào xu hướng thị trường bộ nhớ hiện nay… có lẽ chúng ta vẫn chưa đi xa đến mức đó cũng nên

    • Các nhà khoa học máy tính thời kỳ đầu thật sự rất lạc quan. Họ tin rằng chỉ cần vài KB RAM và CPU vài MHz là có thể làm đủ thứ, từ trí tuệ nhân tạo, ý thức, học máy, ngôn ngữ cho đến tổng hợp giọng nói
      Giờ thì chỉ một web form cũng dùng RAM tính bằng GB. Việc Gibson cho rằng 3MB RAM là đủ cho một ý thức trong không gian mạng là cực kỳ lạc quan, nhưng lại rất hợp với không khí thời đó
    • Nhiều lần tôi đã nghĩ rằng, từ khi bắt đầu có ý thức theo dõi điện toán, bước tiến ấn tượng nhất là dung lượng bộ nhớ. Mạng hay USB cũng là những tiến bộ lớn, nhưng chúng không làm máy tính “nhanh lên” theo cùng một cách
      Năm 2000, khi Diablo II vừa ra mắt, tôi có thể mượn dùng một máy tính với Pentium III 450MHz và 64MB RAM; khi đó 64MB RAM chỉ ở mức tầm trung, không phải cấu hình hiển nhiên phải có. Theo trí nhớ của tôi, Diablo II khuyến nghị 64MB cho chơi đơn và 128MB cho chơi nhiều người
      Chiếc máy tôi đang dùng để viết bài này có 64GB RAM, tức là gấp 1024 lần. Trong khi đó CPU là Intel 20 nhân, tối đa khoảng 3GHz; ngay cả giả sử mọi nhân đều chạy đồng thời ở tốc độ tối đa, mức tăng hiệu năng CPU cũng chỉ khoảng 133 lần
      Thời gian đọc NVMe có thể cũng quan trọng không kém, thậm chí quan trọng hơn mức tăng dung lượng bộ nhớ, nhưng trên bảng thông số PC nó không nổi bật bằng bộ nhớ và CPU
      Mức tăng dung lượng ổ cứng cũng ấn tượng không kém RAM. Năm 2000 thì có lẽ khoảng 10–30GB, còn giờ tôi không dùng ổ 10TB vì không cần, 1TB là đủ. Vì vậy với cá nhân tôi, cảm nhận về nó không lớn bằng bộ nhớ
    • Trong lịch sử điện toán thời kỳ đầu, đơn vị bộ nhớ vẫn chưa được chuẩn hóa; kích thước word cũng khác nhau tùy kiến trúc phần cứng và không nhất thiết chia hết cho 8
      Dung lượng bộ nhớ của những cỗ máy này thường được biểu diễn bằng kích thước word gốc. Chẳng hạn như “máy này có 8 kiloword bộ nhớ lõi”. Vì vậy khi thấy dung lượng bộ nhớ có vẻ lạc thời trong tiểu thuyết cũ, tôi cứ nghĩ đơn giản là mình không biết kích thước word mà họ dùng
    • Nếu đó là 3MB RAM “nóng” được giữ trong bình cực lạnh thì nó gần với tấn công cold boot hơn; khi ấy không phải bán RAM mà là bán dữ liệu
    • Nói tác phẩm lỗi thời vì lý do đó thì khá là bắt bẻ. Hamlet không có điện thoại di động nhưng tôi vẫn xem đó là một vở kịch tuyệt vời
      Dù chỉ một cuộc FaceTime nhanh thôi cũng đã có thể ngăn bi kịch rồi

  • Không hiểu sao lại không dẫn thẳng tới bài gốc chi tiết hơn
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • Link bài báo gốc là https://aisystemcodesign.github.io/papers/isca26/vistara_cam...
      Lướt qua thì có thể hiểu nôm na là cắm nhiều DDR4 vào thẻ PCIe rồi dùng giống như không gian swap. Thực tế tinh vi hơn nhờ giao thức CXL, nhưng có thể hiểu điểm đánh đổi theo cách đó
      Có vẻ cũng có hỗ trợ ở cấp hệ điều hành để di chuyển các trang nóng/lạnh giữa DRAM chính nhanh và DRAM mở rộng có độ trễ lớn hơn
      DRAM có tuổi thọ khá dài, trong quá trình sản xuất đã mang sẵn lượng phát thải carbon hàm chứa đáng kể, đồng thời lại đang có khủng hoảng nguồn cung DRAM mới; đó là những vấn đề rất xác đáng
    • Thật ngạc nhiên khi viết như thể chuyện này là nhờ “Zuck”. Khó mà tin là ông ấy thật sự biết những nội dung như vậy
    • Nếu nói “bài gốc” thì có lẽ là bài này trên trang chị em của The Register
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • Từ lâu tôi đã thắc mắc vì sao thị trường “các card PCI/PCI-X/PCIe giá rẻ để cắm một đống SIMM/DIMM cũ hoặc dư, bộ nhớ đời trước một hai thế hệ rồi dùng làm swap/bộ nhớ chậm/RAM disk” lại không phát triển mạnh
    Hiếm khi người ta lấp đầy không gian địa chỉ của bo mạch chủ bằng bộ nhớ mới nhất, mà kernel cũng có thể được dạy để ưu tiên loại bộ nhớ nào hơn tùy theo tốc độ, nên nhìn qua có vẻ đương nhiên là làm được
    Tôi nhớ thị trường định làm việc tương tự bằng flash đã bị chặn lại vì vấn đề bằng sáng chế, nhưng chi tiết thì khá mơ hồ. Dù vậy, flash cache ít nhất cũng đã trở thành một thị trường ở phía các hãng lớn. Có thể ở đây cũng từng có chuyện tương tự, hoặc chỉ đúng với ngách mà hồi đó tôi quan tâm
    [1] Tôi biết có vài sản phẩm trong lĩnh vực này, nhưng ấn tượng là chúng không bùng lên được. Có thể tôi sai
    [2] Trên NetBSD thì chắc chắn làm được. Tôi từng tự làm trên các kiến trúc như VMEbus, nơi cấu hình có bộ nhớ onboard nhỏ và nhanh cùng bộ nhớ phía bus chậm hơn nhưng lớn hơn là khá phổ biến. Linux có lẽ cũng làm được nhờ các công việc hỗ trợ NUMA, nhưng tôi chưa từng tự xem kỹ

    • Lý do không có thị trường lớn là bộ nhớ mới không đắt đến mức bị cấm đoán so với chi phí, rủi ro và ràng buộc khi dùng bộ nhớ cũ trong máy chủ mới
      Giờ tình hình đã khác, nên mọi người đang nhìn lại ý tưởng này
    • Không hoàn toàn giống, nhưng tôi đang dựng một hộp NAS bằng linh kiện cũ. Phần lớn RAM dư của tôi là DDR4 SODIMM cho laptop, nên tôi đã thử dùng adapter SODIMM → DIMM desktop, nhưng không ổn
      Hệ thống chỉ boot được khoảng 1 trong 5 lần, và dù chỉnh thiết lập tốc độ bộ nhớ thế nào cũng không ổn định
    • Tôi nhớ 30 năm trước từng có những card kiểu này để chuyển 4 mô-đun SIMM 30 chân sang vừa khe SIMM 72 chân
      https://www.ebay.com/itm/383521792853
    • DIMM thế hệ cũ không rẻ đến vậy và nguồn cung cũng hạn chế. Vì để bảo đảm năng lực sản xuất chip mới, các sản phẩm thế hệ cũ bị loại khỏi dây chuyền
      DDR2 hiện đã đắt hơn DDR3, có lẽ vì không còn được sản xuất nữa nhưng nhu cầu thay thế hoặc nâng cấp bộ nhớ cho phần cứng cũ vẫn còn
    • Tôi hiểu rằng khác biệt lớn ngày nay là CXL bổ sung tính nhất quán cache lên trên PCIe. Có thể tôi sai
      Nếu không có tính nhất quán cache, phải cẩn thận hơn nhiều về cách dùng bộ nhớ đó và câu chuyện hiệu năng cũng phức tạp hơn. RAM trên CXL sẽ kém hiệu năng hơn RAM gắn trực tiếp vào memory controller của CPU, nhưng sẽ không có cái bẫy lớn nào

  • Nếu không muốn thiết kế chip tùy biến, có sản phẩm tiêu chuẩn là chip mở rộng bộ nhớ CXL
    https://www.marvell.com/products/cxl.html

  • Điểm thú vị trong “khủng hoảng RAM” lần này là, cũng như các lĩnh vực khác, khi có vấn đề thì nhiều chủ thể bắt đầu tìm phương án thay thế
    Kết quả là sau khủng hoảng, hy vọng sẽ xuất hiện những ý tưởng hoặc đường vòng thú vị đủ tạo ra một bùng nổ bộ nhớ cũng áp dụng được cho máy local
    Thứ nhất, Apple đang xem xét một nhà sản xuất mới của Trung Quốc, và nếu bảo đảm chất lượng ổn thì cán cân cung-cầu có thể thay đổi. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    Thứ hai, các công ty đang tìm đường vòng về hiệu năng. Đột nhiên single-channel cũng “ổn” rồi sao? :)
    (https://www.gigabyte.com/press/news/2403)

    • RAM single-channel thì chắc chắn vẫn tốt hơn swap dựa trên đĩa
    • Sẽ tốt nếu chúng ta bắt đầu thiết kế phần mềm với ràng buộc phần cứng trong đầu trở lại
    • Suy cho cùng, cái khó ló cái khôn. Có lẽ đây là một trong những khái niệm trừu tượng lâu đời nhất trong tư duy trí tuệ
      Có một mối liên hệ chặt chẽ giữa thiếu hụt tài nguyên và động lực. Nhu cầu mà các frontier model lớn nhất tạo ra lên RAM, SSD và GPU trở thành động lực trực tiếp để tạo ra các LLM nhỏ hơn. Tương tự áp lực tiến hóa khiến động vật nhỏ hơn và tiêu thụ ít thức ăn hơn
      Ngay cả khi các mô hình nhỏ này thành công, trừ những tác vụ như xử lý video chất lượng cao, chúng vẫn có khả năng dùng nhiều RAM, SSD và GPU hơn bất kỳ ứng dụng nào khác. LLM nhỏ và xử lý video cao cấp có vẻ cần lượng tài nguyên tương tự nhau
      Tuy nhiên, khi tài nguyên được phân bổ trên toàn thị trường theo cách truyền thống hơn, chu kỳ có thể bớt điên rồ hơn
      Vì vậy lối thoát cho cuộc khủng hoảng chu kỳ giá RAM/SSD mà các nhà sản xuất gặp phải—tức giá lên xuống giữa hạn chế nguồn cung và dư cung do năng lực sản xuất mới—có vẻ là tài trợ cho nghiên cứu LLM nhỏ hơn. Dù sao họ cũng sẽ bán gần như cùng lượng sản phẩm, và có khi còn bán nhiều hơn

  • Tôi cũng muốn họ làm thứ này cho người tiêu dùng. Tôi có khá nhiều RAM cũ

    • Trước đây Gigabyte từng làm card bổ sung RAM disk. Không hoàn toàn giống, nhưng vì nó hiện ra như thiết bị lưu trữ nên có thể dùng làm không gian swap của hệ điều hành
      https://en.wikipedia.org/wiki/I-RAM
    • Thêm RAM theo cách này không hoàn toàn giống với mở rộng RAM hệ thống chính. Vì RAM được kết nối qua liên kết họ PCIe, nó không hoạt động như RAM chính
      Cấu trúc này phù hợp hơn với các server farm nơi kỹ sư có thể tùy biến và tinh chỉnh theo kiến trúc
      Cũng từng có các card dùng RAM làm thiết bị lưu trữ, nhưng phải cấu hình như đĩa nên phạm vi sử dụng rất hạn chế và không trở nên phổ biến
    • Hệ thống tiêu dùng có cảm giác hơi khác vì không có nhiều băng thông quay về CPU
      Nhìn giá DDR4 cũ hiện nay thì có lẽ chỉ bán đi rồi mua ổ NVMe còn hơn

  • ServeTheHome đã từng đề cập đến bộ điều khiển mở rộng bộ nhớ CXL hồi tháng 12
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • Trong bài báo có viết như sau: “Giải pháp CXL của chúng tôi đã đạt được cải thiện lớn trên nhiều workload khác nhau, và trong suy luận ML phân tán đã giảm số lượng máy chủ tới 25%”
    Tôi không hiểu làm sao dùng RAM tệ hơn mà vẫn có thể giảm 25% số lượng máy chủ cho cùng workload

    • Vì nó không thay thế RAM tốt hơn, mà được dùng bổ sung
    • Về cơ bản CXL là thêm RAM “chậm” ở trên PCIe. Không phải thay thế

  • Sẽ rất thú vị xem thị trường điện tử tiêu dùng trong vài năm tới sẽ ra sao. Các công ty hiện đang cược rằng do thiếu RAM, người tiêu dùng sẽ chấp nhận trả giá cao hơn
    Nhưng khi mọi chi phí khác cũng đang tăng, tôi nghĩ khá nhiều người tiêu dùng sẽ tạm thời không mua thiết bị mới. Không phải theo tiêu chuẩn HN; cần nhớ rằng không phải ai cũng nhận lương ngành công nghệ

    • Tôi cũng nghĩ mình gần với nhóm đó. Tôi chỉ đang chọn tương tác ít hơn với công nghệ
      Mọi thứ ngày càng trở nên đối nghịch với người dùng, đến mức đã chạm ngưỡng chịu đựng
    • Các nhà sản xuất hệ điều hành sẽ phải hỗ trợ phần cứng cũ lâu hơn
      Vì Microsoft cố ép phần cứng mới cho Win11, nên Win10 cũng đã được gia hạn thêm 1 năm

  • Hay đấy, giờ thì giá RAM cũ cũng có thể tăng vọt lên tận trời rồi
    Mong giá PC lại bằng giá một chiếc ô tô. Vì khi đó sẽ có thật nhiều cơ hội kiếm tiền

    • Chuyện đó đã xảy ra rồi. DDR4 cũ 5 năm tuổi hiện còn đắt hơn giá hàng mới cách đây 5 năm