Turin của AMD: ra mắt EPYC thế hệ thứ 5

 (chipsandcheese.com)
3 điểm bởi GN⁺ 2024-10-13 | 1 bình luận | Chia sẻ qua WhatsApp
  • Các phép đo thực tế trên AMD EPYC 9575F cho thấy sự khác biệt thực sự của Turin bằng cách tập trung vào thay đổi trong hệ thống con bộ nhớ cho máy chủ, thay vì lặp lại mô tả về nhân Zen 5
  • Băng thông đơn luồng đạt khoảng 52GB/s khi đọc, 48GB/s khi ghi, và khoảng 95GB/s với phép add; băng thông đọc toàn socket đạt gần 99% mức lý thuyết 576GB/s
  • Turin cho máy chủ sử dụng 2 liên kết GMI với GMI3-W giữa CCD và I/O die, đồng thời độ rộng liên kết ghi cũng tăng lên 32B mỗi liên kết, nên băng thông CCD lớn hơn Zen 5 trên desktop
  • Độ trễ bộ nhớ ở trạng thái không tải tương tự Genoa, nhưng độ trễ giữa các nhân tăng lên: khoảng 45ns trong cùng CCD, khoảng 150ns giữa các CCD, và khoảng 260ns giữa các socket, cao hơn Genoa
  • 9575F có 64 nhân, đạt tối đa 5GHz ở đơn luồng và duy trì khoảng 4.3GHz trong Cinebench 2024 với 128 luồng, thể hiện rõ tính chất của một SKU doanh nghiệp tần số cao với số nhân tương đối thấp

Những thay đổi của Turin qua EPYC 9575F

  • Phân tích Turin được thực hiện xoay quanh dữ liệu đo thực tế của AMD EPYC 9575F
    • CPU này có thể được thử nghiệm thông qua Jordan của StorageReview
    • Vì nhân Zen 5 đã được đề cập trong các bài so sánh trên di động, desktop và các biến thể khác, nên lần này trọng tâm được đặt vào hệ thống con bộ nhớ
  • Có thể xem các slide ra mắt Turin của AMD tại Serve the Home, nhưng ở đây dữ liệu tự đo chiếm tỷ trọng lớn hơn

Cấu hình GMI giúp tăng băng thông CCD

  • Trong kết quả 1T, băng thông bộ nhớ đơn luồng của EPYC 9575F đạt các mức sau
    • Đọc: khoảng 52GB/s
    • Ghi: khoảng 48GB/s
    • add, tức Read-Modify-Write: khoảng 95GB/s
  • Một nhân đơn lẻ cũng có thể sử dụng phần đáng kể trong tổng băng thông bộ nhớ của cả CCD
    • Đọc đạt hơi thấp hơn một nửa tổng băng thông đọc của CCD
    • Ghi đạt khoảng 55% tổng băng thông ghi của CCD
    • add đạt hơn hai phần ba tổng băng thông add của CCD
  • Sự khác biệt này đến từ cấu hình GMI3-W của Turin cho máy chủ
    • EPYC 9575F có 2 liên kết GMI nối với I/O die
    • Ryzen 9950X sử dụng một liên kết GMI duy nhất
    • Liên kết ghi GMI trên máy chủ là 32B mỗi liên kết, lớn hơn mức 16B mỗi liên kết của Zen 5 trên desktop

Bộ nhớ 12 kênh và hiệu năng toàn socket

  • Turin hỗ trợ bộ nhớ 12 kênh và có thể đạt tối đa DDR5-6400MT/s
    • DDR5-6400MT/s chỉ được hỗ trợ trên một số hệ thống đã được xác thực nhất định
    • Mức tốc độ đó chỉ khả dụng với cấu hình 1 DIMM mỗi kênh
  • Hệ thống thử nghiệm chạy ở DDR5-6000MT/s
    • Phần lớn hệ thống hỗ trợ DDR5-6000MT/s với cấu hình 1 DIMM mỗi kênh
    • Nếu dùng 2 DIMM mỗi kênh, tốc độ bộ nhớ sẽ giảm xuống 4400MT/s
    • Trên bo mạch chủ có 2 khe DIMM mỗi kênh, nếu chỉ dùng 1 DIMM mỗi kênh thì có thể kỳ vọng 5200MT/s
  • Băng thông đọc của toàn bộ socket 9575F đạt gần 99% mức lý thuyết 576GB/s
    • Ghi: 435GB/s
    • add: 453GB/s
  • Trên nền tảng AMD Volcano, băng thông liên socket giữa hai 9575F cũng đã được đo
    • Nền tảng này chỉ có 3 liên kết GMI giữa hai CPU
    • Kết quả rất giống với bài thử Bergamo, và hệ thống Bergamo cũng dùng cấu hình 3 liên kết GMI tương tự

Độ trễ khi có tải và độ trễ giữa các nhân

  • Độ trễ bộ nhớ của Turin khi không tải rất giống với Genoa
  • Tại Hot Chips 2024, Ampere Computing đã công bố biểu đồ độ trễ bộ nhớ khi có tải của chip AmpereOne và CPU AMD Genoa, và từ đó một bài thử độ trễ khi có tải tương tự đã được tạo ra
  • Bài thử hoạt động bằng cách dùng benchmark băng thông bộ nhớ để lấp đầy liên kết IOD-CCD hoặc toàn bộ hệ thống bộ nhớ, sau đó đo độ trễ bộ nhớ bằng các nhân hoặc CCD còn lại
    • Trong bài thử một CCD, benchmark băng thông bộ nhớ chạy trên 7 nhân của một CCD và độ trễ được đo trên nhân thứ 8
    • Trong bài thử toàn hệ thống, benchmark băng thông bộ nhớ chạy trên 7 CCD của 9575F và độ trễ được đo trên CCD thứ 8
  • Khi có tải, mức tăng độ trễ bộ nhớ của 9575F khá tương đồng giữa các điều kiện
    • Với tải trên một CCD, độ trễ tăng khoảng 39ns so với khi không tải
    • Với tải toàn hệ thống, độ trễ tăng khoảng 31ns so với khi không tải
  • Độ trễ giữa các nhân đã tăng so với Genoa, đặc biệt là mức tăng bên trong CCD khá rõ rệt
    • Độ trễ Intra-CCD: khoảng 45ns
    • Độ trễ Inter-CCD: khoảng 150ns
    • Độ trễ Socket to Socket: khoảng 260ns

Xung nhịp và vị thế sản phẩm

  • EPYC 9575F có thể đưa cả 64 nhân lên tối đa 5GHz trong bài thử đơn luồng
  • Trong bài thử băng thông bộ nhớ, cả 8 nhân của một CCD đều có thể chạy ở 5GHz
  • Khi dùng toàn bộ 128 luồng trong Cinebench 2024, CPU duy trì quanh mức 4.3GHz
  • Wendell của Level1Techs đã xác nhận mức 4.9GHz all-core trong workload máy chủ web/giao dịch TLS; đây là loại công việc ít được vector hóa hơn
  • Dòng Turin cung cấp đồng thời các SKU nhiều nhân và các SKU xung nhịp cao
    • AMD có các SKU nhiều nhân như 9755 và 9965
    • Công ty cũng cung cấp các SKU như 9575F với ít nhân hơn nhưng xung nhịp rất cao
    • Việc 64 nhân bị xem là “số nhân thấp” tự nó đã cho thấy sự thay đổi của thị trường CPU máy chủ
  • Turin gần với một bước tiến hóa hơn là một cuộc cách mạng đột ngột như khi chuyển từ Naples sang Rome; nó giống quá trình chuyển từ Milan sang Genoa hơn, với sự kết hợp của tăng băng thông bộ nhớ, tăng số nhân và cập nhật nhân

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-10-13
Ý kiến trên Hacker News

  • AMD EPYC 9175F là mẫu kỳ lạ nhất: 16 lõi mà có tới 512MB bộ nhớ đệm L3, có vẻ nhắm đến khách hàng muốn giảm chi phí bản quyền tính theo số lõi
    Nếu không thì thật khó hiểu vì sao một con chip đắt như vậy lại có ít lõi đến thế. Không rõ Oracle có còn dùng kiểu cấp phép này không, nhưng nếu còn thì nên dừng lại
    Nó cũng có thể phù hợp cho các trường hợp như HFT, nơi người ta muốn đưa toàn bộ thuật toán vào L3 để nhắm tới độ trễ thấp tuyệt đối, hoặc khi chỉ muốn dùng những lõi tốt nhất trên mỗi chiplet. Dù vậy, khả năng lớn nhất có lẽ vẫn là vì bản quyền phần mềm

    • Mô phỏng sự kiện rời rạc cũng là một ví dụ hay. Những thứ như mạng nơ-ron spiking, nếu muốn mô phỏng chính xác, sẽ bị tuần tự hóa qua pending spike queue nên về bản chất gần như đơn luồng
      Cấu hình tốt nhất là giữ toàn bộ trạng thái trong bộ nhớ đệm cục bộ và chạy trên lõi nhanh nhất. Nếu có thể chạy song song 16 bản thì có thể giảm không gian tìm kiếm tương ứng
      Với các bài toán như vậy gần như không cần lo về độ trễ giữa các CCD. Ngay cả khi chạy thứ như thuật toán di truyền có trao đổi định kỳ giữa các lõi vật lý, nhu cầu băng thông giữa các lõi vẫn nhỏ
    • Có rất nhiều ứng dụng đơn luồng, và nhiều khi bỏ vài nghìn USD cho một CPU siêu nhanh còn rẻ hơn là trả cho lập trình viên hàng chục nghìn USD để viết lại mã theo hướng song song hóa
      Như đã nói, nếu đó là mã bên thứ ba mà bạn không có mã nguồn hay quyền sửa, thì thường còn chẳng thể viết lại được
    • 512MB bộ nhớ đệm thật đáng kinh ngạc. Vài năm trước tôi đã thấy thú vị khi bộ nhớ đệm của Xeon tôi dùng lớn ngang RAM của những hệ thống thời nhỏ, mà tôi là thế hệ millennial nên đó không phải mấy cỗ máy cổ như Commodore mà là PC thật sự từng chạy được Quake
      Nhưng 512MB thì khá dư dả. Không biết có thể nhét cả Puppy Linux vào L3 cache hay không
    • MATLAB Parallel Server cũng cấp phép theo số lõi
      https://www.mathworks.com/products/matlab-parallel-server/li...
    • Nhiều thuật toán bị giới hạn bởi băng thông bộ nhớ. Tôi đã nhiều lần chạy các tác vụ đạt hiệu năng tốt nhất khi dùng ít hơn 16 luồng, dù trên máy trạm 16 lõi
      Thử thuật toán với nhiều mức số luồng khác nhau rồi dùng số luồng tối ưu là cách làm phổ biến. Các thuật toán nặng về bộ nhớ thường đạt hiệu năng cao nhất ở số lõi tương đối thấp

  • Phoronix gần đây đã có bài so sánh Turin Dense 196 lõi với AmpereOne 192 lõi
    Giá đề xuất của Ampere là 5,5 nghìn USD, còn EPYC là 15 nghìn USD; Turin 196 cho hiệu năng cao hơn 1,6 lần, còn Ampere cho hiệu quả điện năng cao hơn 1,2 lần
    Theo các bài review của Phoronix, nếu xét hiệu năng/đô la thực tế thì Ampere 192 lõi tốt hơn Turin Dense 196 lõi khoảng 1,7 lần. Với 5,5 nghìn USD, bạn có thể mua CPU AmpereOne 192 lõi (274W) hoặc CPU Turin Dense 48 lõi (300W)
    Ampere dự kiến năm sau sẽ ra mắt sản phẩm 256 lõi, tiến trình 3nm, bộ nhớ 12 kênh, nên có khả năng cạnh tranh tốt hơn với Turin Dense và Sierra Forest ở hiệu năng thuần. Hiện tại điểm mạnh của họ là hiệu năng/đô la
    Tôi cũng rất tò mò về hiệu năng của chip máy chủ dựa trên Nuvia của Qualcomm. Nếu các cải tiến ở lõi client ARM là dấu hiệu báo trước, thì sẽ rất thú vị khi xem các chip tự thiết kế như AWS Graviton, Google Axion, Microsoft Cobalt, Nvidia Grace, Alibaba Yitian cạnh tranh ra sao với các lõi Neoverse tốt hơn. Đây là thế trận Nuvia đối đầu ARM đối đầu AmpereOne
    Có lẽ hiện tại đúng là thời kỳ hoàng kim của CPU máy chủ. Chỉ 7 năm trước gần như chỉ có Intel Xeon, còn giờ thì lựa chọn đã rất nhiều

    • AMD cũng thắng ở hiệu năng/W, đây là kết quả khá ý nghĩa với những ai từng tin rằng X86 sẽ không bao giờ theo kịp hiệu suất của ARM/RISC
      Ngày nay ở nhiều trung tâm dữ liệu, giới hạn lớn hơn lại là điện năng sẵn có và nhu cầu làm mát đi kèm, nên đây là tín hiệu tốt cho Turin
    • Trong so sánh hiệu năng/đô la, người ta đang lấy mẫu Turin đắt nhất theo giá đề xuất để đối chiếu. Mẫu đó không phải sản phẩm tốt nhất về hiệu năng/đô la, mà là thứ dành cho những ai muốn tối đa hóa mật độ hoặc hiệu năng trên mỗi watt, và ở khía cạnh này nó vượt Ampere
      Nếu chỉ nhìn hiệu năng/đô la thì nên xem các mẫu Zen5 có ít lõi hơn thay vì Zen5c, và ở phía này hiệu năng/đô la cao gấp đôi 9965 192 lõi
      Cách so sánh tương tự không áp dụng tốt với Ampere vì mẫu 192 lõi 3.2GHz của họ vốn đã gần mức hiệu năng/đô la tối ưu nhất rồi
    • Khác biệt là CPU EPYC thì có thể mua được, còn CPU Ampere thì khó mà thực sự cầm về tay
    • Giá đề xuất của Ampere khá sát với mức mà phần lớn nhà cung cấp hệ thống thực sự phải trả. Trong khi đó, hầu hết nhà cung cấp có thể mua EPYC hoặc Xeon với mức giảm gần 50% so với giá đề xuất
    • Đây thực sự là một thời kỳ rất thú vị, và sự sa sút của Intel thật đáng tiếc. Nhưng như nhiều người đã cảnh báo từ lâu, Intel lẽ ra phải lường trước được tình huống này

  • Quy mô thực sự quá khủng. 20 năm trước, mỗi CPU chỉ có 1~2 lõi, nên một máy chủ dual-socket có 4 lõi đã được xem là khá may mắn
    Giờ thì một máy chủ đơn lẻ gần như có thể sở hữu 400 lõi. Dĩ nhiên nếu dùng lõi ARM thì có thể còn nhiều hơn, nhưng ít nhất hiện tại vẫn chưa đạt được mức hiệu năng này

    • Chỉ với 2 chip, hơn 700 luồng có thể bão hòa 2 NIC 400GbE, và mỗi chip tiêu thụ 500W, tức là chưa tới 2W mỗi luồng. Tất cả nằm gọn trong gói 2U
      Nếu là 20 năm trước thì chắc phải chiếm đến vài rack thiết bị
    • Ngược lại, vào thời đó người ta hẳn đã kỳ vọng sau 20 năm thì mỗi lõi sẽ nhanh hơn 1000 lần, nhưng thực tế chỉ vào khoảng 5 lần
    • Tò mò không biết trong các tác vụ dữ liệu lớn chạy trên cluster, hiện giờ có bao nhiêu tác vụ sẽ chạy nhanh hơn rất nhiều trên một máy đơn lớn dùng duckdb thay vì Spark
    • Ngày nay, phần lớn dịch vụ đều có thể chạy gọn trong một máy chủ đơn mà vẫn phục vụ được hàng triệu người dùng mỗi ngày
      Nếu có thể thuê một máy chủ dedicated mạnh với giá dưới 1000 USD/tháng và tiết kiệm được hàng chục nghìn USD, thì không biết điều đó sẽ ảnh hưởng thế nào đến các dịch vụ cloud đang quá đắt đỏ. Với số tiền đó thậm chí còn đủ để thuê cả một quản trị viên toàn thời gian
    • Đúng vậy. Các chip máy chủ dual-core đầu tiên xuất hiện vào khoảng năm 2005 với Opteron Denmark/Italy/Egypt 90nm và Paxville Xeon, còn phía Intel thì theo tôi biết phải đến 2007 mới thực sự tăng tốc

  • Khi Hetzner có máy chủ bare metal AMD Turin, tôi muốn thử triển khai. Thế hệ trước đã rất tốt về hiệu năng trên giá thành, còn thế hệ này có vẻ còn tốt hơn một bậc

  • Tôi vẫn đang chạy dual Xeon trên một chiếc Dell PowerEdge 12 năm tuổi. Tò mò không biết đến bao giờ máy chủ EPYC thế hệ 1 mới xuất hiện đầy trên eBay dưới dạng hàng thanh lý giá rẻ

    • EPYC thế hệ 1~3 có thể mua được rất rẻ, nhưng mainboard thì đắt
      Nếu mục đích chính không phải là số lane PCIe và dung lượng RAM, thì tôi không khuyến nghị dưới thế hệ 3 lắm. CPU tiêu dùng phổ thông đời hiện tại dù chỉ có một nửa hay một phần tư số lõi thì hiệu năng tính toán vẫn tốt hơn và còn tiêu thụ ít điện hơn nhiều
    • Cá nhân tôi thấy EPYC thế hệ 1 không hay lắm, vì đã có thế hệ 2, được dùng rộng hơn và đủ rẻ. Thực tế tôi đang dùng epyc 7302 và mainboard MZ31-AR0 trong homelab
      Hiệu năng mỗi lõi quá thấp, có vấn đề liên quan đến NUMA, và tiến trình sản xuất cũng kém hơn. Die tính toán của thế hệ 2 dùng TSMC 7nm
    • Tôi không rành chip EPYC, nhưng máy dùng Ryzen 5 series thì tuần đó trên Amazon gần như được bán rẻ như cho
      Tôi mua 9 5950X với giá 242 bảng Anh
    • Không đáng lắm. Bạn có thể mua 9654 trên eBay với giá 2000 USD rồi chi thêm 1000 USD cho mainboard. Toàn bộ hệ thống rơi vào khoảng 7000 USD
      Hoặc cũng dễ tìm được những cấu hình như Epyc 7282 và chúng cũng ổn
    • Thực ra đã như vậy rồi, và hiệu năng không quá tốt

  • ChipsAndCheese là một trong số rất ít các trang công nghệ mới thực sự hiểu rõ nội dung họ đang viết. Đặc biệt mạnh ở các bài benchmark chuyên sâu kiểu này
    Trong bối cảnh các trang công nghệ lâu đời như Anandtech, TechReport, HardOCP đã biến mất, thật vui khi vẫn có một trang mới có thể tiếp nối kiểu bài viết sâu như ngày xưa

    • Thú vị là Slashdot ban đầu được khởi nguồn từ một trang tên là Chips & Dips. Tò mò không biết có phải cùng một nguồn cảm hứng không
    • Có lẽ bạn đang muốn nói đến HardOCP
    • Chips and Cheese khiến tôi nhớ đến LostCircuits đã biến mất nhất. Đa số các trang công nghệ tập trung vào danh sách benchmark ứng dụng, còn C&C thì giống LC trước đây ở chỗ kết hợp các bài viết dài về kiến trúc với microbenchmark ở cấp độ hệ thống con

  • Với những ai không thích việc chuyển sang Substack, có https://old.chipsandcheese.com/2024/10/11/amds-turin-5th-gen...
    Ít nhất là hiện tại vẫn dùng được

  • Một linh kiện chỉ có 16 lõi nhưng lại có 512MB L3 cache rõ ràng là dành cho workload rất đặc thù

    • Oracle có thể tính phí EE và các tùy chọn theo mức hơn 40.000~100.000 USD mỗi lõi, rồi nhân với 0,5, và một số workload cực kỳ nhạy với cache
      Vì vậy, một cấu hình dual-socket dùng CPU 16 lõi[1] với cache lớn, băng thông cao, xung nhịp cao và bộ nhớ dung lượng lớn có thể là phương án hiệu quả nhất so với chi phí giấy phép vượt quá 1 triệu USD
      [1] https://www.amd.com/en/products/processors/server/epyc/9005-...
    • Topology của linh kiện này thực sự rất lạ. Về mặt vật lý, nó là cùng một silicon với linh kiện 128 lõi, nhưng mỗi chiplet tính toán chỉ giữ lại một lõi và vô hiệu hóa tất cả các lõi còn lại
      Tức là họ đã tắt 112 lõi để chỉ còn 16 lõi, nhằm giữ lại nhiều cache nhất có thể
      Tuy nhiên vì luôn phải đi qua bus giữa các chiplet vốn tương đối chậm, nên độ trễ giữa các lõi có lẽ sẽ không tốt
    • Tôi tò mò không biết các chip AMD mới nhất có thể ánh xạ L3 cache để dùng như TCM thay vì cache hay không
      Các bộ xử lý non-X86 đời cũ từng hỗ trợ điều này, và nhiều trường hợp còn khởi động ở chế độ đó để có thể khởi tạo memory controller. Nếu ngày nay vẫn làm được thì có thể sẽ mở ra vài ứng dụng nhúng thú vị, chẳng hạn như các hệ thống lớn không cần DRAM

  • Có đoạn rằng “hệ thống được tiếp cận chạy bộ nhớ ở 6000MT/s, và DDR5-6000 MT/s được hầu hết hệ thống hỗ trợ trong cấu hình 1 DIMM mỗi kênh. Nếu dùng 2 DIMM mỗi kênh thì tốc độ bộ nhớ giảm xuống 4400 MT/s, còn nếu dùng 1 DIMM mỗi kênh trên mainboard hỗ trợ 2 DIMM mỗi kênh thì hãy kỳ vọng 5200 MT/s”, nên tôi tò mò không biết các mức tốc độ này có đều tính theo bộ nhớ ECC hay không

    • Đúng vậy. Máy chủ chỉ dùng ECC RAM