Intel giới thiệu bộ xử lý 8 nhân 528 luồng sử dụng silicon photonics

 (servethehome.com)
2 điểm bởi GN⁺ 2023-08-30 | 1 bình luận | Chia sẻ qua WhatsApp
  • Con chip nghiên cứu được công bố tại Hot Chips 2023 này nhắm tới xử lý dữ liệu siêu thưa của DARPA HIVE, cung cấp tổng cộng 528 luồng phần cứng trên 8 nhân
  • Kết quả phân tích workload cho thấy mức độ song song rất lớn nhưng khả năng tận dụng cache line và hiệu quả của pipeline out-of-order dài lại thấp, nên cần một thiết kế khác với CPU máy chủ thông thường
  • Bộ xử lý không dựa trên x86 mà trên RISC ISA, với 66 luồng cho mỗi nhân và pipeline đa luồng để xử lý mức đồng thời quy mô lớn
  • Giao tiếp giữa các chip được kết nối bằng optical fabric direct mesh-to-mesh dựa trên silicon photonics, cho phép giao tiếp trực tiếp với các nhân ngoài chassis mà không cần switch hay NIC
  • Bản triển khai là CPU 8 nhân 75W trên TSMC 7nm, và do hơn một nửa điện năng được dùng cho kết nối quang nên hiện vẫn là một thiết kế thử nghiệm ở giai đoạn phòng thí nghiệm

CPU 528 luồng nhắm tới DARPA HIVE

  • Tại Hot Chips 2023, Intel đã trình diễn công nghệ direct mesh-to-mesh optical fabric tách biệt với các chip máy chủ thông thường
  • Mục tiêu trung tâm của thiết kế là xử lý dữ liệu siêu thưa theo yêu cầu của chương trình DARPA HIVE
  • Kết quả profiling workload của Intel cho thấy các đặc tính không phù hợp với thiết kế CPU thông thường
    • Có mức độ song song quy mô lớn
    • Khả năng tận dụng cache line thấp
    • Cấu trúc pipeline out-of-order dài không được khai thác đầy đủ
  • Vì vậy, bộ xử lý được thiết kế theo cấu hình socket 8 nhân
    • 66 luồng phần cứng mỗi nhân
    • Tổng cộng 528 luồng
    • RISC ISA thay vì x86
    • Mỗi nhân sử dụng pipeline đa luồng

Kết nối trực tiếp giữa các chip bằng silicon photonics

  • Con chip này sử dụng cấu hình đặt 16 socket trong một OCP compute tray duy nhất và liên kết chúng bằng mạng quang
  • Chip I/O tốc độ cao đóng vai trò kết nối giữa tín hiệu điện và chức năng quang
  • Trong mạng on-die có các router được bố trí, và một nửa trong số 16 router đảm nhận vai trò cung cấp thêm băng thông cho I/O tốc độ cao
  • Ở lớp kết nối vật lý bên trong gói, EMIB được sử dụng
  • Với kết nối off-die, mỗi chip vận hành mạng quang thông qua silicon photonics
    • Kết nối giữa các nhân có thể được thực hiện trực tiếp xuyên qua các chip
    • Có thể kết nối mà không cần switch và NIC ngay cả khi không nằm trong cùng một chassis
  • Toàn bộ chip được cấu thành như một gói đa chip dựa trên EMIB
  • Việc đưa engine silicon photonics vào tạo thêm thách thức ở phần nối từ package sang các sợi cáp quang
  • Về điện năng, đây là bản triển khai CPU 8 nhân 75W, trong đó hơn một nửa công suất được dùng cho silicon photonics
  • Ảnh die thực tế xác nhận sử dụng tiến trình TSMC 7nm, và công việc vẫn đang tiếp tục trong phòng thí nghiệm
  • Phần kết nối quang có sự hỗ trợ từ Ayar Labs
  • Đầu nối dạng cắm mà Intel từng công bố tại Innovation 2022 không được sử dụng trong bản triển khai này

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-08-30
Các ý kiến trên Hacker News

  • Nếu là 66 luồng trên mỗi lõi thì trông giống bộ xử lý barrel hơn bất cứ thứ gì khác.
    Khó mà kỳ vọng mỗi luồng sẽ nhanh, nhưng nếu bộ xử lý có đủ việc để làm, có thể xem là trong phần lớn thời gian nó sẽ làm được công việc hữu ích thay vì chờ bộ nhớ.

    • Không rõ Intel có hứng thú thử một bộ xử lý barrel nữa hay không.
      Điểm yếu chính của bộ xử lý barrel nằm ở phía con người. Chỉ có rất ít người biết thiết kế mã để khai thác đúng tiềm năng của nó. Mã thông thường cũng chạy tạm được nên ở mức mã nguồn trông có vẻ quen thuộc, nhưng hiệu năng sẽ không tốt nếu không viết theo cách rất kỳ lạ đối với những người chỉ từng viết mã cho CPU.
      Đây là một kiến trúc khác thường để thiết kế cấu trúc dữ liệu và thuật toán, và cũng không có nhiều tài liệu về thiết kế thuật toán cho bộ xử lý barrel.
      Tôi đã từng thiết kế mã cho nhiều kiến trúc bộ xử lý barrel, từ các hệ thống Tera ngày xưa, và đã trở nên khá giỏi việc đó; tôi cho rằng nếu được người thật sự hiểu biết sử dụng, xét trong điện toán đa dụng với ngân sách silicon tương tự, nó có thể đạt hiệu quả tính toán cao hơn gần như mọi kiến trúc khác.
      Tuy nhiên, để viết mã hiệu quả, bạn phải giữ trong đầu một mô hình phức tạp hơn nhiều so với mã tương đương cho CPU. Về mặt kinh tế, các kiến trúc như CPU, nơi kỹ sư trung bình cũng có thể đạt hiệu quả vừa phải, có lợi thế hơn.
      Bất chấp lợi thế về hiệu quả tính toán thuần túy, giờ tôi đã thôi kỳ vọng rằng chúng ta sẽ thấy một bộ xử lý barrel trở thành xu hướng chính.
    • Trong số 66 luồng, 64 luồng là các luồng chậm; mỗi nhóm 16 luồng chia sẻ một bộ đơn vị thực thi, và toàn bộ 64 luồng chia sẻ bộ nhớ scratchpad cùng cache.
      Phần này của lõi rất giống GPU hiện có.
      Điểm khác biệt ở CPU thử nghiệm này của Intel là, ngoài phần giống GPU, mỗi lõi còn có 2 luồng rất nhanh. Hai luồng này thực thi ngoài thứ tự, chạy ở xung nhịp cao hơn nhiều so với các luồng chậm, và mỗi luồng có các đơn vị thực thi không chia sẻ.
      Nếu xét riêng, 2 luồng nhanh và 64 luồng chậm tương tự CPU hoặc GPU trước đây, nhưng điểm mới là chúng được kết hợp trong một lõi đơn có bộ nhớ scratchpad và cache dùng chung.
    • Gợi nhớ đến Tera, dạng đa luồng đồng thời nguyên bản. Năm 1990, nó có 128 luồng trên mỗi lõi.
      https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
      Tôi dám cược rằng dự án DARPA tài trợ nghiên cứu này thuộc cùng nhánh quan tâm đến các từ viết tắt 3 chữ cái đã giúp Tera nhận đủ tiền để mua Cray.
    • Cũng có cảm giác hơi giống xử lý bất đồng bộ trong mảng ngôn ngữ lập trình.
      Nếu thay "chờ bộ nhớ" bằng "chờ vào/ra" thì bức tranh gần như giống hệt.
    • Tôi không nhất thiết xem đây là bộ xử lý barrel. Có thể đúng hơn là tăng số lượng đa luồng đồng thời do hiệu năng CPU đã tăng cao so với CPU và băng thông bộ nhớ.
      Trong lúc diễn ra một lần nạp chậm, hệ thống có thể thực thi song song thêm các lệnh của luồng khác.

  • Marvell đã làm một CPU ARM SMT8 quảng bá 768 Threads Per Node.
    https://www.servethehome.com/marvell-thunderx3-arm-server-cp...
    Theo tôi nhớ thì nó nhắm đến workload cơ sở dữ liệu, và lập luận cốt lõi cũng giống vậy: nếu lõi thường phải ngồi không chờ RAM, thì trong lúc đó hãy xử lý luồng khác.
    IBM và Zen4C phần nào đáp ứng nhu cầu này, nhưng sẽ tốt hơn nếu có thêm các instance đám mây SMT16 nhắm rõ ràng vào những workload có thông lượng lệnh thấp như thế này.

    • Niagara, tức UltraSPARC T1/T2, cũng đã làm điều tương tự.
      Với kiểu thiết kế bộ xử lý barrel như vậy, CMT8/SMT8 có vẻ là điểm cân bằng hợp lý.
    • Đây là lần đầu tôi thấy ai đó viết hoặc nói "mind as well". Ở nơi bạn sống đây có phải cách diễn đạt phổ biến không? Từ trước đến nay tôi chỉ nghe "might as well".

  • Có vẻ như đề xuất là: nếu có thể khấu hao chi phí diện tích die và tổn thất tốc độ khi chuyển tín hiệu điện sang tín hiệu quang, thì với liên kết quang có thể đạt tốc độ gần như không phụ thuộc khoảng cách với hiệu suất tốt.
    Tất nhiên thực tế sẽ không hoàn toàn như vậy, nhưng nếu giới hạn ở khoảng cách giữa các chip carrier trong một chassis đơn, nhiễu sẽ ít và việc đi dây cũng tự do hơn trong phạm vi bán kính uốn của ống dẫn quang.
    Có thể tôi đã đọc sai. Các thành phần quang học có thể nhằm mục đích khác, chẳng hạn như xếp chồng die, hoặc có thể là họ muốn tạo một lưới chip trên một siêu carrier rồi nối chúng bằng liên kết quang.

    • Chỉ riêng việc đặt các lõi cách xa nhau cũng giúp ích rất nhiều cho tản nhiệt.
    • Năm 1997, khi tôi ở đó, đã có voxel rồi. Mục tiêu là xếp các lớp chồng lên nhau và dùng voxel bên trong stack dọc.

  • Có ảnh die thật và xác nhận rằng nó được sản xuất trên tiến trình 7nm của TSMC — đây hẳn là một cảnh khá đau với Intel.
    Nếu phải dùng fab của đối thủ cho những thứ như thế này, thì với tư cách một hãng sản xuất chip, đó có lẽ là một thời điểm khá thấp.

    • Intel có node nguyên mẫu 1,8nm mà Nvidia đã thử nghiệm và nói tốt.
      Tuy vậy, node 10nm từng là thảm họa với Intel, khiến công ty tụt lại khoảng 5–10 năm trong mảng sản xuất chip.
    • Tiến trình của TSMC dễ sử dụng hơn, và xung quanh nó có hệ sinh thái IP được xây dựng tốt, thứ mà các tiến trình nội bộ của Intel không có.
      Nếu là một dự án nghiên cứu, có thể dễ hình dung vì sao họ thích TSMC hơn.
    • Trong các fab của Intel, gần như mọi thứ không phải CPU logic đều bị đối xử như công dân hạng hai.
      Điều này giải thích vì sao những thứ kỳ lạ như vậy lại chuyển sang TSMC. Ví dụ, bản thân Silicon Photonics cũng đang được thực hiện ở Albuquerque, một site từng đang chết dần.
    • Intel có lẽ đã dùng TSMC cho các bộ xử lý không dành cho PC từ khoảng 15 năm trước.
      Nếu tìm trên Google với khoảng thời gian 2001–2010, có thể tìm thấy các tin liên quan.
      Chắc phải có lý do nào đó khiến người dùng HN không hiểu nhiều về bán dẫn. Có lẽ vì độc giả chủ yếu thuộc mảng phần mềm. Đây có vẻ là lĩnh vực có tỷ lệ tự tin trên chất lượng diễn giải cao nhất trên trang này.
    • Nvidia và AMD đã ký hợp đồng sử dụng dịch vụ foundry cấp angstrom của Intel rồi, nên chuyện này cũng không phải không tưởng.
      AMD cũng đã làm điều tương tự khi từ bỏ GlobalFoundries, và có thể xem đó là lý do chính giúp họ vượt lên trước Intel.
      Dù sao thì tất cả đều dùng thiết bị quang khắc của ASML, nên ai là người đưa wafer vào máy cũng phần nào chỉ là chuyện thứ yếu.

  • Cái này trông giống một CPU chứng minh khái niệm hơn là một sản phẩm có thể bán được.
    Nó rất chuyên biệt, và vẫn đang ở giai đoạn phải tìm xem sẽ giải quyết vấn đề và workload nào.
    Tôi kỳ vọng photon sẽ được đưa vào cả điện toán đa dụng trong tương lai. Ít nhất cũng là để xử lý vấn đề nhiệt thải dư thừa ngày càng lớn. Điều đặc biệt đáng chú ý là sự thay đổi tiến trình từ 10nm sang 7nm.

  • Sun cũng từng làm điều tương tự từ lâu, nhưng sau đó đã từ bỏ trong các CPU UltraSPARC.
    Có phải các thread bị đói tài nguyên không? Hay họ kết luận rằng giảm số core và làm chúng nhanh hơn sẽ tốt hơn? Rất khó tìm thông tin chi tiết.
    Sẽ hay nếu bcantrill trên HN chia sẻ tình hình nội bộ.

    • Tôi từng dùng hệ thống đó ở thời kỳ đỉnh cao. Với một số workload thì rất tuyệt, nhưng những thứ cần hiệu năng đơn core thì rất khổ.
      Để có hiệu năng, nhiều khi phải tinh chỉnh nhiều tham số hơn rất nhiều hoặc biên dịch lại.
      Với tôi, giai đoạn đó cũng trùng với lúc nhu cầu dùng SSL tăng mạnh; SSL được tối ưu tốt cho x86 nhưng không phải cho Sparc. Vì vậy còn phải xử lý thêm các độ phức tạp như card offload SSL hoặc reverse proxy.
      Cuối cùng, ngoài một vài ngách, việc làm cho nó chạy tốt là quá khó.
      Có thể đó không phải yếu tố lớn, nhưng với quản trị viên hệ thống thì cũng phiền phức. Vì phần lớn việc chúng tôi phải làm mang tính tuần tự và tập trung vào đơn core. Nói cách khác, nó phơi bày mặt tệ nhất trước đúng nhóm thường phê duyệt chi tiền cho nhà cung cấp.

  • Thứ này trông hoàn hảo cho rút gọn đồ thị và lập trình dataflow.
    Nếu thật sự được đưa vào sản xuất, có thể làm ra vài thứ khá thú vị với nó.

  • 8 core mà 528 thread thì tính kiểu gì vậy? Tôi tưởng là 512 rồi phải đọc lại.

    • Theo bài viết, Intel có bộ xử lý 8 core mỗi socket, 66 thread mỗi core. Cộng lại là 528 thread.
      Có vẻ cache không được tận dụng tốt do đặc thù workload, và đây không phải x86 mà là một tập lệnh RISC.
    • Đơn giản thôi. 528 = 8 * (2 + 64).
      Trong đó 2 là số thread chậm giống CPU hiện nay, còn 64 gần với thread GPU hơn.
      Kiến trúc này có thể là bước tiếp theo của tích hợp GPU. Hy vọng họ viết được các triển khai hiệu quả cho thư viện toán học tiêu chuẩn. Nó có thể nhanh hơn CPU+GPU riêng biệt trong cùng một package.
    • Nghĩa là "bộ xử lý 8 core với 66 thread mỗi core". 66*8 = 528.
      Vì sao là 66 thì không được giải thích.
    • 66 thread mỗi core trông hơi lạ. Có lẽ 2 thread dùng cho định tuyến hoặc metadata chăng.

  • Đã đến lúc hoàn tất việc viết lại toàn bộ code theo kiểu event-driven, io_uring, v.v.

    • Với kiến trúc kiểu này, thường thì để phần cứng xử lý tính bất đồng bộ sẽ cho kết quả tốt hơn.
      Tera MTA mà những người khác nhắc đến từng có, hoặc đang có, đồng bộ phần cứng trong hệ thống bộ nhớ cho mục đích này.
      Không có interrupt; chỉ có các thread chờ ai đó đánh thức.

  • Không biết tôi đọc bài có đúng không? Ý là có 32GB DRAM trên chip, hay chỉ dùng DIMM tiêu chuẩn?

    • Không phải on-chip, vẫn là DDR5 DIMM.
      Điểm thú vị là họ dùng DIMM tùy chỉnh và bộ điều khiển bộ nhớ để truy cập theo đơn vị 8 byte. Hơn nữa, như thấy trong ảnh die, mỗi core có bộ điều khiển bộ nhớ riêng.
      Nếu mỗi bộ điều khiển bộ nhớ quản lý 4GB DRAM thì có thể giải thích con số 32GB mỗi chip.
    • [Sửa: có vẻ tôi đã sai!] Tôi gần như chắc đó là HBM trên cùng substrate, tức bộ nhớ băng thông cao: https://en.wikipedia.org/wiki/High_Bandwidth_Memory
      Cũng có tài liệu giải thích chi tiết hơn, Nvidia dường như cũng làm vậy với Grace Hopper, và Apple cũng làm điều tương tự trong các chip M-series.
      Cập nhật: trong trường hợp này có vẻ chỉ là DDR5, chính xác là "custom DDR5-4400 DRAM".
    • Là DDR5 thông thường.