Ra mắt bộ tăng tốc AI Intel Gaudi 3

• Giới thiệu bộ tăng tốc AI Intel Gaudi 3

  • Bộ tăng tốc AI Intel Gaudi 3 đã được công bố tại sự kiện Intel Vision tổ chức ở Phoenix, bang Arizona vào ngày 9 tháng 4 năm 2024
  • Cung cấp hiệu năng tính toán AI gấp 4 lần đối với BF16 và tăng 1,5 lần băng thông bộ nhớ so với thế hệ trước
  • Mang đến cho khách hàng nhiều lựa chọn thông qua phần mềm phổ thông dựa trên cộng đồng và Ethernet theo tiêu chuẩn ngành, đồng thời hỗ trợ mở rộng hệ thống linh hoạt hơn

• Vì sao Gaudi 3 quan trọng

  • Doanh nghiệp trong các lĩnh vực trọng yếu như tài chính, sản xuất và y tế đang mở rộng khả năng tiếp cận AI và nhanh chóng chuyển các dự án AI tạo sinh (GenAI) từ giai đoạn thử nghiệm sang triển khai quy mô lớn
  • Để quản lý quá trình chuyển đổi này, thúc đẩy đổi mới và đạt mục tiêu tăng doanh thu, cần có các giải pháp và sản phẩm mở, hiệu quả về chi phí và tiết kiệm năng lượng
  • Bộ tăng tốc Intel Gaudi 3 sẽ đáp ứng các yêu cầu này và cung cấp tính đa dạng thông qua phần mềm mở dựa trên cộng đồng cùng Ethernet theo tiêu chuẩn ngành mở, giúp doanh nghiệp mở rộng linh hoạt các hệ thống và ứng dụng AI

• Cách kiến trúc tùy biến mang lại hiệu năng và hiệu quả cho GenAI

  • Bộ tăng tốc Intel Gaudi 3 được thiết kế cho các tác vụ AI quy mô lớn hiệu quả, được sản xuất trên tiến trình 5nm và là bước tiến lớn so với thế hệ trước
  • Được thiết kế để có thể kích hoạt song song mọi engine, cho phép tăng tốc cần thiết cho tính toán học sâu nhanh, hiệu quả và khả năng mở rộng
  • Các tính năng chính:
    • Engine tính toán chuyên dụng cho AI: trang bị engine tính toán dị thể gồm 64 TPC có thể lập trình tùy biến cho AI và 8 MME
    • Tăng cường bộ nhớ cho nhu cầu dung lượng của LLM: cung cấp bộ nhớ 128GB HBMe2, băng thông bộ nhớ 3.7TB và 96MB SRAM tích hợp
    • Mở rộng hệ thống hiệu quả cho GenAI doanh nghiệp: tích hợp 24 cổng Ethernet 200Gb cung cấp kết nối mạng linh hoạt theo tiêu chuẩn mở
    • Phần mềm ngành mở cho năng suất của nhà phát triển: tích hợp framework PyTorch và cung cấp các mô hình tối ưu hóa dựa trên cộng đồng Hugging Face
  • Tính năng bổ sung Gaudi 3 PCIe: kiểu dáng mới lý tưởng cho tinh chỉnh, suy luận và retrieval-augmented generation (RAG)

• Mức độ chấp nhận của thị trường và khả dụng

  • Bộ tăng tốc Intel Gaudi 3 dự kiến sẽ được cung cấp cho các OEM trong quý 2 năm 2024 dưới dạng cấu hình tiêu chuẩn ngành gồm Universal Baseboard và open accelerator module (OAM)
  • Dự kiến được các OEM lớn như Dell Technologies, Hewlett Packard Enterprise, Lenovo và Supermicro áp dụng
  • Khả dụng rộng rãi của bộ tăng tốc Intel Gaudi 3 được kỳ vọng vào quý 3 năm 2024, còn thẻ add-in Intel Gaudi 3 PCIe được kỳ vọng sẽ có mặt trong quý 4 năm 2024
  • Bộ tăng tốc Intel Gaudi 3 dự kiến sẽ được sử dụng trong nhiều hạ tầng LLM đám mây hiệu quả về chi phí, bao gồm cả NAVER

• Kế hoạch sắp tới

  • Đà phát triển của bộ tăng tốc Intel Gaudi 3 sẽ trở thành nền tảng cho Falcon Shores, GPU thế hệ tiếp theo của Intel dành cho AI và HPC
  • Falcon Shores sẽ tích hợp Intel Gaudi và Intel Xe IP, đồng thời cung cấp một giao diện lập trình GPU thống nhất dựa trên đặc tả Intel oneAPI

Ý kiến của GN⁺

• Intel Gaudi 3 cho thấy sự cải thiện đáng kể về hiệu năng huấn luyện và suy luận mô hình GenAI so với các sản phẩm cạnh tranh chủ chốt như Nvidia H100 và H200. Điều này cho thấy nó có thể trở thành một lựa chọn thay thế đủ sức thách thức vị thế gần như độc quyền của Nvidia trên thị trường AI
• Việc hỗ trợ phần mềm mở và khả năng mở rộng dựa trên tiêu chuẩn có thể giúp doanh nghiệp tối ưu chi phí và tránh vendor lock-in. Đây có thể là một lựa chọn hấp dẫn, đặc biệt với các doanh nghiệp muốn xây dựng hệ thống AI ở quy mô lớn
• Tuy vậy, trong những năm gần đây Intel đã gặp khó khăn như suy giảm năng lực cạnh tranh trên thị trường CPU và chậm trễ trong việc ra mắt sản phẩm. Cần tiếp tục theo dõi liệu Gaudi 3 có ra mắt đúng kế hoạch và có đạt được mức độ triển khai rộng rãi từ khách hàng hay không
• Trong thị trường chip AI, các sản phẩm cạnh tranh như Instinct MI300 của AMD cũng đang chuẩn bị ra mắt, nên mức độ cạnh tranh được dự báo sẽ ngày càng gay gắt. Không chỉ ưu thế kỹ thuật mà cả việc xây dựng hệ sinh thái phần mềm và thu hút khách hàng cũng sẽ là các mặt trận cạnh tranh quan trọng

[GN⁺]

Ý kiến trên Hacker News

• Việc sử dụng giao diện OAM có nghĩa là những người đam mê vẫn có thể tận dụng thiết bị này sau 8~10 năm nữa
• Hoài nghi về việc Intel có hỗ trợ dòng sản phẩm này ổn định và lâu dài hay không
• Thiết bị dùng bộ nhớ HBM2e, từng được dùng trên Nvidia A100 ra mắt năm 2020; tuy không còn mới nhất nhưng với 8 stack thì băng thông có thể sánh với H100
• Quan tâm liệu giá của 'Gaudi 3 PCIe' có đủ hợp lý để lắp vào workstation hay không
• Cảm ơn vì đã dùng phương pháp 5W và H trong thông báo này
• Có vẻ Gaudi 3 được sản xuất trên tiến trình 5nm tại TSMC hoặc Samsung
• Với sự trỗi dậy của các kiến trúc thưa như MoE, dung lượng 128GB có vẻ rất quan trọng và có khả năng sẽ cạnh tranh với Nvidia
• Cũng mong chờ các bài benchmark MLPerf cho AMD MI300x
• Việc tích hợp 24 cổng Ethernet 200Gb vừa ấn tượng nhưng cũng gây thất vọng nếu tính cả chi phí cáp
• Việc dùng "terabytes (TB)" làm đơn vị băng thông bộ nhớ là điều khá lạ