CEO Nvidia Jensen Huang công bố chip AI mới: "Cần GPU lớn hơn"

CEO Nvidia Jensen Huang công bố chip AI mới: 'Cần GPU lớn hơn'

• Nvidia đã công bố vào thứ Hai một thế hệ chip trí tuệ nhân tạo (AI) mới cùng phần mềm để chạy các mô hình AI.
• Bộ xử lý đồ họa AI mới có tên là 'Blackwell' và dự kiến sẽ được xuất xưởng vào cuối năm nay.
• Thông báo này được đưa ra vào thời điểm quan trọng đối với các doanh nghiệp và nhà phát triển phần mềm, những bên vẫn đang ráo riết tìm cách có được các chip tương tự thế hệ H100 hiện tại.

Blackwell, hậu duệ của Hopper

• Nvidia cập nhật kiến trúc GPU hai năm một lần để tạo ra bước nhảy vọt lớn về hiệu năng.
• GB200, bộ xử lý dựa trên Blackwell, cung cấp 20 petaflop hiệu năng AI so với 4 petaflop của H100, cho phép các công ty AI huấn luyện những mô hình lớn hơn và phức tạp hơn.
• Con chip này bao gồm một 'Transformer Engine' được tạo ra đặc biệt để chạy AI dựa trên transformer, đồng thời kết hợp hai die do TSMC sản xuất thành một con chip lớn duy nhất.

Vi dịch vụ suy luận của Nvidia

• Nvidia đã bổ sung vào gói đăng ký phần mềm Nvidia Enterprise một sản phẩm mới mang tên 'NIM' (Nvidia Inference Microservice).
• NIM giúp đơn giản hóa quá trình suy luận khi chạy phần mềm AI bằng các GPU Nvidia hiện có, cho phép các công ty tiếp tục sử dụng hàng triệu GPU Nvidia mà họ đã sở hữu.
• Chiến lược này nhằm khuyến khích khách hàng mua máy chủ dựa trên Nvidia tham gia Nvidia Enterprise, nơi họ phải trả phí bản quyền hằng năm 4.500 USD cho mỗi GPU.

Ý kiến của GN⁺

• Việc Nvidia công bố chip AI mới 'Blackwell' và phần mềm liên quan 'NIM' tượng trưng cho bước tiến công nghệ trong lĩnh vực AI, đồng thời nhấn mạnh tầm quan trọng của nền tảng phần cứng và phần mềm dành cho việc huấn luyện và suy luận mô hình AI.
• Mức tăng hiệu năng của chip Blackwell mang đến cho các nhà nghiên cứu AI cơ hội thử nghiệm những mô hình lớn hơn và phức tạp hơn, điều này có thể đóng vai trò quan trọng trong sự phát triển của AI.
• Tuy nhiên, giá thành cao của các chip AI hiệu năng cao có thể trở thành rào cản gia nhập đối với một số doanh nghiệp hoặc tổ chức nghiên cứu, từ đó có thể khơi dậy tranh luận về việc dân chủ hóa công nghệ.
• Các công ty khác cạnh tranh với Nvidia cũng đang phát triển những sản phẩm có chức năng tương tự, chẳng hạn như AMD Radeon Instinct hoặc Google TPU, qua đó mang lại thêm lựa chọn trên thị trường phần cứng AI.
• Những yếu tố cần cân nhắc khi áp dụng công nghệ AI bao gồm chi phí, hiệu năng, khả năng tương thích và hỗ trợ kỹ thuật; lựa chọn công nghệ mới của Nvidia có thể mang lại lợi thế lớn cho các doanh nghiệp đáp ứng được các yếu tố này.

[corelyai]

• Hội nghị nhà phát triển Nvidia: giới thiệu chip Blackwell và các công nghệ tương lai

• Nvidia đã giới thiệu Blackwell, một nền tảng đột phá với 208 tỷ transistor nằm trên hai die liền kề để tạo thành một con chip khổng lồ có thể truyền 10 terabyte dữ liệu mỗi giây, đồng thời cung cấp khả năng tương thích về hình dạng và chức năng với Hopper.
• Switch liên kết MVY của Blackwell, được trang bị 500 tỷ transistor, cho phép giao tiếp tốc độ cao tối đa giữa các GPU, giúp xây dựng hệ thống AI exaflop trong một rack duy nhất.
• Nvidia Blackwell công bố hợp tác với AWS, Google, Oracle và Microsoft để tăng tốc nhiều dịch vụ AI khác nhau và tích hợp công nghệ Nvidia vào các nền tảng đó.
• Nvidia đã công bố AI Foundry, hợp tác với các công ty như SAP, ServiceNow, Cohesity, Snowflake và Dell để xây dựng các giải pháp AI tạo sinh và nhà máy AI.
• Bằng cách truyền Omniverse Cloud lên Vision Pro để hỗ trợ tích hợp liền mạch và quy trình làm việc giữa nhiều công cụ thiết kế khác nhau, Nvidia cũng giới thiệu Project Groot, Isaac Lab và OSMO dành cho robot ứng dụng AI.
• Robot bdx của Disney chạy trên Jetson đã xuất hiện đặc biệt và trình diễn khả năng học tập trong Isaac Sim.

Đây là nội dung video CNET được tóm tắt bằng corely.ai (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Ý kiến trên Hacker News

• Tại hội nghị, có thể thấy Nvidia đang đi theo hướng mở rộng toàn bộ stack.

  • Đúng như kỳ vọng ở một nhà cung cấp phần cứng, Nvidia tiếp tục tạo ra những thứ lớn hơn.
  • Điểm đáng chú ý là họ đang xây dựng NIM, kiểu như "docker for llms".
  • NIM là một hệ thống container có thể triển khai dễ dàng trên phần cứng Nvidia.
  • Sẽ rất thú vị khi theo dõi điều này ảnh hưởng thế nào đến các startup AI.

• Nhận thấy Nvidia đang chuyển mình thành một nhà cung cấp nền tảng.

  • Có vẻ điều này sẽ mang lại lợi nhuận cao hơn cho Nvidia với vai trò là một nền tảng dịch vụ AI.
  • Việc cân bằng với các quan hệ đối tác cùng AWS và Microsoft có thể sẽ khó khăn.
  • Nvidia có lợi thế vì AI hiện phụ thuộc rất nhiều vào CUDA.
  • Rất quan tâm xem mọi chuyện sẽ diễn biến thế nào trong tương lai.

• Tò mò liệu FP4 có phải là số thực dấu phẩy động 4-bit hay không.

  • Biểu đồ so sánh cho thấy cao hơn Hopper 30 lần có phần hơi gây hiểu nhầm.

• Nvidia đã mua lại Bright Cluster Manager vài năm trước.

  • Tò mò ai sẽ là mục tiêu mua lại tiếp theo, vì có vẻ họ muốn cung cấp toàn bộ stack.

• Đặt câu hỏi liệu "công ty nền tảng" trong trường hợp này có hàm ý đa chip hay không.

  • Vì việc nhồi quá nhiều transistor vào một die đơn là không thực tế, nên chuyển sang đa chip là hợp lý.

• Họ tuyên bố giảm mức tiêu thụ điện năng 25 lần, nhưng điều này khá khó hiểu.

  • Cần có giải thích về con số này đến từ đâu.

• Có nhắc đến việc sản xuất hàng loạt ở mức petaflop hai chữ số.

  • Có nhiều ước tính khác nhau về sức mạnh tính toán cần thiết để tái tạo hoạt động của não người.
  • Một petaflop là 10^15.
  • Nhấn mạnh rằng đây là một thời đại đáng kinh ngạc.

• Doanh thu trung tâm dữ liệu của Nvidia đạt mức kỷ lục 18,4 tỷ USD trong quý 4 năm 2023.

  • Tăng 27% so với quý trước và 409% so với cùng kỳ năm trước.
  • Điều này cho thấy doanh thu từ suy luận đang tăng lên đáng kể.

• Việc FP8 chỉ cao hơn Hopper 2,5 lần sau từng ấy thời gian có phần hơi đáng thất vọng.

  • Vì đây là 2 chip được fuse lại với nhau, nên hiệu quả thực tế chỉ tăng khoảng 25%.
  • Phần lớn tiến bộ nằm ở băng thông bộ nhớ và mức sử dụng điện năng.
  • Tò mò những tiến bộ này sẽ ảnh hưởng thế nào đến mảng tiêu dùng.

• Cung cấp liên kết bổ sung để xem thêm chi tiết kỹ thuật.