MI300X của AMD vượt H100 của Nvidia trong suy luận LLM

Hiệu năng của MI300X của AMD vượt NVIDIA H100

Nội dung chính

• Bộ gia tốc MI300X của AMD: Bộ gia tốc MI300X mới nhất của AMD cho thấy hiệu năng vượt NVIDIA H100.
• Hợp tác giữa TensorWave và MK1: Trong một tháng qua, TensorWave và MK1 đã hợp tác để tối ưu hiệu năng suy luận AI trên phần cứng AMD.
• Kiến trúc MoE: Hiệu năng được thử nghiệm bằng kiến trúc Mixture of Expert (MoE). MoE được áp dụng trong các LLM mã nguồn mở mạnh mẽ được Mistral, Meta, Databricks, X.ai và các bên khác sử dụng.
• Kết quả ban đầu: Sử dụng phần mềm suy luận của MK1, MI300X đạt thông lượng cao hơn 33% so với H100 SXM khi chạy vLLM với Mixtral 8x7B.
• Năng lực cạnh tranh: Dù hệ sinh thái phần mềm của NVIDIA trưởng thành hơn, AMD vẫn nổi lên như một đối thủ mạnh trong thị trường AI. Xét về khả năng sẵn có của phần cứng và chi phí, MI300X là một lựa chọn hấp dẫn cho các doanh nghiệp chạy suy luận quy mô lớn trên đám mây.
• Triển vọng tương lai: Với các tối ưu bổ sung, lợi thế hiệu năng của AMD được kỳ vọng sẽ còn tăng thêm.

Ý kiến của GN⁺

• Tiềm năng cải thiện hiệu năng: Chỉ với các kết quả ban đầu, MI300X của AMD đã cho thấy hiệu năng cao. Có thể kỳ vọng hiệu năng tốt hơn nữa nhờ các tối ưu bổ sung.
• Sức cạnh tranh trên thị trường: Dù hệ sinh thái phần mềm của NVIDIA trưởng thành hơn, phần cứng của AMD vẫn cho thấy hiệu năng cạnh tranh và có thể củng cố vị thế trên thị trường.
• Hiệu quả chi phí: Xét về khả năng sẵn có của phần cứng và chi phí, MI300X có thể là lựa chọn tốt hơn. Đây là yếu tố đặc biệt quan trọng với các doanh nghiệp thực hiện các tác vụ suy luận quy mô lớn.
• Các điểm cần cân nhắc khi áp dụng công nghệ: Khi đưa phần cứng mới vào sử dụng, khả năng tương thích phần mềm và tối ưu hóa là các yếu tố quan trọng. Nếu triển khai MI300X của AMD, có thể cần thêm nỗ lực cho thiết lập ban đầu và tối ưu hóa.
• Sản phẩm cạnh tranh: Ngoài H100 của NVIDIA, còn có các sản phẩm bộ gia tốc AI khác. Ví dụ như TPU của Google hoặc bộ gia tốc Habana Labs của Intel. Việc so sánh đặc tính và hiệu năng của từng sản phẩm để chọn ra phương án tối ưu là điều quan trọng.

[GN⁺]

Ý kiến Hacker News

• TensorWave là nhà cung cấp đám mây chuyên cho các workload AI, tận dụng bộ tăng tốc Instinct™ MI300X của AMD để mang lại hiệu năng cao.
• Việc dùng benchmark 128 token đầu vào trong năm 2024 không đại diện cho phần lớn workload, và hiệu năng prefill là cực kỳ quan trọng.
• Cần có cạnh tranh; hiện vốn hóa thị trường của Nvidia vào khoảng 0,6 nghìn tỷ USD, cao hơn toàn bộ Sở giao dịch chứng khoán Frankfurt.
• Thị trường và giá bán phản ánh giá trị của giải pháp Nvidia và giải pháp AMD, bao gồm công cụ, phần mềm, tổng chi phí sở hữu (TCO) và khả năng quản trị.
• Có người thắc mắc liệu nhiều công ty có thực sự chi nhiều tiền để chạy song song các mô hình 8x 7B tham số hay không, và liệu có thể huấn luyện mô hình 14B trên một bộ tăng tốc đơn lẻ hay không.
• AMD và các công ty khác đang chọn lọc benchmark để cố vượt Nvidia, đồng thời dùng các mẫu so sánh thuộc thế hệ xen giữa.
• Với tư cách là một nhà khoa học AI, có ý kiến cho rằng AMD đang bị định giá thấp hơn so với Nvidia. Chip của AMD không nhanh bằng Nvidia, nhưng trong phần lớn ngành công nghiệp, chúng hiệu quả về chi phí và có thể đạt kết quả tương tự.
• Có người thắc mắc liệu cấu hình tensor parallel có ảnh hưởng đến hiệu năng hay không. Theo bài viết, AMD đặt tensor parallelism là 1, còn Nvidia là 2.
• Nếu không có các chỉ số thống kê phù hợp và hiệu năng trên mỗi watt, thì việc so sánh là vô nghĩa.
• Benchmark INT8/FP8 sẽ hữu ích hơn, và cả hai card đều có thể được nạp với khoảng 60GB VRAM.
• AMD có phần cứng tốt hơn, nhưng vẫn chưa có đủ năng lực sản xuất để cạnh tranh với Nvidia. Khi cạnh tranh thực sự bắt kịp, biên lợi nhuận sẽ bị thu hẹp.
• Sự thống trị của Nvidia không phải vì CUDA, mà vì khoảng 40% doanh thu đến từ các tập đoàn lớn dùng stack tùy biến riêng. Khi cạnh tranh bắt kịp, họ sẽ cung cấp GPU rẻ hơn.
• Về mặt lý thuyết, MI300X nên rẻ hơn, nhưng thực tế có đúng như vậy hay không thì vẫn còn phải chờ xem.