CEO Intel: “Toàn ngành có động lực xóa bỏ thị trường CUDA”
(tomshardware.com)- CEO Intel Pat Gelsinger đã giới thiệu các chip trung tâm dữ liệu Core Ultra và 5th Gen Xeon tại một sự kiện ở New York City, đồng thời lập luận rằng sự thống trị CUDA của Nvidia trong huấn luyện AI sẽ không kéo dài mãi
- Gelsinger nêu MLIR, Google và OpenAI làm ví dụ, cho rằng ngành đang chuyển sang lớp lập trình kiểu Pythonic để làm cho việc huấn luyện AI trở nên cởi mở hơn
- Intel xem thị trường suy luận (inference), vốn không phụ thuộc CUDA, là đấu trường quan trọng hơn, và muốn bước vào cuộc cạnh tranh chạy mô hình sau huấn luyện với Gaudi 3, Xeon và PC biên
- Trọng tâm trong chiến lược AI là OpenVINO, và Intel dự đoán một môi trường điện toán hỗn hợp, trong đó một số phép tính được xử lý trên đám mây, một số trên PC
- Gelsinger cho biết Intel sẽ cạnh tranh trên thị trường AI trung tâm dữ liệu bằng CPU, bộ tăng tốc và foundry, đồng thời theo đuổi cả cơ hội chip nội bộ lẫn cơ hội thương mại với Nvidia, AMD và các công ty khác
Cuộc tấn công của Intel vào sự thống trị của CUDA
- Pat Gelsinger đã giới thiệu Intel Core Ultra và chip trung tâm dữ liệu 5th Gen Xeon tại một sự kiện ở New York City, trực tiếp nhắm vào công nghệ CUDA của Nvidia
- Khi được đặt câu hỏi tại NASDAQ, ông trả lời rằng vị thế thống trị của Nvidia CUDA trong huấn luyện AI sẽ không tồn tại mãi mãi
- Ông nói: “Toàn ngành có động lực xóa bỏ thị trường CUDA”
- Ông cho rằng MLIR, Google và OpenAI đang chuyển sang lớp lập trình kiểu Pythonic để làm cho huấn luyện AI cởi mở hơn
- Ông mô tả “con hào” của CUDA là “nông và nhỏ”, đồng thời lập luận rằng ngành đang muốn đưa vào một tập hợp công nghệ rộng hơn cho huấn luyện, đổi mới và khoa học dữ liệu trên quy mô lớn
Chiến lược coi trọng suy luận hơn huấn luyện
- Intel xem suy luận là thị trường cốt lõi, thay vì chỉ cạnh tranh bằng huấn luyện
- Theo Gelsinger, sau khi một mô hình đã được huấn luyện một lần, sẽ không còn phụ thuộc vào CUDA; điều quan trọng là có thể chạy mô hình đó tốt đến mức nào
- Gaudi 3, lần đầu được công bố trên sân khấu, được giới thiệu như sản phẩm để đối phó với cuộc cạnh tranh này
- Xeon và PC biên cũng được nhắc đến như các trục cạnh tranh theo cùng hướng
- Điều này không có nghĩa Intel từ bỏ thị trường huấn luyện, nhưng Gelsinger cho rằng “về cơ bản, thị trường suy luận mới là nơi quyết định thắng bại”
OpenVINO và điện toán hỗn hợp
- Gelsinger nhấn mạnh OpenVINO là tiêu chuẩn trung tâm trong các nỗ lực AI của Intel
- Ông dự đoán một thế giới điện toán hỗn hợp, nơi một số phép tính được xử lý trên đám mây và một số phép tính được xử lý trên PC của người dùng
- Sandra Rivera bổ sung rằng Intel có thể trở thành đối tác được lựa chọn nhờ có quy mô trải dài từ trung tâm dữ liệu đến PC
- Rivera cũng nêu khả năng sản xuất hàng loạt của Intel là một thế mạnh
Cạnh tranh ba hướng nhắm vào thị trường AI trung tâm dữ liệu
- Gelsinger cho biết Intel sẽ cạnh tranh trên toàn bộ thị trường AI trung tâm dữ liệu theo ba cách: CPU, bộ tăng tốc và foundry
- Trong các cơ hội nội bộ, những chip như TPU, Inferentia và Trainium được nhắc đến
- Về cơ hội thương mại, Intel cũng có lập trường sẽ theo đuổi mọi khả năng hợp tác với Nvidia, AMD và các công ty khác
- Intel đồng thời đưa ra chiến lược trở thành một người chơi foundry, song song với cạnh tranh bằng sản phẩm của riêng mình
Những câu hỏi còn lại về cục diện cạnh tranh
- Trong buổi công bố này, Gelsinger thể hiện sự tự tin mạnh mẽ và dẫn dắt phần trình bày của đội ngũ
- Việc Intel có thực sự đối đầu được với CUDA hay không vẫn là vấn đề chỉ có thể xác nhận sau khi các ứng dụng của những chip Intel đã công bố và các chip mà đối thủ đang phát triển được phổ biến rộng rãi hơn
1 bình luận
Các ý kiến trên Hacker News
Như các bình luận khác đã nói, điểm cốt lõi là CUDA. Intel hay AMD cũng có thể làm chip khá nhanh, nhưng họ không hiểu rằng đối thủ cạnh tranh thật sự là phần mềm và hệ sinh thái
Ví dụ, trên eBay có thể mua một chiếc MI100 cũ có hiệu năng gần như tương đương A100 với giá chỉ bằng 1/5, nhưng lý do nó rẻ như vậy là vì so với GPU Nvidia, bạn sẽ tốn rất nhiều thời gian để làm cho nó chạy do phần mềm không tương thích
Google cũng chỉ ở mức gắn giao diện XLA vào PyTorch để cung cấp cho các nhà nghiên cứu một con đường tương thích tạm ổn, và Intel cũng tương tự
Nếu là công ty trong lĩnh vực này, muốn bán được chip thì họ phải tạo ra một bộ kiểm thử khổng lồ kiểu như toàn bộ mô hình của Hugging Face rồi cứ thô bạo sửa từng vấn đề một
Intel vẫn đang làm như mọi khi: công bố một sáng kiến mở rồi chỉ hỗ trợ ở mức tối thiểu, và có vẻ OpenVINO rất có khả năng kết thúc mà không đạt được thành quả gì đáng kể. Triton của OpenAI dường như đã được nhắc đến nhiều hơn rồi
Nếu PyTorch chạy tốt trên GPU Intel, rất nhiều người sẽ sẵn lòng chuyển sang
Nếu đã có tuổi một chút, hẳn bạn đã thấy ngành này lặp lại mô thức này nhiều lần. Lịch sử Unix đối đầu Windows NT thập niên 1990 cũng đầy những động thái như vậy, và mảng mạng cũng đang lặp lại chuyện tương tự với UltraEthernet
OpenGL có lẽ là cách tiếp cận thành công nhất, nhưng cũng chỉ ở mức vừa đủ hoạt động, và chẳng giúp được nhiều cho những bên vốn đã không ở trên đường thắng. Unix 95 cũng không hiệu quả, Unix 98 cũng vậy
Intel rất có thể sẽ ầm ĩ về các sáng kiến liên quan, rồi một hai quý sau lại cắt mạnh bộ phận đó
Muốn cạnh tranh trong địa hạt CUDA cần cam kết nhiều năm và tuyển dụng quy mô lớn, mà như vậy thì cũng phải nâng lương lên mức thị trường
Muốn lấy miếng bánh của NVIDIA thì không nhất thiết phải làm ra thứ tốt hơn H100 ngay lập tức. Có rất nhiều người tiêu dùng chỉ cần mức 4090, 4080, thậm chí 3080, nhưng giá bằng một nửa, có thể mua ngay trên Amazon hay NewEgg, và không có nút “hỏi giá”
AMD và Intel làm tốt hơn NVIDIA rất nhiều ở việc khiến chip thật sự có thể mua được, nhưng chỉ vậy thôi là chưa đủ
Thứ cần có là
intelcc,amdcc,qualcommcccó thể nhận và biên dịch chính xác cùng một đoạn mã từng đưa vàonvcc. Không được khác dù chỉ một prototype hàm, và phải chạy trên phần cứng đích mà không cần hỏi gì thêm. Nó phải là một bản thay thế thả vào là chạy cho CUDAKhi đó, việc biên dịch lại PyTorch và mọi thứ khác cho các chip khác sẽ trở thành chuyện nhỏ
Một sự thật thú vị là hơn một nửa kỹ sư của NVIDIA là kỹ sư phần mềm. Jensen đã chủ ý và có chiến lược xây dựng một stack phần mềm mạnh trên GPU, và đã làm như vậy suốt nhiều thập kỷ
Cho đến khi Intel tìm được một CEO kỹ thuật và chiến lược ngang tầm Jensen, thay vì một nhà quản lý chỉ nhìn vào con số, có vẻ họ sẽ khó phản công CUDA thành công
Gelsinger gia nhập Intel năm 1979 khi 18 tuổi, đồng tác giả một cuốn sách lập trình vi xử lý 80386 năm 1987, và là kiến trúc sư trưởng của bộ xử lý thế hệ thứ 4 80486 ra mắt năm 1989
Ở tuổi 32, ông trở thành phó chủ tịch trẻ nhất trong lịch sử Intel, và năm 2001 trở thành CTO, dẫn dắt phát triển các công nghệ cốt lõi như Wi-Fi, USB, Intel Core, Intel Xeon, cùng 14 dự án chip. Ông cũng khởi xướng Intel Developer Forum để đối ứng với Microsoft WinHEC
Ngay cả khi Intel tự vấp chân mình, động lực để lôi kéo thêm nhiều nhà sản xuất chip vẫn rất lớn. Chuyện đó sẽ xảy ra, vấn đề chỉ là trong vài tháng, vài năm hay 10 năm
Cá nhân tôi nghiêng về phía thời gian ngắn. Phần lớn có vẻ là bài toán nhân ma trận, và đột nhiên có lượng tiền cùng sự chú ý khổng lồ đổ vào. Chiến lược APU của AMD [0] cũng đang bắt đầu vươn tới thị trường cao cấp với MI300A, một diễn biến khá thú vị
[0] Bổ sung cho những ai chưa theo dõi xu hướng này: AMD đã hợp nhất bộ nhớ hệ thống và bộ nhớ GPU. Nếu tôi hiểu đúng, trên các chip này không còn cần “sao chép dữ liệu sang GPU” nữa. Về cơ bản, CPU có một phần mở rộng lớn dành cho toán ma trận. Trước đây công nghệ này được đưa vào CPU giá rẻ nên không hữu ích cho tác vụ AI, nhưng giờ họ đang đưa nó vào các chip lớn
Tất nhiên có thể ấn tượng ban đầu của tôi không tốt. Khi công bố thương vụ mua lại, câu đầu tiên ông ấy nói với Pivotal là “các bạn từng là anh em họ của chúng tôi, nhưng giờ thì giống con cái hơn”, nên cả bầu không khí trở nên kỳ lạ
Phần cứng không có phần mềm chỉ là cát đắt tiền. Mọi công ty bán dẫn đều biết điều này. Ngay từ đầu, chính Intel là bên đã hoàn thiện toàn bộ gói này với x86
Trong lĩnh vực điện toán GPU, CUDA là x86. Nó ở khắp nơi, là tiêu chuẩn trên thực tế, và một ngày nào đó sẽ bị phá vỡ. Vấn đề là chuyện đó mất 1 năm hay 10 năm
Nếu có thể tạo ra toolchain, hệ sinh thái và trải nghiệm lập trình tốt hơn CUDA, đồng thời tương thích với hiệu năng tốt nhất trên mọi nền tảng tính toán, thì quá tuyệt. Ai cũng thắng
Cho đến lúc đó thì những tuyên bố như vậy hơi buồn cười, nhất là khi nghĩ đến việc OpenCL đã thất bại về trải nghiệm lập trình viên và sự hỗ trợ ngày càng giảm. Những nỗ lực dùng compute shader của DX/GL/Vulkan cho tính toán GPU đa dụng cũng tương tự
Có thật là họ được “thúc đẩy” không? Đã có nhiều năm rồi mà kết quả thì thảm hại. Không biết họ có đầu tư dù chỉ một phần nhỏ so với những gì đã đổ vào CUDA hay không. Phải thể hiện bằng tiền, không phải bằng lời
Tôi không muốn bộ đồng xử lý, cũng không muốn họ lại tạo thêm một ngôn ngữ chuyên dụng hỏng hóc khác, dù là C/C++ đầy ngoại lệ hay một bản sao Python vụng về. Cứ nhét thêm nhiều lõi hơn và cho dùng thread thật của các ngôn ngữ lập trình thông thường là được
Intel và AMD đã có nhiều năm để cung cấp chức năng tương tự trên OpenCL
Có lẽ trước hết họ nên nhìn lại thất bại của chính mình
Khi tôi xem thử để dùng, cũng khá lộn xộn vì có nhiều triển khai, mỗi cái lại hỗ trợ một tập con hệ điều hành và phần cứng khác nhau
https://www.intel.com/content/www/us/en/developer/tools/onea...
Người ta không muốn mua năng lực tính toán rẻ hơn nhưng chậm hơn ngay cả trên phần cứng Nvidia. Vậy tại sao họ lại làm thế trên phần cứng Intel? Lại còn phải đổi ứng dụng nữa, nên rõ ràng ngay từ đầu đã khó
Tôi không phải chuyên gia trong lĩnh vực này, nhưng có đang bỏ sót điều gì không? Nếu ngành x86 muốn thoát khỏi những gì Nvidia cung cấp, Intel bằng cách nào đó phải lấp được một mục nào đó thuộc loại “tốt hơn”
Thay vào đó họ xây trên CUDA rồi phàn nàn rằng các hãng phần cứng khác không có CUDA
Tôi nghĩ đó là vì OpenCL là tập con chung mà nhiều công ty có thể đồng ý là triển khai được. Tôi từng viết mã có thể biên dịch sang CUDA, OpenCL, C++ và OpenMP, và cứ lặp đi lặp lại cảnh “gì cơ, OpenCL đến cái này cũng không làm được à? Chết tiệt”
Tôi muốn ai đó hiểu sâu về lĩnh vực AI giải thích con hào thật sự của CUDA là gì
Ai cũng thấy rõ đó không phải phần cứng mà là phần mềm, tức hệ sinh thái CUDA
Trước đây tôi từng làm một chút về machine learning, nhưng ở mức huấn luyện và tinh chỉnh mô hình thì tôi dùng các thư viện cấp cao, và theo tôi biết các thư viện đó chỉ quyết định backend nào sẽ dùng bằng vài câu lệnh
ifVậy nếu giả sử Intel và các hãng khác triển khai được một đối thủ thực dụng, liệu có sai khi nghĩ rằng việc chuyển đổi sẽ trơn tru với nhiều người dùng không? Có thể không phải với các nhà nghiên cứu hay những người đang đẩy giới hạn, nhưng với phần lớn công ty thì chi phí chuyển đổi có vẻ không lớn
Những sản phẩm đó cũng do các công ty lớn của Mỹ làm ra. Họ không muốn biến PC thành hàng hóa phổ thông, mà chỉ muốn một mảnh nhỏ trong thị trường lớn
Các clone PC thật sự, tức sản phẩm tương thích thay thế hoàn toàn, được làm ở Đài Loan và đã chiếm lĩnh thị trường. Các công ty lớn không muốn một thị trường bị hàng hóa hóa với giá thấp và mọi người cạnh tranh trên sân chơi ngang bằng. “Chuyển đổi trơn tru” sẽ dẫn đến đúng kết quả đó, nên các công ty này không tạo ra nó
Tất nhiên nói thì dễ hơn làm. Ngay cả TPU của Google vẫn còn chật vật để bắt kịp H100 về số phép toán dấu phẩy động trên mỗi đô la, và nếu không dùng Jax thì việc sử dụng cũng khá phiền
Các đối thủ, đặc biệt là Intel, dường như đang cố bước vào thị trường bằng cách tiếp cận từ trên xuống. Họ muốn dùng phần cứng xử lý tuần tự để giành một phần thị trường suy luận, và về cơ bản đang dựa vào những đổi mới diễn ra ở Nvidia. CUDA sẽ luôn đi trước một bước
Trong huấn luyện LLM quy mô lớn, CUDA không phải con hào lớn. Có thể thấy điều đó qua việc Anthropic chuyển từ CUDA sang Trainium. Có lẽ họ đã viết lại toàn bộ kernel cho Trainium
Có vẻ như mọi người không muốn rời khỏi CUDA. Trong vài tháng qua tôi đã xem qua nhiều mô hình và công cụ, và phần lớn gần như đều theo kiểu này
device = "cuda" if torch.cuda.is_available() else "cpu"Tôi vẫn chưa thấy cái nào triển khai middleware mạng nơ-ron của AMD: https://www.amd.com/en/developer/zendnn.html
cudađể ROCm trông giống CUDA trong các phép kiểm tra tính năngHọ muốn việc chuyển đổi diễn ra trơn tru, và vì mã hiện có thường kiểm tra CUDA, nên họ làm những gì cần thiết để đoạn mã đó chạy được
Cách hợp lý để phá vòng lặp là AMD chủ động đóng góp mã, kiểm thử và cài đặt “chạy ngay” dễ dàng cho các dự án phổ biến lớn để bổ sung hỗ trợ AMD, rồi sau đó bán thêm phần cứng. Nhưng không thấy AMD làm vậy
Vì vậy ngay cả khi dùng GPU AMD, ý nghĩa như
device = "cuda"vẫn hoạt động như cũIntel đã không làm gì trong 10 năm qua. Họ lãng phí hàng chục tỷ USD vào những GPU chỉ vừa đủ hoạt động, và dựa vào thế độc quyền CPU để làm chậm đổi mới trong khi chỉ vắt lợi nhuận
Ít nhất Nvidia đã tạo ra thứ gì đó giúp thúc đẩy AI, và canh bạc táo bạo của họ đã thành công
Cả Pat Gelsinger lẫn Lisa Su dường như đều hoàn toàn không hiểu phần mềm, thậm chí cũng không biết ủy quyền. Họ kỳ vọng “cộng đồng” sẽ làm phần mềm cho phần cứng cực kỳ phức tạp của mình
Bài trình bày của Bill Daly từ Nvidia [1] cho thấy họ đã cùng phát triển phần cứng và phần mềm như thế nào. Mô hình lập trình CUDA là một canh bạc khổng lồ từ rất lâu trước đây, và họ đã thắng một cách xứng đáng trong machine learning/AI
Nếu Intel và AMD không thay đổi triệt để, cuộc chơi kết thúc. Họ sẽ thua ARM và Nvidia
[1] https://www.youtube.com/watch?v=kLiwvnr4L80
Việc này khó hơn rất nhiều so với những gì mọi người nói
Con tàu đã rời bến từ 10 năm trước. Khi đó tôi đăng ký một môn tính toán GPU đa dụng ở đại học, có lẽ tên là “lập trình song song dị thể” gì đó, và chỉ đến buổi học đầu tiên mới biết toàn bộ phần cứng và tài liệu đều do NVIDIA cung cấp miễn phí
Kết quả là một lớp học CUDA thuần túy, hoàn toàn không nhắc đến lựa chọn thay thế nào, giống các khóa học Word và Excel ở đại học ngày xưa
Nvidia thật sự rất giỏi trong việc tạo hoặc mua hào bảo vệ
Với PhysX, nếu không có GPU Nvidia thì ngay cả trên CPU hỗ trợ SSE cũng bị rơi xuống đường xử lý FPU chậm, không tối ưu: https://arstechnica.com/gaming/2010/07/did-nvidia-cripple-it... https://www.realworldtech.com/physx87/3/ “Từ góc nhìn của Nvidia, dùng lệnh x87 và một luồng duy nhất để hạ hiệu năng CPU cơ bản sẽ khiến GPU trông tốt hơn”
Chương trình “The Way It’s Meant To Be Played” trả tiền cho các studio để họ trực tiếp khiến AMD bất lợi. Việc Ubisoft rút lại bản vá DX10.1 là một ví dụ: https://techreport.com/news/14707/ubisoft-comments-on-assass...
Chương trình “GameWorks” còn đi xa hơn một bước, trả tiền cho các studio game để đưa trực tiếp các thư viện làm giảm hiệu năng của Nvidia vào game: https://techreport.com/review/21404/crysis-2-tessellation-to... https://arstechnica.com/gaming/2015/05/amd-says-nvidias-game... https://wccftech.com/fight-nvidias-gameworks-continues-amd-c...
Tôi hoàn toàn hiểu rằng NVIDIA có động lực để duy trì vị thế thống trị của CUDA, và cũng hiểu rằng trong điều kiện thị trường này, các công ty khác như AMD và Intel đã bỏ lỡ cơ hội
Tuy nhiên, cũng đáng chỉ ra rằng nếu những hào lũy kỹ thuật và chức năng như vậy duy trì thế độc quyền trên thực tế trong một số trường hợp sử dụng nhất định, thì cuối cùng người tiêu dùng sẽ chịu thiệt
CUDA không chỉ được dùng cho AI, mà còn cho vật lý, mô hình hóa số, mật mã học, sinh học, v.v. Nvidia đã tìm ra hàng nghìn trường hợp sử dụng, lắng nghe ý kiến khách hàng và xây dựng nền tảng; AI sau đó trở thành một nguồn doanh thu khổng lồ
Vấn đề là Intel và AMD nhiều khả năng từ nay về sau vẫn sẽ chỉ nhìn vào “túi tiền AI” mà bỏ qua phần còn lại của nền tảng, bao gồm debugging, compiler, tích hợp ngôn ngữ, GUI và sửa lỗi
Nếu Intel nói rằng “chúng tôi sẽ đầu tư hàng chục tỷ USD vào OpenCL để bảo đảm trải nghiệm nhà phát triển và nền tảng ở mức hàng đầu, đồng thời loại bỏ CUDA”, thì điều đó sẽ đáng kỳ vọng; nhưng những gì hiện đọc được lại gần với “chúng tôi sẽ thay vài lệnh gọi hàm CUDA trong PyTorch”. Nó sẽ chỉ còn thú vị cho đến khoảnh khắc bạn phải debug vấn đề hiệu năng và nhận ra rằng thay vì có thể trao đổi trực tiếp với kỹ sư CUDA trên GitHub, bạn phải gửi email vào một mailing list Intel đã chết
Theo nghĩa đó, CUDA mang lại lợi ích lớn cho người tiêu dùng. Vì các lựa chọn thay thế thật sự quá tệ