Các đám mây thay thế đang tăng trưởng bùng nổ khi doanh nghiệp tìm kiếm quyền truy cập GPU với chi phí thấp hơn

Sự tăng trưởng của các nền tảng đám mây thay thế

• Nhu cầu đối với các nền tảng đám mây thay thế đang tăng mạnh hơn bao giờ hết
• CoreWeave gần đây đã huy động thêm 1,01 tỷ USD vốn đầu tư mới, đưa định giá công ty lên 19 tỷ USD
• Lambda Labs cũng đã đảm bảo 500 triệu USD tài chính mục đích đặc biệt, còn Voltage Park đang đầu tư 500 triệu USD vào các trung tâm dữ liệu dựa trên GPU
• Together AI đã nhận khoản đầu tư 106 triệu USD do Salesforce dẫn dắt

Nhu cầu đối với AI tạo sinh gia tăng

• Khi làn sóng AI tạo sinh tiếp tục bùng nổ, nhu cầu phần cứng để chạy và huấn luyện các mô hình AI tạo sinh ở quy mô lớn cũng tăng theo
• GPU chứa hàng nghìn lõi có thể xử lý song song các phương trình đại số tuyến tính cấu thành nên mô hình tạo sinh, vì vậy đây là lựa chọn lý tưởng cho việc huấn luyện, tinh chỉnh và vận hành mô hình
• Tuy nhiên, chi phí triển khai GPU rất cao nên phần lớn nhà phát triển và tổ chức đang chuyển hướng sang đám mây

Ưu điểm của các nền tảng đám mây thay thế

• Các nhà cung cấp điện toán đám mây truyền thống như AWS, Google Cloud và Microsoft Azure đang cung cấp GPU cùng các phiên bản phần cứng chuyên dụng được tối ưu cho khối lượng công việc AI tạo sinh
• Tuy nhiên, với một số mô hình và dự án, các đám mây thay thế có thể rẻ hơn và sẵn có hơn
• Chi phí thuê Nvidia A100 40GB tại CoreWeave là $2.46 mỗi giờ, tương đương $1,771 mỗi tháng. Trên Azure, cùng GPU đó có giá $3.40 mỗi giờ, tương đương $2,448 mỗi tháng; còn trên Google Cloud là $3.67 mỗi giờ, tương đương $2,642 mỗi tháng

Những thách thức của các nền tảng đám mây thay thế

• Vấn đề then chốt sẽ là liệu các nhà cung cấp đám mây thay thế có thể tiếp tục đưa số lượng lớn GPU lên trực tuyến và duy trì mức giá cạnh tranh hay không
• Khi các nhà cung cấp hiện hữu như Google, Microsoft và AWS tăng đầu tư vào phần cứng tùy chỉnh cho huấn luyện và suy luận mô hình, cạnh tranh về giá có thể trở nên khó khăn hơn
• Nhiều khối lượng công việc AI tạo sinh chạy tốt nhất trên GPU, nhưng với các tác vụ không nhạy cảm về thời gian thì GPU có thể không thực sự cần thiết
• Nếu bong bóng AI tạo sinh xì hơi, sẽ có rủi ro nguồn cung GPU dư thừa và nhu cầu sụt giảm mạnh

Ý kiến của GN⁺

• Nhu cầu GPU bùng nổ có thể tiếp tục làm gia tăng ảnh hưởng của các nhà cung cấp GPU lớn như Nvidia. Có thông tin cho rằng Nvidia đã ưu tiên quyền tiếp cận GPU cho các nhà cung cấp đám mây thay thế, điều này có vẻ là một phần trong chiến lược củng cố vị thế thống trị thị trường của hãng
• Nếu các nhà cung cấp đám mây thành công trong việc đảm bảo các cụm GPU quy mô lớn, họ có thể giành lợi thế cạnh tranh trong việc thu hút các dự án AI lớn. Ví dụ điển hình là việc Microsoft ký hợp đồng trị giá hàng tỷ USD với CoreWeave để cung cấp năng lực tính toán GPU cho OpenAI
• Tuy nhiên, về dài hạn, cục diện ngành đám mây có thể thay đổi mạnh với sự phát triển của các silicon tùy chỉnh chuyên cho AI như Google TPU, MS Azure Maia/Cobalt và AWS Trainium. Các hyperscaler nhiều khả năng sẽ tìm cách giảm phụ thuộc vào Nvidia
• Dù các đám mây thay thế đã nổi lên như một lựa chọn mới, số khách hàng có đủ năng lực về bảo mật, tuân thủ và quản lý đa đám mây để sử dụng chúng sẽ vẫn còn hạn chế. Quyền lực thị trường của các nhà cung cấp đám mây truyền thống vẫn rất lớn

[GN⁺]

Ý kiến Hacker News

Tóm tắt:

• Mô hình kinh doanh của AWS dường như là làm cho việc định giá trở nên khó hiểu, khiến người dùng chỉ biết chi phí sau khi đã sử dụng
• Kết quả phân tích chi phí hàng tháng của loại instance mới n4-standard-2 của GCP cho thấy chi phí vCPU và bộ nhớ ở mức cao, $69/tháng, và giá SSD cũng đắt
• Dự đoán trong 10 năm tới, các nhà cung cấp đám mây lớn sẽ gặp khó khăn. Chi phí và độ phức tạp để xây dựng các hệ thống ở quy mô hành tinh là quá lớn, khó có thể biện minh
• Có lỗi tính toán trong bài viết so sánh chi phí thuê GPU Nvidia A100 40GB của CoreWeave, Azure và Google Cloud. Chi phí hàng tháng của CoreWeave chênh khoảng 30%
• fly.io được khuyến nghị như một lựa chọn thay thế phù hợp cho khối lượng công việc GPU. Tính năng tự động mở rộng rất tốt
• Mô hình kinh doanh của AWS dường như là kiếm rất nhiều tiền khi các startup giai đoạn đầu phát triển thành doanh nghiệp lớn. Tuy nhiên, với việc thời kỳ ZIRP kết thúc và việc gọi vốn VC trở nên khó khăn hơn, số startup có thể đốt nhiều tiền để tăng trưởng bùng nổ được dự đoán sẽ giảm
• Có câu hỏi được đặt ra về trải nghiệm sử dụng GPU đám mây thay thế cho các tác vụ suy luận. Độ trễ là yếu tố quan trọng, và việc giao tiếp giữa hạ tầng AWS với GPU ở nơi khác có thể gặp khó khăn
• Core Weave và Lambda Labs có chính sách giá mang tính bóc lột: không thể thuê GPU nếu không có hợp đồng hằng năm. Cũng có những công ty như sfcompute cung cấp năng lực tính toán theo giờ
• Bản thân việc “đảm bảo được một lượng nhỏ H100s/A100s” cũng có thể trở thành một mô hình kinh doanh công nghệ có lợi nhuận
• Crusoe Cloud cung cấp H100s, A100s và L40s với mức giá rất rẻ, đồng thời không tính phí sử dụng mạng. Giá trên mỗi FLOP là vô đối