- Sau khi ChatGPT ra mắt vào tháng 11/2023, nhu cầu với GPU H100 tăng vọt, khiến giá thuê theo giờ tăng từ $4.70 lên hơn $8
- Các nhà cung cấp trung tâm dữ liệu từng kỳ vọng thời gian hoàn vốn dưới 2 năm nếu cho thuê H100 với mức trên $4.50/giờ
- Tuy nhiên, đến tháng 8/2024, giá thuê GPU H100 trong các cụm nhỏ đã giảm xuống còn khoảng $1~$2
Ngưỡng lợi nhuận đầu tư H100 của trung tâm dữ liệu
- Trên $2.85/giờ: có thể vượt lợi suất của S&P500
- Dưới $2.85/giờ: kém hơn lợi suất của S&P500
- Dưới $1.65/giờ: dự kiến thua lỗ đầu tư trong 5 năm
Các nguyên nhân chính khiến giá thị trường GPU H100 lao dốc
- Sự trỗi dậy của các mô hình open-weight làm tăng nhu cầu suy luận và fine-tuning
- Trong khi đó, thị trường các hãng xây dựng foundation model quy mô vừa và nhỏ bị thu hẹp
- Nhiều công ty và startup nhận ra rằng tinh chỉnh các mô hình open-weight sẵn có kinh tế và hiệu quả hơn so với tự huấn luyện mô hình riêng
- Các startup và doanh nghiệp không có kế hoạch huấn luyện mô hình lớn từ 70B trở lên đã rút lại đầu tư
- Nhiều nhà cung cấp hạ tầng đảm bảo lợi nhuận thông qua các hợp đồng dài hạn 3-5 năm
- Điều này từng bị thúc ép bởi nhiều công ty mô hình nền tảng trong giai đoạn đỉnh AI năm 2023
- Bắt đầu bán lại phần công suất không sử dụng của các node đã đặt trước
- Các hãng xây dựng mô hình lớn như Facebook, Microsoft tự xây dựng cụm máy riêng, làm giảm nhu cầu với các cụm hiện có
- ChatGPT được ra mắt vào tháng 11/2022 trên dòng A100, còn H100 được đưa vào sử dụng từ tháng 3/2023. H100 mạnh gấp 3 lần A100 nhưng giá chỉ cao gấp đôi
- Sự xuất hiện của các GPU thay thế H100 như AMD MI300, Intel Gaudi3
- Nhu cầu đào coin bằng GPU giảm do Ethereum chuyển sang proof-of-stake và ASIC thống trị hoạt động đào Bitcoin
Hàm ý
- Chi phí trung bình của một H100 là hơn $50k, và với giả định tuổi thọ 5 năm thì tồn tại nhiều mô hình cho thuê khác nhau
- Trên $2.85/giờ có thể đánh bại IRR của thị trường chứng khoán, nhưng thấp hơn mức đó có thể phát sinh thua lỗ
- Các khoản đầu tư mới vào phần cứng H100 nhiều khả năng sẽ dẫn đến thua lỗ
- Trừ các trường hợp ngoại lệ như H100 mua với giá chiết khấu, điện rẻ, hoặc yêu cầu khách hàng đặc thù
- Ngược lại, việc giá H100 giảm sẽ trở thành chất xúc tác cho sự lan rộng của AI open-weight
- Kỳ vọng thúc đẩy các nhà phát triển và kỹ sư thử nghiệm mô hình mở cũng như xây dựng ứng dụng
- Featherless.AI cung cấp suy luận tức thì cho hơn 2.000 mô hình AI mã nguồn mở với mức giá cố định $10/tháng
- Để đảm bảo hiệu quả kinh tế phần cứng, việc tối ưu mọi tầng và lựa chọn GPU tùy biến là bắt buộc
Ý kiến của GN⁺
- Biến động của thị trường GPU: Giá H100 GPU giảm cho thấy tốc độ thay đổi rất nhanh của thị trường GPU. Điều này tác động lớn đến nhà đầu tư và các nhà cung cấp hạ tầng
- Ảnh hưởng của mô hình mã nguồn mở: Sự xuất hiện của các mô hình mã nguồn mở như Llama 3 làm tăng nhu cầu fine-tuning và inference. Điều này làm giảm nhu cầu huấn luyện các mô hình quy mô lớn
- Sự nổi lên của GPU thay thế: GPU của AMD và Intel đang nổi lên như lựa chọn thay thế cho H100, khiến cạnh tranh thị trường ngày càng gay gắt. Điều này có thể tạo thêm áp lực khiến giá GPU giảm
- Cơ hội cho ứng dụng AI: Chi phí GPU giảm làm hạ thấp rào cản gia nhập cho việc phát triển ứng dụng AI, từ đó có thể thúc đẩy nhiều đổi mới hơn
- Cần xem xét lại chiến lược đầu tư: Đầu tư vào hạ tầng GPU cần cách tiếp cận thận trọng và phải theo dõi sát diễn biến thị trường
2 bình luận
Hiệu ứng cánh bướm mà llama khơi mào... thú vị thật. haha
Ý kiến Hacker News
Các dịch vụ cung cấp GPU giá $2 có thể đặt hoạt động kinh doanh vào rủi ro do phụ thuộc vào môi trường tính toán kém tin cậy. AWS đã nâng cao độ tin cậy của hạ tầng GPU doanh nghiệp cao cấp.
Các trung tâm dữ liệu đã có sẵn hạ tầng có thể kiếm được lợi nhuận lớn từ H100. Tuy nhiên, trong một thị trường hiệu quả, những cơ hội như vậy không kéo dài mãi mãi.
Lợi nhuận thực sự nằm ở việc cho thuê các cụm InfiniBand, chứ không phải từng GPU/máy riêng lẻ.
Trên toàn cầu, có chưa đến 50 đội ngũ cần 16 node H100. Nhiều đội sẽ không thể tạo ra lợi nhuận.
Nhiều nhà sáng lập cố gắng huấn luyện mô hình để thuyết phục nhà đầu tư, nhưng rất hiếm trường hợp thực sự huấn luyện được mô hình có giá trị.
Bày tỏ nỗi tiếc nuối của các phòng thí nghiệm đại học từng không thể mua được tài nguyên tính toán trong giai đoạn nghiên cứu AI bùng nổ.
Tình hình này gợi nhớ đến chu kỳ bùng nổ và suy thoái của dầu mỏ được mô tả trong 'The Prize: The Epic Quest for Oil, Money & Power'.
OpenAI phải tiếp tục cải thiện mô hình để ứng phó với sự phát triển của các mô hình mã nguồn mở.
Điều này nghe có vẻ là tin xấu đối với các trang trại cho thuê GPU.
Chia sẻ ý kiến rằng đã tăng nhẹ vị thế bán khống với NVDA.