gpudeploy - “Airbnb” cho GPU

Thị trường GPU

• GPU Deploy cung cấp dịch vụ GPU theo yêu cầu chi phí thấp cho machine learning và AI
• Được cấu hình sẵn cho tác vụ máy học, có thể khởi chạy ngay lập tức GPU instance

Thông số GPU được cung cấp và giá cả

• Hỗ trợ nhiều mô hình GPU khác nhau như Nvidia H100, A100, GeForce RTX 4090/3060, Quadro RTX 6000
• RAM GPU được cung cấp từ 11GB đến 640GB
• Số lượng CUDA core dao động từ 3.584 đến 116.736
• Có thể chọn vCPU từ 16 đến 242 lõi
• Giá theo giờ dao động từ $0.06 đến $26.55 (chưa bao gồm thuế bán hàng, giá thực tế thường rẻ hơn)

Đề xuất tận dụng GPU nhàn rỗi

• Nếu có GPU nhàn rỗi, bạn có thể cung cấp tài nguyên tính toán thông qua GPU Deploy
  • Nếu là nhà vận hành cụm GPU, có thể cho thuê tài nguyên tính toán nhàn rỗi
  • Nếu là công ty AI, cũng có thể cho thuê tài nguyên tính toán nhàn rỗi
  • Cá nhân sở hữu GPU vẫn có thể tham gia

Ý kiến của GN⁺

• Vì phí sử dụng GPU theo yêu cầu rất đắt, nên việc tận dụng dịch vụ này giúp chi phí thấp hơn khi cần GPU và khá hấp dẫn
• Tuy nhiên, trong trường hợp sử dụng dài hạn, việc tự xây dựng máy chủ GPU có thể kinh tế hơn nhiều
• Có thể là lựa chọn tốt cho cá nhân hoặc doanh nghiệp vừa và nhỏ để tận dụng tài nguyên GPU
• Từ góc độ doanh nghiệp, cần cân nhắc triển khai theo cả ngắn hạn và dài hạn trên cơ sở chi phí xây dựng và vận hành máy chủ GPU
• Các dịch vụ cung cấp GPU tương tự gồm AWS, GCP và MS Azure, vì vậy cần so sánh kỹ thông số GPU và chính sách giá của từng dịch vụ
• Tận dụng GPU nhàn rỗi là đề xuất thú vị, nhưng có thể có những lo ngại về bảo mật hoặc quản lý tài nguyên

[GN⁺]

Ý kiến từ Hacker News

• Khi cho bên thứ ba sử dụng tài nguyên GPU, có một số điều cần cân nhắc:
  • Vấn đề quyền riêng tư - kẻ tấn công có thể cài đặt GPU honeypot và thu thập dữ liệu
  • Tính toán GPU giả - kẻ tấn công có thể dùng GPU giả và gửi dữ liệu giả để giảm số liệu tính toán
  • GPU lỗi - không có ác ý, nhưng GPU hỏng có thể sinh ra kết quả sai
• Cần đồng ý điều khoản dịch vụ và chính sách bảo mật, điều đáng chú ý là liên kết dẫn đến một trang trống
• Ý tưởng cốt lõi rất hay. Khái niệm “Airbnb cho GPU” tương tự như Vast.ai; tò mò không biết dịch vụ này khác và tốt hơn ở điểm nào
• Có lẽ dễ hiểu hơn nếu nói là “cấp phát GPU theo yêu cầu” thay vì “Airbnb cho GPU”
• Một ý tưởng hay, chúc bạn thành công! Dự án Akash Network trong lĩnh vực tiền điện tử rất ấn tượng, vì nó có nhu cầu và các trường hợp sử dụng hợp pháp
• Tôi không rõ chuyện Stability AI đã cung cấp phần cứng quá mức hay không; có vẻ như mọi người đang bị cuốn vào câu chuyện phóng đại AI
• Ý tưởng rất hay! Làm sao đảm bảo an ninh cho bên cung cấp? Khi cho thuê cụm GPU, nên cấp cho người thuê quyền truy cập gì? Chỉ gửi kernel GPU hay cho quyền truy cập hạn chế cho người dùng? Anh/chị có cân nhắc thêm vào private network để trải nghiệm mượt mà mà không cần admin mở cổng router không?
• Nếu muốn xem giá, hãy ghé GPUMonger.com. Dịch vụ này có vẻ sâu và thực sự hơn nhiều, nhưng nếu chỉ so sánh giá thì GPUMonger có vẻ là lựa chọn ổn
• Các công ty kiểu này đang mọc lên như nấm như là giải pháp phần mềm cho vấn đề phần cứng. Có vẻ hầu hết sức mạnh tính toán khả dụng đã được phân bổ, nên cần thêm nhiều nhà cung cấp hơn. Tò mò tại sao Y Combinator lại đầu tư lặp lại vào những công ty tương tự. Shadeform.ai cũng là một ví dụ khác.
• Một vài góp ý:
  • Xem file script cài đặt thì thấy không khởi đầu bằng set -e, có thể dẫn tới việc cài đặt không hoàn chỉnh
  • Họ cài một binary tên là instance-server và tôi không rõ nó làm gì. Có thể tin vào nó trên máy chủ/mạng của tôi không?
  • Vì chỉ dành cho Nvidia nên khả năng gần như sẽ chưa hỗ trợ GPU AMD trong một thời gian
  • Cảm giác giống như một MVP. Hãy xem nó sẽ phát triển ra sao theo thời gian.
• Nếu một chiếc RTX 4090 đang nhàn rỗi, bạn có thể kiếm được bao nhiêu?