Fly.io, giờ đã có GPU

 (fly.io)
1 điểm bởi GN⁺ 2024-02-14 | 1 bình luận | Chia sẻ qua WhatsApp

AI thực sự rất tuyệt

  • Fly.io là một dịch vụ đám mây công khai mới cho phép đặt năng lực tính toán ở gần người dùng.
  • Giờ đây có thể dùng GPU để xử lý các khối lượng công việc AI trong môi trường điện toán biên.
  • Fly.io cho phép chạy ứng dụng full-stack hoặc nền tảng phát triển dựa trên Fly Machines API ở gần người dùng.

Các trường hợp sử dụng thực tế với GPU của Fly.io

  • Có thể triển khai mã nguồn của riêng mình và mô hình ưa thích trên backbone đám mây của Fly.io.
  • Với GPU của Fly.io, có thể dễ dàng chạy ứng dụng GPU chạy Ollama (những người bạn trong lĩnh vực tạo sinh văn bản) chỉ qua hai bước.
  • Có thể triển khai ứng dụng bằng cách thêm cấu hình vào fly.toml và chạy lệnh fly apps create sandwich_ai && fly deploy.

Tốc độ ánh sáng có giới hạn

  • Khởi động GPU nhanh là tốt, nhưng Fly.io thực sự phát huy giá trị ở suy luận tại biên.
  • Ví dụ có thể là một ứng dụng cho phép người dùng nhập các nguyên liệu có trong bếp và nhận ngay công thức sandwich.
  • Fly.io có GPU tại các trung tâm dữ liệu trên toàn thế giới và cho phép chạy cùng một chương trình ở mọi khu vực có hỗ trợ GPU.

Chỉ khi thực sự cần

  • GPU là thiết bị xử lý song song mạnh mẽ nhưng không hề rẻ.
  • Có thể thêm mục services vào tệp fly.toml để chỉ định cách ứng dụng mở rộng và thu hẹp.
  • Có thể cấu hình để không phải trả chi phí GPU khi người dùng không yêu cầu công thức sandwich.

Thông tin chi tiết

  • Cung cấp GPU tại nhiều khu vực ở Mỹ, châu Âu và Sydney.
  • Cung cấp nhiều tùy chọn GPU và mức giá khác nhau, và mặc định mọi lần triển khai đều dùng tám lõi CPU AMD EPYC.
  • Có thể gắn volume tối đa 500GB, đồng thời cũng có giảm giá cho reserved instance và dedicated host.

GN⁺ ý kiến:

  • Fly.io cung cấp một dịch vụ đám mây đổi mới cho phép xử lý khối lượng công việc AI trong môi trường điện toán biên, tập trung vào việc cải thiện trải nghiệm người dùng.
  • Dịch vụ tận dụng GPU mang đến giải pháp cân bằng cả tốc độ suy luận nhanh lẫn hiệu quả chi phí, đặc biệt phù hợp với các ứng dụng cần năng lực tính toán cao theo thời gian thực.
  • Đây là một bước tiến rất thú vị và hữu ích vì có thể nâng cao khả năng tiếp cận công nghệ AI và giúp các nhà phát triển tạo ra những ứng dụng đổi mới mới.

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-02-14
Ý kiến trên Hacker News
  • Một người dùng bày tỏ sự thất vọng với các tính năng cơ bản của Fly. Họ chỉ ra rằng đội hỗ trợ không thể xác minh các vấn đề của nền tảng nội bộ, và thông báo lỗi thì mơ hồ hoặc thậm chí không có. Người này cho rằng Fly có thể hấp dẫn với những ai dùng nó vì sợ hoặc không hiểu Kubernetes, nhưng bản thân họ lại thấy nhớ Kubernetes.
  • Một nhân sự phụ trách quan hệ nhà phát triển của Fly.io giới thiệu rằng GPU hiện đã được mở cho người dùng phổ thông, và người dùng có thể thử nghiệm GPU. Người này cũng chia sẻ liên kết tới bài blog về GPU và khuyến khích mọi người cứ đặt câu hỏi nếu có.
  • Một người dùng khác nhắc rằng Fly chạy VM bằng Firecracker, đồng thời chỉ ra rằng Firecracker về cơ bản không hỗ trợ GPU. Họ tò mò Fly đã triển khai hỗ trợ GPU theo cách nào và mong chờ một bài viết kỹ thuật về điều đó.
  • Một người dùng khen tính năng scale về 0 của Fly, nói rằng nó có thể giúp tiết kiệm chi phí máy chủ khi vận hành các trang thử nghiệm gần như không có người dùng. Họ muốn xem một ví dụ về thời gian tính phí theo từng request.
  • Có người tiếc rằng Fly không có dịch vụ thay thế S3. Họ đưa ra dự án GNU Affero như một phương án thay thế, nhưng cảm thấy nó không phù hợp cho kinh doanh. Họ thích sự đơn giản, hiệu quả chi phí và VPN tích hợp của Fly, nhưng việc phải rời Fly chỉ để lưu trữ tài sản người dùng là lý do quyết định khiến họ không dùng Fly cho dự án tiếp theo.
  • Có người thắc mắc thị trường mục tiêu của Fly là gì. Họ đặt câu hỏi liệu đối tượng có phải là các ứng dụng nhỏ hoặc chưa được kiểm chứng cần chạy mô hình AI nhưng không dùng dịch vụ hosting, hay Fly còn nhắm đến mục đích nào khác.
  • Có người hỏi về trải nghiệm hiệu năng với Fly và cảm giác ban đầu là nó khá đắt. Ví dụ, họ đem so với máy CPU của Hetzner.
  • Có người hỏi liệu ai đã có trải nghiệm so sánh dịch vụ Beam.Cloud với Fly hay chưa.
  • Có người nhắc đến việc tốc độ khi scale về 0 nhanh đến mức nào, và nếu đủ nhanh thì điều đó sẽ rất thú vị.
  • Có người thắc mắc liệu Fly có thể chạy các file cog mà replicate dùng hay không, và liệu có thể chạy các mô hình được đóng gói sẵn với cùng prediction API hay không. Họ cho rằng replicate có thể khiến mọi người chần chừ, nhưng nếu hỗ trợ điều này thì trải nghiệm sẽ mượt mà hơn nhiều.