Chuyển từ AWS sang đám mây châu Âu - cắt giảm 62% chi phí

• Hopsworks đã di chuyển thành công sang OVHCloud trong quý 4 năm 2024 để giảm chi phí egress cao của AWS và cắt giảm 62% tổng chi phí
• Đặc biệt, chi phí truyền dữ liệu ra mạng là yếu tố chính giúp giảm chi phí tổng thể: trên AWS là $90 cho mỗi 1TB, trong khi trên OVH chỉ là $11 cho mỗi 1TB, tức chỉ bằng 1/8
• AWS cung cấp hệ sinh thái trưởng thành và độ tin cậy cao, nhưng OVHCloud mang lại cấu trúc giá đơn giản và hiệu năng cạnh tranh với chi phí thấp hơn
  • Managed Kubernetes: AWS → $0.10/giờ/cụm ($72/tháng) / OVHCloud → miễn phí
  • Chi phí truyền dữ liệu ra mạng: AWS → $90 cho mỗi 1TB / OVHCloud → $11 cho mỗi 1TB (miễn phí ở local zone)
  • Lưu trữ S3: AWS → $2300/tháng cho mỗi 1TB / OVHCloud → $800/tháng cho mỗi 1TB
  • Chi phí request Put/Get: AWS → $566 cho mỗi 100 triệu request / OVHCloud → miễn phí
  • Container registry: AWS → $212/tháng cho 5TB / OVHCloud → $212/tháng cho 5TB ($44/tháng cho 600GB)
  • Truyền dữ liệu giữa các Availability Zone: AWS → $2000 cho 100TB / OVHCloud → miễn phí
  • Instance EBS: AWS → $81.92/tháng cho mỗi 1TB → OVHCloud / $97.28/tháng cho mỗi 1TB

Giới thiệu về Hopsworks

• Hopsworks là một nền tảng mở để phát triển và vận hành các hệ thống AI quy mô lớn
  • Có thể triển khai trên mọi cụm Kubernetes (bao gồm public cloud và trung tâm dữ liệu độc lập)
  • Có thể dùng như một lựa chọn thay thế cho các nền tảng MLOps như AWS Sagemaker, GCP Vertex và Databricks
  • Bài báo nghiên cứu SIGMOD24 nhấn mạnh AI thời gian thực có hiệu năng vượt trội, cùng khả năng tích hợp tốt giữa Python và Lakehouse
  • Được công nhận là Feature Store đầu tiên cho ML
• Hỗ trợ dữ liệu và tính toán
  • Lớp Lakehouse: dùng Delta Lake, Apache Hudi, Iceberg(sắp hỗ trợ) → lưu trữ dữ liệu lịch sử quy mô lớn và hỗ trợ suy luận batch
  • Cơ sở dữ liệu độ trễ thấp RonDB: hỗ trợ workload AI thời gian thực và mô hình dữ liệu snowflake schema
  • Hỗ trợ tính toán: hỗ trợ Python, Spark, Ray và chia sẻ/tối ưu GPU trên Kubernetes
    • Có thể tự cung cấp compute → dùng Hopsworks như lớp dữ liệu để tích hợp pipeline AI
  • Hỗ trợ model registry và triển khai: có thể triển khai mô hình trên KServe/vLLM
• Hopsworks Serverless (phiên bản premium)
  • Cung cấp dung lượng lưu trữ miễn phí (50GB dữ liệu Lakehouse, 100MB dữ liệu feature của RonDB)
  • Hỗ trợ tối đa 100 model registry và triển khai 2 mô hình
  • Phần lớn dung lượng lưu trữ được cung cấp miễn phí, nhưng không cung cấp miễn phí tài nguyên compute → chi phí hosting trên AWS có thể giữ ở mức khoảng $8K/tháng

Bối cảnh quyết định chuyển từ AWS sang OVH

• Ra mắt Hopsworks Query Service làm dấy lên lo ngại về chi phí truyền dữ liệu ra mạng (egress) tăng lên
  • Dùng Arrow và DuckDB trong Python client → có thể đọc dữ liệu cỡ hàng trăm MB đến GB vào Pandas DataFrame
  • Khả năng chi phí egress trên AWS tăng vọt → nhận thấy rủi ro chi phí leo thang
• Quyết định chuyển sang OVHCloud
  • OVH là nhà cung cấp cloud đặt tại châu Âu, cung cấp đầy đủ mọi managed service cần thiết
    • Cung cấp managed Kubernetes, managed container registry và object storage tương thích S3
  • Cài đặt Hopsworks trên OVH bằng Helm Charts → xác nhận vận hành trơn tru
  • Vì phần lớn người dùng ở Bắc Mỹ nên quyết định duy trì hạ tầng OVH tại Bắc Mỹ

Hiệu quả tiết kiệm chi phí

• Sau khi migrate sang OVH, chi phí giảm 62%
• Loại bỏ gánh nặng từ chi phí egress cao của AWS
• Cải thiện hiệu quả chi phí trong môi trường serverless trong khi vẫn duy trì hiệu năng lưu trữ và compute

Chuyển từ dịch vụ AWS sang dịch vụ OVHCloud

• Chỉ phụ thuộc vào Kubernetes và S3 → được thiết kế để không phụ thuộc vào các dịch vụ đặc thù của một cloud cụ thể
  • Observability stack: dựa trên OpenSearch và OpenSearch Dashboards
  • Metric stack: dựa trên Prometheus và Grafana

So sánh dịch vụ Managed Kubernetes

• Cả AWS và OVHCloud đều cung cấp dịch vụ Managed Kubernetes
  • AWS cung cấp hệ sinh thái trưởng thành và độ tin cậy cao
  • OVHCloud cung cấp miễn phí và có lợi hơn về mặt chi phí
• AWS cung cấp Amazon Elastic Kubernetes Service (EKS), là dịch vụ trưởng thành, được sử dụng rộng rãi, có tính sẵn sàng cao và hệ sinh thái mạnh. Tuy nhiên, chi phí control plane cho mỗi cụm là $0.10/giờ, tương đương khoảng $72/tháng
• OVHCloud cung cấp OVHCloud Kubernetes (Kubernetes được quản lý hoàn toàn), có độ ổn định tốt nhưng giới hạn dung lượng 400MB của etcd có thể gây vấn đề với một số cụm Kubernetes. Tuy nhiên, chi phí control plane của managed Kubernetes là miễn phí

So sánh chi phí truyền dữ liệu ra mạng

• OVHCloud có chi phí egress rất rẻ
  • OVHCloud chỉ tính phí egress ở một số region mới hơn (chỉ bằng 1/8 AWS)
  • Nhiều region cloud không tính phí egress (tính đến tháng 3 năm 2025)
  • AWS có chi phí egress rất cao, gây áp lực chi phí lớn
• AWS cung cấp dịch vụ trên toàn cầu, với chi phí truyền dữ liệu ra là $0.09/GB, tương đương $90/tháng khi truyền 1TB
• OVHCloud cung cấp dịch vụ tại châu Âu và Bắc Mỹ
  • Ở "local zone", chi phí egress là miễn phí
  • Ở các region khác, mức giá là $0.011/GB, tương đương $11 khi truyền 1TB

So sánh dịch vụ lưu trữ S3

• AWS S3 có độ tin cậy và tính sẵn sàng cao nhưng chi phí đắt
  • AWS mang lại hiệu năng hàng đầu trong dịch vụ object storage trên cloud
  • S3 của OVHCloud vẫn giữ được độ tin cậy trong khi chi phí chỉ xấp xỉ 1/3 AWS
• AWS S3 được đánh giá là dịch vụ có độ tin cậy cao nhất, với chi phí lưu trữ $0.023/GB, tương đương $2300/tháng khi lưu 100TB
  • Put, Copy, List, Post là $0.005 cho mỗi 1000 request, còn GET, SELECT là $0.0004 cho mỗi 1000 request, tương đương khoảng $566/tháng cho 100 triệu thao tác
• OVHCloud S3 có độ tin cậy tốt và chi phí lưu trữ thấp
  • Chi phí lưu trữ là $0.008/GB, tương đương $800/tháng khi lưu 100TB
  • Miễn phí cho các thao tác Put/Get

So sánh dịch vụ container registry

• AWS ECR là dịch vụ managed trưởng thành và có khả năng mở rộng
  • Có thể mở rộng rất cao và cấu hình linh hoạt
  • OVHCloud Harbor dùng mô hình giá cố định nên có thể bị giới hạn về khả năng mở rộng
• AWS ECR cung cấp dịch vụ có thể mở rộng và đã trưởng thành
  • Chi phí lưu trữ là $0.10/GB, tương đương $212/tháng khi lưu 5TB
  • Nhìn chung cung cấp hiệu năng tốt hơn OVHCloud
• OVHCloud Harbor có giới hạn số kết nối đồng thời (45 hoặc 90)
  • Chi phí là $44/tháng cho 600GB, và $212/tháng cho 5TB
  • Không thể mở rộng linh hoạt vượt quá 5TB dung lượng lưu trữ

So sánh chi phí truyền dữ liệu giữa các Availability Zone

• Hopsworks sao chép dịch vụ giữa các instance để chịu được sự cố ở Availability Zone (AZ)
  • Vì vậy phát sinh lưu lượng mạng giữa các instance nằm ở các Availability Zone khác nhau
• AWS tính phí truyền dữ liệu $0.02/GB ($0.01 chiều gửi + $0.01 chiều nhận)
  • Tương đương $2000/tháng khi truyền 100TB
• OVHCloud miễn phí truyền dữ liệu giữa các Availability Zone

So sánh instance EBS

• Hopsworks dùng EBS (Block Storage) cho các dịch vụ cần persistent volume
  • AWS dùng Elastic Block Storage
  • OVH dùng Block Storage dựa trên Ceph
  • Một số instance dùng đĩa NVMe cục bộ → OVH cho throughput cao hơn với dung lượng nhỏ (1~4TB)
• AWS cung cấp đa dạng instance hơn, nhưng local NVMe storage chỉ khả dụng trên các đĩa dung lượng lớn
  • Chi phí là $0.08/GB, tương đương $81.92/tháng cho mỗi 1TB
• OVHCloud có ít loại instance hơn nhưng hiệu năng NVMe trên dung lượng nhỏ tốt hơn
  • Chi phí là $0.095/GB, tương đương $97.28/tháng cho mỗi 1TB

Quá trình migration thực tế

• Thông báo lịch bảo trì
  • Ngày 26 tháng 11 năm 2024, thông báo một cửa sổ bảo trì kéo dài 24 giờ
• Tiến hành backup và migration
  • Backup cụm Hopsworks vào bucket AWS S3 rồi migrate sang bucket S3 của OVHCloud
  • Có một phần downtime nhưng migration hoàn tất suôn sẻ, không gặp sự cố
• Kiểm thử và khôi phục vận hành
  • Triển khai cụm Hopsworks trên OVH bằng Helm charts
  • Sau quá trình kiểm thử xác nhận không có vấn đề, đăng nhập được mở lại
  • Sau migration không phát sinh vấn đề với tài khoản người dùng

Tóm tắt

• Trong quý 4 năm 2024, việc chuyển hàng nghìn người dùng từ AWS sang OVHCloud đã hoàn tất
• OVH và Hopsworks đều là công nghệ được phát triển tại châu Âu, nhưng dịch vụ serverless của Hopsworks được cung cấp tại Bắc Mỹ, nơi tập trung phần lớn người dùng
• Cấu trúc giá đơn giản và thấp của OVH rất hấp dẫn
  • Không chỉ chi phí egress mà phần lớn các dịch vụ khác cũng rẻ hơn
  • Chất lượng dịch vụ tổng thể cũng rất tốt

[kaydash]

AWS có nhiều tài liệu tham chiếu cũng là một trong những điểm mạnh.
Nhưng khi vận hành các ứng dụng doanh nghiệp
thì chi phí có vẻ đúng là khá đắt đỏ.
Nếu ở các CSP khác cũng có nhiều case tham chiếu và độ ổn định được đảm bảo, thì tôi nghĩ sẽ cân nhắc việc chuyển sang nơi có chi phí rẻ hơn.

[GN⁺]

Ý kiến Hacker News

• OVH được biết đến là nhà cung cấp hosting rẻ hơn so với AWS. Tôi tò mò không biết họ có bù đắp được điều đó về mặt kỹ thuật và tính sẵn sàng cao hay không

  • Tôi làm ở một công ty tư vấn, chuyên thiết lập hạ tầng đám mây và tăng cường bảo mật
  • Có nhiều khách hàng sử dụng đủ loại nền tảng, từ AWS, Azure, GCP đến các nhà cung cấp đám mây khu vực nhỏ hơn
  • Dùng các nhà cung cấp đám mây nhỏ có thể giảm chi phí khoảng một nửa, nhưng có thể sẽ cần các kỹ sư giàu kinh nghiệm
  • Nhiều công ty nhỏ tập trung vào AWS, nhưng nếu dùng các dịch vụ độc quyền của AWS thì sẽ không thể dễ dàng chuyển sang nơi khác

• Ở Canada, chúng tôi cũng đang cân nhắc rời AWS. OVH có danh tiếng không tốt ở Canada

  • Mối bận tâm lớn nhất là một giải pháp thay thế đáng tin cậy cho RDS-postgres
  • Chi phí không phải mối quan tâm chính, nhưng tiết kiệm được chi phí vẫn là một tác dụng phụ tốt
  • Yêu cầu: hỗ trợ OpenTofu (hoặc Terraform) tốt, độ tin cậy cao, cơ sở dữ liệu quản lý tốt, trung tâm dữ liệu tại Canada

• Với tư cách là một thành viên trong nhóm, tôi sẵn sàng trao đổi nếu có câu hỏi về việc di chuyển

• Công ty chúng tôi cũng đang dùng OVH. Khá ổn và rẻ

  • Điểm trừ là 6 năm trước từng có sự cố điện ở trung tâm dữ liệu khiến hệ thống ngừng hoạt động cả ngày
  • Hiện tại chúng tôi đã chuyển sang kiến trúc dùng nhiều nhà cung cấp đám mây và đang vận hành với chi phí rẻ hơn AWS

• Sau 3 năm làm việc với AWS, tôi thấy AWS là một đối tác kinh doanh ổn

  • Đắt đỏ và phần lớn là hoạt động tốt, nhưng bạn có thể cảm nhận được sự khác biệt ở những chi tiết về độ tin cậy
  • Quan hệ xấu đi giữa châu Âu và Mỹ có thể khiến dịch vụ đám mây trở thành một công cụ bị vũ khí hóa

• Nếu các con số hợp lý và có thể chuyển đi thì tốt

  • Hãy chắc chắn có kế hoạch sao lưu. OVH từng bị mất dữ liệu do hỏa hoạn

• Tôi từng dùng OVH cho dự án cá nhân nhưng đã dừng. Họ chặn ngẫu nhiên các IP từ mạng iCloud Private Relay

  • Bản ghi SPF của dịch vụ email bị cấu hình sai
  • Hơn một năm vẫn chưa được khắc phục nên tôi đã chuyển email sang nơi khác

• Khi chuyển dữ liệu sang OVH, bạn nên sao lưu toàn bộ dữ liệu sang một nhà cung cấp khác

  • Đã từng có trường hợp hỏa hoạn ở trung tâm dữ liệu của OVH làm mất luôn cả bản sao lưu

• Tôi muốn biết vì sao lại chọn Scaleway.com thay vì OVH

  • Scaleway cũng là công ty châu Âu và cung cấp mức dịch vụ tương đương với nhiều dịch vụ quản lý của AWS

• Không có lý do gì phải ở lại AWS hay Azure, nhưng các lựa chọn thay thế ít được tiếp thị hơn nên khó thuyết phục ban lãnh đạo