S3 Express là tất cả những gì bạn cần

 (warpstream.com)
9 điểm bởi GN⁺ 2023-12-07 | 3 bình luận | Chia sẻ qua WhatsApp
  • Lớp lưu trữ độ trễ thấp mới của AWS, "S3 Express One Zone", đang thu hút sự chú ý trong cộng đồng hạ tầng dữ liệu
    • Tốc độ truy cập dữ liệu nhanh hơn 10 lần, chi phí API request rẻ hơn 50%. Có thể xử lý hàng triệu request mỗi phút
  • Lớp lưu trữ S3 Express đắt hơn 8 lần mỗi GiB so với S3 Standard hiện có, nên không phù hợp làm nơi lưu trữ "chính" cho các hệ thống dữ liệu quy mô lớn
  • Chi phí cho các thao tác API rẻ hơn 50%, nhưng không phải là cực kỳ rẻ, nên vẫn không phù hợp với những workload trước đây vốn không thực tế vì chi phí của S3 API
  • S3 Express tính phí theo GiB cho mọi thao tác API (ghi + đọc) vượt quá 512 KiB
    • Nói cách khác, mọi thao tác API đều được cung cấp 512 KiB băng thông "miễn phí", và chỉ trả phí khi vượt quá mức này
  • Tuy nhiên, vì đây là lớp lưu trữ One Zone, các hệ thống dữ liệu phải tự sao chép dữ liệu sang hai AZ để phòng trường hợp một AZ đơn lẻ gặp sự cố
    • Chi phí ghi dữ liệu hai lần vào hai AZ tương đương với chi phí sao chép dữ liệu thủ công ở tầng ứng dụng

Cơ hội mới cho hạ tầng dữ liệu hiện đại

  • Lớp lưu trữ mới mang lại cơ hội mới để điều chỉnh giữa độ trễ thấp và chi phí cao, hoặc độ trễ cao và chi phí thấp, với cùng một kiến trúc và cùng một code
  • Giờ đây, mọi hệ thống dữ liệu hiện đại không còn cần được thiết kế phụ thuộc vào tính sẵn sàng của đĩa cục bộ hay block storage (EBS), mà có thể được xây dựng hoàn toàn trên object storage
  • Dữ liệu có thể dễ dàng được lưu trong bucket S3 Express độ trễ thấp rồi được chuyển không đồng bộ sang bucket S3 Standard, và phần lớn các hệ thống dữ liệu hiện đại đã có sẵn khả năng nén nên việc "phân tầng lưu trữ" về cơ bản là miễn phí

Ý kiến của GN⁺

Điểm quan trọng nhất của bài viết này là triển vọng về những thay đổi mà lớp lưu trữ mới S3 Express One Zone của AWS có thể mang lại cho hạ tầng dữ liệu. Lớp lưu trữ này mở ra những cơ hội mới có thể cải thiện mạnh mẽ chi phí và hiệu năng của các hệ thống dữ liệu, từ đó có thể tạo ra sự đổi mới trong cách quản lý và lưu trữ dữ liệu. Đặc biệt, khả năng xây dựng toàn bộ hệ thống dữ liệu xoay quanh object storage sẽ là một lựa chọn hấp dẫn với nhiều doanh nghiệp và nhà phát triển. Những thay đổi này được kỳ vọng sẽ giúp tương lai của hạ tầng dữ liệu trở nên linh hoạt hơn và hiệu quả chi phí hơn.

Bài viết liên quan

3 bình luận

 
kuroneko 2023-12-07

Tôi tò mò không biết nó sẽ được օգտագործ dụng như thế nào.
 
heycalmdown 2023-12-07

Ngay hôm qua tôi vừa tìm lại WarpStream nên đính kèm link nhé
https://vi.news.hada.io/topic?id=10234
 
GN⁺ 2023-12-07
Ý kiến Hacker News

  • Hầu hết các hệ thống lưu trữ/cơ sở dữ liệu production dựa trên S3 đều bỏ ra nỗ lực đáng kể để xây dựng tầng cache SSD/bộ nhớ nhằm đạt hiệu năng đủ tốt.

    • S3 Express có tốc độ đọc ngẫu nhiên tiệm cận HDD, nên có thể xây dựng hệ thống production mà không cần cache SSD.
    • Nhiều hệ thống vẫn sẽ giữ cache SSD, nhưng giờ đây có thể xây dựng MVP mà không cần cache SSD, đồng thời độ trễ truy vấn cold giảm đáng kể.
    • Hiện đang xây dựng cơ sở dữ liệu vector trên object storage, nên công nghệ này đến rất đúng lúc.

  • Chi phí lưu trữ AWS S3 Express cao gấp 8 lần S3 Standard, nhưng đây không phải vấn đề với các hệ thống lưu trữ dữ liệu hiện đại.

    • Dữ liệu có thể dễ dàng được lưu vào bucket S3 Express độ trễ thấp, rồi được nén và chuyển bất đồng bộ sang bucket S3 Standard.
    • Hầu hết các hệ thống dữ liệu hiện đại đã có sẵn tính năng nén, nên "phân tầng lưu trữ" về cơ bản là miễn phí.
    • Tôi dự đoán tương lai nơi phần lớn ứng dụng thâm dụng dữ liệu sẽ dùng S3 làm tầng lưu trữ chính.

  • Vài tuần trước, Quickwit, công cụ tìm kiếm, đã thử nghiệm S3 Express.

    • Về mặt hiệu năng thì khá hài lòng, nhưng thất vọng về giá.
    • Với một số trường hợp sử dụng cụ thể, mức giá này có thể hợp lý, nhưng dự đoán đa số người dùng vẫn sẽ thêm cache SSD cục bộ vào S3 hiện tại.

  • Bổ sung thêm ngữ cảnh, WarpStream đang xây dựng một hệ thống streaming tương thích Kafka dùng S3 làm object store.

    • Nhờ đó có thể tận dụng chi phí truyền dữ liệu giữa các zone rẻ và phân tầng lưu trữ tự động để giảm chi phí vận hành và bảo trì hệ thống.
    • Độ trễ do tốc độ đọc/ghi của S3 từng là vấn đề, nhưng với S3 Express, giờ đây họ có thể cạnh tranh với sản phẩm managed của Confluent Kafka trong các ứng dụng nhạy cảm với độ trễ.

  • Tôi đã giải quyết vấn đề bằng cách cache file trong Redis trước khi upload lên S3 từ máy local.

    • Khi codebase cần dùng file, nó sẽ kiểm tra Redis; nếu không có thì lấy về rồi cache lại.

  • Tôi không hiểu vì sao EFS vượt trội hơn S3 rất nhiều mà lại không được chú ý.

    • Hệ thống có thể mount nó như một ổ đĩa, chia sẻ giữa nhiều hệ thống, và vốn đã có độ trễ rất thấp.
    • Khi EFS đã tồn tại, tôi không chắc S3 Express thực sự hữu ích đến mức nào.

  • Tôi tự hỏi liệu cụm từ "X is all you Need" có phải lần đầu được dùng trong bài báo "Attention is all you need" hay không.

    • Bài báo đó đã giới thiệu Transformer với thế giới.

  • Nếu đây là S3 độ trễ thấp được viết bằng Rust, thì sau vài năm phát triển cuối cùng nó cũng đã ra mắt.

  • Tôi tự hỏi có những trường hợp sử dụng nào sẽ được cải thiện hiệu năng nhờ tầng S3 Express mới, và liệu chi phí tăng thêm gấp 8 lần có xứng đáng hay không.

  • Nhiều triển khai S3 trông đơn giản như chỉ là tải xuống minh bạch về đĩa, nhưng trên thực tế đó không phải là việc "dùng mạng như một ổ đĩa".