Ra mắt Amazon S3 Files – truy cập bucket S3 như một hệ thống tệp

(aws.amazon.com)

4 điểm bởi GN⁺ 14 ngày trước | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

Amazon S3 Files là tính năng cho phép mount trực tiếp bucket S3 dưới dạng hệ thống tệp hiệu năng cao, để có thể truy cập ngay từ EC2, ECS, EKS, Lambda và các dịch vụ khác
Vẫn giữ được độ bền và hiệu quả chi phí của object storage, đồng thời cung cấp khả năng truy cập tệp tương tác và độ trễ thấp (~1ms)
Hỗ trợ giao thức NFS v4.1+, cung cấp các thao tác tệp thông thường như tạo, sửa, xóa tệp cùng tính năng đồng bộ tự động
Tăng cường bảo mật và kiểm soát truy cập với tích hợp IAM, mã hóa TLS 1.3, kiểm soát quyền POSIX, đồng thời có thể giám sát bằng CloudWatch và CloudTrail
Cung cấp nền tảng để loại bỏ data silo và sử dụng S3 như một trung tâm dữ liệu tập trung trong các workload AI, ML và xử lý dữ liệu

Giới thiệu Amazon S3 Files

Amazon S3 Files là tính năng mới cho phép truy cập trực tiếp bucket Amazon S3 như một hệ thống tệp hiệu năng cao từ các tài nguyên compute của AWS
Làm mờ ranh giới giữa object storage và file system, giúp duy trì độ bền và hiệu quả chi phí của S3 trong khi vẫn cung cấp khả năng truy cập tệp tương tác
Nhiều tài nguyên compute có thể chia sẻ cùng một dữ liệu mà không bị trùng lặp, và các thay đổi sẽ tự động được đồng bộ với bucket S3
Hỗ trợ độ trễ ở mức ~1ms và giao thức NFS v4.1+
Có thể truy cập dữ liệu S3 dưới dạng file system native từ nhiều dịch vụ AWS như EC2, ECS, EKS, Lambda

File system biểu diễn các đối tượng S3 dưới dạng cấu trúc tệp và thư mục, hỗ trợ các thao tác tệp thông thường như tạo, đọc, sửa, xóa
Các tệp được truy cập thường xuyên sẽ được cache trên bộ nhớ hiệu năng cao để cung cấp độ trễ thấp, còn các tệp đọc tuần tự dung lượng lớn sẽ được stream trực tiếp từ S3
Tính năng byte-range read chỉ truyền phần được yêu cầu, giúp giảm lượng dữ liệu di chuyển và chi phí
Prefetching thông minh dự đoán mẫu truy cập để tối ưu hiệu năng
Có thể chọn nạp toàn bộ tệp hoặc chỉ metadata, cho phép kiểm soát cache chi tiết

Về mặt nội bộ, dịch vụ được xây dựng dựa trên Amazon Elastic File System (EFS), cung cấp độ trễ khoảng 1ms cho dữ liệu đang hoạt động
Hỗ trợ truy cập đồng thời từ nhiều tài nguyên compute và duy trì mô hình nhất quán NFS close-to-open
Phù hợp với các tác vụ chia sẻ dựa trên tệp như cộng tác giữa các AI agent, pipeline huấn luyện ML, workload xử lý dữ liệu

Sau khi chuẩn bị instance EC2 và một bucket S3 thông thường, có thể tạo S3 file system và cấu hình mount target bằng console hoặc CLI
Có thể mount trên EC2 bằng các lệnh sau
- sudo mkdir /home/ec2-user/s3files
- sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
Sau đó có thể thao tác trực tiếp với dữ liệu S3 từ thư mục ~/s3files bằng các lệnh tệp tiêu chuẩn
Khi sửa tệp, thay đổi sẽ được tự động phản ánh lên bucket S3 trong vòng vài phút, còn thay đổi trong bucket sẽ được phản ánh vào file system trong vòng vài giây

Tích hợp với AWS Identity and Access Management (IAM) để kiểm soát truy cập ở cấp file system và object
Dữ liệu được mã hóa khi truyền bằng TLS 1.3, và khi lưu trữ được mã hóa bằng SSE-S3 hoặc khóa AWS KMS
Sử dụng mô hình quyền POSIX để thực hiện kiểm soát truy cập dựa trên UID/GID
Có thể giám sát hiệu năng và cập nhật bằng Amazon CloudWatch, và ghi log sự kiện quản trị bằng AWS CloudTrail
Trên instance EC2 cần cài đặt gói amazon-efs-utils phiên bản mới nhất (được bao gồm mặc định trong AWS AMI)
Cũng có thể mount bucket S3 dưới dạng file system theo cách tương tự trên ECS, EKS, Fargate, Lambda và các dịch vụ khác

S3 Files phù hợp với các workload cần truy cập dữ liệu lưu trong S3 qua giao diện file system mang tính tương tác và chia sẻ
- Ví dụ: ứng dụng production, AI agent viết bằng Python, pipeline huấn luyện ML
Amazon FSx phù hợp khi cần migrate môi trường NAS on-premises hoặc cần các tính năng file system cụ thể
- FSx for Lustre: lưu trữ hiệu năng cao cho HPC và cụm GPU
- FSx for NetApp ONTAP / OpenZFS / Windows File Server: dùng khi cần tương thích với các file system cụ thể

S3 Files có thể sử dụng ngay tại tất cả các AWS Region thương mại
Các hạng mục tính phí gồm
- Dung lượng dữ liệu lưu trong file system
- Đọc tệp nhỏ và mọi thao tác ghi
- Các yêu cầu S3 phát sinh khi đồng bộ giữa file system và bucket S3
Có thể xem chi tiết chi phí tại trang giá Amazon S3

S3 Files giúp loại bỏ data silo, giảm độ phức tạp của việc đồng bộ, và loại bỏ nhu cầu di chuyển dữ liệu thủ công giữa object và file
Các workload AI, ML, data engineering sử dụng công cụ hoặc script dựa trên file system có thể khai thác trực tiếp dữ liệu S3
Có thể lưu trữ tập trung toàn bộ dữ liệu của tổ chức trên S3, đồng thời sử dụng nó như một trung tâm trung tâm có thể truy cập trực tiếp từ mọi tài nguyên compute AWS