- Dịch vụ lưu trữ đối tượng quy mô lớn đầu tiên trên đám mây hỗ trợ vector gốc
- Có thể giảm tới 90% chi phí lưu trữ, tải lên và truy vấn dữ liệu vector, đồng thời cung cấp hiệu năng truy vấn dưới một giây (subsecond)
- Giới thiệu các khái niệm vector bucket và vector index, tối ưu hóa việc lưu trữ và tìm kiếm dữ liệu vector quy mô lớn cho các workload AI tạo sinh như embedding AI và RAG
- Tích hợp với các dịch vụ AWS như Amazon Bedrock, SageMaker, OpenSearch, cho phép quản lý vector cân bằng giữa chi phí và hiệu năng cũng như tìm kiếm thời gian thực
- Không cần xây dựng hạ tầng, có thể dễ dàng lưu trữ, quản lý, truy vấn, xuất và tích hợp dữ liệu vector qua console, CLI, SDK, API cho nhiều kịch bản sử dụng khác nhau
Amazon S3 Vectors là gì?
- Amazon S3 Vectors là dịch vụ lưu trữ chuyên dụng mới của S3 để lưu trữ các tập dữ liệu vector dung lượng lớn và cung cấp tìm kiếm vector nhanh (semantic/similarity search)
- Được thiết kế để quản lý hiệu quả dữ liệu vector (embedding) thường dùng trong AI tạo sinh
- Cung cấp kiểu bucket S3 mới là vector bucket; mỗi vector bucket có thể tạo tối đa 10.000 vector index, và mỗi index có thể lưu trữ hàng chục triệu vector
- Hỗ trợ gán metadata (key-value) cho từng vector, cho phép truy vấn lọc theo điều kiện
Tối ưu chi phí, hiệu năng và các tính năng tự động hóa
- Có thể giảm tới 90% chi phí tải lên, lưu trữ và truy vấn dữ liệu vector
- Ngay cả khi dữ liệu tăng lên, S3 Vectors tự động tối ưu hóa để duy trì liên tục chi phí và hiệu năng
- Cung cấp các metric khoảng cách Cosine/Euclidean, mang lại môi trường tìm kiếm linh hoạt tương thích với các mô hình embedding AI
Tích hợp với dịch vụ AWS và hạ tầng AI
- Tích hợp gốc với Amazon Bedrock Knowledge Bases, có thể dùng trực tiếp trong SageMaker Unified Studio
- Kết nối với OpenSearch Service để lưu dữ liệu dài hạn/tần suất thấp trên S3, còn tìm kiếm tần suất cao/thời gian thực có thể chuyển sang OpenSearch (serverless vector collection)
- Phù hợp với nhiều ứng dụng AI như hệ thống gợi ý, RAG, phân tích tài liệu, gợi ý cá nhân hóa
Cách sử dụng chính
Tạo vector bucket và index
- Trong console, tạo vector bucket từ menu Vector buckets
- Khi tạo bucket có thể chỉ định tùy chọn mã hóa (SSE-S3, SSE-KMS)
- Thêm vector index vào từng bucket, chỉ định số chiều và metric khoảng cách cho từng index
Chèn và truy vấn dữ liệu vector
- Sử dụng AWS CLI, SDK, REST API để chèn và quản lý vector
- Tạo text embedding trong Amazon Bedrock → chèn vector vào S3 Vectors
- Ví dụ: sau khi tạo embedding bằng
boto3, tải dữ liệu lên index bằng API s3vectors.put_vectors
- Có thể truy vấn theo điều kiện như thể loại, danh mục bằng cách tận dụng metadata
Tích hợp OpenSearch và xuất dữ liệu
- Dùng Export to OpenSearch trong console để di chuyển S3 Vector index sang OpenSearch
- Tự động tạo serverless collection, mở rộng sang workload tìm kiếm và phân tích vector thời gian thực
Các đặc điểm chính và môi trường hỗ trợ
- S3 Vector bucket mặc định áp dụng mã hóa (SSE-S3), đồng thời hỗ trợ thêm tùy chọn KMS
- Hỗ trợ tự động hóa/lập trình qua CLI/SDK/REST API
- Các region hiện hỗ trợ preview: Miền Đông/Miền Tây nước Mỹ, châu Âu (Frankfurt), châu Á (Sydney)
Tích hợp và kịch bản sử dụng
- Hỗ trợ nhiều trường hợp sử dụng vector theo ngành như RAG, bộ nhớ tác nhân, tìm kiếm tương đồng/ngữ nghĩa, phân tích tài liệu thông minh, gợi ý cá nhân hóa, tự động phân tích nội dung
- Tích hợp với hệ sinh thái AWS như OpenSearch, SageMaker, Bedrock để xây dựng giải pháp AI dựa trên vector vừa hiệu quả chi phí vừa có thể mở rộng ở quy mô lớn
Tham khảo và tài liệu bổ sung
Chưa có bình luận nào.