- Cohere đã công bố một bộ dữ liệu nhúng vector cho toàn bộ Wikipedia
- Với bộ dữ liệu này, cá nhân giờ đây có thể tạo chỉ mục vector dựa trên ngữ nghĩa cho Wikipedia
Điểm khó
- Kích thước bộ dữ liệu (chỉ riêng kho ngữ liệu tiếng Anh là 180GB) không phải vấn đề
- Các cơ sở dữ liệu vector hiện có trước đây không thể lập chỉ mục cho bộ dữ liệu lớn hơn bộ nhớ
- Thư viện JVector cho phép lập chỉ mục các bộ dữ liệu lớn hơn bộ nhớ bằng cách sử dụng vector nén
Yêu cầu
- Cần Linux hoặc MacOS (không dùng được Windows do giới hạn của ChronicleMap)
- Cần 180GB dung lượng trống cho bộ dữ liệu và 90GB cho chỉ mục
- Cần đủ RAM để chạy JVM với 36GB heap khi xây dựng chỉ mục
- Cần tắt swap trước khi xây dựng chỉ mục
Xây dựng chỉ mục và tìm kiếm
Cách hoạt động
- Tạo chỉ mục vector bằng JVector, lưu dữ liệu bài viết bằng Chronicle Map
- Sử dụng Locally-Adaptive Quantization (LVQ) để nén vector
- Xử lý dữ liệu song song bằng parallel stream
Kết luận
- Nhờ thư viện JVector, việc lập chỉ mục toàn bộ Wikipedia tiếng Anh trên laptop đã trở nên khả thi
- Khi dùng cùng dịch vụ DataStax Astra, có thể tận dụng khả năng lập chỉ mục mạnh mẽ hỗ trợ chèn, cập nhật và xóa theo thời gian thực
Ý kiến của GN⁺
- Tính đột phá của JVector: JVector có thể tạo ra bước tiến lớn trong lĩnh vực khoa học dữ liệu và công cụ tìm kiếm khi cho phép lập chỉ mục các bộ dữ liệu quy mô lớn mà không bị ràng buộc bởi giới hạn bộ nhớ.
- Tính thực tiễn: Việc cá nhân có thể lập chỉ mục toàn bộ Wikipedia trên laptop giúp các nhà nghiên cứu và lập trình viên dễ dàng khai thác các bộ dữ liệu lớn hơn.
- Các điểm cần cân nhắc về kỹ thuật: Để áp dụng công nghệ này, cần chuẩn bị đủ dung lượng đĩa, bộ nhớ và cấu hình hệ thống như tắt swap.
- Công nghệ thay thế: Các dự án mã nguồn mở khác có tính năng tương tự gồm FAISS (Facebook AI Similarity Search) và Annoy (Approximate Nearest Neighbors Oh Yeah).
- Tối ưu hiệu năng: Có thể tối ưu hiệu năng bằng xử lý song song và kỹ thuật nén vector, nhưng cần chú ý quản lý tài nguyên hệ thống.
Chưa có bình luận nào.