VectorDB - cơ sở dữ liệu vector do Kagi Search phát triển

• VectorDB là một gói Python để lưu trữ và tìm kiếm văn bản, sử dụng các kỹ thuật chunking, embedding và tìm kiếm vector
• Cung cấp giao diện thân thiện với người dùng, phù hợp để lưu trữ, truy xuất và quản lý dữ liệu văn bản gắn với metadata
• Được thiết kế cho các trường hợp sử dụng đòi hỏi độ trễ thấp

Cài đặt và cách sử dụng

• VectorDB là mã nguồn mở, có thể xem mã nguồn và tài liệu đầy đủ trên GitHub.
• Có thể cài đặt bằng lệnh pip install vectordb2.
• Cách dùng là tạo đối tượng memory, lưu văn bản và metadata, sau đó truy xuất các chunk liên quan.

Tầm quan trọng của tìm kiếm vector và embedding

• Khi làm việc với mô hình ngôn ngữ lớn, tìm kiếm vector và embedding cho phép truy xuất thông tin hiệu quả và chính xác.
• Bằng cách chuyển đổi văn bản thành các vector nhiều chiều, chúng hỗ trợ so sánh và tìm kiếm nhanh, đồng thời nắm bắt ý nghĩa ngữ nghĩa để cải thiện chất lượng kết quả tìm kiếm.

Ví dụ

• Sử dụng đối tượng Memory để thiết lập chiến lược chunking, lưu văn bản và metadata về machine learning và trí tuệ nhân tạo.
• Với một truy vấn cụ thể, truy xuất n chunk liên quan hàng đầu và in ra kết quả.

Ý kiến của GN⁺

Điểm quan trọng nhất trong bài viết này là VectorDB là một gói Python cho phép lưu trữ và tìm kiếm dữ liệu văn bản hiệu quả. Bằng cách sử dụng công nghệ tìm kiếm vector và embedding, nó có thể truy xuất thông tin nhanh và chính xác trong các tập dữ liệu lớn, cho thấy khả năng ứng dụng trong nhiều lĩnh vực như ra quyết định dựa trên dữ liệu và xử lý ngôn ngữ tự nhiên. Công nghệ này sẽ ngày càng trở nên quan trọng hơn trong xã hội hiện đại, nơi lượng dữ liệu tiếp tục gia tăng, và vì thế đây sẽ là một chủ đề hấp dẫn với những người quan tâm đến kỹ thuật phần mềm, khoa học dữ liệu và trí tuệ nhân tạo.

[GN⁺]

Ý kiến trên Hacker News

• Ý kiến từ nhà phát triển:

  • Sản phẩm này không phải là một cơ sở dữ liệu thực thụ, mà là một wrapper chạy cục bộ dựa trên embedding và FAISS/mrpt.
  • Cung cấp các giá trị mặc định hợp lý thông qua nhiều đợt benchmarking để giảm độ trễ xuống mức thấp nhất.
  • Chia sẻ một notebook Colab ví dụ để lọc nội dung từ RSS feed Kagi Small Web theo mối quan tâm của người dùng.

• Ý kiến về FAISS:

  • FAISS là một thư viện tìm kiếm vector cung cấp API đơn giản.
  • Nếu không cần các thư viện nặng như PyTorch, Tensorflow, Transformers mà VectorDB yêu cầu, thì FAISS có thể phù hợp hơn.

• Ý kiến về tích hợp với Postgres:

  • Các nhóm đã dùng Postgres làm kho vận hành nên sử dụng extension PGVector.
  • Dữ liệu và khả năng tìm kiếm vector nằm cùng nhau nên giảm bớt những phần phải quản lý trong tech stack.

• Phản hồi tích cực về tìm kiếm Kagi:

  • Sau khi dùng tìm kiếm Kagi vài tháng, kết quả rất ấn tượng.
  • Nếu công nghệ này là động lực đứng sau tìm kiếm Kagi thì có thể lạc quan.

• Câu hỏi về lưu trữ dữ liệu và giới hạn:

  • Thắc mắc dữ liệu được lưu ở đâu và được duy trì lâu dài như thế nào.
  • Hỏi công nghệ này có những giới hạn nào, và liệu có hoạt động tốt với văn bản dài 500-1000 từ cũng như các bộ sưu tập văn bản không phải dạng câu hay không.

• Thắc mắc về việc dùng ngôn ngữ Crystal:

  • Tò mò vì sao không sử dụng ngôn ngữ Crystal.

• Câu hỏi về so sánh các cơ sở dữ liệu vector:

  • Có câu hỏi liệu có tài liệu nào so sánh nhiều vector DB khác nhau, nên chọn cái nào tùy theo từng use case, và chúng khác nhau ra sao.

• Quan tâm đến framework "tối giản":

  • Việc loại bỏ phụ thuộc vào HF Transformers và tùy biến chunking là điều thú vị.
  • Đây không phải là chỉ trích dự án này, mà là đang xem những phần có thể hữu ích.

• Câu hỏi về việc tạo embedding:

  • Có câu hỏi về thứ thực sự được dùng để tạo embedding.

• Chia sẻ link blog về cơ sở dữ liệu vector:

  • Một link blog với nội dung không cần cơ sở dữ liệu vector đã được chia sẻ.