sisi - Công cụ CLI tìm kiếm ảnh ngữ nghĩa cục bộ

• Công cụ CLI thực hiện tìm kiếm ảnh ngữ nghĩa cục bộ mà không cần API bên thứ ba
• Tạo chỉ mục embedding hình ảnh và tìm kiếm dựa trên node-mlx, framework machine learning cho Node.js
• Nền tảng được hỗ trợ
  • GPU: máy Mac Apple Silicon
  • CPU: Mac x64, Linux x64/arm64
• Tạo chỉ mục cho ảnh trong một thư mục cụ thể bằng sisi index <target>
• Tìm kiếm ảnh chứa nội dung cụ thể bằng sisi search 'cat jumping'

Cách hoạt động

• Chỉ mục được lưu dưới dạng binary JSON sau khi tính toán embedding hình ảnh bằng mô hình CLIP của OpenAI
• Tìm kiếm ảnh tính độ tương đồng cosine giữa chuỗi truy vấn và các embedding đã được lập chỉ mục
• Không có cơ sở dữ liệu; mỗi lần tìm kiếm sẽ tính toán trên toàn bộ embedding đã lưu. Vẫn rất nhanh ngay cả khi có hàng chục nghìn ảnh
• Bản triển khai JavaScript của mô hình CLIP sử dụng frost-beta/clip