Jina AI công bố mô hình embedding văn bản 8K mã nguồn mở đầu tiên trên thế giới

• Mô hình embedding văn bản jina-embeddings-v2 hỗ trợ độ dài 8192 token
• Cạnh tranh với text-embedding-ada-002 của OpenAI và cho thấy hiệu năng tốt hơn trong các benchmark về phân loại/tái xếp hạng/tìm kiếm/tóm tắt
• Được xây dựng lại từ đầu, có thể ứng dụng trong nhiều lĩnh vực với ngữ cảnh 8k: phân tích tài liệu pháp lý, nghiên cứu y học, phân tích văn học, dự báo tài chính, AI hội thoại, v.v.
• Có thể tải xuống 2 mô hình trên HuggingFace
  • Base Model (0.27G): được thiết kế phù hợp cho các tác vụ cường độ cao đòi hỏi độ chính xác cao như nghiên cứu học thuật hoặc phân tích kinh doanh
  • Small Model (0.07G): được tạo ra cho các ứng dụng nhẹ như app di động hoặc thiết bị có tài nguyên tính toán hạn chế

[GN⁺]

Ý kiến trên Hacker News

• Jina AI đã phát hành mô hình embedding văn bản 8k mã nguồn mở.
• Một số người dùng đặt câu hỏi về hiệu năng của mô hình này, chỉ ra rằng nó xếp hạng thấp hơn embedding của OpenAI và 14 đóng góp khác trên bảng xếp hạng.
• Cửa sổ ngữ cảnh 8k là một tính năng mới, nhưng một số người dùng nghi ngờ tính hữu ích của nó, đặc biệt khi xét đến giới hạn 512 token.
• Trong khi phần lớn benchmark xử lý các tài liệu nhỏ, vẫn có hoài nghi về hiệu năng của mô hình trên các tài liệu lớn hơn.
• Một số người dùng bày tỏ sự hào hứng khi cộng đồng mã nguồn mở đang thu hẹp khoảng cách với "Open"AI.
• Vector embedding của mô hình mới chỉ bằng một nửa kích thước của text-embedding-ada-002 (768 so với 1536), giúp tiết kiệm dung lượng cơ sở dữ liệu và có thể tăng tốc truy vấn.
• Có những câu hỏi được đặt ra về các trường hợp sử dụng của embedding 8k, và một số người dùng cho rằng nó có thể không quá hữu ích cho RAG.
• Một người dùng đã lượng tử hóa mô hình để dùng với onnx, qua đó giảm kích thước tệp xuống 4 lần trong transformers.js.
• Mô hình này được so sánh với mô hình của OpenAI; nó hỗ trợ đa ngôn ngữ và tính cùng một tọa độ cho cùng một ý nghĩa trong các ngôn ngữ khác nhau.
• Plugin llm-embed-jina mới đã được triển khai cho công cụ LLM, cho phép truy cập vào mô hình Jina mới.
• Một số người dùng ấn tượng với công trình này, nhưng vẫn đặt câu hỏi về cách tận dụng embedding 8k tốt nhất, và cho rằng nó có thể hữu ích cho so khớp độ tương đồng gần đúng hoặc phát hiện đạo văn.
• Do các hạn chế xuất khẩu chip và căng thẳng giữa Mỹ/Trung, có những lo ngại về hoạt động của Jina AI, công ty có văn phòng tại Berlin và Trung Quốc.