Maek, AI Memory Workspace local-first do đội ngũ đóng góp cho lõi tìm kiếm Lucene phát triển

Xin chào. Chúng tôi là cognica, một nhóm phát triển hạ tầng tìm kiếm và AI Memory.

Giới thiệu ngắn gọn về đội ngũ: công việc tìm kiếm lai xác suất (probabilistic hybrid search) dựa trên BB25 (Bayesian BM25) do cognica đề xuất gần đây đã chính thức được đưa vào lõi Apache Lucene 10.5.0 (BayesianScoreQuery, LogOddsFusionQuery).

Chúng tôi đang chuyển công nghệ hạ tầng tìm kiếm và bộ nhớ này thành một sản phẩm mà người dùng thực sự có thể cảm nhận được, và muốn giới thiệu Maek, ứng dụng AI cho macOS, là kết quả đầu tiên, đồng thời mong nhận được phản hồi.

Tải xuống và website: https://maek.cognica.io/?utm_source=geeknews&utm_medium=community&…

1. Vấn đề chúng tôi muốn giải quyết: "Chỉ cần tăng Context Window là đủ sao?"

Khi dùng AI chat, có một sự bất tiện là ở mỗi cuộc trò chuyện, bạn phải lặp lại cùng một ngữ cảnh như bối cảnh dự án, các quyết định trong quá khứ, hay những tài liệu thường xuyên tham chiếu.

Để giải quyết điều này, cách đơn giản là "nhét toàn bộ văn bản hội thoại trước đó vào prompt" có những giới hạn rất rõ ràng.

• Lãng phí Context Window và tăng chi phí

• Tăng nhiễu/tạp âm do lẫn cả những nội dung cũ không liên quan

• Hiện tượng đánh mất chính những ngữ cảnh quan trọng trong quá khứ

Mỗi khi có câu hỏi mới, Maek tập trung vào việc: "Làm thế nào để tái cấu trúc (Reconstruct) lại ký ức cần thiết cho câu hỏi hiện tại ở dạng tối ưu nhất?"

2. Kiến trúc cốt lõi: dữ liệu tách biệt và Retrieval dựa trên Evidence

Maek lưu hội thoại và tài liệu trong kho lưu trữ cục bộ, và mỗi khi có câu hỏi mới, hệ thống sẽ tái cấu trúc ngữ cảnh bằng cách kết hợp các tín hiệu dưới đây.

• Messages : vừa là lịch sử trò chuyện thông thường, vừa là đối tượng của tìm kiếm từ khóa/vector.

• Document Chunks : thay vì là đồ dùng prompt dùng một lần rồi bỏ sau khi đọc file, tài liệu được chia thành các chunk nhỏ và lưu cục bộ, sau đó được tìm kiếm khi cần và được trích dẫn (Citation) làm căn cứ cho câu trả lời.

• Graph : trích xuất con người, tổ chức, sự kiện, quyết định, cam kết... từ hội thoại và sắp xếp chúng dưới dạng quan hệ (Connection). Ngay cả khi người dùng không nhớ chính xác từ khóa, vẫn có thể tìm lại qua ngữ cảnh liên kết.

• Conversation State : một bảng tình huống nén lại trạng thái hiện tại, các luồng đang mở, hồ sơ nhân vật... (Tuy nhiên, nếu xung đột với tin nhắn mới nhất của người dùng thì tin nhắn người dùng sẽ được ưu tiên; nó đóng vai trò như một "Memory Hint".)

• Kết hợp lai dựa trên Evidence: BM25, Vector Similarity, Graph, Recency có thang đo khác nhau, nên nếu chỉ cộng điểm đơn giản thì một tín hiệu có thể lấn át quá mức. Dựa trên kinh nghiệm tích lũy khi đóng góp BB25 vào lõi Lucene, chúng tôi xem các tín hiệu này là "bằng chứng (Evidence)" cần thiết cho câu hỏi hiện tại và kết hợp chúng một cách tinh vi.

3. Các đặc điểm chính: Inspectability và Local-First

• Trực quan hóa căn cứ của câu trả lời: không chỉ dừng ở việc AI "nói rằng nó đã nhớ và trả lời", người dùng có thể trực tiếp kiểm tra thông tin Reconstruction xem khi tạo ra câu trả lời đó, những message nào, document chunk nào, graph hit nào, và thông tin state nào đã được đưa vào context. Đó là vì để có thể tin tưởng và hiệu chỉnh AI, cần phải debug được "vì sao nó nhớ", "vì sao nó không tìm thấy".

• Khác biệt với ChatGPT Memory: nếu ChatGPT Memory là một tính năng bộ nhớ cá nhân hóa phụ thuộc vào dịch vụ, thì Maek là một công cụ độc lập tích lũy tài sản của người dùng (hội thoại, tài liệu, graph, state) trong workspace cục bộ và tái cấu trúc context ở mỗi lượt.

• Tính minh bạch của luồng dữ liệu: khi dùng mô hình local, toàn bộ quá trình cho tới suy luận đều được giữ hoàn toàn offline; nhưng khi tích hợp các mô hình cloud như OpenAI/Claude, đầu vào hiện tại và context cục bộ đã được truy xuất sẽ được gửi tới API tương ứng. Luồng dữ liệu này được phân biệt rõ ràng trong UI và tài liệu để bạn có thể yên tâm sử dụng.

Hiện đây là phiên bản đầu tiên, và chúng tôi đang thử nghiệm chủ yếu trên môi trường Apple Silicon Mac. Sẽ rất hữu ích nếu bạn cho ý kiến theo các góc nhìn dưới đây.

• Mức độ dễ hiểu của khái niệm: Maek có được giải thích đúng là một 'AI Memory Workspace' chứ không chỉ là UI chat đơn thuần hay không

• Tính hợp lý của cách tiếp cận: cách tái cấu trúc context động ở mỗi lượt có tạo được sự thuyết phục về mặt kỹ thuật hay không

• Sự khác biệt với ChatGPT Memory: khi so với các tính năng memory của các dịch vụ hiện có, điểm khác biệt có hiện lên rõ ràng hay không

• Tính minh bạch: phần giải thích về luồng dữ liệu và bảo mật khi dùng mô hình local-cloud có rõ ràng hay không

• UX/ấn tượng ban đầu: trải nghiệm cài đặt và chạy lần đầu với tư cách ứng dụng macOS có tự nhiên hay không

Link: https://maek.cognica.io/?utm_source=geeknews&utm_medium=community&…

Mong nhận được phản hồi sắc bén từ mọi người. Xin cảm ơn.