Anything-LLM - trợ lý desktop AI all-in-one mã nguồn mở

• Ứng dụng AI full-stack cho phép xây dựng ChatGPT riêng tư bằng cách sử dụng LLM thương mại hoặc LLM mã nguồn mở cùng các giải pháp vector DB
  • Có thể host cục bộ hoặc từ xa
  • Chuyển mọi tài liệu và tài nguyên bạn cung cấp thành ngữ cảnh có thể tham chiếu
• Có thể lựa chọn LLM hoặc vector DB muốn sử dụng, đồng thời hỗ trợ quản lý đa người dùng và phân quyền
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• Hỗ trợ đa phương thức (cho cả LLM thương mại và mã nguồn mở)
• Cung cấp widget chat tùy chỉnh có thể nhúng vào website của bạn (phiên bản Docker)
• Chia tài liệu thành các thực thể gọi là Workspaces và đóng gói để hoạt động như một luồng duy nhất
  • Có thể chia sẻ nhưng không trò chuyện với nhau, nên có thể duy trì ngữ cảnh riêng giữa từng workspace

Phân chia các thành phần trong monorepo

• frontend: frontend được xây dựng bằng viteJS + React
• server: server NodeJS express quản lý vector DB và xử lý tương tác với LLM
• collector: server NodeJS express xử lý và phân tích tài liệu
• docker: thông tin về lệnh Docker và quy trình build
• embed: submodule tạo và quản lý widget nhúng web
• browser-extension: submodule tiện ích mở rộng trình duyệt Chrome

[xguru]

Ý kiến trên Hacker News

• Đang cố gắng triển khai một instance AnythingLLM được tùy biến trong môi trường doanh nghiệp. TimC và đội ngũ phát triển rất xuất sắc và phản hồi rất nhanh. Đang chờ tích hợp EntraID, và khi có thì có lẽ sẽ đáp ứng được hầu hết các trường hợp sử dụng cơ bản. Cảm ơn TimC và cả nhóm
• Ban đầu tôi tưởng đây chỉ là một wrapper cho Ollama/WebGenUI, nhưng thực tế nó hỗ trợ nhiều hơn thế rất nhiều. Không chỉ LLM mà còn hỗ trợ mô hình embedding, cơ sở dữ liệu vector, TTS/STT nữa. Nó bao gồm mọi thứ cần thiết để xây dựng một chatbot giọng nói hoàn chỉnh
• Rất tốt. Tôi thấy cụm từ “Language Learning Model” khá buồn cười. Đùa rằng có vẻ tác giả đã làm dự án mà không biết LLM có nghĩa là gì
• Tôi đã tải về và dùng thử, đến hiện tại thì rất ổn. Tôi dùng GPT-4o để đọc các PDF quy định. Phản hồi ban đầu:
  • Phần trích dẫn hơi thiếu chắc chắn. Câu trả lời nhìn chung là chính xác, nhưng nội dung trong cửa sổ trích dẫn hơi khó hiểu
  • Tôi mong họ thêm tính năng tìm kiếm văn bản trong các cuộc trò chuyện hiện có. Ví dụ, nếu tìm “hươu cao cổ” trong lúc chat thì có thể chuyển sang lịch sử cuộc trò chuyện đó
• Với một người không biết embedding hay vector là gì, đây là công cụ AI offline duy nhất mà tôi có thể cài và dùng trên một PC văn phòng tiêu chuẩn
• Trong tương lai, LLM sẽ trở nên miễn phí và mã nguồn mở giống như web framework. Vẫn sẽ có các lựa chọn trả phí, nhưng với phần lớn công việc thì lựa chọn miễn phí là đủ
• Tôi đã thiết lập AnythingLLM ở cấp độ doanh nghiệp và rất ấn tượng với hầu hết các tính năng. Giá mà có tùy chọn để nhúng custom CSS một cách đúng nghĩa. Giao diện mặc định trông hơi lỗi thời. Mong nhóm tiếp tục phát huy
• Tôi gặp lỗi khi cài trên Linux, nhưng đã giải quyết được bằng lệnh sau:

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  

  Ngoài ra thì nó hoạt động rất tốt
• AnythingLLM giúp việc dùng LLM cục bộ và qua API trở nên rất dễ dàng. Có nhiều lựa chọn cho embedder và vector store. Cách đóng gói desktop với một lần cài đặt rất gọn gàng. Tôi mong chờ các tính năng mới sắp tới