RecurseChat - Ứng dụng trò chuyện AI cục bộ để dùng hằng ngày

• Ưu tiên cục bộ, có thể dùng ngoại tuyến: Có thể trò chuyện với AI khi ngoại tuyến mà không cần thiết lập phức tạp.
• Tìm kiếm chuyên sâu: Cung cấp tính năng tìm kiếm nhanh trên hàng nghìn tin nhắn.
• Nhập lịch sử ChatGPT: Có thể tiếp tục các cuộc trò chuyện với AI cục bộ.
• Trò chuyện với nhiều mô hình: Có thể trò chuyện với nhiều mô hình trong một phiên chat.
• Đầu vào đa phương thức: Có thể trò chuyện với hình ảnh bằng mô hình LLaVA.
• Bảo mật và quyền riêng tư: Được bảo vệ bởi sandbox ứng dụng macOS, cho phép trò chuyện riêng tư.
• Giao diện và nhân vật AI có thể tùy chỉnh: Có thể tùy chỉnh cá tính và diện mạo của AI bằng mô hình GGUF riêng của bạn.

Tính năng đơn giản nhưng mạnh mẽ

• Trò chuyện với AI khi ngoại tuyến: Có thể trò chuyện với LLM cục bộ mà không cần kiến thức kỹ thuật.
• Chat đa phương thức với hình ảnh: Hỗ trợ nhiều hình thức hội thoại, bao gồm cả hình ảnh.
• Nhập và tiếp tục lịch sử ChatGPT: Có thể tiếp nối các cuộc trò chuyện trước đó với AI cục bộ.
• Tìm kiếm chuyên sâu nhanh chóng: Có thể dễ dàng tìm nội dung hội thoại mong muốn bằng tìm kiếm văn bản.
• Tùy chỉnh cốt lõi: Có thể tự do thay đổi cá tính và diện mạo của AI.

Góc nhìn của GN⁺

• RecurseChat là một ứng dụng coi trọng quyền riêng tư của người dùng và cho phép trò chuyện với AI ngay cả khi ngoại tuyến. Điều này có thể rất hữu ích với những người dùng có kết nối Internet không ổn định hoặc coi trọng quyền riêng tư.
• Tính bảo mật thông qua sandbox ứng dụng macOS có thể mang lại thêm sự tin cậy cho người dùng, nhưng chưa rõ liệu tính năng này có được cung cấp ở cùng mức độ trên các hệ điều hành khác hay không.
• Tính năng trò chuyện đa phương thức với hình ảnh có thể mang lại trải nghiệm hội thoại phong phú hơn cho người dùng, nhưng cũng có thể đi kèm những thách thức kỹ thuật liên quan đến độ chính xác của nhận diện hình ảnh.
• Việc người dùng có thể dùng mô hình GGUF của riêng mình để tùy chỉnh cá tính và diện mạo của AI có thể là một lợi thế lớn trong việc mang lại trải nghiệm cá nhân hóa. Tuy nhiên, để tận dụng đúng cách những tính năng nâng cao này, người dùng có thể cần có một mức độ hiểu biết kỹ thuật nhất định.
• Cần cân nhắc trình độ kỹ thuật của người dùng và nhu cầu về quyền riêng tư, đồng thời việc đảm bảo khả năng tương thích và tính tiếp cận trong nhiều môi trường người dùng khác nhau là rất quan trọng.

[GN⁺]

Ý kiến trên Hacker News

• Điều này trở nên khả thi nhờ công trình đáng kinh ngạc của @ggerganov với llama.cpp. Nếu có tính năng nào bạn muốn trong một ứng dụng AI cục bộ lý tưởng, tôi rất muốn nghe.

• Full Text Search. Tìm kiếm cực nhanh trên hàng nghìn tin nhắn.

  • Xử lý ngôn ngữ tự nhiên cuối cùng đã phát triển hoàn thiện và phát minh lại Ctrl+F.
  • Về tính năng tìm kiếm nhanh qua hàng nghìn tin nhắn, có ý kiến cho rằng đây là chức năng tìm kiếm của thập niên 90 được tái diễn giải theo cách hiện đại.
    • Giải thích về tìm kiếm toàn văn: đây được xem là sự cải tiến mang tính đột phá của chức năng tìm kiếm văn bản truyền thống nhờ sự phát triển của công nghệ xử lý ngôn ngữ tự nhiên.

• Nếu có thể tìm câu trả lời từ tài liệu cục bộ, bookmark, lịch sử trình duyệt, v.v. thì tôi sẵn sàng trả tiền.

• Tuyệt vời! Một vài điểm:

  • UI của ChatGPT hữu ích vì bạn có thể chỉnh sửa bất kỳ phần nào trong cuộc trò chuyện, tái tạo lại cuộc trò chuyện từ điểm đó, và phần hội thoại sau đó sẽ bị xóa.
  • Nút phản hồi không làm gì cả ngoài việc chuyển focus sang Chrome.
  • Có vẻ như mô hình LLaVA không thể tạo ảnh vì nó là mô hình AI dựa trên văn bản.

• Hay đấy, nhưng tôi không thấy lý do để dùng cái này thay vì ChatbotUI+Ollama.

  • Ngoài lợi thế là ứng dụng native trên macOS cùng khả năng import và tìm kiếm nhanh, tôi khó thấy điểm khác biệt.
  • ChatbotUI có các ưu điểm như đa nền tảng, có thể tùy biến, bảo vệ quyền riêng tư và có thể debug.

• Một vài câu hỏi:

  • Bạn đang dùng gì để tạo ảnh? Có thể chạy cục bộ không (ví dụ: stable diffusion)? Có tích hợp tạo prompt không?
  • Bạn nói có thể import lịch sử ChatGPT, vậy có thể import các tài liệu khác không?
  • Có các tính năng kiểu "agent" nào không? Có thể tìm kiếm web không? Có thể dùng API khác không? Có thể tự tạo prompt không?
  • Có framework plugin không? Bạn nói là "có thể tùy biến", nhưng điều đó có thể mang nghĩa gần như bất cứ thứ gì.
  • Giấy phép là gì? Làm sao bạn đảm bảo việc sử dụng của người dùng là riêng tư? Chúng ta đều biết nhiều ứng dụng "cục bộ" gửi một lượng lớn dữ liệu ra ngoài.

• Một vài đề xuất

  • Hãy thêm font hệ thống (San Francisco) như một tùy chọn UI. SF Mono cũng có vẻ hay.
  • Cần hỗ trợ về cách dùng mô hình cho người mới. Sẽ tốt hơn nếu có màn hình giới thiệu hướng dẫn cách bắt đầu.
  • Sẽ tốt nếu có Command-comma để mở phần cài đặt, như đa số ứng dụng Mac.
  • Sẽ tốt nếu khi nhấp vào liên kết web thì Safari (hoặc trình duyệt ưa thích) được mở.

• Có lẽ cũng nên thêm tùy chọn dùng OpenAI API trong cùng một giao diện.

  • Hiện tôi đang dùng jan.ai.

• Bạn có kế hoạch thêm các mô hình trực tuyến vào ứng dụng không? Mô hình cục bộ vẫn chưa ở mức có thể so sánh với mô hình trực tuyến.

  • Sẽ hay nếu có thể chuyển đổi giữa GPT/Claude/mô hình cục bộ trong một giao diện chat nhất quán.

• Thay vì nói "trò chuyện với AI cục bộ", sẽ bán được hơn nếu bạn cho biết chúng ta có thể đạt được điều gì khi trò chuyện với AI cục bộ.

  • Điều cần thiết không phải là trò chuyện, mà là thực hiện một tác vụ cụ thể. Nó làm được những tác vụ nào? (Đừng trả lời tôi ở đây, hãy đưa điều đó vào landing page và danh sách trên app store.)