Sidekick - Ứng dụng chatbot LLM local-first mã nguồn mở cho Mac

• Cung cấp thông tin dựa trên tệp, thư mục và website của người dùng, đồng thời hoạt động hoàn toàn ngoại tuyến
• Tích hợp sẵn engine suy luận mô hình cài đặt nội bộ, và khi cần có thể kết nối khóa API tương thích OpenAI để dùng thêm mô hình bên ngoài
• Được thiết kế để LLM có thể đưa ra câu trả lời chính xác hơn dựa trên thông tin ngữ cảnh
• Dựa trên llama.cpp

Tính năng chính

• Chatbot ưu tiên cục bộ

  • Mọi cuộc trò chuyện đều diễn ra ngoại tuyến, không lo rò rỉ dữ liệu
  • Tìm kiếm thông tin trực tiếp từ tệp, thư mục và website mà không cần cài đặt riêng
  • Có thể sử dụng ngay cả khi hoàn toàn không biết về prompt GPT hay kiến thức cấu hình
  • Chạy nhanh trên Apple Silicon nhờ engine suy luận tích hợp sẵn

• Quản lý ngữ cảnh theo chuyên gia (Expert System)

  • Có thể tạo chuyên gia (Expert) theo từng chủ đề (Computer Science, History, v.v.)
  • Mỗi chuyên gia có thể đăng ký không giới hạn tài liệu (dựa trên RAG)
  • Dễ dàng thêm tài liệu bằng kéo và thả
  • Khi cần có thể bao gồm cả tìm kiếm web để phản ánh thông tin mới nhất

• Hỗ trợ nhiều mô hình

  • Có thể dùng nhiều mô hình suy luận cục bộ như QwQ-32B của Alibaba, DeepSeek-R1
  • Có thể gọi mô hình bên ngoài khi nhập khóa API tương thích OpenAI

• Tích hợp code interpreter

  • Thực thi trực tiếp mã do mô hình tạo ra rồi phản ánh kết quả
  • Cải thiện độ chính xác cho các câu hỏi về toán học và logic

• Canvas

  • Có thể tạo và chỉnh sửa trực quan website, mã và văn bản
  • Có thể chọn văn bản rồi yêu cầu LLM chỉnh sửa có chọn lọc

• Tạo ảnh

  • Tự động tạo ảnh thông qua prompt văn bản
  • Tự động nhận diện chỉ bằng prompt mà không cần chuyển chế độ riêng
  • Hoạt động trên nền CoreML từ macOS 15.2 trở lên

• Trợ lý viết inline

  • Hỗ trợ inline trong mọi ứng dụng bằng Command + Control + I
  • Có thể nhập câu hỏi bài tập trong Microsoft Word và nhận câu trả lời tự động

• Kết xuất Markdown nâng cao

  • Hỗ trợ kết xuất công thức LaTeX
  • Trực quan hóa dữ liệu: tự động tạo biểu đồ từ bảng (biểu đồ cột, biểu đồ đường, biểu đồ tròn, v.v.)
  • Hỗ trợ highlight code, sao chép/xuất mã

• Bộ công cụ Toolbox

  • Detector: phát hiện nội dung do AI tạo và cung cấp hướng dẫn viết lại
  • Diagrammer: tạo sơ đồ quan hệ phức tạp từ prompt
  • Slide Studio: tạo slide chỉ với một dòng prompt, có thể xuất sang PDF/PowerPoint

• Tối ưu hiệu năng và suy luận

  • Suy luận dựa trên llama.cpp cho tốc độ rất nhanh trên Apple Silicon
  • Có thể cải thiện tốc độ hơn nữa bằng speculative decoding
  • Cung cấp khả năng kéo dài thời lượng pin và phân tán tính toán trên MacBook

Cài đặt và yêu cầu

• Mac + Apple Silicon (M1 trở lên)
• RAM từ 8GB trở lên
• Tải .dmg từ trang Releases rồi chạy

Mục tiêu phát triển

• Trợ lý AI cục bộ cá nhân mà ai cũng có thể dễ dàng sử dụng
• Hệ thống ngoại tuyến hoàn chỉnh hoạt động ngay cả khi không có kết nối Internet
• Nhận diện ngay thư mục, tệp và website mà không cần cấu hình
• Bảo vệ quyền riêng tư, không theo dõi nội dung hội thoại
• Bảo đảm tính minh bạch và khả năng mở rộng như một dự án mã nguồn mở

[galadbran]

Chắc tôi phải cài cái này vào dùng thử mới được.