Mã nguồn mở - Ứng dụng khách LLM di động dựa trên Ollama

 (github.com/bipark)
10 điểm bởi rtlink 2024-11-23 | 2 bình luận | Chia sẻ qua WhatsApp

Năm nay tôi đã dành khá nhiều thời gian cho các công việc liên quan đến LLM-RAG gắn với video. Vì vậy cũng có một vài “sản phẩm phụ” xuất hiện, và tôi đã tổng hợp một phần trong số đó, làm thành ứng dụng rồi đưa lên mã nguồn mở.

Để làm demo, tôi cần một giao diện chat có thể dùng đồng thời trên app và web, nên đã phát triển dựa trên flutter_chat_ui của Flutter. Nhưng thấy dừng lại ở mức demo thì hơi phí, nên tôi đã làm thành một ứng dụng client Ollama có thể dùng trên thiết bị di động.

ChatGPT và Claude có hiệu năng tốt, nhưng với những ai lo ngại về chi phí hoặc bảo mật thì việc cài Ollama trên máy tính cá nhân và cài một LLM phù hợp với nhu cầu để sử dụng cũng là một phương án rất hay.
Vì là mã nguồn Flutter nên có thể build và sử dụng trên iPhone và điện thoại Android.

Giới thiệu

Ollama là phần mềm mã nguồn mở giúp chạy các mô hình ngôn ngữ lớn (Large Language Models, LLMs) ngay trên máy tính cục bộ một cách dễ dàng. Với MyOllama, bạn có thể kết nối tới Ollama và tận dụng nhiều LLM khác nhau. MyOllama - thông qua chương trình Ollama, LLM được chạy trên chính máy tính của bạn, vì vậy bạn có thể trò chuyện với các mô hình AI mà không cần trả thêm phí sử dụng riêng.

Tính năng chính

  • Kết nối LLM từ xa: kết nối tới host Ollama thông qua địa chỉ IP
  • Prompt tùy chỉnh: hỗ trợ thiết lập Instruction do người dùng tự định nghĩa
  • Hỗ trợ nhiều LLM mã nguồn mở khác nhau (Llama, Gemma, Qwen, Mistral, v.v.)
  • Có thể thiết lập Instruction tùy chỉnh
  • Hỗ trợ nhận diện hình ảnh (chỉ áp dụng với các mô hình có hỗ trợ tính năng này)
  • UI dạng chat trực quan
  • Lịch sử hội thoại: lưu và quản lý các phiên chat
  • Hỗ trợ iOS và Android
  • Hỗ trợ tiếng Hàn, English, 日本語

Cách sử dụng

  • Cài đặt Ollama trên máy tính (hỗ trợ macOS, Windows, Linux). Cách cài đặt Ollama có thể xem trên GitHub của Ollama.
  • Tải mã nguồn về và build bằng Flutter, hoặc tải ứng dụng MyOllama từ App Store.
  • Cài đặt mô hình mong muốn trên Ollama. Tải mô hình
  • Thay đổi cấu hình để Ollama cho phép kết nối từ xa.
  • Chạy ứng dụng MyOllama và nhập địa chỉ IP của máy tính đã cài Ollama.
  • Chọn mô hình AI mong muốn và bắt đầu trò chuyện.

Ưu điểm

  • Ứng dụng này được thiết kế cho các nhà phát triển và nhà nghiên cứu muốn tận dụng LLM mã nguồn mở một cách hiệu quả. Có thể dùng cho nhiều thử nghiệm kỹ thuật như gọi API, prompt engineering, kiểm thử hiệu năng mô hình, v.v.
  • Có thể sử dụng các tính năng AI nâng cao miễn phí
  • Hỗ trợ nhiều mô hình LLM khác nhau
  • Bảo vệ quyền riêng tư (chạy trên máy tính cục bộ)
  • Có thể dùng cho nhiều mục đích như lập trình, công việc sáng tạo, câu hỏi hằng ngày, v.v.
  • Được thiết kế để có thể duy trì ngữ cảnh hội thoại

Lưu ý

  • Để sử dụng ứng dụng này, bắt buộc phải có một máy tính đã cài Ollama.
  • Việc thiết lập và quản lý host Ollama là trách nhiệm của người dùng. Hãy chú ý đến các cài đặt bảo mật.

Bài viết liên quan

2 bình luận

 
chungjungsoo 2024-11-23

Tôi cũng đang tạo và vận hành một ứng dụng tương tự, dù mục đích có khác đôi chút; Ollama cũng gần đây đã phát hành bản cập nhật hỗ trợ việc này.
Ở nước ngoài, đặc biệt là có khá nhiều yêu cầu về Ollama.

https://vi.news.hada.io/topic?id=15375