Ollama ra mắt ứng dụng mới cho Mac và Windows
(ollama.com)- Ollama đã giới thiệu ứng dụng desktop mới cho macOS và Windows
- Giờ đây có thể tải model và trò chuyện dễ dàng trong môi trường GUI
- Tính năng kéo và thả tệp giúp việc tương tác với văn bản và tài liệu PDF trở nên thuận tiện hơn
- Khi xử lý tài liệu dung lượng lớn, có thể tăng thiết lập context length (độ dài ngữ cảnh) để phân tích tài liệu dài hơn
- Dựa trên công cụ multimodal mới của Ollama, giờ đây cũng có thể gửi hình ảnh tới các model hỗ trợ ảnh (ví dụ: Gemma 3 model của Google DeepMind)
- Cũng bao gồm tính năng xử lý tài liệu hỗ trợ nhiều định dạng tệp khác nhau như tệp mã nguồn
- Ứng dụng mới của Ollama có thể tải cho macOS và Windows qua trang chính thức
- Người dùng chỉ cần phiên bản CLI có thể tải riêng từ GitHub Releases
1 bình luận
Ý kiến Hacker News
Có vẻ gần đây Ollama đang chuyển hướng từ đối tượng nhà phát triển sang người dùng phổ thông, thể hiện rõ nhất qua trang chủ Ollama Trước đây họ tập trung vào bản CLI cho lập trình viên, nhưng giờ gần như không còn được nhắc đến nữa Ở cuối blog chỉ có một dòng ngắn kiểu “bản CLI có thể tải từ trang GitHub Releases của Ollama” Không phải để chỉ trích gì, chỉ là thay đổi này khá dễ nhận ra nên tôi để ý vậy thôi Trước đây tôi đã thử khá nhiều ứng dụng LLM chạy cục bộ, và hai cái tôi thấy thích nhất là LM Studio và Msty Tôi cũng định sẽ thử ứng dụng này Một tính năng tôi thấy còn thiếu là kiểu của ứng dụng desktop ChatGPT: có thể dùng “phím tắt luôn sẵn sàng (Alt+Space)” để mở ngay cuộc trò chuyện mới và hỏi nhanh bằng giao diện thu gọn Tôi mong các ứng dụng LLM cục bộ cũng áp dụng ý tưởng này
Tôi là người quản lý của Ollama Tôi hoàn toàn không nghĩ rằng chúng tôi đã xem nhẹ nhà phát triển Chúng tôi đều là lập trình viên, và tạo ra Ollama trước hết để chính mình sử dụng Mỗi người từng tự làm và dùng nhiều nguyên mẫu khác nhau, rồi cuối cùng đều thấy Ollama là thứ thỏa đáng nhất nên đang tập trung cải thiện nó Ollama từ đầu đến cuối vẫn nhắm tới nhà phát triển, và chúng tôi vẫn tiếp tục tập trung vào điểm đó
Không biết bạn đã thử pygpt.net chưa Giao diện có hơi rối và cái tên cũng hơi tiếc, nhưng đây là ứng dụng làm tôi hài lòng nhất trong số những gì tôi từng dùng
Kiểu thay đổi này thực ra lại có lợi cho cả nhà phát triển Nếu nhiều người cài Ollama hơn, sau này có thể phát hành các ứng dụng AI desktop dựa trên Ollama mà không cần phải tự bó gói kèm model riêng Như vậy cũng không phát sinh thêm chi phí, nên có thể cung cấp gói đăng ký miễn phí hoặc rẻ cho người dùng Các model Qwen30B mới nhất cũng rất mạnh Nếu có thêm mẫu cài đặt để kiểm tra cấu hình PC của người dùng (RAM, hiệu năng CPU/GPU, v.v.) rồi tự cài/tải Ollama nếu máy chưa có thì sẽ tiện hơn rất nhiều Cũng sẽ hay nếu có API cho phép xin quyền và cài model khi máy chưa có sẵn
HugstonOne đã có sẵn tính năng đó, như mở tab mới chẳng hạn Ngoài ra tôi cũng thấy lạ khi phần lớn lập trình viên cứ spam hiển thị một cách vô tội vạ Ollama là một người tiên phong trong lĩnh vực AI và là một ứng dụng tuyệt vời, tôi thật lòng biết ơn điều đó
Tôi có nghe về Msty và từng dùng thử ngắn, nhưng xem lại gần đây thì thấy tính năng khá phong phú Tôi chưa biết LM Studio, nhưng bên đó cho phép dùng thương mại miễn phí (Msty thì không) Nếu dùng như một công cụ dựa trên giao diện chat thì tôi khá tò mò về ưu nhược điểm của hai ứng dụng này
Tôi không thật sự hiểu hướng thay đổi lần này của Ollama Một ứng dụng desktop front-end đi ngược hoàn toàn với lý do tôi dùng Ollama từ trước đến nay Ban đầu tôi dùng nó như backend LLM cục bộ, và những người dùng lâu năm hầu như đã có hoặc tự làm hoặc tự tùy biến front-end quen tay của riêng mình rồi Thực tế gần đây cũng đã có chuyện các model cục bộ tiên tiến nhất lên hơi chậm, nên tôi nghi liệu có phải vì họ tập trung vào front-end hay không Giờ tôi định tìm các lựa chọn thay thế cho Ollama, kiểu hoặc có sẵn UI ngay từ đầu hoặc kiên trì làm backend CLI thuần túy Nếu thấy thứ gì tốt hơn thì có lẽ tôi sẽ chuyển hẳn, đáng ra nên làm vậy sớm hơn Tôi không mong đây là bước khởi đầu để Ollama từ bỏ trọng tâm CLI và biến thành một giao diện LLM phổ thông dựa trên thuê bao
Tôi thấy khá bất ngờ khi dùng Ollama UI mà không có tùy chọn kết nối tới một instance Ollama từ xa Chiếc PC mạnh nhất không phải lúc nào cũng là máy tôi đang chạy GUI
Tôi thật sự đồng cảm mạnh với điểm này Tôi thích môi trường desktop của Windows/macOS nhưng không thích bản thân OS lắm, còn Linux/BSD thì tôi thích OS nhưng lại không thích môi trường desktop, nên tôi luôn để workstation mạnh chạy Linux không giao diện và SSH vào từ Windows/macOS Phần lớn lập trình viên dường như không hiểu chuyện này là gì Mỗi lần chạy lệnh trong terminal mà nó lại bật ra một tab trình duyệt, hoặc không in URL ra terminal, là tôi thấy cực kỳ khó chịu và nản
Có thể dùng SSH port forwarding (
ssh -L 11434:localhost:11434 user@remote) để lách qua và kết nối tới instance Ollama từ xa Dù vậy, nếu có hỗ trợ native thì vẫn sẽ tốt hơn rất nhiềuTrong ứng dụng có chức năng đưa Ollama ra mạng, nên biết đâu sắp có hỗ trợ chính thức
Tôi đã thử Ollama UI trên Windows (trước đó chỉ dùng CLI)
Chỉ xử lý văn bản thôi là chưa đủ Không chỉ tiếng Anh mà cả chuyển giọng nói dài hơn 30 giây thành văn bản, tạo giọng nói và tạo ảnh cũng cực kỳ quan trọng Xử lý văn bản giờ chỉ là mức cơ bản
Tôi thắc mắc vì sao không hỗ trợ Linux UI trông có vẻ dựa trên Chrome (chắc là electron), nên nếu vậy thì port sang Linux cũng có vẻ không khó Tôi cũng tò mò về link mã nguồn
Electron có quảng bá là đa nền tảng, nhưng thực tế không hề có chuyện “bấm một nút là phát hành Linux” Lúc nào cũng có đủ loại rắc rối lớn nhỏ như phiên bản glibc hay hỗ trợ GPU
Câu chữ chính thức của Ollama là “Tải ứng dụng phiên bản mới cho Mac, Windows / bản CLI tải riêng trên GitHub” Xem qua thì không có cảm giác là mã nguồn mở Hơn nữa, nó không dùng Chrome mà dùng webview của hệ thống nên có vẻ là ứng dụng tauri
Người ta nói là nó dựa trên Electron, nên tôi thấy hơi lạ khi quảng bá đây là ứng dụng native
Các nhà phát triển Linux hay power user vốn đã có thể dùng Ollama chỉ bằng CLI rồi Ứng dụng Mac/Windows hiện tại nhắm tới người dùng phổ thông
Có vẻ Ollama đang muốn trở thành giao diện tiêu chuẩn để các công ty phân phối model mở Trọng tâm “cục bộ” chỉ là thứ phụ và có lẽ không phải mục tiêu dài hạn Tôi gần như chắc rằng sớm muộn gì họ cũng sẽ dùng ứng dụng này làm cầu nối để công bố chiến lược “API đám mây riêng + model mở”
Tôi phản đối mạnh ý kiến cho rằng “cục bộ” chỉ là thứ phụ Với những doanh nghiệp không thể dùng dịch vụ đám mây (ví dụ công ty quốc phòng), cục bộ mới là mặc định Đó mới là lý do thật sự để dùng model mở, dù hiện tại hiệu năng có thể vẫn chưa đủ
Công ty tôi cũng dùng Ollama vì dữ liệu tuyệt đối không được rời khỏi mạng nội bộ Chỉ cần dính một chút đám mây thôi là bên pháp chế đã nổi giận rồi Vì vậy chúng tôi chạy Ollama trực tiếp trên laptop (dòng M rất mạnh) và cả trên máy chủ intranet nội bộ LM Studio gần đây đã đổi sang cho phép dùng thương mại mà không cần pricing kiểu gọi điện báo giá, nên chúng tôi cũng định xem xét nó
Nếu bạn là power user hoặc có khả năng lập trình, tôi khuyên nên tự làm một UI chat tùy biến theo đúng ý mình Chỉ cần lấy một endpoint tương thích OpenAI nào đó và một framework component front-end chat là phần còn lại gần như khá dễ Tôi cũng nhờ Gemini hỗ trợ và làm xong trong một tuần, giờ dùng hằng ngày Chưa sẵn sàng cho production nhưng có thể chỉnh đúng ý mình, và cũng tự thêm tính năng rất nhanh
Đúng là kiểu bình luận “hãy tự làm Linux của riêng bạn” đỉnh cao Không phải ai cũng có thể tiếp cận dễ dàng như vậy
Tôi cũng từng tự làm chatbot bằng Python khi tìm hiểu AI·LLM, rồi sau đó còn dùng cả [Vercel AI SDK+endpoint API tương thích OpenAI] Cuối cùng tôi còn sản phẩm hóa nó luôn VT.ai - Python, VT Chat
Tôi cũng đi theo cách đó Điều thật sự quan trọng là bạn dùng model nào, còn lại hầu như là chuyện nhỏ Script mã nguồn mở tôi đang dùng(liên kết Show HN) bạn cũng có thể tham khảo Làm nó với sự hỗ trợ của ChatGPT và giờ tôi dùng hằng ngày Sắp tới tôi còn định gắn thêm DDG và tìm kiếm GitHub
Hoặc bạn cũng có thể lấy Open WebUI làm nền rồi tùy biến thoải mái theo ý thích
Tôi đang trên hành trình tìm giao diện chat LLM hoàn hảo cho riêng mình Điều kiện bắt buộc là phải hỗ trợ đồng thời model cục bộ/từ xa/đám mây (tương thích OpenAI API), và phải dễ chuyển model hoặc truy vấn nhiều model cùng lúc Cảm nhận hiện tại của tôi:
Msty: tôi thích nhất, có thể truy vấn đồng thời nhiều model + thiết kế đẹp mắt, nhược điểm là không mã nguồn mở + thỉnh thoảng bị treo trên Linux
Jan.ai: không thể truy vấn đồng thời nhiều model
LM Studio: không mã nguồn mở + không hỗ trợ model từ xa/đám mây (không chắc có plugin hay không)
GPT4All: bị lỗi JSON khi dùng model openrouter, và bất tiện vì phải tự chuyển model thủ công cho từng cuộc trò chuyện Tôi vẫn chưa thử Librechat, Open WebUI, AnythingLLM, koboldcpp Nếu có gợi ý nào khác thì tôi rất muốn nghe
Tôi thích webUI nhưng việc cấu hình từng model bằng file văn bản ngay trong trình duyệt khá phức tạp, mà tài liệu hướng dẫn cũng dùng thuật ngữ khó hiểu Librechat thì chỉ một lúc là bị đăng xuất nên gần như không dùng được Tôi có nghe là dùng https thì có thể giữ đăng nhập, nhưng vì đang dùng Tailscale nên khi chạy nhiều dịch vụ trên một host lại khá phiền
Tôi cũng có ứng dụng tự làm là dinoki.ai Nó chạy cục bộ, ưu tiên quyền riêng tư, và được làm native bằng Swift trên macOS, WPF trên Windows
OpenWebUI đạt đúng chất lượng tôi muốn để chat với nhiều model khác nhau một cách dễ dàng
Tôi đã dùng AnythingLLM nhiều tháng nay và thật sự rất hài lòng Có thể lưu các bộ model/prompt bằng nhiều “workspace”, hỗ trợ cả Ollama lẫn các LLM khác Tôi dựng nó bằng Docker trên Raspberry Pi, rồi dùng tailscale để truy cập từ mọi nơi Giao diện trên di động cũng đẹp, và nếu dùng thêm extension Claude của Raycast thì gần như giải quyết được mọi nhu cầu thắc mắc của tôi
Tôi khuyên nên tự làm thử Vừa học được xu hướng mới nhất, vừa vui Tôi làm giao diện của mình từ năm 2023 rồi gắn thêm tính năng dần dần, gần đây còn nối thêm model cục bộ qua MLX Làm giao diện thật ra dễ hơn bạn nghĩ, và nếu nhà phát triển tự thử thì sẽ học được rất nhiều
Tôi từng thử Ollama một lần từ lâu rồi xóa luôn Vì nếu không thể dễ dàng cài cả những model không nằm trong danh sách hỗ trợ chính thức của Ollama thì khá bất tiện Sau đó tôi thấy LM Studio là tốt nhất