Ollama có thể dùng bản preview trên Windows

Ollama bản preview trên Windows

• Ollama đã khả dụng trên Windows ở dạng bản preview.
• Phiên bản Windows của Ollama bao gồm tăng tốc GPU, truy cập toàn bộ thư viện mô hình, và API Ollama tương thích với OpenAI.

Tăng tốc phần cứng

• Ollama tăng tốc việc chạy mô hình bằng GPU NVIDIA và các bộ lệnh CPU hiện đại như AVX, AVX2.
• Có thể sử dụng mà không cần thiết lập hay ảo hóa.

Truy cập toàn bộ thư viện mô hình

• Có thể truy cập toàn bộ thư viện mô hình Ollama khả dụng trên Windows.
• Khi chạy các mô hình thị giác như LLaVA 1.6, bạn có thể kéo và thả hình ảnh để thêm vào tin nhắn.

API Ollama luôn bật

• API của Ollama chạy nền tự động và có thể truy cập từ các công cụ và ứng dụng mà không cần cấu hình thêm.
• Ví dụ, bài viết đưa ra cách gọi API của Ollama bằng PowerShell.

Bắt đầu sử dụng

• Để bắt đầu với Ollama on Windows Preview, tải xuống và cài đặt Ollama.
• Sau khi cài đặt, mở terminal và dùng lệnh ollama run llama2 để chạy mô hình.
• Ollama sẽ thông báo khi có bản phát hành mới.
• Bài viết kêu gọi gửi phản hồi và khuyến nghị mở issue hoặc tham gia máy chủ Discord khi gặp vấn đề.

Ý kiến của GN⁺

• Tích hợp với Windows: Tích hợp Ollama trên Windows giúp các nhà phát triển dễ dàng sử dụng mô hình ngôn ngữ lớn ngay cả trong môi trường Windows, nâng cao khả năng tiếp cận phát triển ML và AI.
• Tăng tốc phần cứng: Việc tận dụng GPU và các bộ lệnh CPU hiện đại giúp tăng đáng kể tốc độ chạy mô hình, đồng thời tối ưu hiệu năng mà không cần cấu hình phức tạp.
• Khả năng truy cập API: API luôn hoạt động cùng với tính tương thích OpenAI giúp tích hợp dễ dàng hơn với các công cụ hiện có, cho phép nhà phát triển làm việc hiệu quả hơn.

[GN⁺]

Ý kiến trên Hacker News

• Một người dùng cho biết họ đang vận hành một bộ sưu tập các mô hình đã được tinh chỉnh gồm Mistral và một số mô hình khác trên frontend Open-WebUI trong máy để bàn. Các mô hình này cho hiệu năng đủ tốt cho cả cuộc trò chuyện lẫn trích xuất thông tin. Ứng dụng Open-WebUI rất giống ChatGPT và thậm chí còn cho phép tìm kiếm các cuộc hội thoại.

  Trang GitHub của Open-WebUI

• Một người tỏ ra tiếc vì không nhắc đến hỗ trợ GPU của AMD và nay tiếc vì đã chọn AMD trong lần này.
• Để phục vụ những ai đang tìm một UI chat dựa trên Ollama hỗ trợ cả mô hình online lẫn local, tác giả đang phát triển một ứng dụng offline chú trọng quyền riêng tư và sáng nay đã thêm hỗ trợ Windows.

  msty.app

• Một người đặt câu hỏi tại sao nhiều cổng AI "chạy local" lại lại chạy như một server. Họ băn khoăn liệu các nhà phát triển có quên rằng có thể thực thi mã ngay trong tiến trình UI không. Cùng kiểu này cũng xảy ra ở trình chạy Stable Diffusion và LLM Host. Họ không muốn chạy một dịch vụ nền local khi không cần.
• Một người tò mò muốn biết mọi người nghĩ gì về LM Studio và Ollama vì chúng không phải mã nguồn mở.

  LM Studio

• Một số năm trước, có vẻ người dùng Mac đã phải đợi, và người dùng Windows lại không thể tiếp cận Ollama.
• Việc này đã có trên Linux và Mac rồi, và giờ có thêm hỗ trợ Windows.

  Trang GitHub của Ollama

• Trên máy Windows, một người đã dùng Ollama vài ngày qua với tính năng tự động hoàn tất tab local trong VS Code, và kết quả tương đương tốt khi so với khi chạy trên Mac.
• Sau khi cài mô hình llama2 vào một Mac Mini mới, họ gặp lỗi kernel panic toàn hệ thống. Chuyện gì vậy?
• Họ đặt câu hỏi liệu việc chạy và phát triển trên mô hình local có phải là cách ưu tiên của mọi người không, và liệu có công cụ bắt buộc nào khác cần học thêm hay không.