- Công cụ GUI đồ họa được thiết kế để chạy LLM dễ dàng trên phần cứng cá nhân
- Tự động hóa các quy trình phức tạp như quản lý backend, tải model và thiết lập tăng tốc phần cứng
- Hoạt động dựa trên KoboldCpp, một nhánh fork của llama.cpp, và hỗ trợ cả tạo văn bản lẫn tạo ảnh
- Hỗ trợ chạy native trên Windows, macOS, Linux (đặc biệt bao gồm Wayland)
- Hoạt động cả trên hệ thống chỉ có CPU, đồng thời hỗ trợ tăng tốc GPU dựa trên CUDA, ROCm, Vulkan, CLBlast, Metal
- Tích hợp sẵn tính năng tạo ảnh: cung cấp preset cho các workflow chính như Flux, Chroma, Qwen Image, Z-Image
- Với tính năng tìm kiếm tích hợp HuggingFace, có thể duyệt model trong ứng dụng, xem model card và tải trực tiếp tệp GGUF
- Có thể chạy trên terminal bằng tùy chọn
--cli, vận hành cùng backend mà không cần GUI và giảm thiểu sử dụng tài nguyên
- Giấy phép AGPL-3.0
1 bình luận
So với ollama thì ưu điểm là gì?