- Công cụ mã nguồn mở hỗ trợ chạy và huấn luyện cục bộ nhiều loại mô hình AI như văn bản, âm thanh, embedding, thị giác... trong một giao diện duy nhất
- Có thể chạy cục bộ mô hình GGUF/safetensor trên Mac/Windows/Linux, đồng thời khi huấn luyện đạt tốc độ nhanh hơn tối đa 2 lần và dùng ít VRAM hơn 70%
- Dựa trên llama.cpp + Hugging Face, hỗ trợ suy luận đa GPU và phần lớn các mô hình
- Kernel Unsloth tối ưu LoRA, FP8, FFT, PT, hỗ trợ hơn 500 mô hình văn bản, thị giác, TTS/âm thanh và embedding
- Có thể fine-tune các LLM mới nhất như Qwen3.5, NVIDIA Nemotron 3..., đồng thời tự động hỗ trợ đa GPU
- Hỗ trợ nhiều phương thức huấn luyện như full fine-tuning, huấn luyện 4bit/16bit/FP8, reinforcement learning (GRPO)...
- Liên tục bổ sung các kỹ thuật tối ưu như huấn luyện MoE LLM nhanh hơn 12 lần, hoặc huấn luyện mô hình 20B với độ dài ngữ cảnh trên 500K trên GPU 80GB
- Có thể xuất mọi mô hình, bao gồm cả mô hình đã fine-tune, sang safetensors/GGUF để dùng trong llama.cpp, vLLM, Ollama, LM Studio...
- Tích hợp tính năng Data Recipes tự động chuyển đổi tài liệu phi cấu trúc như PDF, CSV, JSON... thành dataset, cùng khả năng gọi công cụ tự phục hồi và thực thi mã
- Bao gồm tính năng quan sát để theo dõi theo thời gian thực training loss và mức sử dụng GPU
- Trong Model Arena, có thể so sánh song song đầu ra của 2 mô hình như mô hình gốc và mô hình đã fine-tune
- Chạy cục bộ hoàn toàn ngoại tuyến 100% để bảo đảm quyền riêng tư, đồng thời dự kiến sớm bổ sung hỗ trợ Apple MLX, AMD, Intel
- Quy trình làm việc :
Chạy Studio →
Tải mô hình từ tệp cục bộ hoặc các tích hợp được hỗ trợ →
Nhập dữ liệu huấn luyện từ PDF, CSV, JSONL... hoặc tạo dataset từ đầu →
Tinh lọc và mở rộng dataset trong Data Recipes → bắt đầu huấn luyện bằng preset được đề xuất hoặc cấu hình tùy chỉnh →
So sánh đầu ra giữa mô hình đã huấn luyện và mô hình gốc →
Lưu cục bộ hoặc xuất sang stack đang sử dụng hiện có
- Giấy phép
- Gói Unsloth chính dùng giấy phép Apache 2.0
- Chỉ một số thành phần tùy chọn như UI của Unsloth Studio áp dụng giấy phép mã nguồn mở AGPL-3.0
2 bình luận
https://github.com/unslothai/unsloth/…
Họ đã sửa ngay rồi nhỉ!
Ý kiến trên Hacker News
Vẫn chưa thiết lập được unsloth studio ổn thỏa trên MacBook
Do vấn đề với bộ công cụ liên quan đến Python
Bù lại, vì đã chạy sẵn máy chủ llama.cpp trong container Docker, nên tôi đã thử so sánh 3 codebase
Mã so sánh thứ nhất, mã so sánh thứ hai
Kết quả khá thú vị. Nếu unsloth studio chạy ổn, tôi sẽ thử lại vào tuần sau
Có thể cài bằng lệnh bên dưới
Tôi tò mò về mô hình kinh doanh của unsloth. Họ công khai rất nhiều thứ miễn phí, nhưng cấu trúc doanh thu có vẻ chưa rõ ràng
Tôi nghĩ lý do phần mềm mã nguồn đóng được ưa chuộng hơn là vì chất lượng tooling. Sắp tới còn nhiều thứ sẽ được công bố
Tính năng huấn luyện khá thú vị, nhưng thấy ghi là ‘on NVIDIA’ nên hơi tiếc
Tôi muốn biết liệu có lựa chọn thay thế hay hướng dẫn nào để làm SFT (fine-tuning có giám sát) bằng stack Metal trên macOS không
Tôi cũng dùng môi trường AMD nên đang khá kỳ vọng. ROCm thì đau đầu thật, nhưng bản thân AMD thì tôi vẫn thích
Unsloth thực sự là một dự án khá ổn
Nếu bạn tự vận hành AI engine thì rất đáng để thử
Vì là giấy phép Apache nên tôi định thử dùng trong công ty
LMStudio dùng giấy phép độc quyền nên rất khó được phê duyệt
Mong họ sớm hỗ trợ AMD
Hiện tại tôi đang phải dùng các thiết lập vòng vo khá phức tạp với GPU AMD
Tôi đã thử build từ source trên macOS nhưng gặp lỗi TypeScript như dưới đây
'status' is declared but its value is never readKhông nên cài bằng pip trên macOS vì có nguy cơ làm hỏng hệ thống
Cần có gói Homebrew hoặc file zip để cài thủ công
Cài bằng
uv tool install unsloththì quản lý dễ hơnChủ yếu xuất thân từ hệ sinh thái Python nên họ còn thiếu kinh nghiệm đóng gói. Hỗ trợ Homebrew là mục tiêu tiếp theo
Có thể quản lý phụ thuộc bằng
pyproject.tomlvà tạo môi trường có thể tái lập chỉ bằng một lệnhTrước đây tôi từng cài unsloth bằng bản unreleased nền ROCm, và chỉ cần một dòng
uv synclà xongBình luận issue liên quan
Tài liệu cài đặt pipx
Khi nào có hỗ trợ AMD thì tôi sẽ quay lại xem
Tôi tò mò liệu trên mac có dùng được GPU không
Khi setup thì nó hiển thị là chỉ dùng CPU