32 điểm bởi xguru 2026-03-18 | 2 bình luận | Chia sẻ qua WhatsApp
  • Công cụ mã nguồn mở hỗ trợ chạy và huấn luyện cục bộ nhiều loại mô hình AI như văn bản, âm thanh, embedding, thị giác... trong một giao diện duy nhất
  • Có thể chạy cục bộ mô hình GGUF/safetensor trên Mac/Windows/Linux, đồng thời khi huấn luyện đạt tốc độ nhanh hơn tối đa 2 lần và dùng ít VRAM hơn 70%
  • Dựa trên llama.cpp + Hugging Face, hỗ trợ suy luận đa GPU và phần lớn các mô hình
  • Kernel Unsloth tối ưu LoRA, FP8, FFT, PT, hỗ trợ hơn 500 mô hình văn bản, thị giác, TTS/âm thanh và embedding
  • Có thể fine-tune các LLM mới nhất như Qwen3.5, NVIDIA Nemotron 3..., đồng thời tự động hỗ trợ đa GPU
    • Hỗ trợ nhiều phương thức huấn luyện như full fine-tuning, huấn luyện 4bit/16bit/FP8, reinforcement learning (GRPO)...
    • Liên tục bổ sung các kỹ thuật tối ưu như huấn luyện MoE LLM nhanh hơn 12 lần, hoặc huấn luyện mô hình 20B với độ dài ngữ cảnh trên 500K trên GPU 80GB
  • Có thể xuất mọi mô hình, bao gồm cả mô hình đã fine-tune, sang safetensors/GGUF để dùng trong llama.cpp, vLLM, Ollama, LM Studio...
  • Tích hợp tính năng Data Recipes tự động chuyển đổi tài liệu phi cấu trúc như PDF, CSV, JSON... thành dataset, cùng khả năng gọi công cụ tự phục hồi và thực thi mã
  • Bao gồm tính năng quan sát để theo dõi theo thời gian thực training loss và mức sử dụng GPU
  • Trong Model Arena, có thể so sánh song song đầu ra của 2 mô hình như mô hình gốc và mô hình đã fine-tune
  • Chạy cục bộ hoàn toàn ngoại tuyến 100% để bảo đảm quyền riêng tư, đồng thời dự kiến sớm bổ sung hỗ trợ Apple MLX, AMD, Intel
  • Quy trình làm việc :
    Chạy Studio →
    Tải mô hình từ tệp cục bộ hoặc các tích hợp được hỗ trợ →
    Nhập dữ liệu huấn luyện từ PDF, CSV, JSONL... hoặc tạo dataset từ đầu →
    Tinh lọc và mở rộng dataset trong Data Recipes → bắt đầu huấn luyện bằng preset được đề xuất hoặc cấu hình tùy chỉnh →
    So sánh đầu ra giữa mô hình đã huấn luyện và mô hình gốc →
    Lưu cục bộ hoặc xuất sang stack đang sử dụng hiện có
  • Giấy phép
    • Gói Unsloth chính dùng giấy phép Apache 2.0
    • Chỉ một số thành phần tùy chọn như UI của Unsloth Studio áp dụng giấy phép mã nguồn mở AGPL-3.0

2 bình luận

 
wedding 2026-03-20

https://github.com/unslothai/unsloth/…

Họ đã sửa ngay rồi nhỉ!

 
GN⁺ 2026-03-19
Ý kiến trên Hacker News
  • Vẫn chưa thiết lập được unsloth studio ổn thỏa trên MacBook
    Do vấn đề với bộ công cụ liên quan đến Python
    Bù lại, vì đã chạy sẵn máy chủ llama.cpp trong container Docker, nên tôi đã thử so sánh 3 codebase
    Mã so sánh thứ nhất, mã so sánh thứ hai
    Kết quả khá thú vị. Nếu unsloth studio chạy ổn, tôi sẽ thử lại vào tuần sau

    • Mong là bạn có thể thử lại. Tôi vừa đẩy một bản phát hành PyPI mới
      Có thể cài bằng lệnh bên dưới
      curl -LsSf https://astral.sh/uv/install.sh | sh  
      uv venv unsloth_studio --python 3.13  
      source unsloth_studio/bin/activate  
      uv pip install unsloth==2026.3.7 --torch-backend=auto  
      unsloth studio setup  
      unsloth studio -H 0.0.0.0 -p 8888
      
  • Tôi tò mò về mô hình kinh doanh của unsloth. Họ công khai rất nhiều thứ miễn phí, nhưng cấu trúc doanh thu có vẻ chưa rõ ràng

    • Hiện tại mục tiêu chính là cung cấp tooling hữu ích cho cộng đồng mã nguồn mở
      Tôi nghĩ lý do phần mềm mã nguồn đóng được ưa chuộng hơn là vì chất lượng tooling. Sắp tới còn nhiều thứ sẽ được công bố
    • Nếu quy mô đội ngũ khoảng 8 người thì có lẽ họ chưa đến mức đang vật lộn vì thiếu vốn ngay lúc này
  • Tính năng huấn luyện khá thú vị, nhưng thấy ghi là ‘on NVIDIA’ nên hơi tiếc
    Tôi muốn biết liệu có lựa chọn thay thế hay hướng dẫn nào để làm SFT (fine-tuning có giám sát) bằng stack Metal trên macOS không

    • Ở cuối tài liệu có ghi là đang chuẩn bị hỗ trợ non-Nvidia
      Tôi cũng dùng môi trường AMD nên đang khá kỳ vọng. ROCm thì đau đầu thật, nhưng bản thân AMD thì tôi vẫn thích
    • Có ghi rõ là “Mac: chỉ có thể chat dựa trên CPU, hỗ trợ huấn luyện MLX sẽ sớm ra mắt”
    • Một phương án thực tế có thể là thuê GPU Nvidia rồi dùng từ chiếc Mac đó
    • Haha
  • Unsloth thực sự là một dự án khá ổn
    Nếu bạn tự vận hành AI engine thì rất đáng để thử

  • Vì là giấy phép Apache nên tôi định thử dùng trong công ty
    LMStudio dùng giấy phép độc quyền nên rất khó được phê duyệt

    • Chỉ một số thành phần là Apache thôi
  • Mong họ sớm hỗ trợ AMD
    Hiện tại tôi đang phải dùng các thiết lập vòng vo khá phức tạp với GPU AMD

    • Họ cũng nói đang chuẩn bị hỗ trợ AMD. Tôi cũng đang chờ
  • Tôi đã thử build từ source trên macOS nhưng gặp lỗi TypeScript như dưới đây
    'status' is declared but its value is never read

    • Đã sửa xong. Khuyến nghị thử lại bằng lệnh dưới đây
      curl -LsSf https://astral.sh/uv/install.sh | sh  
      uv venv unsloth_studio --python 3.13  
      source unsloth_studio/bin/activate  
      uv pip install unsloth --torch-backend=auto  
      unsloth studio setup  
      unsloth studio -H 0.0.0.0 -p 8888
      
    • Họ nói sẽ kiểm tra nhanh và sửa ngay
  • Không nên cài bằng pip trên macOS vì có nguy cơ làm hỏng hệ thống
    Cần có gói Homebrew hoặc file zip để cài thủ công

    • Đồng ý. Hiện tại tôi thấy cài bằng “uv” hoặc “mise” sẽ tốt hơn
      Cài bằng uv tool install unsloth thì quản lý dễ hơn
    • Cảm ơn góp ý, họ đang tiếp tục cải thiện quy trình cài đặt
      Chủ yếu xuất thân từ hệ sinh thái Python nên họ còn thiếu kinh nghiệm đóng gói. Hỗ trợ Homebrew là mục tiêu tiếp theo
    • Nên cài uv trước, rồi cô lập việc cài gói Python bên trong môi trường ảo
    • Dùng uv sync sẽ gọn hơn nhiều
      Có thể quản lý phụ thuộc bằng pyproject.toml và tạo môi trường có thể tái lập chỉ bằng một lệnh
      Trước đây tôi từng cài unsloth bằng bản unreleased nền ROCm, và chỉ cần một dòng uv sync là xong
      Bình luận issue liên quan
    • Có lẽ cũng có thể giải quyết bằng pipx
      Tài liệu cài đặt pipx
  • Khi nào có hỗ trợ AMD thì tôi sẽ quay lại xem

  • Tôi tò mò liệu trên mac có dùng được GPU không
    Khi setup thì nó hiển thị là chỉ dùng CPU