Ailoy: Công cụ dễ tạo AI agent on-device
(github.com/brekkylab)ailoy là một thư viện giúp tạo LLM agent một cách dễ dàng.
Có hai phiên bản python / javascript(node), và chúng tôi tự tin rằng đây là công cụ dễ dùng nhất trong số các công cụ hiện có.
Ưu điểm là ngay cả khi không phải chuyên gia machine learning, bạn vẫn có thể tạo được.
Google, OpenAI, Anthropic rồi cuối cùng đều hướng tới việc khiến người dùng phải dùng nhiều API hơn, nên có cảm giác như một cỗ máy ngốn tiền; vì vậy tôi đã thử làm ra thứ này để có thể chạy agent AI theo kiểu on-device.
Nếu vào qua link GitHub hoặc Discord, tôi sẽ hỗ trợ những chỗ bạn bị vướng. Mong bạn thử dùng và để lại ý kiến phản hồi!
4 bình luận
Tôi khá tò mò không biết với kích thước mô hình nhỏ như vậy thì hiệu năng cảm nhận thực tế ở mức nào.
Chắc chắn là vẫn có cảm giác hơi đáng tiếc nếu so với dòng GPT hay DeepSeek R1. Mô hình 30B thì đúng là khá ổn, nhưng nhược điểm ở phía này là nếu muốn chạy on-device thì phải có GPU cỡ như 5090....
Vì vậy, nếu muốn vừa đạt hiệu năng tương tự model của OpenAI vừa tối ưu token, thì có vẻ cách tốt nhất là dùng mô hình hybrid: sử dụng OpenAI cho những gì cần thiết, còn các tác vụ đơn giản thì dùng local model.
Dù vậy cũng không đến mức không dùng được, và với các tác vụ không quá phức tạp như dịch hay tóm tắt thì cảm giác là cũng không khác biệt quá lớn... haha
Vâng, tôi hiểu rồi ^^ Cảm ơn bạn đã trả lời