- Ollama hiện hỗ trợ gọi tool trên các mô hình như Llama 3.1
- Điều này cho phép mô hình dùng các tool mà nó biết để trả lời prompt được đưa ra, từ đó thực hiện các tác vụ phức tạp hơn hoặc tương tác với thế giới bên ngoài
- Các tool: hàm và API, duyệt web, trình thông dịch mã
- Để kích hoạt gọi tool, cần cung cấp danh sách các tool khả dụng thông qua trường
tools của API Ollama,
và các mô hình được hỗ trợ giờ sẽ phản hồi bằng tool_calls. Phản hồi từ tool có thể được cung cấp qua các tin nhắn với vai trò tool
- Các mô hình được hỗ trợ: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- Endpoint tương thích OpenAI của Ollama hiện cũng hỗ trợ tool và có thể dùng bằng cách chuyển sang Llama 3.1 và các mô hình khác
- Các cải tiến trong tương lai
- Gọi tool theo luồng: hỗ trợ stream các lệnh gọi tool để có thể bắt đầu công việc nhanh hơn khi nhiều tool được trả về
- Lựa chọn tool: có thể buộc mô hình sử dụng một tool cụ thể
1 bình luận
https://vi.news.hada.io/topic?id=13436
Có vẻ là tính năng giống như
phidatanhỉ? Bên này chỉ cần mô tảdocstringcho chuẩn là được, nhưng nếu không phải GPT thì lại không dùng được tool.