- Ollama hiện hỗ trợ tính năng đầu ra có cấu trúc (Structured Output), sử dụng JSON Schema để ràng buộc đầu ra của mô hình vào một định dạng cụ thể
- Thư viện Python và JavaScript đã được cập nhật để có thể sử dụng tính năng này
- Các trường hợp sử dụng chính của đầu ra có cấu trúc
- Phân tích dữ liệu từ tài liệu
- Trích xuất dữ liệu từ hình ảnh
- Chuẩn hóa mọi phản hồi của mô hình ngôn ngữ thành dạng có cấu trúc
- Cung cấp độ tin cậy và tính nhất quán cao hơn so với chế độ JSON
- Mẹo sử dụng
- Định nghĩa JSON Schema bằng Pydantic (Python) hoặc Zod (JavaScript)
- Thêm "trả về dưới dạng JSON" vào prompt
- Giảm thiết lập Temperature xuống 0 để đảm bảo đầu ra mang tính xác định
- Kế hoạch sắp tới
- Hỗ trợ điều khiển quá trình sinh thông qua việc lộ logit
- Cải thiện hiệu năng và độ chính xác
- Hỗ trợ thêm các định dạng ngoài JSON Schema
- Hỗ trợ lấy mẫu tăng tốc bằng GPU
1 bình luận
Trước đây thường phải đưa JSON schema vào như một phần của prompt và ở tham số API chỉ dùng dạng
format: json, nhưng giờ thì vừa tiết kiệm token hơn vừa có thể cấu hình thuận tiện hơn!