Token Cost - Tính chi phí trên mỗi token của hơn 400 LLM
(github.com/AgentOps-AI)- Tính chi phí dự kiến cho prompt và câu trả lời hoàn chỉnh để ước tính chi phí sử dụng các API LLM phổ biến
- Theo dõi các mô hình mới nhất và mức giá của từng nhà cung cấp LLM
- Đo số token trước khi gửi prompt và số token của câu trả lời được tạo ra, rồi tính tổng chi phí theo đơn giá token của từng LLM
- Có thể tích hợp vào hệ thống kết nối LLM của riêng bạn chỉ với một hàm
Chưa có bình luận nào.