Tokuin - Công cụ CLI Rust để ước tính mức sử dụng token LLM và chi phí API

• Công cụ CLI đa nền tảng giúp ước tính nhanh và chính xác số token cùng chi phí API cho nhiều nhà cung cấp/mô hình LLM như OpenAI, Claude, Gemini, OpenRouter
• Hỗ trợ tính token theo từng mô hình và tự động tính chi phí gọi API dựa trên đơn giá token của từng mô hình
• Không chỉ hỗ trợ một prompt đơn lẻ mà còn cung cấp các tính năng phù hợp với quy trình làm việc thực tế như định dạng chat JSON, phân tích token theo vai trò (system/user/assistant), so sánh token·chi phí giữa nhiều mô hình, Markdown minify, chế độ diff, chế độ watch
• Khi bật tính năng load-test, công cụ hoạt động như trình chạy kiểm thử tải đo đồng thời độ đồng thời, độ trễ, tỷ lệ lỗi, token và chi phí cho OpenAI, Anthropic, OpenRouter và các endpoint tùy chỉnh
  • Có thể dự đoán chi phí mà không cần gọi thực tế bằng chế độ dry-run
• Hỗ trợ nhiều định dạng đầu vào/đầu ra
  • Đầu vào: xử lý được cả văn bản thường và định dạng chat JSON, đồng thời hỗ trợ nhập từ tệp, đầu vào chuẩn, và so sánh prompt (diff)
  • Đầu ra: hỗ trợ nhiều định dạng như text/json/csv/Prometheus/markdown
• Thông qua tệp giá tùy chỉnh (TOML), có thể duy trì độ chính xác của việc ước tính chi phí đồng thời thích ứng với biến động giá theo từng mô hình
• Kiến trúc mô-đun với tokenizer, định nghĩa mô hình, parser, đầu ra, HTTP/provider và simulator giúp phù hợp để thêm mô hình mới, nhà cung cấp mới hoặc tích hợp vào pipeline CI/tự động hóa