llama-tokenizer-js - Bộ tách token LLaMA chạy trong trình duyệt

• Có thể dùng để tính số token chính xác ở phía client
• Dễ sử dụng dưới dạng một tệp duy nhất hoàn toàn không có phụ thuộc
• Tương thích với hầu hết các mô hình dựa trên LLaMA
• Có thể token hóa khoảng 2 nghìn token trong vòng 20ms