tiktoken - Tokenizer của OpenAI

• Tokenizer BPE (Byte pair encoding) tốc độ cao để sử dụng với các mô hình của OpenAI
• Nhanh hơn 3~6 lần so với tokenizer hiện có (Huggingface)
• Có thể cài đặt từ PyPI
• Mã nguồn mở Python + Rust