Llama 4 là mô hình mã nguồn mở thân thiện nhất với tiếng Hàn.

Theo nhóm nghiên cứu của Sionic AI, Llama 4 do Meta công bố vào Chủ nhật vừa qua là mô hình mã nguồn mở thân thiện nhất với tiếng Hàn.

Có thể thấy cấu hình tokenizer của llama4 đã được cải thiện gấp 2,5 lần so với Llama3.3 trước đây xét trên góc độ biểu đạt tiếng Hàn, và cũng được cải thiện đáng kể so với Qwen, vốn là mô hình có tỷ lệ hỗ trợ tiếng Hàn cao nhất cho đến nay.

Nếu hiểu được các token BPE tiếng Hàn này, điều đó có thể trực tiếp hỗ trợ rất lớn cho việc triển khai trên nhiều thiết bị khác nhau (NPU, GPU, FPGA) cũng như các chiến lược sinh token ở mức thấp, hiệu năng cao. Đặc biệt, nó có thể giúp giải quyết vấn đề mô hình tạo ra những ngôn ngữ kỳ lạ như tiếng Trung.

Sionic Llama4 Token Editor là công cụ phân tích tokenizer của các dòng mô hình Llama và Qwen, đồng thời có thể điều chỉnh trọng số token của các danh mục cụ thể.

• Phân loại token: khảo sát toàn bộ và phân loại token theo nhiều danh mục khác nhau như tiếng Hàn, tiếng Anh, ký tự đặc biệt, v.v.
• Điều chỉnh trọng số: dựa trên danh sách token đã được phân tích, có thể tăng hoặc giảm log probability của token tiếng Hàn để tác động trực tiếp đến kết quả sinh của mô hình.
• Xuất JSON và văn bản: lưu toàn bộ kết quả phân tích thành tệp JSON, đồng thời xuất riêng danh sách ID token đã phân loại và danh sách ID token chưa phân loại thành tệp văn bản.

Có thể xem GitHub Repository tại đây.
https://github.com/sionic-ai/Llama4-Token-Editor