Kiwi: Trình phân tích hình thái tiếng Hàn thông minh (Korean Intelligent Word Identifier)

• Kiwi: Trình phân tích hình thái tiếng Hàn thông minh (Korean Intelligent Word Identifier)
• Thư viện phân tích hình thái tiếng Hàn hướng đến tốc độ nhanh và hiệu năng đa dụng
• Tích hợp sẵn mô hình ngôn ngữ nhẹ, nên ngay cả trong các trường hợp mơ hồ cũng có thể phân tích hình thái với độ chính xác khá cao
• Được triển khai bằng C++. Tác giả là một fan của C++.
  • Thư viện được cung cấp cho Python, JavaScript, C#, Java, R, Go
  • Có thể biên dịch sang wasm để chạy trên trình duyệt
• Mô hình được cung cấp với ba kích thước: nhỏ (16MB), trung bình (40MB), lớn (90MB)
• Quá trình phát triển được công khai chi tiết trên blog
  • https://bab2min.tistory.com/560
• Việc huấn luyện mô hình ngôn ngữ tiếng Hàn sử dụng Kiwi làm tokenizer cũng rất ấn tượng
  • https://github.com/bab2min/kiwi-farm