KoAlpaca - Mô hình Alpaca tiếng Hàn
(github.com/Beomi)- Được huấn luyện theo cùng phương thức với cách huấn luyện mô hình Alpaca của Stanford
- Sử dụng Polyglot-ko 5.8B và LLaMA 7B làm mô hình backbone
- LLaMA thiếu dữ liệu huấn luyện bộ dữ liệu tiếng Hàn nên hiệu năng tiếng Hàn thấp, vì vậy đã huấn luyện bổ sung một mô hình tiếng Hàn
- Bộ dữ liệu 52k chỉ thị của LLaMA được dịch bằng DeepL API
1 bình luận
Ồ... đúng là hệ sinh thái này đang phát triển với tốc độ cực kỳ nhanh. Ngay cả các mô hình Transformer hiện có cũng cho thấy chênh lệch hiệu năng rất lớn giữa mô hình bản địa hóa tiếng Hàn và mô hình đa dụng, đây là một dự án mã nguồn mở rất tốt.