- Phát triển và áp dụng công nghệ Depth Up-Scaling để tối đa hóa năng lực của Llama2 7B hiện có
- Trên benchmark, mô hình này cho thấy hiệu năng vượt trội trong nhóm có dưới 3 tỷ tham số, đồng thời vượt qua QWEN lớn hơn 6 lần và mẫu Mixtral 8x7B mới phát hành gần đây
- Đứng số 1 trên bảng xếp hạng OpenLLM với 74.2 điểm. QWEN-72B của Alibaba đạt 73.6, Mixtral-8x7B đạt 72.6
- Instruction fine-tuning được áp dụng rất tốt
- Vì mô hình được công bố lần này dựa trên tiếng Anh nên hiệu năng tiếng Hàn có thể thấp
1 bình luận
Upstage là công ty tạo ra AskUp, AI có thể sử dụng trên KakaoTalk.
Alibaba công bố mô hình AI mã nguồn mở QWEN
Mistral AI công bố mô hình Mixtral 8x7B vượt trội hơn Llama 2 70B