"Open Pre-trained Transformer Language Model"
- Các mô hình ngôn ngữ quy mô lớn như vậy đòi hỏi nguồn vốn đáng kể mới có thể xây dựng, và nếu chỉ công khai quyền truy cập API thì rất khó để nghiên cứu
- Dành cho các nhà nghiên cứu quan tâm, toàn bộ mô hình, mã dùng cho thí nghiệm và sổ nhật ký đều được công khai để có thể tải xuống
- So với GPT-3, chỉ cần 1/7 lượng khí thải carbon
1 bình luận
https://github.com/facebookresearch/metaseq