Turing-NLG, mô hình ngôn ngữ 17 tỷ (17b) tham số được MS công bố

• Dựa trên Transformer

• Mô hình có kích thước lớn nhất với số tham số gấp hơn 10 lần so với BERT-Large 340M, RoBERTa 355M, OpenAI GPT-2 1.5b, v.v.

• Điều này có thể thực hiện được nhờ DeepSpeed và ZeRO

Ngay cả phần tóm tắt trên trang giới thiệu cũng được tạo bởi Turing-NLG

"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."