MS và Nvidia công bố MT-NLG 530B, mô hình ngôn ngữ lớn nhất thế giới

• Megatron-Turing Natural Language Generation

• 530 tỷ tham số, lớn hơn 175 tỷ của GPT-3

• Cho thấy độ chính xác vượt trội, không thể so sánh với trước đây

• như hoàn thành câu, khả năng hiểu, suy luận thường thức, suy luận ngôn ngữ tự nhiên, v.v.

• 105 lớp, dựa trên Transformer

• NVIDIA A100 Tensor Core GPU & mạng HDR InifiniBand

• Cụm siêu máy tính NVIDIA Selene và Microsoft Azure NDv4