Meta đã công bố MTIAv2, phiên bản thế hệ tiếp theo của MTIA (Meta Training and Inference Accelerator) v1, bộ tăng tốc suy luận AI do hãng tự phát triển và ra mắt vào năm ngoái. MTIA là con chip được thiết kế cho các khối lượng công việc AI của Meta, đặc biệt là các mô hình gợi ý học sâu giúp cải thiện nhiều trải nghiệm khác nhau trên toàn bộ sản phẩm. Khi khối lượng công việc AI ngày càng trở nên quan trọng hơn trong các sản phẩm và dịch vụ của Meta, việc cải thiện hiệu quả của MTIA được kỳ vọng sẽ nâng cao khả năng mang lại trải nghiệm tốt nhất cho người dùng trên toàn thế giới.
Con chip MTIAv2 thế hệ mới này đã cho thấy hiệu năng cao hơn gấp 3 lần so với chip thế hệ đầu tiên trên 4 mô hình chính. Ở cấp độ nền tảng, với số lượng thiết bị gấp đôi và CPU 2 socket mạnh hơn, hệ thống có thể đạt thông lượng phục vụ mô hình cao hơn 6 lần so với hệ thống MTIA thế hệ đầu, đồng thời cải thiện hiệu năng trên mỗi watt lên 1,5 lần. So với GPU thương mại, MTIA đang chứng minh vai trò bổ trợ rất hiệu quả trong việc cung cấp hiệu năng và hiệu suất tối ưu cho các khối lượng công việc đặc thù của Meta.
Các đặc điểm chính của MTIAv2
Các đặc điểm chính của MTIAv2 như sau:
- Hiệu năng tính toán và băng thông bộ nhớ tăng hơn 2 lần so với thế hệ trước
- Được thiết kế để xử lý hiệu quả các mô hình xếp hạng và gợi ý
- Gồm các phần tử xử lý (PE) theo lưới 8x8, cải thiện 3,5 lần hiệu năng tính toán dày đặc và 7 lần hiệu năng tính toán thưa
- Bộ nhớ cục bộ của PE tăng 3 lần, SRAM trên chip tăng 2 lần và băng thông tăng 3,5 lần, dung lượng LPDDR5 tăng 2 lần
- Kiến trúc NoC (Network on Chip) được cải tiến giúp tăng gấp đôi băng thông, cho phép điều phối giữa các PE với độ trễ thấp hơn
⚠️Quảng cáo⚠️ Xem bài viết tương tự tại cộng đồng PyTorch tiếng Hàn
Chưa có bình luận nào.