MTIA v1: bộ tăng tốc suy luận AI thế hệ đầu của Meta

• GPU không phải là lựa chọn tối ưu để chạy DLRM (mô hình gợi ý học sâu) của Meta
• Vì vậy, Meta đã phát triển ASIC Meta Training and Inference Accelerator (MTIA) phù hợp cho tác vụ gợi ý
• Được đồng thiết kế với các yêu cầu của mô hình gợi ý thế hệ tiếp theo trong đầu, và được tích hợp vào PyTorch để xây dựng một hệ thống xếp hạng được tối ưu hóa hoàn toàn
• Quy trình TSMC 7nm, 800Mhz, 102.4 TOPS @ INT8, 51.2 TFLOPS @ FP16, 25W