Bắt trọn cả tốc độ lẫn Python: Cách dùng CUDA Graph để thực thi mã Python nhanh cho deep learning

Trong vài năm qua, tốc độ GPU đã tăng bùng nổ, và cách tối ưu hóa khối lượng công việc deep learning cũng đang thay đổi theo. PyTorch cũng đang bổ sung các tính năng tối ưu hóa như torch.compile(), nhưng với một số workload, bao gồm cả LLM, việc cải thiện vẫn đang tiếp tục.

(Trong lúc chờ torch.compile() được cải thiện) tôi đã tìm thấy một bài viết giới thiệu CUDA Graph, một phương pháp tối ưu có thể áp dụng ngay, nên đã dịch lại. (⚠️Lưu ý: phần cuối bài có kèm một chút nội dung quảng bá của Fireworks.ai, công ty phát triển/cung cấp nền tảng suy luận LLM đã viết bài gốc.)

Bài viết này giới thiệu CUDA Graph theo trình tự như sau:

• Giới thiệu về chồng lấp CPU/GPU (overlap), một phương pháp tối ưu hóa hiện có

• Các đoạn phát sinh overhead từ CPU

• Các kỹ thuật tối ưu overhead CPU và CUDA Graph

• Giới thiệu trường hợp áp dụng CUDA Graph cho mô hình LLaMA2-7B

• Giới thiệu lợi ích hiệu năng từ CUDA Graph

• Phụ lục: các vấn đề khi dùng torch.compile() ở thời điểm hiện tại (PyTorch 2.0.1) và cách giải quyết