GPU-Usage-Audit: Nếu GPU không chỉ đang rảnh mà còn đang bị 'giữ chỗ' thì sao?!

Khi nvidia-smi hiển thị util ở mức 1%, chiếc card trông có vẻ như đang trống,
nhưng nếu ai đó để lại 8GB trên Jupyter Notebook rồi rời đi thì không ai khác có thể dùng GPU đó.
Đó là một kiểu lãng phí vô hình trên server dùng chung hoặc GPU tính phí theo giờ.

Vì thế tôi đã tạo ra GPU-Usage-Audit!

Chỉ cần đã cài NVIDIA driver, công cụ này sẽ ghi lại các metric GPU vào SQLite và xuất chúng thành báo cáo sau đó.

Báo cáo chia thời gian sử dụng GPU không phải thành hai mà là ba loại.
Thời gian thực sự tính toán, thời gian hoàn toàn trống, và thời gian idle-held — tức là có giữ bộ nhớ nhưng không tính toán.

Phần lớn công cụ gộp hai loại sau làm một, nhưng sự lãng phí lại ẩn ngay ở đó.
Công cụ quy đổi thời gian bị giữ chỗ sang GPU-hours, và nếu đang chạy theo từng người dùng thì cũng sẽ cho thấy ai đang chiếm dụng bao nhiêu.

Cài đặt và chạy chỉ với một dòng: uv tool install gpu-usage-audit && gua daemon!

Sau khi dữ liệu đã tích lũy, chỉ cần gõ gua report là có thể xem báo cáo,
nếu muốn xem kết quả trước mà chưa có dữ liệu thì có thể chạy dữ liệu giả bằng gua demo.