Nvtop - Trình giám sát tác vụ Linux dành cho GPU Nvidia/AMD/Intel

• NVTop = "Neat Videocard TOP"
• Trình giám sát tác vụ dành cho GPU và bộ tăng tốc
• Xử lý thông tin của nhiều GPU và hiển thị theo cách tương tự htop
• Các nhà cung cấp hiện được hỗ trợ: AMD (trình điều khiển Linux amdgpu), Apple (hỗ trợ hạn chế cho M1 & M2), Huawei (Ascend), Intel (trình điều khiển Linux i915), NVIDIA (trình điều khiển độc quyền cho Linux), Qualcomm Adreno (trình điều khiển Linux MSM)

Tùy chọn NVTOP và lệnh tương tác

• Cửa sổ cấu hình tương tác: Nhấn F2 để mở tiện ích cấu hình, cho phép tùy biến giao diện theo nhu cầu của người dùng.
• Lưu cấu hình môi trường: Lưu cấu hình đã thiết lập trong cửa sổ cấu hình bằng cách nhấn F12, và cấu hình này sẽ được nạp ở lần chạy nvtop tiếp theo.
• Hướng dẫn sử dụng và tùy chọn lệnh của NVTOP: Có trang hướng dẫn (man nvtop); có thể xem trợ giúp lệnh bằng nvtop -h hoặc nvtop --help.

Hỗ trợ GPU

• AMD: Hỗ trợ GPU AMD thông qua trình điều khiển amdgpu. Có thể xem các tiến trình đang sử dụng GPU trên kernel 5.14 trở lên.
• Intel: Hỗ trợ GPU Intel thông qua trình điều khiển Linux i915. Có thể xem các tiến trình đang sử dụng GPU trên kernel 5.19 trở lên.
• NVIDIA: Hỗ trợ thông qua thư viện NVML. Các GPU cũ hơn vi kiến trúc Kepler không hỗ trợ một số truy vấn.
• Adreno: Hỗ trợ GPU Adreno thông qua trình điều khiển Linux msm. Có thể xem các tiến trình đang sử dụng GPU trên kernel 6.0 trở lên.
• Apple: Bao gồm hỗ trợ ban đầu cho Apple sử dụng Metal. Chỉ được hỗ trợ khi build trên Apple.
• Ascend: Hỗ trợ Ascend thông qua API DCMI (phiên bản 6.0.0). Hiện tại DCMI chỉ hỗ trợ API giới hạn.

Build

• Thư viện cần thiết: ncurses (giao diện người dùng), NVIDIA (NVML), AMD (libdrm), Intel (i915), v.v.
• Quy trình build: Sao chép mã nguồn bằng git clone, build bằng cmake, sau đó cài vào hệ thống bằng make install.

Quy trình cài đặt theo từng bản phân phối

• Ubuntu / Debian: Hỗ trợ cài đặt qua snap hoặc apt. Có thể cài phiên bản nvtop mới nhất qua PPA.
• Fedora / Red Hat / CentOS: Hỗ trợ cài đặt qua AppImage hoặc dnf.
• OpenSUSE: Hỗ trợ cài đặt qua zypper.
• Arch Linux: Cài nvtop qua pacman.
• Gentoo: Cài nvtop bằng layman và emerge.
• AppImage: Được cung cấp dưới dạng ứng dụng độc lập. Cấp quyền thực thi rồi chạy.
• Snap: Cài bằng snap install, sau đó cần cấp quyền để điều khiển tiến trình và kiểm tra thông tin GPU.
• Docker: Cần trình điều khiển NVIDIA và nvidia-docker. Chạy bằng docker build và docker run.

Ý kiến của GN⁺

• NVTOP hỗ trợ nhiều nhà cung cấp GPU và là một công cụ mạnh mẽ để giám sát GPU trên các hệ thống Linux.
• Công cụ này mang đến cho quản trị viên hệ thống và nhà phát triển một cách hiệu quả để theo dõi tình trạng sử dụng GPU theo thời gian thực.
• Việc giám sát GPU đặc biệt quan trọng khi thực hiện các tác vụ phụ thuộc nhiều vào GPU như machine learning, phân tích dữ liệu và phát triển game.
• Một dự án mã nguồn mở khác có chức năng tương tự NVTOP là gpustat, và người dùng có thể chọn công cụ phù hợp với nhu cầu của mình.
• Vì là dự án mã nguồn mở, công cụ này có thể liên tục được cải thiện và bổ sung tính năng mới thông qua các đóng góp từ cộng đồng.

[GN⁺]

Ý kiến Hacker News

• Tôi thấy nvtop hay nvidia-smi cung cấp cái nhìn tổng quan khá tốt về tình trạng sử dụng GPU, nhưng không phù hợp để phản ánh tốc độ xử lý thực tế của tác vụ. Nếu bạn quan tâm đến hiệu năng AI, tôi khuyên dùng Nsight Compute CLI để profiling từng kernel riêng lẻ, và dùng Nsight Systems để có góc nhìn vĩ mô. Nếu bạn dùng PyTorch, tôi khuyến nghị sử dụng PyTorch profiler.
• Bày tỏ sự bức xúc về việc apt install không hoạt động. Người này chỉ ra rằng các vấn đề cài đặt liên quan đến NVIDIA xảy ra rất thường xuyên, khiến họ phải tốn rất nhiều thời gian mỗi khi cài lại Linux. Họ phê phán sự rối rắm do nhiều lớp thành phần như driver, CUDA, CUDA toolkit, cuDNN cùng xung đột phiên bản gây ra.
• Giới thiệu Nvitop như một tiện ích khác mà người này ưa thích.
• Nhắc đến nvtop và bottom là các trình giám sát tài nguyên họ ưa dùng trên Linux, đồng thời chia sẻ rằng họ mới biết nvtop không chỉ chạy với thiết bị NVIDIA mà còn hoạt động trên cả thiết bị không phải NVIDIA.
• Người này thích btop, và cho biết ở các phiên bản mới, nó không chỉ theo dõi tiến trình thông thường mà còn giám sát cả GPU.
• Nói rằng họ rất vui khi các tiện ích cho card đồ họa trên Linux đã hỗ trợ đa nền tảng, và đánh giá tích cực việc thoát khỏi cách làm cũ phụ thuộc theo từng driver.
• Giới thiệu gpustat là tiện ích họ yêu thích, giải thích rằng nó cung cấp lượng thông tin tối thiểu nhưng đủ để biết việc huấn luyện đang gặp vấn đề hay đang diễn ra ổn.
• Giới thiệu dự án của chính họ là Zenith, giải thích rằng nó kết hợp giám sát GPU NVIDIA với các chức năng như theo dõi đĩa, CPU và Top.
• Bày tỏ rằng từ khi bắt đầu dùng Home Assistant, họ muốn hợp nhất mọi nguồn dữ liệu. Họ có thể hiển thị dữ liệu theo cách mình muốn, và cho biết đã tìm ra dự án sensors2mqtt nên muốn dùng nó.
• Bày tỏ mong muốn có hỗ trợ cho driver Nouveau.