LibreCuda - Chạy mã CUDA trên GPU Nvidia mà không cần runtime độc quyền

 (github.com/mikex86)
9 điểm bởi GN⁺ 2024-08-09 | 1 bình luận | Chia sẻ qua WhatsApp
  • Một dự án hướng tới việc thay thế CUDA Driver API, cho phép chạy mã CUDA trên GPU Nvidia mà không phụ thuộc vào runtime CUDA độc quyền
  • Giao tiếp trực tiếp với phần cứng thông qua ioctls (đặc biệt là phần mà module kernel GPU mã nguồn mở của Nvidia gọi là rmapi) và QMD, cấu trúc hàng đợi lệnh MMIO của Nvidia
  • Có thể tải các tệp nhị phân CUDA ELF lên GPU và thực thi chúng thông qua hàng đợi lệnh
  • Các tính năng hiện tại
    • Cấp phát và giải phóng bộ nhớ GPU, đồng thời ánh xạ bộ nhớ để CPU có thể truy cập
    • Có thể tải tệp nhị phân CUDA ELF lên GPU
    • Chạy kernel CUDA thông qua hàng đợi lệnh
  • Giấy phép MIT

Tóm tắt của GN⁺

  • LibreCUDA là một dự án cho phép chạy mã CUDA trên GPU Nvidia mà không cần runtime CUDA độc quyền
  • Hiện tại mới chỉ triển khai các chức năng cơ bản và chưa sẵn sàng cho sử dụng thực tế
  • Một dự án có chức năng tương tự là ROCm, cung cấp khả năng tương tự CUDA trên GPU AMD

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-08-09
Ý kiến trên Hacker News

  • Mục tiêu của CUDA mở là cho phép chạy trên các GPU khác, không phải GPU của NVIDIA

    • Nếu vẫn phải mua GPU của NVIDIA thì điều đó không còn nhiều ý nghĩa
    • Nếu có cạnh tranh thực sự, chúng ta sẽ có thể dễ dàng mua thiết bị có nhiều VRAM hơn
    • Một ngày nào đó có thể chạy Llama 405b cục bộ

  • Tôi có kinh nghiệm hạn chế với CUDA, nhưng tự hỏi liệu điều này có giúp giải quyết các vấn đề về phiên bản phụ thuộc CUDA/CUDNN khi chạy nhiều thư viện ML khác nhau (ví dụ: TensorFlow, ONNX) hay không

  • Rất tuyệt

    • Đây là tất cả những gì tôi muốn từ CUDA runtime
    • Có thể sẽ chạy được các bài kiểm thử đơn vị của LLVM libc
    • Điều này có thể biện minh cho các thư viện AMD sử dụng cùng cách tiếp cận gọi hệ thống trực tiếp

  • Với các dự án phụ thuộc vào CUDA, bước đầu tiên để giành được tự do nền tảng nên là chuyển từ LibreCUDA sang HiP

  • Tôi thắc mắc tệp CUDA ELF là gì

    • Tò mò không biết đó có phải là mã SASS nhị phân hay không, và liệu có cần một giải pháp thay thế PTXAS mã nguồn mở hay không

  • Với người mới dùng CUDA, tôi tự hỏi điều này giải quyết vấn đề gì

  • Có vẻ họ đã bỏ lỡ cơ hội đặt tên là CUDA Libre

  • Tôi thắc mắc liệu vẫn phải chạy trình điều khiển đồ họa NVIDIA độc quyền hay không, hay nó hoàn toàn không liên quan

  • Các tác giả có lẽ nên bắt đầu nghĩ đến thông báo vi phạm thương hiệu

  • Sau khi ZLUDA bị dừng theo yêu cầu của AMD, cần một thứ thay thế ZLUDA như một cách phổ biến để phá bỏ sự phụ thuộc vào CUDA

    • Cần một giải pháp không bị trói buộc vào phần cứng NVIDIA