MLC LLM - Giải pháp mã nguồn mở giúp triển khai mô hình LLM lên bất kỳ thiết bị nào

• Mục tiêu là giúp mọi người có thể phát triển và tối ưu hóa mô hình AI để triển khai trên bất kỳ thiết bị nào
• Sử dụng MLC (Machine Learning Compilation) và Apache TVM Unity
• Nền tảng được hỗ trợ
  • iPhone/iPad/Android
  • GPU Metal và MacBook Intel & ARM
  • GPU AMD/Intel và NVidia (Vulkan trên Windows/Linux)
  • GPU NVidia (CUDA trên Windows/Linux)
  • WebGPU trên trình duyệt

[carnoxen]

Nền tảng đa nền tảng đúng là đang rất được ưa chuộng theo nhiều khía cạnh.