Web LLM - Tăng tốc và chạy LLM trong trình duyệt bằng WebGPU
(github.com/mlc-ai)- Chạy các LLM như LLaMA, Vicuna trong trình duyệt mà không cần máy chủ, sử dụng WASM
- Tăng tốc bằng WebGPU, đồng thời cũng hỗ trợ các backend GPU do Apache TVM hỗ trợ riêng như CUDA, OpenCL, Vulkan
- Sử dụng công nghệ MLC (Machine Learning Compilation)
Chưa có bình luận nào.