Web LLM - Bắt đầu hỗ trợ Llama2 7B/13B

 (webllm.mlc.ai)
26 điểm bởi xguru 2023-08-30 | 7 bình luận | Chia sẻ qua WhatsApp
  • Dịch vụ chạy các LLM như Llama, RedPajama, Vicuna bằng WASM ngay trong trình duyệt mà không cần máy chủ
  • Bắt đầu hỗ trợ Llama 2 7B/13B
  • Cũng hỗ trợ Llama 2 70B, nhưng chỉ có thể dùng trên máy Mac Apple Silicon + RAM từ 64GB trở lên
  • Tăng tốc bằng WebGPU

Bài viết liên quan

7 bình luận

 
freejack 2023-08-31
  • Vì tò mò nên mình đã thử trên một chiếc PC cấu hình thấp, dù không rành AI lắm - model đầu tiên trong Chat Demo (cấu hình PC: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
  • Ở câu hỏi đầu tiên, máy tải về khoảng 4 GB và khởi tạo; theo môi trường PC của mình thì mất khoảng 11 phút.
  • Với mỗi câu hỏi, GPU được sử dụng trung bình hơn 60%, và nó trả lời như đang gõ từng chút một rất chậm. (Bực thật sự --)
  • Thử nghiệm, mình hỏi "show me the earth picture", thì nó có trả về URL của NASA, nhưng không xem được hình ảnh. (Invalid URL)
  • Nó vẫn nhận ra câu hỏi bằng tiếng Hàn, nhưng chỉ trả lời bằng tiếng Anh
 
cosine20 2023-09-06

Vì là 750Ti nên....
 
laeyoung 2023-08-31

Việc xuất ra dưới dạng url output thì ngay cả trên ChatGPT cũng thường hay bị lỗi vỡ định dạng. Chắc là vậy.
 
kuroneko 2023-08-30

Tôi đã thấy việc chạy Stable Diffiusion trên web thật sự rất kỳ diệu,
liệu WebGPU có thể thực hiện được cuộc đại thống nhất các GPU API hay không?
 
2023-08-30
[Bình luận này đã bị ẩn.]
 
ragingwind 2023-08-30

Thật đáng kinh ngạc.