MiniLLM - Chạy LLM trên GPU cá nhân

• Hệ thống tối giản để chạy các LLM mới nhất trên GPU Nvidia dành cho người tiêu dùng
• Hỗ trợ nhiều LLM (LLAMA, BLOOM, OPT) với quy mô lên tới 170B
• Hỗ trợ nhiều loại GPU Nvidia khác nhau
• Mã nguồn nhỏ gọn, dễ sử dụng, viết bằng Python
• Bên trong sử dụng thuật toán GPTQ để nén 3-bit nhằm giảm thiểu mức sử dụng bộ nhớ GPU