IPEX-LLM - Thư viện PyTorch để chạy LLM trên CPU/GPU Intel

• Dựa trên Intel Extension for PyTorch (IPEX)
• Đã tối ưu hóa/xác thực cho hơn 50 mô hình (LLaMA2, Mistral, Gemma, LLaVa, Whisper, v.v.)
• Chạy với độ trễ thấp trên iGPU cục bộ hoặc các GPU phân tán như Arc/Flex/Max
• Tích hợp tốt với llama.cpp, HuggingFace, LangChain, LlamaIndex, v.v.