Torchchat - giúp trò chuyện với LLM ở bất cứ đâu

• Cơ sở mã nhỏ gọn cho phép chạy PyTorch LLM cục bộ (máy chủ, máy tính để bàn, thiết bị di động)
  • Chạy LLM bằng Python trên ứng dụng riêng (C/C++) trên máy tính để bàn hoặc máy chủ, cũng như trên iOS và Android
• Tương tác dòng lệnh với các LLM phổ biến như Llama 3/2, Mistral, v.v.
• Hỗ trợ phần cứng và hệ điều hành phổ biến: Linux(x86), Mac OS(M1/M2/M3), Android(thiết bị hỗ trợ XNNPACK), iOS 17+(iPhone 13 Pro+)
• Nhiều kiểu dữ liệu: float32, float16, bfloat16
• Hỗ trợ nhiều cơ chế lượng tử hóa (Quantization)
• Nhiều chế độ thực thi: Python (Eager, compile) hoặc native (AOT Inductor (AOTI), ExecuTorch)