Jan - Framework đa nền tảng cho giải pháp thay thế ChatGPT mã nguồn mở
(github.com/janhq)- 100% cục bộ, chạy trên mọi phần cứng: từ GPU NVidia, Apple Silicon đến cụm đa GPU
- Mục tiêu cuối cùng là hỗ trợ để bất kỳ ai cũng có thể dễ dàng tích hợp AI
- Jan Framework, Jan Desktop Client + Server, Nitro
- Nitro: động cơ suy luận hiệu suất cao được viết bằng C++ (3MB)
- Llama.cpp + TensorRT + Whisper.cpp + StableDiffusion
1 bình luận
Không biết hiệu năng tiếng Hàn thế nào nhỉ.