build.nvidia.com của NVIDIA cho phép dùng miễn phí nhiều mô hình mở thông qua API tương thích OpenAI. Nhưng việc phải vào web playground mỗi lần khá bất tiện, nên tôi đã tự làm một ứng dụng khách Windows có thể dùng như Claude hay ứng dụng desktop ChatGPT.
Tính năng
- Tải danh sách mô hình khả dụng qua API để tìm kiếm và chọn (hơn 100 mẫu)
- Streaming theo thời gian thực. Không chỉ sau khi phản hồi kết thúc mà ngay cả trong lúc đang stream cũng render Markdown
(bao gồm bảng, code block có tô sáng cú pháp) - Hiển thị quá trình suy luận (reasoning) (các mô hình xuất
reasoning_content/<think>như deepseek-r1)
Những gì cần để sử dụng / điều cần biết
- Cần khóa API miễn phí build.nvidia.com (
nvapi-...). Sau khi đăng nhập bằng tài khoản NVIDIA, có thể lấy khóa qua 'Get API Key' ở trang của bất kỳ mô hình nào rồi nhập vào phần cài đặt. (Bản thân ứng dụng không yêu cầu đăng ký riêng) - Gói miễn phí có giới hạn số lượng yêu cầu từ phía NVIDIA.
- Do không có code signing nên khi chạy lần đầu sẽ hiện cảnh báo Windows SmartScreen. Chọn Thông tin khác → Chạy.
- Chỉ hỗ trợ Windows x64.
Miễn phí, giấy phép MIT. Mã nguồn và tải file exe: https://github.com/akon47/NvChat
Chưa có bình luận nào.