talk-llama - Trò chuyện với LLaMA trong terminal

 (github.com/ggerganov)
10 điểm bởi xguru 2023-11-11 | 1 bình luận | Chia sẻ qua WhatsApp
  • Trình diễn Whisper Medium (Whisper.cpp) + LLaMA v2 13B Q8_0 trên M2 Ultra
  • Nhận dạng giọng nói bằng Whisper, gửi câu hỏi đó tới LLaMA, rồi xuất câu trả lời bằng tổng hợp giọng nói của MacOS thông qua lệnh say
  • Hỗ trợ quản lý phiên, cho phép hội thoại liên tục dựa trên nội dung trò chuyện trước đó

Bài viết liên quan

1 bình luận

 
ragingwind 2023-11-13

Có vẻ bản 13B chạy tốt trên Ultra. Mình cũng tò mò không biết trên M3 Max sẽ thế nào.