Show HN: Ra mắt Pi-C.A.R.D, trợ lý giọng nói Raspberry Pi

(github.com/nkasmanoff)

4 điểm bởi GN⁺ 2024-05-14 | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

Pi-C.A.R.D

Pi-card là trợ lý giọng nói dựa trên AI chạy hoàn toàn trên Raspberry Pi.
Có thể thực hiện mọi việc mà một LLM tiêu chuẩn như ChatGPT có thể làm trong bối cảnh hội thoại thông thường.
Nếu được gắn camera, bạn có thể yêu cầu Pi-card chụp ảnh, mô tả những gì nó nhìn thấy và đặt câu hỏi về hình ảnh đó.

Đây là viết tắt của Raspberry Pi - C amera A udio R ecognition D evice.
Có lời mời gửi issue hoặc pull request nếu bạn nghĩ ra được một từ viết tắt hay hơn.

Pi-card chạy hoàn toàn trên Raspberry Pi.
Khi chương trình chính chạy, hệ thống sẽ bắt đầu lắng nghe từ đánh thức.
Khi bạn nói từ đánh thức, cuộc trò chuyện sẽ bắt đầu và trong suốt cuộc trò chuyện, bạn không cần lặp lại từ đánh thức liên tục.
Hệ thống sẽ tiếp tục lắng nghe lệnh cho đến khi bạn nói những câu như "dừng", "thoát", hoặc "tạm biệt".
Trong lúc trò chuyện, hệ thống duy trì bộ nhớ để có thể nhắc lại hoặc giải thích chi tiết hơn về các chủ đề trước đó.
Hệ thống được thiết kế để hoạt động hoàn toàn cục bộ, nhưng cũng có thể kết nối API hoặc dịch vụ bên ngoài để cải thiện hội thoại hoặc điều khiển thiết bị ngoại vi.
Ví dụ, nếu bạn nói "chụp ảnh" hoặc "bạn thấy gì", camera sẽ được kích hoạt.

Hệ thống này được thiết kế như một dự án thú vị và là một trợ lý AI hữu ích ở mức nhất định.
Vì mọi tác vụ đều diễn ra cục bộ nên nó không nhanh hoặc mạnh bằng các hệ thống dựa trên đám mây.
Tuy vậy, vẫn còn nhiều dư địa để cải thiện.

Mục tiêu là tạo ra một trợ lý giọng nói hoạt động hoàn toàn ngoại tuyến và không cần kết nối Internet.
Điều này nhằm bảo vệ quyền riêng tư của người dùng và đảm bảo dữ liệu của họ không bị gửi đến máy chủ bên thứ ba.

Sau khi tải kho lưu trữ, cài đặt các yêu cầu cần thiết và làm theo các hướng dẫn cấu hình khác, bạn có thể chạy chương trình chính bằng lệnh sau:
```
python assistant.py
```
Khi chương trình chạy, bạn có thể nói từ đánh thức để bắt đầu trò chuyện với trợ lý.
Từ đánh thức mặc định là "hey assistant", nhưng có thể thay đổi trong tệp config.py.

Để giữ hệ thống nhanh và gọn nhất có thể, dự án sử dụng các bản triển khai cpp cho chuyển giọng nói thành văn bản và mô hình ngôn ngữ thị giác.
Phần chuyển giọng nói thành văn bản dùng thư viện whipser.cpp, còn mô hình ngôn ngữ thị giác dùng thư viện llama.cpp.
Bạn cần clone từng kho lưu trữ vào vị trí mong muốn và thêm đường dẫn vào tệp config.py.
Sau khi clone, hãy chuyển vào từng kho lưu trữ và làm theo hướng dẫn cấu hình để chạy mô hình.

Pi-card là một dự án thú vị tận dụng Raspberry Pi, cho phép khám phá nhiều khả năng khác nhau thông qua sự kết hợp giữa AI và phần cứng.
Vì hoạt động hoàn toàn ngoại tuyến nên đây là một lợi thế lớn về mặt bảo vệ quyền riêng tư.
Dù hiệu năng có thể kém hơn các hệ thống dựa trên đám mây, việc chạy cục bộ giúp tăng cường bảo mật dữ liệu.
Những dự án khác cung cấp chức năng tương tự bao gồm Mycroft AI và Jasper.
Khi áp dụng công nghệ này, cần chuẩn bị kỹ trước vì việc thiết lập phần cứng và phần mềm có thể hơi phức tạp.