Extension Chrome chạy AI tạo sinh cục bộ ngay trong trình duyệt

Mô tả dự án

Đây là một dự án extension Chrome của Transformers.js, cho phép chạy các mô hình AI tạo sinh bằng JavaScript.

Có nhiều cách để chạy mô hình AI tạo sinh cục bộ như Ollama, llama.cpp, nhưng quá trình thiết lập khá phiền phức và bất tiện vì phải chuyển màn hình mỗi lần sử dụng. Để giải quyết điều này, dự án được triển khai bằng Transformers.js để có thể chạy trực tiếp trong side panel của extension Chrome.

Một trong những ưu điểm của việc chạy cục bộ là có thể sử dụng trong môi trường mất kết nối Internet, và tôi đã thấy nó đặc biệt hữu ích khi xử lý các tác vụ đơn giản trong những môi trường có kết nối kém như trên máy bay hoặc ở khu cắm trại.

Mô hình được hỗ trợ

Vì sử dụng Transformers.js nên về lý thuyết có thể chạy gần như mọi mô hình trên Hugging Face, nhưng hiện tại chỉ hỗ trợ các mô hình dưới đây.

1. LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
2. Reasoning : DeepSeek R1 (trên MacBook M1, DeepSeek R1 (1.5B) tạo 30 token/giây)
3. Multimodal LLM : Janus
4. Speech to Text : Whisper

Tính năng bổ sung

Tính năng Summarize và Rewrite cũng đã được thêm vào. Khi bôi đen văn bản đang hiển thị trong trình duyệt và nhấp chuột phải để chạy extension, bạn có thể tóm tắt đoạn văn bản đó (Summarize) hoặc chuyển nó thành đầu ra của LLM (Rewrite). Có lẽ xem video demo bên dưới sẽ giúp bạn dễ hình dung hơn (đoạn từ 1 phút 10 giây đến 1 phút 25 giây).

Video demo: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s

Chạy extension

Bạn có thể tự build trực tiếp từ dự án GitHub hoặc tải xuống từ Chrome Web Store.

Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…

[sjssjs1344]

Đã xem.
Có lẽ nên ghi rõ rằng đây không phải Deepseek R1 mà là một mô hình đã được distill. Vì về mặt kỹ thuật, đây là hai mô hình hoàn toàn khác nhau.

[tantara]

Cảm ơn bạn đã góp ý. Có vẻ mô hình 1.5B mà tôi đã thử nghiệm là mô hình đã được chưng cất, nên dùng "Distilled" có lẽ là cách diễn đạt chính xác hơn. Có vẻ tôi không thể sửa bài viết, nên tôi sẽ phản ánh điều này trong lần cập nhật tiếp theo.