Tự làm trình dịch thời gian thực để giao tiếp với người nước ngoài: Puripuly Heart

Tóm tắt nhanh
Q: Vậy hiệu năng có đủ để trò chuyện tự nhiên với người nước ngoài không?
A: Có. Hãy xem video demo trong repo GitHub. (Hoặc ở trang Pairy bên dưới)

Xin chào.

Đây là một dự án bắt đầu từ mong muốn
được trò chuyện sâu sắc hơn với một người bạn nước ngoài gặp trong thực tế ảo.

Khẩu hiệu của dự án là dịch thời gian thực mà ai cũng có thể dùng thoải mái.
Vì vậy, tôi đã cân nhắc rất nhiều để đạt hiệu năng tối đa
trong khi vẫn giữ được sự cân bằng ở ba hạng mục dưới đây.

---

• Chất lượng dịch => tỷ lệ dịch sai bằng 1/6 so với DeepL
• Độ trễ => dưới 2 giây
• Khả năng tiếp cận và chi phí => mã nguồn mở / 0,1 won ~ 0,5 won cho mỗi lượt phát ngôn
  (theo tiêu chuẩn Gemma 4 26B A4B)

---

Dữ liệu được xử lý theo luồng giọng nói => ASR => LLM => bản dịch,
và hỗ trợ dịch hai chiều, tức là dịch cả lời của bạn lẫn lời của đối phương.

Video trong repo GitHub là video sử dụng thực tế.
Nền tảng trong video là VRChat.

Trong giai đoạn chuyển tiếp ban đầu này,
khi chúng ta vẫn chưa cần phải nghi ngờ liệu ai đó phía bên kia màn hình có phải là người thật hay không,
tôi hy vọng chương trình này có thể giúp mọi người kết nối với nhau
vượt qua cả rào cản ngôn ngữ.