Speakz - Công cụ lồng tiếng AI được tạo ra để xem video ngoại ngữ cùng con gái 7 tuổi

Speakz: Dịch vụ dịch media đa ngôn ngữ

• Dịch video từ một ngôn ngữ sang ngôn ngữ khác để tạo ra track âm thanh mới
• Cung cấp bản dịch tự nhiên và chân thực bằng cách hài hòa ý nghĩa, cá tính và nhịp thời gian, đồng thời giữ lại giọng nói gốc, các âm thanh khác hoặc nhạc nền
• Nhà phát triển, là một người Đức, đã tạo ra công cụ này để bản thân và con gái 7 tuổi có thể thưởng thức nội dung YouTube bằng tiếng Đức

Ngôn ngữ được hỗ trợ và tốc độ dịch

• Ngôn ngữ đầu ra: hỗ trợ tiếng Anh, tiếng Trung, tiếng Tây Ban Nha, tiếng Ả Rập, tiếng Pháp, tiếng Nga, tiếng Đức, tiếng Ý, tiếng Hàn, tiếng Ba Lan và tiếng Hà Lan
• Ngôn ngữ đầu vào: ngoài ra còn hỗ trợ nhiều ngôn ngữ như tiếng Hindi, tiếng Bengali, tiếng Bồ Đào Nha
• Mất khoảng 1 giờ để dịch một video dài 30 phút, và có tiềm năng phát triển theo hướng dịch thời gian thực và streaming

Cách dùng cho nhà sáng tạo và người dùng phổ thông

• Nhà sáng tạo có thể dùng Speakz để tiếp cận nhiều khán giả hơn với nội dung hiện có
• YouTube hỗ trợ thêm nhiều track âm thanh vào video, vì vậy có thể dùng Speakz để tự động thêm các track âm thanh bằng nhiều ngôn ngữ khác nhau
• Người dùng phổ thông cũng có thể tham gia private beta để dịch những video mình muốn

Chi phí và tham gia private beta

• Chi phí vẫn chưa được chốt, nhưng được dự đoán sẽ vào khoảng 5 USD mỗi giờ cho mỗi ngôn ngữ
• Có thể có ưu đãi khi dịch cùng một video sang nhiều ngôn ngữ hoặc giảm giá số lượng lớn cho nhà sáng tạo
• Người dùng muốn tham gia private beta có thể đăng ký qua website

Ý kiến của GN⁺

• Speakz là công cụ hữu ích cho cả người dùng muốn tiêu thụ nội dung đa ngôn ngữ lẫn các nhà sáng tạo nhắm tới thị trường toàn cầu
• Tính năng dịch thời gian thực có tiềm năng phá bỏ rào cản ngôn ngữ trong livestream hoặc các sự kiện thời gian thực
• Các dịch vụ khác cung cấp tính năng tương tự gồm có tính năng phụ đề tự động của Google hoặc các nền tảng dịch thuật dựa vào cộng đồng như Amara
• Khi áp dụng Speakz, cần cân nhắc độ chính xác của bản dịch và sắc thái văn hóa
• Lợi ích có thể đạt được khi chọn công nghệ này là khả năng tiếp cận nội dung không rào cản ngôn ngữ, nhưng vẫn cần cân nhắc về chi phí và chất lượng dịch

[GN⁺]

Ý kiến trên Hacker News

• Có ý kiến cho rằng ở Đức, phần lớn video đều được lồng tiếng, nhưng một đứa trẻ 7 tuổi cũng có thể đọc phụ đề, và đây là một cách tốt để học tiếng Anh. Ở Thụy Điển, phần lớn trẻ em học tiếng Anh theo cách này trước khi vào trường. Ngoài ra, có người đưa ra lập luận rằng tồn tại mối tương quan mạnh: quốc gia càng phổ biến lồng tiếng thì năng lực tiếng Anh trung bình càng có xu hướng thấp hơn.
  • Mẫu trên website rất ấn tượng, và có câu hỏi về cách hệ thống thực hiện việc phân biệt người nói và sao chép giọng nói. Người này suy đoán quy trình có thể bao gồm: dùng nhận dạng giọng nói và mốc thời gian để chia theo từng câu, dùng công cụ dịch để tạo nhiều phương án dịch, sao chép giọng gốc bất kể ngôn ngữ, rồi chọn bản dịch khớp thời lượng tốt nhất.
• Có yêu cầu thêm tùy chọn ngôn ngữ đầu ra là tiếng Anh đơn giản. Nhờ đó có thể điều chỉnh độ phức tạp ngôn ngữ cho phù hợp với trình độ của trẻ và dần giảm mức hỗ trợ.
• Một người dùng tiếng Nga khen phần lồng tiếng trong mẫu Lex rất giống thật. Dù chưa đến mức lồng tiếng chuyên nghiệp, chất lượng vẫn rất tốt và giọng cũng rất gần với Lex và Elon.
• Một người từng phát triển giải pháp tạo phụ đề tự động khen dự án lồng tiếng tự động này. Người đó giải thích rằng lồng tiếng tự động vẫn cần chỉnh tay để đem lại kết quả dễ chịu cho khán giả, và họ đang tập trung vào việc cung cấp một trình biên tập nâng cao cho phép tinh chỉnh phần lồng tiếng mà không cần quay lại phần mềm dựng.
• Có ý kiến bày tỏ sự ngưỡng mộ đối với dự án và sẵn sàng trả tiền cho từng video riêng lẻ. Về phản hồi trang, người này chỉ ra vấn đề video cứ tiếp tục phát nên khó so sánh cùng một đoạn ở các ngôn ngữ khác nhau. Ngoài ra, họ cũng nhắc đến lỗi dịch và vấn đề căn thời gian, cũng như trường hợp một phần âm thanh gốc không được dịch.
• Có ý kiến cho rằng tuy trước giờ chỉ thấy lồng tiếng tiếng Hà Lan trên TV thiếu nhi, nhưng mô hình tiếng Hà Lan vẫn cần được cải thiện. Đặc biệt, phần lồng tiếng cho phim tài liệu Đài Loan rất khó hiểu. Người này cũng đặt câu hỏi vì sao lại có tiếng Hà Lan, và nhắc rằng phần lớn người dùng tiếng Hà Lan đều hiểu tiếng Anh.
• Có người chỉ ra rằng ở nhiều quốc gia như Hy Lạp, nơi phim và chương trình TV không được lồng tiếng, những người khiếm thị hoặc gặp vấn đề thị lực do tuổi tác nếu không giỏi tiếng Anh thì gần như chỉ có thể xem phim và chương trình do địa phương sản xuất. Dự án này được đánh giá là có thể giải quyết vấn đề đó.
• Có lời khen rằng cách xử lý căn thời gian âm thanh rất thông minh, đồng thời có câu hỏi về việc dự án đang dùng mô hình nào.
• Có ý kiến cho biết từng tự hỏi liệu phụ đề tiếng Anh khi xem nội dung tiếng Đức có phải do AI tạo ra hay không. Đôi khi phụ đề còn gây rối hơn cả tiếng Đức, và trông giống nội dung được tạo tự động hơn là do một biên dịch viên thật sự sử dụng các manh mối ngữ cảnh để dịch.