NLLB (No Language Left Behind: để có thể giao tiếp bằng mọi ngôn ngữ)

• Dự án AI mang tính đột phá của Facebook, được mô tả là 'mang hình thức đổi mới hoàn toàn khác trước'
• Mô hình mã nguồn mở có thể ngay lập tức cung cấp bản dịch chất lượng cao đã được đánh giá giữa 200 ngôn ngữ, bao gồm các ngôn ngữ ít tài nguyên như Asturian, Luganda và Urdu
• NLLB hướng tới việc mang lại cơ hội để bất kỳ ai cũng có thể truy cập và chia sẻ nội dung web bằng tiếng mẹ đẻ của mình, đồng thời giao tiếp với mọi người trên toàn thế giới bất kể ngôn ngữ ưa dùng của mỗi người là gì
• Ứng dụng thực tế
  • Áp dụng công nghệ AI vào Facebook và Instagram để dịch các ngôn ngữ ít tài nguyên
  • Cung cấp Wikipedia bằng mọi ngôn ngữ
• Chương trình demo dịch AI: 'Stories Told Through Translation'
  • Trong vài tháng tới, phạm vi dịch sẽ được mở rộng lên hơn một trăm ngôn ngữ
  • Nhờ đó, NLLB-200 sẽ trở thành mô hình AI đầu tiên có thể dịch văn học ở quy mô lớn
• Công nghệ: mô hình NLLB mã nguồn mở làm thế nào để dịch trực tiếp 200 ngôn ngữ?
  • 1. Xây dựng bộ dữ liệu tự động: thu thập dữ liệu huấn luyện gồm các câu ở ngôn ngữ đầu vào và ngôn ngữ đầu ra mong muốn
  • 2. Huấn luyện: sau khi tạo dữ liệu huấn luyện đã được điều chỉnh để phù hợp với hàng nghìn chỉ dẫn huấn luyện, dữ liệu này được đưa vào pipeline huấn luyện mô hình của Meta
    • Encoder chuyển đổi sang biểu diễn vector nội bộ và decoder nhận biểu diễn vector nội bộ để tạo chính xác câu đầu ra
  • 3. Đánh giá: đánh giá mô hình này dựa trên việc dịch một tập câu do con người dịch để xác nhận chất lượng bản dịch có đạt yêu cầu hay không
    • Sử dụng danh sách ngôn ngữ độc hại được tạo cho tất cả các ngôn ngữ được hỗ trợ để phát hiện và lọc từ ngữ tục tĩu cùng các nội dung phản cảm khác
    • Kết quả là một mô hình được huấn luyện tốt có thể dịch trực tiếp một ngôn ngữ sang ngôn ngữ khác đã ra đời