Những nhân viên Google tạo ra Transformer

8 nhân viên Google đã phát minh ra AI hiện đại: câu chuyện nội bộ

• Bài báo khoa học có tên "Attention Is All You Need", được viết vào mùa xuân năm 2017, có 8 tác giả.
• Họ đều là các nhà nghiên cứu của Google, và Noam Shazeer, người đóng góp giàu kinh nghiệm nhất, đã ngạc nhiên khi thấy tên mình được liệt kê đầu tiên.
• Các tác giả đã quyết định "phá bỏ" thông lệ xếp hạng mức độ đóng góp, đặt dấu sao cạnh mọi cái tên và thêm chú thích rằng "thứ tự liệt kê là ngẫu nhiên".

Khởi đầu của cuộc chuyển mình

• Bài báo này đã thúc đẩy công nghệ mạng nơ-ron trong lĩnh vực AI, biến nó thành các hệ thống số mạnh mẽ đến mức mang lại cảm giác như sản phẩm của trí tuệ ngoài hành tinh.
• Kiến trúc này được dùng như thành phần bí mật cho các sản phẩm trí tuệ nhân tạo như ChatGPT, Dall-E và Midjourney.
• Bài báo này đã gần tròn 7 năm kể từ khi công bố và đã đạt vị thế huyền thoại.

Kiến trúc của cuộc chuyển mình: Transformer

• Câu chuyện về Transformer bắt đầu từ tác giả thứ tư, Jakob Uszkoreit.
• Uszkoreit đã nghĩ ra một cách tiếp cận mới dựa trên ý tưởng của mình là self-attention.
• Mạng này có thể tham chiếu đến bất kỳ phần nào của câu để dịch từ, điều này giúp hệ thống tạo ra bản dịch tốt.

Hợp tác và đổi mới

• Uszkoreit cho rằng mô hình self-attention có thể nhanh hơn và hiệu quả hơn mạng nơ-ron hồi quy.
• Ý tưởng này được phát triển thông qua hợp tác với các nhà nghiên cứu khác như Illia Polosukhin và Ashish Vaswani.
• Họ đã viết một tài liệu thiết kế có tên "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Xuất bản bài báo và tác động

• Nhóm nghiên cứu đã dùng mô hình Transformer để thực hiện dịch ngôn ngữ và đo hiệu năng bằng benchmark BLEU.
• Mô hình mới của họ đã vượt qua các đối thủ cạnh tranh, và mô hình lớn hơn là Big đã đạt điểm BLEU phá vỡ kỷ lục trước đó.
• Bài báo được nộp ngay sát hạn chót, và Google đã nhanh chóng nộp đơn xin cấp bằng sáng chế tạm thời cho công trình này.

Phản ứng và thay đổi tại Google

• Bên trong Google, công trình này chỉ được xem như một dự án AI thú vị khác, và Google bắt đầu tích hợp Transformer vào sản phẩm từ năm 2018.
• Tuy nhiên, những thay đổi này trông có phần dè dặt nếu so với bước nhảy vọt mang tính cấp tiến của OpenAI và việc Microsoft mạnh dạn tích hợp các hệ thống dựa trên Transformer vào dòng sản phẩm của mình.

Những tác giả đã rời Google

• Tất cả các tác giả đều đã rời Google và đang làm việc theo nhiều hướng khác nhau dựa trên hệ thống mà họ tạo ra.
• Nhiều người trong số họ đã rời Google để chuyển sang các startup AI mới.

Ý kiến của GN⁺

• Bài viết này mang đến góc nhìn sâu sắc thú vị về sự phát triển của công nghệ AI bằng cách giải thích chi tiết quá trình ra đời và phát triển của mô hình Transformer, vốn giữ vai trò quan trọng trong lĩnh vực này.
• Mô hình Transformer hiện là công nghệ cốt lõi của xử lý ngôn ngữ bằng trí tuệ nhân tạo và là phát minh quan trọng làm nền tảng cho các AI hội thoại như ChatGPT.
• Bài viết cho thấy môi trường nghiên cứu đổi mới bên trong Google đã tạo điều kiện như thế nào cho một đột phá công nghệ lớn.
• Tuy nhiên, việc Google có phần bảo thủ trong khai thác thương mại công nghệ này mang lại bài học quan trọng về tốc độ đổi mới và chiến lược của doanh nghiệp.
• Các doanh nghiệp hoặc nhà phát triển áp dụng công nghệ này cần cân nhắc độ phức tạp và yêu cầu tài nguyên của mô hình Transformer, dù lợi ích có thể đạt được là rất lớn.

[GN⁺]

Ý kiến trên Hacker News

• Thảo luận về mô hình attention:

  • Cơ chế attention không phải là điều mới, nhưng đã có nghiên cứu cho thấy nó đủ để dự đoán chuỗi từ tiếp theo trong một ngữ cảnh cụ thể.
  • Khi sử dụng khuôn khổ này vào năm 2018, nó đã thể hiện những hành vi không ngờ tới, nhưng đó là một trải nghiệm thú vị.
  • Các nhóm khác cũng phát hiện ra rằng việc tính toán một thuật toán đơn giản ở quy mô lớn mang lại kết quả tốt hơn.
  • Việc tuyên bố chỉ một nhóm duy nhất đã khám phá và thay đổi AI là điều gây khó chịu.
  • Các nhà nghiên cứu xứng đáng được khen ngợi, nhưng họ không phải là người phát minh ra AI hiện đại; họ đã phát triển nó theo những cách thú vị.
  • Hiện nay có xu hướng muốn quay lại các cách tiếp cận mang tính quyết định hơn: world model, memory, graph, tối thiểu hóa năng lượng, v.v.
  • Các mô hình sinh rất thú vị và đã mang lại nhiều bài học, nhưng vẫn chưa chắc chỉ cần bổ sung thêm chip là có thể giải quyết AGI/SGI.

• Hồi tưởng về thời kỳ đỉnh cao của Google:

  • Khi thảo luận về vai trò của Uszkoreit và nhóm NLP trong thời kỳ đỉnh cao của Google năm 2014, có người hỏi nếu có ngân sách không giới hạn thì ông sẽ làm gì, và ông trả lời: "Tôi có ngân sách như vậy rồi".

• Cuộc trò chuyện về lịch sử AI:

  • Một cuộc trò chuyện với Geoffrey Hinton và Fei-Fei Li đề cập đến lịch sử AI, định hướng nghiên cứu của Hinton và nỗ lực của Li với ImageNet.

• So sánh Google và OpenAI:

  • Điều đáng ngạc nhiên là Google lại không trở thành OpenAI, vì từ sớm Google đã có DeepMind và rất nhiều người có bằng tiến sĩ.

• Nhắc đến sự hợp tác giữa các nhân viên Google:

  • Nhấn mạnh rằng tất cả các tác giả đều là nhân viên Google và làm việc trong cùng một văn phòng, qua đó gợi ý rằng hợp tác trực tiếp là công nghệ tốt nhất cho đổi mới.

• Chỉ trích chiến lược AI của Google:

  • Không ai trong số các tác giả hiện còn làm việc tại Google, và điều đó khiến người ta thắc mắc CEO của Google đã xử lý AI tệ đến mức nào.

• Tài liệu lịch sử AI nội bộ của Google:

  • Nhân viên Google có thể xem những thời khắc quan trọng trong lịch sử AI được lưu trên mạng nội bộ của Google, chẳng hạn như bản triển khai transformer đầu tiên và nhận xét của reviewer.

• Chú ý đến sự đa dạng của các tác giả:

  • Trong số 8 tác giả, có 6 người sinh ra ngoài nước Mỹ; hai người còn lại lần lượt là con của một người Đức có thẻ xanh sống tạm thời ở California và một người Mỹ thế hệ đầu tiên đến từ gia đình chạy trốn khỏi sự đàn áp.

• Ủng hộ các bộ phận R&D:

  • Ủng hộ việc hỗ trợ các bộ phận R&D không bị đánh thuế, với hy vọng rằng những ý tưởng có thể chỉ xuất hiện một lần mỗi thập kỷ sẽ có thể thúc đẩy cả nền kinh tế.
  • Những điều kỳ diệu của điện toán hiện đại là kết quả của việc mở rộng R&D được thực hiện mà không gây tác động tức thời đến lợi nhuận của chính công ty.