Noam Shazeer gia nhập OpenAI

 (twitter.com/NoamShazeer)
1 điểm bởi GN⁺ 7 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Noam Shazeer, nhân vật chủ chốt tạo ra kiến trúc Transformer và từng là đồng lãnh đạo Gemini tại Google, đã thông báo gia nhập OpenAI
  • Ông là một nhân viên kỳ cựu gia nhập Google từ năm 2000, từng đóng góp vào việc cải thiện sửa lỗi chính tả trong tìm kiếm và xây dựng thuật toán cốt lõi của AdSense
  • Là đồng tác giả bài báo "Attention Is All You Need" năm 2017, ông đã tạo ra kiến trúc Transformer làm nền tảng cho gần như mọi LLM hiện đại
  • Ông cũng là người đóng góp quan trọng cho LaMDA và Meena
    • Meena — chatbot hội thoại miền mở được Google công bố năm 2020, là một dự án nghiên cứu hướng tới các cuộc trò chuyện tự nhiên và phù hợp ngữ cảnh hơn thông qua mô hình quy mô 2,6 tỷ tham số
    • LaMDA (Language Model for Dialogue Applications) — mô hình ngôn ngữ lớn chuyên cho hội thoại được công bố năm 2021 như phiên bản kế nhiệm của Meena, nhắm tới việc tạo ra các cuộc hội thoại nhiều lượt tự nhiên về chủ đề tự do, và sau đó trở thành nền tảng công nghệ ban đầu cho chatbot của Google và Bard
  • Năm 2021, ông rời Google để đồng sáng lập Character.AI, nhưng đến năm 2024 đã trở lại khi công ty được Google mua lại với quy mô khoảng 4 nghìn tỷ won ($2.7B), đảm nhiệm vị trí VP Eng và đồng lãnh đạo Gemini

Bài viết liên quan

1 bình luận

 
GN⁺ 7 giờ trước
Ý kiến trên Hacker News

  • Dành cho ai quan tâm, Wired đã đăng một bài cách đây 2 năm nói về hậu trường của bài báo Attention Is All You Need: https://www.wired.com/story/eight-google-employees-invented-...
    Bài này cung cấp bối cảnh để hiểu đóng góp của từng tác giả. Bài báo mô tả Shazeer rằng việc ông tham gia là mang tính quyết định, và những cơ chế vừa mang tính lý thuyết vừa trực quan như self-attention thường chỉ thực sự sống được khi được một số ít “phù thủy” giàu kinh nghiệm triển khai cực kỳ cẩn thận. Shazeer đã tự viết lại một phiên bản mã của nhóm Transformer theo cách của riêng mình, nói rằng ông “lấy ý tưởng cơ bản rồi tự tay làm”, thỉnh thoảng có hỏi Kaiser vài câu nhưng phần lớn là cứ làm một thời gian rồi quay lại và nói “nhìn này, nó chạy rồi”. Nội dung bài viết cho thấy ông đã kéo hệ thống lên một nấc theo cách mà các thành viên sau này mô tả là “ma thuật”, “giả kim”, và “phụ kiện”

    • Những cách diễn đạt như “ma thuật”, “giả kim”, “phụ kiện” nghe giống kiểu những người đã được huấn luyện khá nhiều để thổi phồng, đóng gói cho công chúng phi kỹ thuật mà không có nội dung thực chất

  • Noam Shazeer là một trong các đồng tác giả của bài báo mang tính cột mốc “Attention Is All You Need”, bài báo đã giới thiệu kiến trúc Transformer

    • Cách nói này còn đánh giá thấp tầm quan trọng của ông ấy. Thứ tự tác giả là ngẫu nhiên, nhưng tôi nghĩ ý tưởng cốt lõi thực sự là của ông ấy. Cũng tò mò điều đó nói lên gì về GDM

  • Bối cảnh cho những ai chưa theo dõi toàn bộ diễn biến: Shazeer là một nhà nghiên cứu Google kỳ cựu gia nhập từ năm 2000 và là đồng tác giả của “Attention Is All You Need”
    Năm 2021 ông rời Google để đồng sáng lập Character.AI, và đến năm 2024 Google đã đưa ông cùng một số nhà nghiên cứu của Character.AI trở lại thông qua thỏa thuận cấp phép và nhân sự với Character.AI. Theo các tin đưa, quy mô thương vụ vào khoảng 2,7 tỷ USD, sau đó ông trở thành đồng lãnh đạo Gemini. Giờ ông lại rời Google để sang OpenAI, nên đây là một thời điểm khá thú vị

    • Lý do ông ấy rời Google lần đầu là vì Google không muốn phát hành sản phẩm kiểu chatbot mà ông tin là khả thi. Google đã chi rất nhiều tiền để đưa ông ấy trở lại và biến ông thành một trong các lãnh đạo của Gemini
    • Lần đầu tôi biết Noam là qua podcast của Dwarkesh, nơi ông xuất hiện cùng Jeff Dean; nếu muốn nếm thử cách người Google nhìn nhận vấn đề thì tôi khuyên nên xem
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • Ở tầm này thì tôi tự hỏi liệu đãi ngộ có thực sự còn là yếu tố hấp dẫn hay không, hay điều quan trọng hơn là anh có thể làm được gì. Có vẻ Google cũng dễ dàng trả được mức mà OpenAI có thể đưa ra, nên có lẽ vì là một công ty lâu năm nên khó đáp ứng các điều kiện thật khác thường chăng
    • Tôi thắc mắc sao một người đã được mua lại có thể rời đi chưa đầy 2 năm sau đó
    • Cuối cùng thì sẽ hay nếu chúng ta đi đến kết luận “Hopfield Networks is All You Need”

  • Ồ, mới quay lại chưa bao lâu mà rốt cuộc điều gì đã khiến ông ấy nghỉ nữa vậy?
    Tôi hy vọng điều này không đúng, nhưng lại lo nó đúng: https://x.com/signulll/status/2067446889956430273

    • Link nitter cho ai không muốn bấm vào liên kết trên: https://nitter.net/signulll/status/2067446889956430273
    • signull giống một tài khoản ẩn danh phát ngôn bừa bãi hơn là một insider có tiếng trong ngành, nhưng ít nhất từ góc nhìn của người chỉ theo dõi bầu không khí từ bên ngoài thì có vẻ tài khoản này nắm bắt khá đúng cách Sam Altman đóng góp cho OpenAI
    • Nếu phải đoán thì tiền chắc cũng góp một phần
    • Đọc cứ như một tập của Silicon Valley. Tiếc là nếu reboot bộ đó bây giờ thì sẽ có quá nhiều chất liệu buồn cười
    • Tôi cho rằng là vì “tiền” và rất nhiều điều nhảm nhí từ phía Altman

  • [Sửa: bình luận của tôi ban đầu là để trả lời một bình luận gọi Noam là một “Scam Altman” khác, nhưng bình luận cha đã bị đổi. Việc dọn lại thread gốc thì không sao, nhưng cần có bối cảnh này mới hiểu được.]
    Noam là người thực sự có năng lực, và trong nội bộ kỹ thuật Google thời những năm 2000 ông khá huyền thoại. Có chuyện kể rằng Paul Buchheit đã phỏng vấn ông bằng câu hỏi “anh sẽ tạo trình kiểm tra chính tả như thế nào”, và ông đã nghĩ ra một thứ tốt hơn công nghệ hiện đại nhất lúc đó, rồi sau đó gần như biến nó thành dự án Noogler 2 tuần đầu tiên để làm ra bộ sửa chính tả của Google
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

    • Nếu ông ấy là người thông minh đến vậy thì hẳn nhiên ông phải biết mình đang làm gì, nên tôi không hiểu làm sao có thể nói tất cả chuyện này chỉ là tai nạn
      “Google and Character.AI agree to settle lawsuits over teen suicides” - https://www.axios.com/2026/01/07/google-character-ai-lawsuit...
      Cần cẩn trọng. Rất gây sốc: https://www.judiciary.senate.gov/imo/media/doc/e2e8fc50-a9ac...
    • Ôi, vậy là ông ấy đã dùng AI để giải quyết vấn đề từ tận năm 2000. Bộ sửa chính tả đó được huấn luyện trên web và trở thành công cụ AI đầu tiên được dùng rộng rãi, tức là đã đi trước hàng chục năm

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Có vẻ có chút góc nhìn sâu sắc ở đây. Sửa: bài đăng có vẻ đã bị xóa, nhưng vẫn có thể xem phần bình luận. Tóm tắt một dòng là, nói nhẹ nhất thì người đó rất lộ rõ quan điểm chính trị và có niềm tin rất mạnh

  • Đây là tin rất xấu với Gemini. Cú bật lại ngắn ngủi năm ngoái với 2.5 Pro có vẻ là do Noam dẫn dắt

    • Thành thật mà nói, về dài hạn tôi nghĩ điều này không ảnh hưởng nhiều. Các mô hình không có hào lũy và ngày càng trở thành hàng hóa phổ thông
      Tách riêng chuyện đó ra thì Google đang ở vị thế khá tốt. Họ cũng không đốt tiền vào AI như Anthropic/OpenAI, đồng thời sở hữu các mảng sản phẩm nơi AI có thể được tích hợp. Hơn nữa họ còn có mô hình quảng cáo đã trưởng thành, nên nơi thực sự có thể tạo ra dù chỉ một ít doanh thu từ mô hình ngôn ngữ lớn có khi lại chính là phần đó

  • Câu hỏi thứ nhất: OpenAI đã chi bao nhiêu cho vụ này?
    Câu hỏi thứ hai: Tại sao OpenAI lại dùng số tiền đó để cố lôi kéo nhân sự từ Google, nơi rõ ràng có thể trả cao hơn nhiều trong tuyển dụng nhân tài, thay vì từ Anthropic, bên đang dẫn dắt thị trường và cũng bị hạn chế tài chính ở một mức độ nào đó

    • Theo các bài báo liên quan thì người của Anthropic có mức độ trung thành cao hơn nhiều, và các nỗ lực câu người của OpenAI lẫn Meta phần lớn dường như đều không thành công

  • Wow, Google đã trả tới hàng tỷ đô la để đưa Noam quay lại. Nếu tin tức là đúng thì OAI quả thực đã làm được điều rất ấn tượng

  • Việc tuyển dụng AI bắt đầu trông ngày càng giống thị trường chuyển nhượng tự do trong thể thao
    Karpathy sang Anthropic, giờ Noam sang OpenAI

    • Tôi cứ nghĩ Karpathy sẽ sang OpenAI