- Soumith Chintala, người đã dẫn dắt PyTorch khoảng 8 năm, thông báo sẽ rời Meta và PyTorch sau 11 năm gắn bó
- PyTorch hiện hỗ trợ huấn luyện exascale và đã đạt được nhiều thành quả rộng lớn như vận hành mô hình nền tảng, được sử dụng trong giáo dục trên toàn thế giới
- Ông cho rằng PyTorch đã đủ trưởng thành để vận hành độc lập và tin tưởng vào sự ổn định của đội ngũ lãnh đạo kế nhiệm
- Bày tỏ lời cảm ơn và những hồi tưởng về việc hợp tác với đồng nghiệp từ thời FAIR, văn hóa mã nguồn mở và sự phát triển của cộng đồng người dùng
- Về cá nhân, ông dự định bắt đầu một dự án nhỏ bên ngoài Meta để đón nhận thử thách mới
Chia tay Meta và PyTorch
- Trong 11 năm làm việc tại Meta, ông đã dẫn dắt PyTorch gần 8 năm và đạt được tỷ lệ được ngành AI chấp nhận trên 90%
- PyTorch hiện hỗ trợ huấn luyện exascale và vận hành các mô hình nền tảng đang tái định nghĩa trí tuệ
- Công cụ này được sử dụng trong giáo dục từ MIT đến các vùng nông thôn ở Ấn Độ, và mục tiêu cải thiện khả năng tiếp cận gần như đã đạt được
- Ông nhắc rằng AI đang phát triển rất nhanh nên PyTorch vẫn phải tiếp tục tiến hóa, nhưng cũng đã đạt được rất nhiều thành tựu
- Gửi lời cảm ơn đến tất cả những người cộng tác đã tin vào sức mạnh của mã nguồn mở và một nền văn hóa nghiên cứu đầy niềm vui
- Dù có thể chuyển sang một vai trò khác bên trong Meta, ông quyết định ra ngoài vì thử thách mới và sự tò mò
- Ông khép lại bài viết bằng thông điệp “Hãy làm cho AI trở nên ngon lành và dễ tiếp cận”, đồng thời bày tỏ ý định sẽ tiếp tục tham gia cộng đồng
Sự ổn định trong tương lai của PyTorch
- Ông không muốn nắm giữ PyTorch mãi mãi và đã lên kế hoạch với mục tiêu rời đi khi mọi thứ đang ở trạng thái ổn định
- Từ cuối năm 2024, ông bắt đầu chuẩn bị cho việc rời công ty, và đến tháng 8/2025 thì tin chắc rằng đội ngũ có thể vận hành độc lập
- Những nhân sự chủ chốt như Edward, Suo, Alban, Greg, John, Joe, Jana đang tự chủ giải quyết các vấn đề về sản phẩm và tổ chức
- Ông nhấn mạnh sức bền của tổ chức dựa trên việc câu chuyện sản phẩm tại PyTorch Conference đã nhất quán hơn và các vấn đề trong quá khứ đã được cải thiện
- Greg, Alban, Ed, Jason, Joe cùng những người khác đang tiếp nối giá trị và văn hóa của PyTorch, và còn có nhiều người phù hợp với các giá trị này
- Ông nhắc cụ thể đến năng lực kỹ thuật và kinh nghiệm hợp tác của John, Suo, Jana để bày tỏ niềm tin vào tính bền vững của đội ngũ
Thời gian ở Meta
- Ông hồi tưởng giai đoạn đầu của FAIR là “một thời kỳ kỳ diệu”, khi tham gia nhiều dự án như nghiên cứu GAN, bot Starcraft, xây dựng cụm FAIR, phát hiện đối tượng, phát triển PyTorch
- Ông đánh giá giai đoạn 2015~2016 là thời kỳ năng suất và vui vẻ nhất
- Ông cũng nhắc rằng sự hướng dẫn từ Andrew Tulloch trong những ngày đầu vào công ty đã giúp ích rất nhiều
Hành trình phát triển PyTorch
- Ông trực tiếp tham gia toàn bộ quá trình từ thiết kế, quản lý, tài liệu hóa đến phát hành PyTorch, và chứng kiến nó phát triển thành một sản phẩm ở quy mô hàng trăm người
- Gửi lời cảm ơn đến các kỹ sư, nhà nghiên cứu, cộng tác viên mã nguồn mở, người viết tài liệu và đối tác phần cứng trong và ngoài Meta
- Ông nhắc đến nhiều nhân vật chủ chốt như Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison, Edward Yang
- Ông nhớ lại một trường hợp tại NeurIPS 2017 khi một nghiên cứu sinh nói rằng nhờ PyTorch mà hoàn thành được nghiên cứu, từ đó cảm nhận rõ tác động đối với người dùng
- PyTorch Conference đã phát triển từ một buổi gặp gỡ thân tình khoảng 300 người thành một sự kiện ngành quy mô 3.000 người, và ông bày tỏ niềm tự hào về ảnh hưởng ngày càng mở rộng
Lời cảm ơn
- Ông cho biết Mark Zuckerberg và Mike Schroepfer đã ủng hộ chiến lược mã nguồn mở, nhờ đó FAIR và PyTorch mới có thể thành hiện thực
- Gửi lời cảm ơn đến Yann LeCun và Rob Fergus vì đã góp phần xây dựng FAIR từ những ngày đầu
- Ông đánh giá rất cao năng lực lãnh đạo kỹ thuật và khả năng thực thi của Aparna Ramani
- Ông nhắc đến sự chào đón và hợp tác từ đội hạ tầng gồm Santosh, Kaushik, Delia, Oldham, Ben
- Gửi lời cảm ơn đến các quản lý như Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna, Damien
Lời kết
- Ông nhấn mạnh rằng “đây không phải hành trình của riêng tôi mà là hành trình của chúng ta” để đề cao những thành tựu chung
- Trong thời gian tới, ông cho biết sẽ thử sức với “những việc nhỏ, mới mẻ và không thoải mái”
- Ông gửi lời nhắn động viên tới cộng đồng PyTorch: “Hãy tiếp tục làm cho AI trở nên ngon lành và dễ dàng tiếp cận”
1 bình luận
Ý kiến trên Hacker News
Có vẻ nhiều bình luận đang đánh giá PyTorch theo kết quả hiện tại. Nhưng vào thời Soumith Chintala đồng phát triển PyTorch thì hầu như chưa có môi trường phát triển nhanh và tương tác tốt. JAX khi đó cũng chưa tồn tại.
PyTorch khi ấy tốt hơn hẳn đến mức hầu như mọi nhà nghiên cứu từng dùng đều muốn chuyển sang ngay lập tức. Andrej Karpathy cũng từng viết trên Twitter năm 2017 rằng “sau vài tháng dùng PyTorch, cuộc đời tôi đã thay đổi” (liên kết tweet).
Cảm ơn sự cống hiến bền bỉ của Soumith trong nhiều năm qua, và chúc anh thành công trên chặng đường sắp tới
autograd. JAX là hậu duệ trực tiếp của Autograd, và một số người phát triển nó hiện vẫn đang làm trong nhóm JAX. Đồng tác giả của PyTorch là Adam Paszke hiện cũng tham gia các dự án JAX và Dex (lịch sử Autograd, lưu trữ giới thiệu PyTorch)Tôi là một trong những người được Soumith trực tiếp tuyển vào làm việc cùng tại Meta và PyTorch.
Soumith luôn xem PyTorch là một dự án lấy cộng đồng làm trung tâm. Không chỉ tôn vinh đóng góp của các đồng tác giả như Adam, Sam, anh còn làm vậy trong cả quá trình hợp nhất với đội Caffe2.
PyTorch ngay từ đầu đã được thiết kế như một framework mở cho cộng đồng nghiên cứu, và trong suốt quá trình phát triển, Soumith luôn đưa thêm con người và tổ chức mới tham gia.
Anh ấy thực sự là một thỏi nam châm hút nhân tài, nhờ vậy rất nhiều người xuất sắc đã dồn tâm huyết để phát triển PyTorch.
Dù giờ anh rời đi, PyTorch cũng đã ở giai đoạn đủ sức tự vận hành. Đó mới chính là hình mẫu thành công của mã nguồn mở
Điểm thú vị trong chuyện này là nó có vẻ như một tín hiệu cho thấy bên trong Meta không có tài sản độc quyền nào liên quan đến AI.
Cảm giác hơi giống với huyền thoại cho rằng nghiên cứu quân sự luôn đi trước thực tế rất xa.
Cuối cùng thì các phòng nghiên cứu AI của Big Tech dường như cũng chỉ đang lặp lại những công việc không quá khác biệt, chứ không có bí mật công nghệ đặc biệt nào
Ngoài ra, Meta gần đây cũng đang chuyển hướng sang trọng tâm LLM, nên vai trò truyền thống của PyTorch bị thu hẹp. Xét những điểm đó thì đây trông như một thời điểm chuyển việc khá tự nhiên
Những tuyên bố kiểu “AGI sắp đến” trong ngành AI hiện nay cũng không khiến các kỹ sư nội bộ quá phấn khích. Việc Karpathy quay lại dạy học hay Mira Murati lập startup cũng nằm trong cùng một mạch đó
Nhiệt huyết của Soumith rất dễ lan truyền. Tôi từng đọc bài báo DCGAN rồi thử nghiệm bằng Lua Torch, và nó chạy tốt ngay cả với bộ dữ liệu Oxford flowers nhỏ.
Soumith còn ngạc nhiên đến mức chia sẻ kết quả đó lên mạng xã hội.
Khi đó, PyTorch và Lua Torch dễ làm việc hơn TensorFlow rất nhiều, và mã nguồn có cấu trúc rất dễ vọc, nên các nhà nghiên cứu có thể tự do thử nghiệm
Trong những gì Soumith nói, đoạn “muốn thử làm những thứ nhỏ và mới, những thứ mình vẫn chưa hiểu hết, những thứ gây khó chịu” để lại ấn tượng mạnh.
Dù trong Meta anh hoàn toàn có thể làm việc khác, anh vẫn đi theo sự tò mò thôi thúc phải bước ra ngoài. Cảm giác như “Siddhartha quay trở lại khu rừng” vậy
Là một người dùng JAX, tôi tôn trọng thành công của PyTorch. Sau khi TensorFlow 1 mắc sai lầm, PyTorch đã thống trị hệ sinh thái AI.
Tôi cũng hy vọng Matt Johnson, người đã phát triển Autograd thành JAX, một ngày nào đó sẽ được đánh giá cao như Soumith
Thư viện nền tảng của Torch cũng thực sự là một công cụ rất thú vị để sử dụng. Trong Rust có các binding như tch và Burn, và chúng tương tác tốt với libtorch.
Điểm mạnh của PyTorch là có thể debug động. Trải nghiệm có thể dừng model trực tiếp trong terminal rồi nhìn vào trạng thái bên trong đến giờ tôi vẫn còn nhớ
Câu nói của anh ấy rằng “tôi từng ở vị trí có thể liên lạc với mọi công ty AI lớn và mọi nhà cung cấp phần cứng, nhưng cuối cùng sự tò mò đã chiến thắng” thật sự gây ấn tượng.
Hy vọng anh sẽ lại tạo ra thêm một công cụ mạnh mẽ mới
Tôi từng phải làm những công việc vô nghĩa suốt thời gian dài để kiếm sống, nên cũng có phần ghen tị vì anh ấy có thể đưa ra quyết định như vậy
Câu “PyTorch đang được giảng dạy từ MIT đến những lớp học ở vùng quê Ấn Độ” cũng rất đáng nhớ.
Thậm chí tôi còn nghĩ rằng một số lớp học ở Ấn Độ có thể tốt hơn về khả năng tiếp cận giáo dục và tính thực hành so với các trường kỹ thuật tinh hoa ở Mỹ
Với tư cách là người dùng PyTorch mỗi ngày, tôi thật lòng cảm ơn Soumith và cả đội ngũ.
Nhờ công cụ này mà tôi có thể trực tiếp thử nghiệm những ý tưởng trước đây chỉ dám tưởng tượng.
PyTorch đã trở thành một phần lớn trong cuộc sống của tôi, và chúc anh gặp nhiều may mắn trên hành trình tiếp theo