Mỗi lần Karpathy rời một công ty, trong thời gian rảnh anh ấy lại tạo ra những tài liệu giáo dục tuyệt vời, khiến cả lĩnh vực như tiến thêm một bậc
Có ví dụ nào không? Mình không quá quen với lĩnh vực này
Đúng vậy, lần này hy vọng sẽ có nhiều nội dung liên quan đến mã nguồn mở
Karpathy thật sự là một người thầy xuất sắc. Tôi từng học lớp thị giác máy tính của anh ấy, và mong anh ấy giảng dạy nhiều hơn, cũng như làm việc đó một cách nghiêm túc
Việc là một AI influencer nổi tiếng không có nghĩa là một nhà nghiên cứu giỏi, và thậm chí có vẻ còn tương quan âm khá mạnh với việc trở thành một lãnh đạo kinh doanh hay nhà sáng lập giỏi
Tôi mong anh ấy quay lại với nghệ thuật đang dần thất truyền và hiện rất cần thiết: giải thích những điều phức tạp một cách thanh nhã, cứ từ tốn mà làm, và đừng rẽ quá nhiều sang hướng lãng phí thời gian với những kẻ lừa đảo ở Silicon Valley
Càng nghĩ, tôi càng thấy việc tweet của mình lập tức lên trang nhất Hacker News hẳn sẽ ảnh hưởng khá nhiều đến một con người. Vì tên tuổi và tầm ảnh hưởng, các lời mời và cơ hội sẽ đổ tới, nhưng điều đó chưa chắc vì đó thật sự là vị trí phù hợp nhất
Giá mà tri thức được tưởng thưởng đúng mức. YouTube có vẻ là thứ gần nhất, nhưng ngay cả các nhà giáo dục trên YouTube cũng cho thấy họ phải dành bao nhiêu thời gian để kéo lượt xem thay vì giảng dạy chuyên môn
Chuyện các lời mời đổ tới vì tên tuổi và tầm ảnh hưởng, nhưng có thể khác với mức độ phù hợp thực sự, đáng tiếc thay lại giống như một phiên bản thu nhỏ của cuộc đời. Hiếm khi người phù hợp nhất có được một vị trí cụ thể; họ có thể bị lọc vì quá dư năng lực, bị loại ở khâu nhân sự, hoặc bị từ chối vì những lý do mơ hồ như yêu cầu quay lại văn phòng, từ chối offer đối ứng, hay các yếu tố bất hợp pháp không công khai
Đây là một trò chơi chẳng hay ho gì, nên khó trách người biết tận dụng những lá bài mình có
Đôi khi tôi ước nghề dạy học được đánh giá cao hơn về tổng thể. Tôi muốn kiếm sống bằng việc giảng dạy mà không làm nghiên cứu
Tôi cho rằng giáo viên giỏi sẽ trở thành nhà nghiên cứu xuất sắc. Vì họ phải hiểu rất rõ lĩnh vực của mình, dự đoán và tự đặt ra những câu hỏi cần thiết, luôn nhìn lĩnh vực bằng con mắt mới, hợp tác tốt, và trên hết có khả năng giao tiếp tốt
Một nhà giáo dục tuyệt vời như Karpathy xây dựng thứ gì đó từ nền tảng và giải thích để tôi có thể hiểu. Tôi tự hỏi đó là vấn đề năng lực của giảng viên, hay do những sinh viên như tôi không đủ trình để hiểu các tài liệu khác
Đính chính nhỏ: không phải “b-lined” mà là bee-lined
Bình thường tôi không chỉ ra những lỗi kiểu này, nhưng “b-lined” có thể bị đọc thành nghĩa ngược là mức ưu tiên thấp, giống như “B-list celebrity”
Thành thật mà nói, OpenAI có vẻ đang nhanh chóng mất đi hào quang
Plugin là một thất bại, GPTs thì khá hơn một chút nhưng vẫn chưa thấy product-market fit. GPT-4 vẫn đang trên ngai vàng, nhưng không còn áp đảo như trước, và vì họ không công bố bài nghiên cứu nên cũng không rõ họ có đang làm nghiên cứu tốt hay không
Giờ GPT-5 phải cực kỳ tốt, nhưng tôi không biết liệu có thật vậy không
Tôi biết lĩnh vực này chuyển động đặc biệt nhanh, nhưng GPT-4 ra mắt còn chưa đầy một năm. Nói rằng họ đang mất hào quang chỉ vì không tung ra một mô hình mới mang tính địa chấn mỗi quý thì nghe hơi buồn cười
Khi mức độ phổ biến bùng nổ và các câu hỏi đạo đức cũng trở nên quan trọng hơn, có thể họ cần thời gian để hoàn thiện một số yếu tố cho đúng, thay vì cứ nhất định công bố trước
Tôi vừa thử Gemini Ultra và khá sốc vì nó kém GPT-4 quá nhiều. Chỉ cần hỏi vài câu về lập trình là lần nào nó cũng ảo giác ra cú pháp mới không tồn tại, rồi cứ hỏi tôi có muốn tiếp tục với lựa chọn A hay B vốn không chạy được và trên thực tế cũng không tồn tại, biến trải nghiệm thành một sự lãng phí thời gian kỳ quặc và bực bội
Cuối cùng, sau khi mất một giờ chỉ để cố bắt nó đưa ra kết quả bằng đúng ngôn ngữ tôi yêu cầu, tôi mới nhận ra nó hoàn toàn vô dụng
Thật ngạc nhiên khi Google lại tụt hậu đến mức này và phát hành một thứ vô giá trị như vậy. Hơn nữa còn định thu tiền nữa chứ, cũng liều thật
Dĩ nhiên tôi vẫn mong đợi GPT-5, nhưng chỉ cần cải thiện một chút thôi thì OpenAI vẫn còn vượt xa
Chạy mô hình Mistral 80GB bằng Ollama thì nó hoạt động ngang hoặc tốt hơn ChatGPT 3.5. Tôi nghĩ đây là điều tốt cho thế giới, vì phép màu không còn chỉ thuộc về OpenAI nữa
Tốc độ các đối thủ bắt kịp chỉ trong 3 tháng gần đây thật đáng kinh ngạc
Nếu OpenAI đang nhanh chóng mất hào quang thì tốt
Tôi hoàn toàn không biết thực sự đang xảy ra chuyện gì bên trong công ty đó, nhưng cách nhân viên hành xử trên Twitter khi Altman bị đẩy ra thật sự đáng sợ, đầy tín hiệu cảnh báo và bầu không khí xấu
Có thể là ý kiến không được ưa chuộng, nhưng tôi cho rằng danh tiếng và sức ảnh hưởng của Karpathy gần như hoàn toàn đến từ việc anh ấy là một nhà giáo dục và người truyền đạt xuất sắc
So với danh tiếng đó, tôi không rõ mức độ đóng góp thực tế của anh ấy trong việc thúc đẩy AI tiến lên là bao nhiêu
Tôi rất biết ơn các nội dung giáo dục của anh ấy, và vui vì nhờ đó anh ấy có được sức ảnh hưởng và duy trì sự nghiệp. Hy vọng điều đó đủ giúp anh ấy trở nên giàu có để có thể tập trung 100% vào giáo dục
Không đồng ý. Tôi nghĩ giá trị của tài liệu giáo dục xuất sắc thường bị đánh giá thấp. Karpathy đã thổi luồng sinh khí vào lĩnh vực AI vốn đầy những giải thích toán học quá phức tạp và dày đặc
Ví dụ, CS 231 từng là một trong những lớp AI/ML phổ biến nhất ở Stanford. Nếu nghĩ đến số sinh viên đã học lớp đó vào khoảng 2015–2017 rồi sau này phát triển trong AI, thì không quá lời khi nói công lao đáng kể thuộc về lớp học đó
Một giảng viên hướng dẫn từng bước và cho thấy mọi thứ có thể trở nên đơn giản đến mức nào là cực kỳ quý giá. Họ đóng vai trò then chốt trong việc hạ thấp rào cản gia nhập lĩnh vực
Về dài hạn, những người mới bước vào AI nhờ các tài liệu như Karpathy tạo ra sẽ tạo nên những đột phá lớn. “Hacker's Guide to Neural Networks” của anh ấy tuy đã gần 10 năm tuổi, nhưng vẫn đem lại khoảnh khắc “à ha” rõ ràng nhất để hiểu lan truyền ngược
Giáo dục và truyền đạt là quan trọng. Chúng kéo người mới vào lĩnh vực, giúp cả những người đã ở trong lĩnh vực trưởng thành hơn, và cả hai đều thiết yếu cho tăng trưởng và tiến bộ dài hạn
Gọi chỉ những hoạt động không mang tính giáo dục là “đóng góp thực tế” là cách nói hoàn toàn hạ thấp vai trò của những nhà giáo dục xuất sắc trong đoàn quân tiến bộ. Nếu không có những giáo dục như vậy thì giờ chúng ta đang ở đâu?
Anh ấy đã góp phần thúc đẩy AI tiến lên. Thậm chí không cần thêm chữ “thực tế”. Việc mất đi một nhà giáo dục xuất sắc nên được xem là đáng tiếc không kém mất đi một kỹ sư xuất sắc
Karpathy đã có nghiên cứu tiên phong về tạo chú thích ảnh, căn chỉnh không gian ngữ nghĩa thị giác và văn bản. Đây là nền tảng khái niệm của các trình tạo ảnh hiện đại
Anh ấy cũng đã phân tích mạng nơ-ron hồi quy rất xuất sắc, và đó là một trong những phần giải thích sớm nhất cũng như hay nhất về những gì đang diễn ra bên trong mô hình ngôn ngữ
Mục bình luận Hacker News là một trong những diễn đàn kém chính đáng nhất có thể tưởng tượng được để công khai đánh giá CV của ai đó. Có lẽ chỉ Quốc hội mới khác
Anh ấy nói “Kế hoạch trước mắt là làm các dự án cá nhân và xem mọi chuyện diễn ra thế nào. Những ai đã theo dõi lâu chắc sẽ hình dung được nó trông ra sao”, ở đây có ai biết không?
Có vẻ là nói đến series YouTube của anh ấy. Rất đáng mong đợi
Hồ sơ trước đây của anh ấy ghi là đang xây dựng JARVIS tại OpenAI
Trong series video, anh ấy đang tạo một phiên bản nhỏ và hiệu quả của GPT-3
Có thể xem trên GitHub: https://github.com/karpathy
Anh ấy cũng quan tâm đến các mô hình mã nguồn mở và có mặt trên /r/localllama
Có cả tài kể chuyện lẫn xếp rubik, chắc anh ấy cũng khá ổn ở tiệc trẻ con. Hơn nữa còn có thể dạy và chế tạo nữa. Everest thì anh ấy chưa leo phải không?
Rất đồng ý. Đó là một truyện ngắn tuyệt vời. Mong một ngày nào đó được thấy nó ở dạng mở rộng hơn
Có phải anh ấy định toàn tâm cho kênh YouTube không? Rất mong chờ. Nội dung của anh ấy thật sự tuyệt vời
Tôi cũng mong chờ. Khoảng 8 năm trước, những mô hình Python thu nhỏ cho mạng nơ-ron hồi quy như char-rnn mà anh ấy công bố đã giúp tôi học rất nhiều
Làm vậy có vẻ đồng nghĩa với việc từ bỏ hàng triệu đô la. Tất nhiên có thể anh ấy đang khá dư dả và cũng có thể nghỉ hưu sớm, nhưng hàng triệu đô vẫn là số tiền lớn
Bài đó có paywall cứng, nên tôi sẽ gộp các bình luận đó sang đây. Xin chờ một chút
Nhìn vào tweet được ghim của anh ấy “ngôn ngữ lập trình mới nóng nhất là tiếng Anh”, thông điệp ở cuối bài “những ai biết tôi sẽ biết tôi đang làm gì ;)” có vẻ ám chỉ một loại công cụ dành cho developer nào đó
Nếu là một người có tầm nhìn công nghệ thì cũng hợp lý, và có vẻ hacker rốt cuộc không thể cưỡng lại việc tạo ra công cụ để làm cho chính mình tốt hơn
Có ai có thông tin tốt hơn suy đoán lúc rảnh rỗi của tôi không?
Anh ấy sẽ trở thành YouTuber toàn thời gian
Anh ấy từng vài lần suy đoán về hệ điều hành dựa trên LLM. Nếu là cái đó thì sẽ rất tuyệt
1 bình luận
Ý kiến trên Hacker News
Mỗi lần Karpathy rời một công ty, trong thời gian rảnh anh ấy lại tạo ra những tài liệu giáo dục tuyệt vời, khiến cả lĩnh vực như tiến thêm một bậc
Karpathy thật sự là một người thầy xuất sắc. Tôi từng học lớp thị giác máy tính của anh ấy, và mong anh ấy giảng dạy nhiều hơn, cũng như làm việc đó một cách nghiêm túc
Việc là một AI influencer nổi tiếng không có nghĩa là một nhà nghiên cứu giỏi, và thậm chí có vẻ còn tương quan âm khá mạnh với việc trở thành một lãnh đạo kinh doanh hay nhà sáng lập giỏi
Tôi mong anh ấy quay lại với nghệ thuật đang dần thất truyền và hiện rất cần thiết: giải thích những điều phức tạp một cách thanh nhã, cứ từ tốn mà làm, và đừng rẽ quá nhiều sang hướng lãng phí thời gian với những kẻ lừa đảo ở Silicon Valley
Càng nghĩ, tôi càng thấy việc tweet của mình lập tức lên trang nhất Hacker News hẳn sẽ ảnh hưởng khá nhiều đến một con người. Vì tên tuổi và tầm ảnh hưởng, các lời mời và cơ hội sẽ đổ tới, nhưng điều đó chưa chắc vì đó thật sự là vị trí phù hợp nhất
Chuyện các lời mời đổ tới vì tên tuổi và tầm ảnh hưởng, nhưng có thể khác với mức độ phù hợp thực sự, đáng tiếc thay lại giống như một phiên bản thu nhỏ của cuộc đời. Hiếm khi người phù hợp nhất có được một vị trí cụ thể; họ có thể bị lọc vì quá dư năng lực, bị loại ở khâu nhân sự, hoặc bị từ chối vì những lý do mơ hồ như yêu cầu quay lại văn phòng, từ chối offer đối ứng, hay các yếu tố bất hợp pháp không công khai
Đây là một trò chơi chẳng hay ho gì, nên khó trách người biết tận dụng những lá bài mình có
Bình thường tôi không chỉ ra những lỗi kiểu này, nhưng “b-lined” có thể bị đọc thành nghĩa ngược là mức ưu tiên thấp, giống như “B-list celebrity”
Thành thật mà nói, OpenAI có vẻ đang nhanh chóng mất đi hào quang
Plugin là một thất bại, GPTs thì khá hơn một chút nhưng vẫn chưa thấy product-market fit. GPT-4 vẫn đang trên ngai vàng, nhưng không còn áp đảo như trước, và vì họ không công bố bài nghiên cứu nên cũng không rõ họ có đang làm nghiên cứu tốt hay không
Giờ GPT-5 phải cực kỳ tốt, nhưng tôi không biết liệu có thật vậy không
Khi mức độ phổ biến bùng nổ và các câu hỏi đạo đức cũng trở nên quan trọng hơn, có thể họ cần thời gian để hoàn thiện một số yếu tố cho đúng, thay vì cứ nhất định công bố trước
Cuối cùng, sau khi mất một giờ chỉ để cố bắt nó đưa ra kết quả bằng đúng ngôn ngữ tôi yêu cầu, tôi mới nhận ra nó hoàn toàn vô dụng
Thật ngạc nhiên khi Google lại tụt hậu đến mức này và phát hành một thứ vô giá trị như vậy. Hơn nữa còn định thu tiền nữa chứ, cũng liều thật
Dĩ nhiên tôi vẫn mong đợi GPT-5, nhưng chỉ cần cải thiện một chút thôi thì OpenAI vẫn còn vượt xa
Cảnh buồn cười ở đây: https://twitter.com/Suhail/status/1757573182138290284
Tốc độ các đối thủ bắt kịp chỉ trong 3 tháng gần đây thật đáng kinh ngạc
Tôi hoàn toàn không biết thực sự đang xảy ra chuyện gì bên trong công ty đó, nhưng cách nhân viên hành xử trên Twitter khi Altman bị đẩy ra thật sự đáng sợ, đầy tín hiệu cảnh báo và bầu không khí xấu
Có thể là ý kiến không được ưa chuộng, nhưng tôi cho rằng danh tiếng và sức ảnh hưởng của Karpathy gần như hoàn toàn đến từ việc anh ấy là một nhà giáo dục và người truyền đạt xuất sắc
So với danh tiếng đó, tôi không rõ mức độ đóng góp thực tế của anh ấy trong việc thúc đẩy AI tiến lên là bao nhiêu
Tôi rất biết ơn các nội dung giáo dục của anh ấy, và vui vì nhờ đó anh ấy có được sức ảnh hưởng và duy trì sự nghiệp. Hy vọng điều đó đủ giúp anh ấy trở nên giàu có để có thể tập trung 100% vào giáo dục
Bài viết đó đã truyền cảm hứng cho Alec Radford của OpenAI thực hiện nghiên cứu Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron
OpenAI quyết định xem chuyện gì sẽ xảy ra nếu mở rộng mô hình đó bằng cách tận dụng kiến trúc Transformer mới do Google tạo ra, và đã tạo ra thứ gọi là GPT: https://cdn.openai.com/research-covers/language-unsupervised...
Ví dụ, CS 231 từng là một trong những lớp AI/ML phổ biến nhất ở Stanford. Nếu nghĩ đến số sinh viên đã học lớp đó vào khoảng 2015–2017 rồi sau này phát triển trong AI, thì không quá lời khi nói công lao đáng kể thuộc về lớp học đó
Một giảng viên hướng dẫn từng bước và cho thấy mọi thứ có thể trở nên đơn giản đến mức nào là cực kỳ quý giá. Họ đóng vai trò then chốt trong việc hạ thấp rào cản gia nhập lĩnh vực
Về dài hạn, những người mới bước vào AI nhờ các tài liệu như Karpathy tạo ra sẽ tạo nên những đột phá lớn. “Hacker's Guide to Neural Networks” của anh ấy tuy đã gần 10 năm tuổi, nhưng vẫn đem lại khoảnh khắc “à ha” rõ ràng nhất để hiểu lan truyền ngược
Gọi chỉ những hoạt động không mang tính giáo dục là “đóng góp thực tế” là cách nói hoàn toàn hạ thấp vai trò của những nhà giáo dục xuất sắc trong đoàn quân tiến bộ. Nếu không có những giáo dục như vậy thì giờ chúng ta đang ở đâu?
Anh ấy đã góp phần thúc đẩy AI tiến lên. Thậm chí không cần thêm chữ “thực tế”. Việc mất đi một nhà giáo dục xuất sắc nên được xem là đáng tiếc không kém mất đi một kỹ sư xuất sắc
Anh ấy cũng đã phân tích mạng nơ-ron hồi quy rất xuất sắc, và đó là một trong những phần giải thích sớm nhất cũng như hay nhất về những gì đang diễn ra bên trong mô hình ngôn ngữ
Anh ấy nói “Kế hoạch trước mắt là làm các dự án cá nhân và xem mọi chuyện diễn ra thế nào. Những ai đã theo dõi lâu chắc sẽ hình dung được nó trông ra sao”, ở đây có ai biết không?
Có thể xem trên GitHub: https://github.com/karpathy
Mong anh ấy viết thêm tiểu thuyết trong thời gian rảnh. Tôi rất thích https://karpathy.github.io/2015/11/14/ai/
Có phải anh ấy định toàn tâm cho kênh YouTube không? Rất mong chờ. Nội dung của anh ấy thật sự tuyệt vời
Thời điểm anh ấy quay lại OpenAI có vẻ gần như đúng tròn 1 năm trước: https://twitter.com/karpathy/status/1623476659369443328
Bài liên quan: “Andrej Karpathy Departs OpenAI”[0] (159 điểm, 2 giờ trước, 71 bình luận)
[0]: https://news.ycombinator.com/item?id=39365288
Nhìn vào tweet được ghim của anh ấy “ngôn ngữ lập trình mới nóng nhất là tiếng Anh”, thông điệp ở cuối bài “những ai biết tôi sẽ biết tôi đang làm gì ;)” có vẻ ám chỉ một loại công cụ dành cho developer nào đó
Nếu là một người có tầm nhìn công nghệ thì cũng hợp lý, và có vẻ hacker rốt cuộc không thể cưỡng lại việc tạo ra công cụ để làm cho chính mình tốt hơn
Có ai có thông tin tốt hơn suy đoán lúc rảnh rỗi của tôi không?