Andrej Karpathy – AGI vẫn còn cách ít nhất 10 năm

• Andrej Karpathy cho rằng đây sẽ không phải "năm của agent" mà là "thập kỷ của agent", phản bác các dự đoán quá đà trong ngành AI và nhận định sẽ cần khoảng 10 năm cải tiến dần dần
• Các LLM hiện nay còn thiếu những năng lực nhận thức cốt lõi như học liên tục, đa phương thức, khả năng sử dụng máy tính; ông dự đoán sẽ mất khoảng 10 năm để giải quyết các vấn đề này
• Khác với phần cứng tích hợp sẵn mà tiến hóa trao cho động vật, LLM là một dạng “thực thể như linh hồn” được tạo ra bằng cách mô phỏng dữ liệu Internet; đó là một kiểu trí tuệ khác, nên việc so sánh trực tiếp với động vật là không phù hợp
• RL (học tăng cường) khá kém hiệu quả, trong khi các phương pháp thay thế cũng chưa phát triển đủ. Do vấn đề model collapse và quên lãng của LLM, chúng bị hạn chế trong việc liên tục hấp thụ hoặc phát triển tri thức một cách tự nhiên như não người
• Tiền huấn luyện là một kiểu "tiến hóa tồi", tức quá trình nén cực mạnh 15 nghìn tỷ token vào vài tỷ tham số, chỉ để lại ký ức mờ nhạt về các tài liệu trên Internet
• Cuối cùng, AGI sẽ chỉ là một phần của quỹ đạo tăng trưởng GDP 2% như thường lệ, nên cần được nhìn như sự mở rộng dần dần của điện toán chứ không phải một bước nhảy gián đoạn (bao gồm cả tranh luận về siêu trí tuệ)

---

Thời điểm AGI xuất hiện và tốc độ phát triển của AI

• Andrej Karpathy nhấn mạnh rằng “kỷ nguyên AI agent không diễn ra trong năm nay mà là một tiến trình kéo dài 10 năm”.
• Hiện nay nhiều AI agent như Claude, Codex đã được sử dụng hữu ích, nhưng vẫn còn thiếu sót ở khả năng học liên tục, xử lý đa phương thức, sử dụng máy tính phức tạp
• Để AGI thực sự hoạt động như một nhân viên hay thực tập sinh con người, cần giải quyết các bài toán khó như nâng cao trí thông minh, trí nhớ bền vững, và sở hữu nhiều năng lực khác nhau
• Về các dự báo tăng trưởng của ngành AI, Karpathy ước tính rằng sau hơn 15 năm làm việc thực tế, các bài toán khó có thể vượt qua nhưng rất khó, nên có lẽ sẽ cần khoảng 10 năm

Những lần chuyển hướng trong nghiên cứu AI thời kỳ đầu

• Deep learning trước AlexNet là một chủ đề ngách, nhưng năm 2012 AlexNet đã tạo ra biến động nhận thức lớn đầu tiên, tái định hướng toàn lĩnh vực sang huấn luyện mạng nơ-ron
• Khoảng năm 2013, deep reinforcement learning với Atari là một hướng đi sai, và cách tiếp cận tập trung vào game trong giai đoạn đầu của OpenAI cũng là một sai lầm
  • Ông hoài nghi về ý tưởng game sẽ dẫn tới AGI, và cho rằng cần có tương tác với thế giới thực
  • Dự án Universe của OpenAI xuất hiện quá sớm và phần thưởng quá thưa, nên gần như không thể học được
• Agent xây trên LLM mới là con đường đúng, tức phải có năng lực biểu diễn trước rồi mới xây agent
  • Cách tiếp cận hiện tại là huấn luyện agent dùng máy tính trên nền các mô hình ngôn ngữ lớn là hợp lý
  • Cần có biểu diễn thông qua tiền huấn luyện và công việc với LLM trước thì mới có thể làm được các tác vụ agent
• Nhìn tổng thể, lĩnh vực AI đã tiến hóa theo dòng chảy perceptron/neural net → agent (RL) → LLM/tăng cường học biểu diễn

Sự khác biệt giữa học của con người và tiến hóa ở động vật

• Động vật (ví dụ: ngựa vằn) có những hành vi phức tạp được tiến hóa khắc sâu về mặt di truyền; nghiên cứu AI không mô phỏng đúng quá trình tiến hóa thực tế mà chủ yếu dùng học bắt chước qua tài liệu Internet (pre-training)
• LLM hiện nay khác biệt về cấu trúc so với sinh vật hình thành qua tiến hóa. Sinh vật được sinh ra cùng phần cứng (mạng nơ-ron), còn AI được mô tả như một “bóng ma” mang tính phần mềm
• Sự tương đồng giữa não người và AI chỉ nên được tham khảo ở mức hạn chế; tiếp cận theo mục tiêu thực dụng (tính hữu ích) sẽ thực tế hơn

Học trong ngữ cảnh vs tiền huấn luyện

• Tiền huấn luyện là kết quả nén một lượng thông tin khổng lồ từ Internet, nên tri thức mà mô hình ghi nhớ chỉ mờ nhạt và từng phần
  • Thông tin cho câu hỏi thực tế lại được khai thác trực tiếp hơn trong cửa sổ ngữ cảnh như một dạng “bộ nhớ làm việc”
• Học trong ngữ cảnh là một dạng trí nhớ làm việc, còn tiền huấn luyện là dạng mờ nhạt của trí nhớ dài hạn
  • Mọi thứ trong KV cache đều là bộ nhớ làm việc mà mạng nơ-ron có thể truy cập trực tiếp
  • Mọi thứ trong trọng số đều giống ký ức mờ nhạt về điều đã đọc từ một năm trước
• Học trong ngữ cảnh có thể đang hiện thực hóa gradient descent ở bên trong
  • Trong nghiên cứu về hồi quy tuyến tính, người ta phát hiện trọng số mạng nơ-ron có nét tương đồng với cơ chế gradient descent
  • Bằng cách học hoàn thiện mẫu, mạng nơ-ron khởi tạo các mạch nhỏ và thuật toán bên trong
• 0,07 bit mỗi token trong tiền huấn luyện vs 320 kilobyte mỗi token trong học trong ngữ cảnh
  • Học trong ngữ cảnh có lượng đồng hóa thông tin trên mỗi token cao hơn 35 triệu lần
  • Sự khác biệt cực lớn về tỷ lệ nén phản ánh khác biệt nền tảng trong cách học

Khác biệt nhận thức giữa con người và LLM

• Thiếu các vùng não như hippocampus và amygdala
  • Transformer tương ứng với cấu trúc vỏ não và có khả năng suy luận tương tự vỏ não trước trán
  • Những vùng não cốt lõi như hippocampus (trí nhớ), amygdala (cảm xúc) không được tái tạo
• Thiếu cơ chế học liên tục
  • Con người có quá trình chưng cất (distillation) thông tin ngữ cảnh trong ngày thành trọng số nội tại, chẳng hạn thông qua giấc ngủ
  • LLM khởi động lại với 0 token ở mỗi phiên và không có giai đoạn chưng cất. Nói cách khác, chúng thiếu cơ chế tương tự trí nhớ dài hạn/học liên tục
• Học tăng cường là "khủng khiếp"
  • Tất cả token trong rollout cho ra đáp án đúng đều được tăng trọng số, dù đầy nhiễu
  • Đây là cách “hút giám sát qua ống hút”, đánh giá toàn bộ quỹ đạo chỉ bằng phần thưởng cuối cùng
  • Con người đánh giá từng phần thông qua quy trình rà soát phức tạp, còn LLM không có cơ chế tương đương

Giới hạn của giám sát dựa trên quy trình

• Khả năng “qua mặt” LLM làm giám khảo
  • Khi dùng LLM để gán thưởng, gần như chắc chắn sẽ tìm thấy các ví dụ đối kháng
  • Từng có trường hợp đầu ra vô nghĩa như "dhdhdhdh" vẫn nhận được 100% phần thưởng
• Điểm yếu ở vùng khái quát hóa ngoài mẫu
  • Với đầu vào mà mô hình chưa từng thấy trong huấn luyện, LLM làm giám khảo có thể chấm điểm cực đoan
  • Có thể cải thiện bằng huấn luyện lặp lại, nhưng tồn tại vô hạn ví dụ đối kháng đối với mô hình 1 nghìn tỷ tham số
• Sự cần thiết của dữ liệu tổng hợp và rà soát
  • Đang có những thử nghiệm theo hướng meta-learning bằng cách rà soát lời giải và tạo ví dụ tổng hợp
  • Ở quy mô các phòng thí nghiệm LLM frontier, vẫn chưa có phương pháp thật sự thuyết phục để hoạt động với tính tổng quát hoàn chỉnh

Học của con người vs học của LLM

• Con người hầu như không dùng học tăng cường
  • Phần lớn học tăng cường là cho các tác vụ vận động như ném bóng vào rổ
  • Với các tác vụ trí tuệ như giải quyết vấn đề, con người không dùng RL
• Đọc sách là một lời nhắc để tạo dữ liệu tổng hợp
  • Con người đọc sách, thao tác với thông tin và từ đó tiếp thu tri thức
  • LLM chỉ trải chuỗi văn bản ra và học bằng cách dự đoán token tiếp theo
• Vấn đề model collapse
  • Mẫu do LLM tạo ra có thể hợp lý khi xét riêng lẻ, nhưng phân phối tổng thể lại âm thầm sụp đổ
  • ChatGPT chỉ lặp đi lặp lại 3 trò đùa (thiếu toàn bộ độ rộng của không gian trò đùa có thể có)
  • Con người cũng suy giảm theo thời gian, nhưng trẻ em chưa bị overfit vẫn có thể đưa ra những phát ngôn gây sốc

Cân bằng giữa ghi nhớ và khái quát hóa

• LLM cực kỳ giỏi ghi nhớ
  • Ngay cả chuỗi hoàn toàn ngẫu nhiên cũng có thể được đọc thuộc toàn bộ chỉ sau một hai lần lặp lại
  • Con người không thể đọc thuộc chuỗi số ngẫu nhiên
• Khả năng ghi nhớ không phải lỗi mà là tính năng
  • Con người bị buộc phải chỉ học các thành phần có thể khái quát hóa
  • LLM lại bị phân tâm bởi ký ức về các tài liệu trong tiền huấn luyện
• Cần loại bỏ tri thức khỏi lõi nhận thức
  • Lõi nhận thức được dự đoán chỉ khoảng 1 tỷ tham số
  • Loại bỏ tri thức và chỉ giữ lại thuật toán cùng chiến lược
  • Có thể giải quyết bằng cách tinh lọc tập tiền huấn luyện và chưng cất sang mô hình nhỏ hơn

Hướng cải tiến và triển vọng kỹ thuật sắp tới

• Trong 10 năm tới, để đạt kết quả có ý nghĩa, mọi lĩnh vực như kiến trúc, tối ưu hóa (optimizer), hàm mất mát, dữ liệu, phần mềm, phần cứng đều sẽ phải cùng tiến bộ
• Cấu trúc Transformer hay cách làm deep learning hiện nay có thể vẫn còn được duy trì một phần, nhưng sparse attention, sức mạnh tính toán mở rộng, dữ liệu quy mô lớn sẽ được bổ sung thêm
• Từ những tiến bộ đến nay có thể thấy rằng, thay vì một yếu tố đơn lẻ, sự cải thiện đồng thời ở nhiều bộ phận mới là điều quan trọng

Khiếm khuyết nhận thức của LLM và việc dùng công cụ lập trình

• LLM thường được dùng để hỗ trợ lập trình, nhưng vẫn có nhiều giới hạn với việc viết mã đòi hỏi tập trung cao và cần thiết kế, phương pháp riêng
• Chủ yếu có ba cách được dùng lẫn với nhau: (1) viết hoàn toàn thủ công, (2) dùng tự động hoàn thành, (3) theo kiểu “agent”
• Với mã nền tảng, càng có nhiều mẫu lặp lại/case tốt thì LLM càng phù hợp; nhưng với mã mang tính độc đáo và cần cấu trúc chặt chẽ, LLM thường bộc lộ vấn đề như cố chấp theo phong cách cũ, tăng độ phức tạp không cần thiết, hiểu sai convention
• Trong một ví dụ thực tế, dù không muốn dùng container PyTorch DDP, LLM vẫn liên tục đề xuất nó, gây cản trở cho phong cách mã và cách triển khai mong muốn

Trải nghiệm phát triển nanochat

• LLM không phù hợp với các codebase độc đáo
  • Chỉ hữu ích với mã mẫu lặp lại và những thứ thường xuất hiện trên internet
  • nanochat đòi hỏi nhiều lao động trí tuệ và cần các mảng chính xác, nên các mô hình liên tục hiểu sai
• Tự động hoàn thành là cách dùng tối ưu
  • Vibe coding chỉ hoạt động trong một số thiết lập nhất định
  • Tự động hoàn thành cung cấp băng thông thông tin cao chỉ từ vài ký tự đầu tiên
• Hữu ích khi học ngôn ngữ mới như Rust
  • Nếu có implementation tham chiếu và bài test bằng Python thì có thể vibe coding một cách an toàn
  • Cải thiện khả năng tiếp cận với các ngôn ngữ hoặc mô hình lập trình chưa quen thuộc

Thực tế của tự động hóa AI engineering

• Các mô hình hiện tại chưa đủ cho việc tự động hóa nghiên cứu AI
  • Vì coding dựa trên văn bản nên đây là lĩnh vực đầu tiên cực kỳ phù hợp với LLM
  • Nhưng chúng không giỏi lắm với những đoạn mã chưa từng được viết trước đó
• Khoảng cách giữa demo và sản phẩm
  • Demo xe tự lái đã tồn tại từ thập niên 1980, nhưng phải rất lâu mới thương mại hóa được
  • "Cuộc hành quân của các số 9" - mỗi số 9 tương ứng với một lượng công việc nhất định, cần cải thiện liên tục từ 90% lên 99.999%
• Bùng nổ trí tuệ sẽ không hiện ra trên đường cong GDP
  • Ngay cả các công nghệ mang tính biến đổi như máy tính hay iPhone cũng không thể tìm thấy rõ trong GDP
  • Mọi thứ lan tỏa quá rộng và khuếch tán quá chậm nên đều bị trung bình hóa thành cùng mức tăng 2%

Bài học từ xe tự lái

• Xe tự lái vẫn chưa xong
  • Ngay cả Waymo cũng có rất ít xe và vận hành không hiệu quả về kinh tế
  • Con người trong trung tâm điều khiển từ xa vẫn đang ở trong vòng lặp
• Điểm chung của các miền tới hạn an toàn
  • Software engineering cũng có chi phí sai lầm rất cao, chẳng hạn lỗ hổng bảo mật
  • Cần một "cuộc hành quân của các số 9" tương tự như xe tự lái
• Cách tiếp cận có thể mở rộng của Tesla
  • Waymo khởi đầu sớm với rất nhiều cảm biến
  • Tesla có lợi thế dài hạn hơn nhờ chiến lược có khả năng mở rộng tốt hơn

So sánh AI xe tự lái và AI cho lao động tri thức

• Lĩnh vực bit dễ hơn thế giới vật lý gấp hàng triệu lần
  • Bit có thể thay đổi và tái sắp xếp rất nhanh
  • Dự kiến việc thích nghi của ngành sẽ nhanh hơn rất nhiều
• Khác biệt về chi tiêu vốn
  • Xe tự lái cần một chiếc xe hoàn toàn mới cho mỗi bản sao
  • Mô hình AI có thể cung cấp thêm instance chỉ với chi phí suy luận
• Độ phức tạp của chấp nhận xã hội
  • Cần giải quyết các khía cạnh pháp lý, bảo hiểm và quy định
  • AI cũng sẽ có phiên bản tương đương với những người đặt cọc tiêu lên xe Waymo

Tầm nhìn của Eureka Labs

• Xây dựng Starfleet Academy
  • Một tổ chức giáo dục tinh hoa cho công nghệ tiên phong
  • Cung cấp kiến thức công nghệ mới nhất, bao gồm cả AI
• Giáo dục sau AGI sẽ là niềm vui
  • Trước AGI: giáo dục hữu ích để kiếm tiền
  • Sau AGI: giáo dục mang tính giải trí, giống như đi tập gym hay đến trường
• Đang chờ một AI tutor hoàn hảo
  • Trải nghiệm với gia sư tiếng Hàn cá nhân đã đặt ra tiêu chuẩn
  • Hiểu được mức độ tiếp thu của học sinh, đưa ra thử thách phù hợp và truyền đạt thông tin hoàn hảo
  • Hiện tại chưa thể làm được với năng lực bây giờ, nhưng tương lai thì có thể

Nguyên tắc thiết kế tài liệu giáo dục

• Cách tư duy kiểu vật lý
  • Hiểu hệ thống theo các hạng bậc một, bậc hai, bậc ba
  • Xây dựng mô hình và sự trừu tượng hóa
  • Giá trị của giả định "con bò hình cầu"
• Đưa ra nỗi đau trước rồi mới đưa giải pháp
  • Trước tiên cho học sinh cơ hội tự thử
  • Tạo động lực bằng prompt trước khi đưa lời giải
• Ví dụ về micrograd
  • Chỉ với 100 dòng đã cho thấy cốt lõi của backpropagation
  • Tất cả phần còn lại chỉ là hiệu quả
  • Rốt cuộc chỉ là áp dụng đệ quy của quy tắc chuỗi

Chiến lược học tập hiệu quả

• Ưu tiên chiều sâu, học khi cần
  • Học thông qua một dự án cụ thể và nhận phần thưởng trong quá trình đó
  • Luân phiên với cách học theo bề rộng kiểu trường học
• Giải thích lại cho người khác
  • Buộc bạn phải phát hiện và lấp đầy những khoảng trống trong hiểu biết
  • Thao tác với tri thức để hiểu sâu hơn
• Trò chuyện lúc ăn trưa > bài báo khoa học
  • Ba câu nghe được khi uống bia ở hội nghị có thể rõ ràng hơn cả một bài báo

Tôi thích giải thích lại một điều gì đó, và người khác cũng nên làm như vậy. Vì khi đó bạn buộc phải thao tác với tri thức, và khi giải thích, bạn phải chắc rằng mình thực sự hiểu mình đang nói gì.

---

# [Toàn bộ transcript]

00:00:00 – AGI vẫn còn ít nhất 10 năm nữa

Dwarkesh Patel 00:00:00

Hôm nay tôi trò chuyện với Andrej Karpathy. Andrej, vì sao anh nói đây sẽ không phải là "năm của agent" mà là "thập kỷ của agent"?

Andrej Karpathy 00:00:07

Trước hết, cảm ơn vì đã mời tôi. Tôi rất vui khi được tham gia.

Cụm từ "thập kỷ của agent" mà anh vừa nhắc đến thực ra là phản ứng của tôi với một cách nói đã xuất hiện trước đó. Tôi không biết chính xác ai là người nói, nhưng đã có một cách diễn đạt ngụ ý rằng năm nay sẽ là "năm của agent" liên quan đến sự tiến hóa của LLM. Điều đó khiến tôi muốn phản biện, vì tôi nghĩ trong ngành đang có quá nhiều dự đoán thái quá. Theo tôi, gọi đây là "thập kỷ của agent" sẽ chính xác hơn nhiều.

Chúng ta đã có những agent giai đoạn đầu nhưng rất ấn tượng, và tôi cũng dùng Claude hay Codex mỗi ngày. Nhưng tôi vẫn cảm thấy còn rất nhiều việc phải làm. Tôi nghĩ chúng ta sẽ còn làm việc với các hệ thống này trong 10 năm tới. Chúng sẽ dần tốt hơn và trở nên tuyệt vời hơn. Tôi chỉ đang phản ứng với mốc thời gian ngầm định đó thôi.

Dwarkesh Patel 00:00:58

Điều gì khiến anh nghĩ sẽ mất 10 năm? Nút thắt nằm ở đâu?

Andrej Karpathy 00:01:02

Là chuyện làm cho nó thực sự hoạt động. Khi nói về agent, điều mà các phòng thí nghiệm AI đang hình dung, và có lẽ điều tôi cũng hình dung, là nó phải giống như một nhân viên hay thực tập sinh mà bạn tuyển về để cùng làm việc. Ví dụ, anh cũng đang làm việc với nhân viên của mình ở đây mà. Đến lúc nào thì anh muốn một agent như Claude hay Codex làm công việc đó?

Ở thời điểm hiện tại thì rõ ràng là chưa thể. Vậy cần gì để điều đó trở nên khả thi? Tại sao ngày nay chúng ta chưa dùng chúng theo cách đó? Lý do rất đơn giản. Vì chúng không hoạt động đủ tốt. Chúng chưa đủ thông minh, chưa đủ khả năng đa phương thức, và cũng chưa thể làm những việc như sử dụng máy tính.

Chúng không làm được nhiều điều anh vừa nhắc đến. Chúng không có khả năng học liên tục. Bạn không thể dạy cho chúng một điều gì rồi kỳ vọng rằng chúng sẽ nhớ. Có rất nhiều thiếu hụt về mặt nhận thức, và chúng chưa vận hành đúng nghĩa. Sẽ mất khoảng 10 năm để giải quyết tất cả những vấn đề này.

Dwarkesh Patel 00:01:44

Thú vị thật. Với tư cách một podcaster chuyên nghiệp và là người quan sát AI từ xa, tôi có thể dễ dàng nhận ra những gì còn thiếu, chẳng hạn thiếu khả năng học liên tục hay thiếu năng lực đa phương thức. Nhưng tôi không có cách tốt để gán cho nó một mốc thời gian. Nếu ai đó hỏi việc học liên tục sẽ mất bao lâu, tôi hoàn toàn không có trực giác liệu đây là một dự án cần 5 năm, 10 năm hay 50 năm. Tại sao là 10 năm? Tại sao không phải 1 năm hay 50 năm?

Andrej Karpathy 00:02:16

Ở đây tôi phải dựa vào trực giác cá nhân và suy luận từ kinh nghiệm thực địa. Tôi đã ở trong lĩnh vực AI gần 20 năm rồi. Có lẽ khoảng 15 năm. Không dài đến thế đâu. Richard Sutton từng xuất hiện ở đây còn ở trong ngành lâu hơn nhiều. Tôi có khoảng 15 năm kinh nghiệm, và trong khoảng thời gian đó tôi đã chứng kiến mọi người đưa ra dự đoán, rồi nhìn xem chúng thành hiện thực như thế nào. Tôi cũng đã làm trong công nghiệp một thời gian, rồi làm nghiên cứu, rồi lại quay về công nghiệp. Từ những trải nghiệm đó, tôi còn lại một trực giác khá tổng quát.

Cảm nhận của tôi là các vấn đề này có thể giải được, có thể vượt qua được, nhưng vẫn khó. Nếu lấy trung bình mà nghĩ, với tôi nó đơn giản là cảm giác như 10 năm.

Dwarkesh Patel 00:02:57

Rất thú vị. Không chỉ về lịch sử, tôi còn muốn nghe việc những người có mặt ngay tại thời điểm xảy ra các bước đột phá khác nhau đã cảm nhận điều gì sẽ xảy ra. Những dự đoán của họ đã quá bi quan hoặc quá lạc quan theo cách nào? Chúng ta thử đi từng cái một nhé?

Andrej Karpathy 00:03:16

Đó là một câu hỏi cực kỳ lớn. Vì chúng ta đang nói về những gì đã xảy ra trong 15 năm qua. AI thực sự là một lĩnh vực đáng kinh ngạc. Đã có vài lần thay đổi mang tính địa chấn khiến toàn bộ lĩnh vực này bỗng nhìn hoàn toàn khác đi. Tôi có lẽ đã trực tiếp trải qua hai hoặc ba lần trong số đó. Và tôi nghĩ những lần như vậy sẽ còn tiếp tục xảy ra. Chúng đến gần như đều đặn đến mức đáng ngạc nhiên.

Khi sự nghiệp của tôi bắt đầu, khi tôi bắt đầu làm về deep learning, lý do tôi quan tâm đến deep learning là nhờ một sự tình cờ khi được ở ngay cạnh Geoff Hinton tại Đại học Toronto. Geoff Hinton, dĩ nhiên, là kiểu nhân vật như một trong những cha đỡ đầu của AI. Ông ấy đang huấn luyện những mạng nơ-ron như thế này, và tôi thấy điều đó thật đáng kinh ngạc và thú vị. Nhưng khi đó, đây hoàn toàn không phải là điều chính mà mọi người trong AI đều làm. Nó chỉ là một chủ đề ngách nhỏ ở một góc nào đó. Có lẽ bước ngoặt địa chấn đầu tiên đã đến cùng với AlexNet.

AlexNet đã khiến mọi người định hướng lại, và ai cũng bắt đầu huấn luyện mạng nơ-ron. Nhưng khi đó người ta vẫn tiếp cận theo từng tác vụ, từng tác vụ cụ thể. Chẳng hạn bạn có một bộ phân loại hình ảnh, hoặc có một hệ thống dịch máy bằng mạng nơ-ron. Mọi người bắt đầu quan tâm đến các agent, nhưng rất chậm. Họ bắt đầu nghĩ, “Được rồi, kiểu như vỏ não thị giác thì đã được đánh dấu hoàn thành, nhưng còn những phần khác của bộ não thì sao, và làm thế nào để có được một agent hoàn chỉnh hay một thực thể hoàn chỉnh có thể tương tác với thế giới?”

Tác động của deep reinforcement learning với Atari vào khoảng năm 2013, theo tôi, là một phần trong những nỗ lực ban đầu về agent. Bởi vì đó là nỗ lực tạo ra các agent không chỉ nhận thức thế giới mà còn hành động, tương tác và nhận phần thưởng từ môi trường. Khi ấy đó là các trò chơi Atari.

Tôi cảm thấy đó là một hướng đi sai. Ngay cả OpenAI thời kỳ đầu mà tôi từng tham gia cũng đã chọn hướng đi sai đó. Bởi vì tinh thần thời đại lúc ấy là môi trường reinforcement learning, trò chơi, chơi game, chiến thắng trong game, có được nhiều loại game khác nhau, và OpenAI cũng làm rất nhiều thứ như vậy. Tất cả những điều đó đều hơi giống một sai lầm. Có lẽ trong 2, 3, 4 năm, mọi người đều áp dụng reinforcement learning vào game, và toàn bộ chuyện đó đều hơi đi sai hướng.

Điều tôi cố gắng làm ở OpenAI — tôi luôn hơi hoài nghi về ý tưởng rằng game sẽ dẫn đến AGI. Theo tôi, thứ chúng ta muốn là một cái gì đó như một kế toán viên, một thứ gì đó tương tác với thế giới thực. Tôi không thể hiểu được game sẽ dẫn tới điều đó như thế nào. Ví dụ, ở OpenAI, dự án của tôi, trong phạm vi của dự án Universe, là về một agent thao tác các trang web bằng bàn phím và chuột. Tôi thực sự muốn tạo ra thứ gì đó có thể tương tác với thế giới số thực và làm lao động tri thức.

Nhưng hóa ra đây là một nỗ lực quá sớm, quá quá sớm, sớm đến mức lẽ ra chúng tôi không nên làm vào thời điểm đó. Bởi vì nếu bạn cứ lần mò loạn xạ, gõ bàn phím bừa bãi và nhấp chuột để cố lấy phần thưởng trong một môi trường như vậy, thì phần thưởng quá thưa thớt nên mô hình không thể học được. Bạn sẽ đốt một lượng tài nguyên tính toán khổng lồ nhưng không bao giờ đạt kết quả. Điều còn thiếu lúc đó là năng lực biểu diễn trong mạng nơ-ron.

Ví dụ, ngày nay người ta đang huấn luyện các agent sử dụng máy tính, nhưng họ làm điều đó trên nền các mô hình ngôn ngữ lớn. Trước hết bạn phải có mô hình ngôn ngữ, trước hết bạn phải có biểu diễn, và phải đạt được điều đó thông qua pretraining và toàn bộ hệ công việc liên quan đến LLM.

Cảm nhận của tôi là, nói một cách khái quát, con người đã vài lần liên tiếp cố gắng đạt tới thứ hoàn chỉnh quá sớm. Tôi muốn nói rằng mọi người đã cố theo đuổi agent quá sớm. Atari, Universe, và ngay cả kinh nghiệm của chính tôi cũng như vậy. Thực ra đã có những việc cần làm trước khi chạm tới agent. Giờ đây các agent đã có năng lực hơn rất nhiều, nhưng có lẽ chúng ta vẫn còn đang thiếu một phần nào đó trong stack này.

Tôi muốn nói ba điều này là những nhóm chính mà mọi người từng làm: huấn luyện mạng nơ-ron theo từng tác vụ, thử vòng agent đầu tiên, và rồi theo đuổi năng lực biểu diễn của mạng nơ-ron trước khi chồng thêm LLM và mọi thứ khác lên trên.

Dwarkesh Patel 00:07:02

Thú vị đấy. Nếu tôi thử bảo vệ quan điểm của Sutton mạnh hơn một chút, thì con người có thể tiếp nhận mọi thứ cùng một lúc. Hoặc ngay cả động vật cũng có thể tiếp nhận mọi thứ cùng một lúc. Có lẽ động vật là ví dụ tốt hơn, vì chúng thậm chí không có bộ khung là ngôn ngữ. Chúng просто bị ném vào thế giới và phải hiểu mọi thứ mà không có bất kỳ nhãn nào.

Vậy thì chẳng phải tầm nhìn về AGI nên là nhìn vào dữ liệu cảm giác, nhìn vào màn hình máy tính, rồi tự hiểu điều gì đang diễn ra từ đầu sao? Nếu con người bị đặt vào một tình huống tương tự và phải được huấn luyện từ đầu... điều này giống như con người lớn lên hay động vật lớn lên. Thay vì có hàng triệu năm huấn luyện, tại sao đó lại không thể là tầm nhìn cho AI?

Andrej Karpathy 00:07:41

Đó là một câu hỏi rất hay. Sutton đã xuất hiện trên podcast của bạn, tôi cũng đã xem podcast đó, và tôi đã viết một bài về cách tôi nhìn nhận việc này. Tôi rất cẩn trọng với việc lập phép so sánh với động vật. Bởi vì động vật xuất hiện thông qua một quá trình tối ưu hóa rất khác. Động vật đã tiến hóa, và chúng đi kèm với một lượng lớn phần cứng được tích hợp sẵn.

Ví dụ, ví dụ tôi dùng trong bài viết là ngựa vằn. Một con ngựa vằn được sinh ra, và vài phút sau nó đã có thể chạy nhảy và đi theo mẹ. Đó là một việc cực kỳ phức tạp. Đó không phải là reinforcement learning. Đó là thứ được tích hợp sẵn. Rõ ràng tiến hóa có cách mã hóa các trọng số của mạng nơ-ron của chúng ta vào ATCG, và tôi không biết điều đó hoạt động ra sao, nhưng rõ ràng là nó hoạt động.

Bộ não xuất hiện từ một quá trình rất khác, và tôi rất ngần ngại khi lấy cảm hứng từ đó. Vì trên thực tế chúng ta không đang chạy quá trình đó. Trong bài viết của tôi, tôi nói rằng chúng ta không tạo ra động vật. Chúng ta đang tạo ra những thứ giống như ma hay linh hồn. Dù người ta gọi chúng là gì đi nữa, chúng ta không huấn luyện bằng tiến hóa. Chúng ta đang bắt chước con người và huấn luyện thông qua dữ liệu mà họ đã đăng lên Internet.

Rốt cuộc chúng sẽ trở thành những thực thể mang tính tinh thần như vậy. Chúng hoàn toàn là kỹ thuật số và đang bắt chước con người. Đó là một kiểu trí tuệ khác. Nếu bạn tưởng tượng không gian của trí tuệ, thì chúng ta gần như đang bắt đầu từ một điểm khác. Chúng ta thực sự không tạo ra động vật. Nhưng theo thời gian, tôi nghĩ hoàn toàn có thể, và cũng nên, khiến chúng giống động vật hơn một chút.

Còn một điều nữa tôi muốn nói là, Sutton rất... khuôn khổ của ông ấy là “chúng ta muốn tạo ra động vật”. Tôi nghĩ nếu có thể làm cho điều đó hoạt động thì sẽ rất tuyệt. Sẽ thật đáng kinh ngạc. Nếu có một thuật toán duy nhất có thể chạy trên Internet và học mọi thứ, thì điều đó sẽ thật đáng kinh ngạc. Tôi không chắc liệu thứ đó có tồn tại hay không, và chắc chắn đó không phải điều động vật đang làm. Bởi động vật có một vòng lặp bên ngoài là tiến hóa.

Phần lớn những gì trông giống như học tập thực ra gần với sự trưởng thành của bộ não hơn là học tập. Tôi nghĩ động vật có rất ít reinforcement learning. Phần lớn reinforcement learning là cho các tác vụ vận động chẳng hạn. Không phải các tác vụ trí tuệ. Vì vậy, thực ra tôi nghĩ con người hầu như không dùng RL, nói một cách khái quát.

Dwarkesh Patel 00:09:52

Ông có thể nói lại câu cuối cùng được không? Ý ông là phần lớn trí tuệ đó không phải là tác vụ vận động mà là... là gì nhỉ?

Andrej Karpathy 00:09:54

Theo quan điểm của tôi, phần lớn reinforcement learning sẽ dành cho những thứ mang tính vận động hơn nhiều, những tác vụ đơn giản như ném bóng vào rổ. Nhưng tôi không nghĩ con người sử dụng reinforcement learning cho nhiều tác vụ trí tuệ như giải quyết vấn đề. Điều đó không có nghĩa là chúng ta không nên nghiên cứu theo hướng đó, nhưng tôi nghĩ đó đúng là thứ động vật làm hoặc không làm.

Dwarkesh Patel 00:10:17

Tôi cần chút thời gian để tiêu hóa điều đó. Có quá nhiều ý tưởng trong đó. Tôi sẽ hỏi một câu làm rõ để hiểu quan điểm của ông. Ông đã gợi ý rằng tiến hóa làm cùng loại công việc mà pretraining làm, theo nghĩa là nó xây dựng một thứ có thể hiểu thế giới.

Điểm khác biệt là tiến hóa, trong trường hợp con người, phải được điều phối thông qua 3 gigabyte DNA. Điều đó rất khác với trọng số của mô hình. Theo đúng nghĩa đen, trọng số của mô hình chính là bộ não, và rõ ràng thứ đó không tồn tại trong tinh trùng và trứng. Vì vậy nó phải phát triển. Ngoài ra, thông tin về mọi khớp thần kinh trong não đơn giản là không thể tồn tại trong 3 gigabyte có trong DNA.

Tiến hóa có vẻ gần với việc tìm ra một thuật toán học tập suốt đời hơn. Tất nhiên, học tập suốt đời có thể không giống RL như anh đã chỉ ra. Điều đó có tương thích với điều anh đang nói không, hay anh không đồng ý?

Andrej Karpathy 00:11:17

Tôi nghĩ là có. Tôi đồng ý rằng rõ ràng đang có một sự nén đáng kinh ngạc diễn ra. Hiển nhiên là trọng số của mạng nơ-ron không được lưu trong ATCG. Có một sự nén rất mạnh. Những thuật toán học được mã hóa vào đó sẽ tiếp nhận một phần việc học diễn ra online. Ở điểm đó thì tôi chắc chắn đồng ý. Tôi muốn nói rằng mình có tư duy thực dụng hơn nhiều. Tôi không tiếp cận từ góc độ hãy tạo ra động vật. Tôi tiếp cận từ góc độ hãy tạo ra thứ gì đó hữu ích. Tôi đang đội mũ an toàn, và chỉ đơn giản là quan sát rằng chúng ta sẽ không làm tiến hóa, vì chúng ta không biết cách.

Nhưng hóa ra bằng cách bắt chước các tài liệu trên internet, ta có thể tạo ra những thực thể kiểu bóng ma, kiểu linh hồn này. Điều đó có hiệu quả. Đây là một phiên bản khả thi về mặt thực tiễn của việc đưa bạn tiến tới một thứ gì đó có rất nhiều tri thức và trí tuệ tích hợp sẵn, theo cách nào đó tương tự như những gì tiến hóa đã làm. Đó là lý do tôi gọi tiền huấn luyện là một dạng tiến hóa tồi. Đó là phiên bản khả thi về mặt thực tiễn với công nghệ của chúng ta và những gì chúng ta có thể sử dụng, để đạt tới một điểm khởi đầu nơi bạn có thể làm những thứ như học tăng cường.

Dwarkesh Patel 00:12:15

Nếu thử biện hộ cho góc nhìn kia, sau khi tôi làm cuộc phỏng vấn với Sutton này và suy nghĩ về nó, ông ấy có một điểm quan trọng ở đây. Tiến hóa thực ra không cho chúng ta tri thức. Nó cho chúng ta một thuật toán để tìm ra tri thức. Và điều đó có vẻ khác với tiền huấn luyện.

Có lẽ góc nhìn ở đây là tiền huấn luyện giúp xây dựng một loại thực thể có thể học tốt hơn. Nó dạy meta-learning, nên tương tự như việc tìm ra thuật toán. Nhưng nếu nói rằng “tiến hóa cho chúng ta tri thức, tiền huấn luyện cho chúng ta tri thức”, thì phép so sánh đó dường như sụp đổ.

Andrej Karpathy 00:12:42

Đây là điểm tinh tế, và tôi nghĩ anh đúng khi phản biện ở đó, nhưng về cơ bản điều mà tiền huấn luyện đang làm là lấy một bộ dự đoán token tiếp theo trên internet và huấn luyện nó thành một mạng nơ-ron. Nó đang làm hai việc không liên quan. Thứ nhất, nó đang hấp thụ toàn bộ thứ mà tôi gọi là tri thức này. Thứ hai, nó thực sự đang trở nên thông minh hơn.

Bằng cách quan sát các mẫu thuật toán trên internet, nó khởi động tất cả những mạch nhỏ và thuật toán này bên trong mạng nơ-ron để làm những thứ như học theo ngữ cảnh (in-context-learning). Bạn không cần cũng không muốn có tri thức. Theo tôi, có lẽ nhìn chung điều đó còn đang cản trở mạng nơ-ron, vì đôi khi nó khiến nó phụ thuộc quá nhiều vào tri thức.

Ví dụ, một thứ mà các agent làm không tốt là đi ra ngoài manifold dữ liệu tồn tại trên internet. Nếu chúng có ít tri thức hay ký ức hơn, có lẽ chúng còn làm tốt hơn. Tôi nghĩ điều cần làm trong tương lai — và điều này sẽ là một phần của mô hình nghiên cứu — là tìm ra cách loại bỏ một phần tri thức và giữ lại cái mà tôi gọi là cốt lõi nhận thức (cognitive core). Đó là thực thể thông minh này đã tách khỏi tri thức, nhưng vẫn chứa phép màu của các thuật toán, trí tuệ, giải quyết vấn đề và các chiến lược của nó.

Dwarkesh Patel 00:13:50

Ở đó có rất nhiều điều cực kỳ thú vị. Hãy bắt đầu với học theo ngữ cảnh. Đây là một điểm hiển nhiên, nhưng tôi nghĩ đáng để nói ra một cách rõ ràng và suy ngẫm về nó. Những tình huống mà các mô hình này trông thông minh nhất — những khoảnh khắc khi tôi trò chuyện với chúng và cảm thấy “wow, thực sự có thứ gì đó ở phía bên kia đang phản hồi mình”, mọi thứ như khi nó mắc lỗi rồi nói “à khoan, đó là một cách nghĩ sai. Hãy quay lại” — tất cả những điều đó đều diễn ra trong ngữ cảnh. Đó là nơi có trí thông minh thật sự mà anh có thể nhìn thấy bằng mắt.

Quá trình học theo ngữ cảnh được phát triển bởi gradient descent trên tiền huấn luyện. Nó tự phát meta-học cách học theo ngữ cảnh, nhưng bản thân học theo ngữ cảnh thì không phải là gradient descent. Tương tự như việc ở con người, khả năng để trí thông minh suốt đời của chúng ta có thể hoạt động được là do tiến hóa điều kiện hóa, nhưng việc học trong suốt cuộc đời lại diễn ra thông qua một quá trình khác.

Andrej Karpathy 00:14:42

Tôi không hoàn toàn đồng ý, nhưng cứ tiếp tục mạch suy nghĩ của anh đi.

Dwarkesh Patel 00:14:44

Ừm, tôi muốn hiểu phép so sánh đó sụp đổ như thế nào.

Andrej Karpathy 00:14:48

Tôi ngần ngại khi nói rằng học theo ngữ cảnh không thực hiện gradient descent. Nó không làm gradient descent một cách tường minh. Học theo ngữ cảnh là hoàn thiện mẫu trong một cửa sổ token. Hóa ra có một lượng khổng lồ các mẫu trên internet. Anh nói đúng. Mô hình học cách hoàn thiện mẫu, và điều đó nằm trong các trọng số. Trọng số của mạng nơ-ron cố gắng phát hiện mẫu và hoàn thiện mẫu. Có sự thích nghi xảy ra bên trong mạng nơ-ron, nó rất kỳ diệu và đơn giản là xuất hiện từ internet, vì có quá nhiều mẫu.

Tôi sẽ nói rằng có những bài báo thú vị xem xét cơ chế đằng sau học theo ngữ cảnh. Tôi nghĩ có khả năng học theo ngữ cảnh đang chạy những vòng lặp gradient descent nhỏ bên trong các lớp của mạng nơ-ron. Một bài báo mà tôi đặc biệt nhớ dùng học theo ngữ cảnh để làm hồi quy tuyến tính. Đầu vào cho mạng nơ-ron là các cặp XY. XY, XY, XY nằm trên một đường thẳng. Sau đó bạn đưa vào X và kỳ vọng Y. Khi được huấn luyện theo cách này, mạng nơ-ron thực hiện hồi quy tuyến tính.

Thông thường khi chạy hồi quy tuyến tính, bạn có một bộ tối ưu hóa gradient descent nhỏ nhìn vào XY, nhìn vào lỗi, tính gradient của các trọng số và cập nhật vài lần. Khi họ xem xét các trọng số của thuật toán học theo ngữ cảnh đó, hóa ra họ tìm thấy một số điểm tương đồng với cơ chế gradient descent. Thực ra, tôi nghĩ bài báo còn mạnh hơn thế: họ đã hardcode các trọng số của mạng nơ-ron để nó thực hiện gradient descent thông qua attention và toàn bộ phần bên trong của mạng nơ-ron.

Đó là phản biện duy nhất của tôi. Không ai biết học theo ngữ cảnh hoạt động như thế nào, nhưng có lẽ bên trong nó đang làm một kiểu gradient descent kỳ lạ nào đó. Tôi nghĩ điều đó là có thể. Tôi chỉ đang phản bác ý anh khi anh nói rằng nó không làm học theo ngữ cảnh. Không ai biết nó đang làm gì, nhưng có lẽ nó đang làm thứ gì đó tương tự như vậy. Nhưng chúng ta không biết.

Dwarkesh Patel 00:16:39

Vậy nếu học theo ngữ cảnh và tiền huấn luyện đều đang triển khai thứ gì đó giống gradient descent, thì tại sao trong học theo ngữ cảnh lại có cảm giác như ta đang chạm tới kiểu học liên tục này, kiểu trí thông minh thật sự này? Trong khi chỉ với tiền huấn luyện thì ta lại không có cảm giác tương tự. Có thể lập luận như vậy.

Nếu là cùng một thuật toán, thì điều gì có thể khác nhau? Một cách để nghĩ về điều này là: mô hình lưu giữ được bao nhiêu thông tin trên mỗi đơn vị thông tin nó nhận được trong quá trình huấn luyện. Nếu nhìn vào giai đoạn tiền huấn luyện, ví dụ Llama 3, tôi nghĩ nó được huấn luyện trên 15 nghìn tỷ token. Nếu nhìn vào mô hình 70B, thì con số đó tương đương khoảng 0,07 bit cho mỗi token được thấy trong tiền huấn luyện, xét theo lượng thông tin trong trọng số của mô hình so với số token nó đọc. Trong khi đó, nếu nhìn vào KV cache và xem nó tăng thêm bao nhiêu cho mỗi token bổ sung trong học trong ngữ cảnh, thì là khoảng 320 kilobyte. Vậy nên có chênh lệch tới 35 triệu lần về lượng thông tin mà mô hình đồng hóa trên mỗi token. Tôi tự hỏi liệu điều đó có liên quan không.

Andrej Karpathy 00:17:46

Tôi đồng ý ở một mức độ nào đó. Cách tôi thường diễn đạt điều này là: mọi thứ diễn ra trong quá trình huấn luyện mạng nơ-ron chỉ là một ký ức mờ nhạt về những gì đã xảy ra lúc huấn luyện. Bởi vì mức độ nén là cực kỳ lớn. Bạn lấy 15 nghìn tỷ token rồi nén chúng vào một mạng nơ-ron cuối cùng chỉ có vài chục tỷ tham số. Rõ ràng là đang có một lượng nén khổng lồ xảy ra. Vì thế tôi gọi đó là một ký ức mờ nhạt về các tài liệu trên internet.

Ngược lại, mọi thứ diễn ra trong cửa sổ ngữ cảnh của mạng nơ-ron—đưa toàn bộ token vào và xây dựng toàn bộ biểu diễn KV cache—thì mạng nơ-ron có thể truy cập rất trực tiếp. Vì vậy tôi thường so sánh KV cache và những gì diễn ra ở thời điểm suy luận với trí nhớ làm việc hơn. Mọi thứ trong cửa sổ ngữ cảnh đều là thứ mạng nơ-ron có thể truy cập rất trực tiếp.

Giữa LLM và con người luôn có những điểm tương đồng gần như đáng kinh ngạc như vậy. Tôi thấy chúng đáng ngạc nhiên, bởi vì chúng ta không trực tiếp cố tạo ra não người. Chúng ta chỉ đơn giản phát hiện ra cách này hoạt động và rồi làm theo thôi. Nhưng tôi cảm thấy mọi thứ nằm trong trọng số đều giống như ký ức mờ nhạt về thứ bạn đã đọc một năm trước. Còn mọi thứ bạn đưa vào làm ngữ cảnh ở thời điểm suy luận thì nằm trực tiếp trong trí nhớ làm việc. Đó là một phép ẩn dụ rất mạnh để nghĩ về vấn đề này.

Ví dụ, nếu bạn hỏi một LLM về một cuốn sách nào đó, chuyện gì xảy ra trong đó, chẳng hạn cuốn sách của Nick Lane, thì LLM thường sẽ đưa ra câu trả lời đại khái đúng. Nhưng nếu bạn đưa cho nó cả một chương rồi đặt câu hỏi, bạn sẽ có kết quả tốt hơn nhiều. Bởi vì lúc đó nó đã được nạp vào trí nhớ làm việc của mô hình. Nên đó là cách nói dài dòng để bảo rằng tôi đồng ý, và đó là lý do.

Dwarkesh Patel 00:19:11

Lùi lại một bước, phần nào của trí tuệ con người mà chúng ta thất bại nhiều nhất trong việc tái tạo bằng các mô hình kiểu này?

Andrej Karpathy 00:19:20

Đơn giản là rất nhiều phần. Nên một cách để nghĩ về điều đó là, tôi không biết đây có phải cách tốt nhất không, nhưng tôi gần như—một lần nữa, dù những phép so sánh kiểu này luôn không hoàn hảo—cảm thấy rằng với mạng nơ-ron transformer, chúng ta đã tình cờ phát hiện ra một thứ cực kỳ mạnh và rất tổng quát. Bạn có thể huấn luyện transformer cho âm thanh, video, văn bản, bất cứ thứ gì bạn muốn, và nó học mẫu, rất mạnh, và hoạt động cực tốt. Điều đó với tôi gần như cho thấy đây là một phần nào đó của mô vỏ não. Có cảm giác như vậy. Bởi vì vỏ não nổi tiếng là có tính dẻo rất cao. Bạn có thể tái nối dây một phần của não. Từng có những thí nghiệm hơi rùng rợn khi nối lại vỏ não thị giác vào vỏ não thính giác, và con vật đó vẫn học được khá tốt.

Vì vậy tôi nghĩ đây là mô vỏ não (cortical tissue). Khi nói đến suy luận và lập kế hoạch bên trong mạng nơ-ron, khi có trace suy luận cho các mô hình biết suy nghĩ, thì điều đó hơi giống vỏ não trước trán. Có lẽ đó là những dấu tích nhỏ cần được đánh dấu, nhưng tôi vẫn nghĩ còn rất nhiều phần não và nhiều hạch chưa được khám phá. Ví dụ, có hạch nền, kiểu như một chút học tăng cường khi bạn tinh chỉnh mô hình bằng học tăng cường. Nhưng hồi hải mã ở đâu? Chưa rõ nó sẽ tương ứng với cái gì. Có lẽ một số phần không quan trọng lắm. Có thể tiểu não không quan trọng với nhận thức và suy nghĩ, nên có lẽ ta có thể bỏ qua một số phần. Nhưng tôi vẫn nghĩ còn có, chẳng hạn, hạch hạnh nhân, toàn bộ phần cảm xúc và bản năng. Có lẽ còn rất nhiều hạch cổ xưa khác của não mà chúng ta thực sự chưa tái tạo được.

Tôi không nghĩ chúng ta nên theo đuổi việc tạo ra một bản tương tự của não người. Trong sâu thẳm, tôi chủ yếu là một kỹ sư. Có lẽ một cách khác để trả lời câu hỏi là: tôi sẽ không thuê thứ này làm thực tập sinh. Vẫn còn thiếu rất nhiều. Kèm theo đó là rất nhiều khiếm khuyết nhận thức mà tất cả chúng ta đều trực giác cảm thấy khi nói chuyện với mô hình. Nên nó vẫn chưa thực sự tới đó. Có thể xem như là chưa phải mọi phần não đều đã được đánh dấu hoàn tất.

Dwarkesh Patel 00:21:16

Điều này có thể liên quan đến câu hỏi về việc những vấn đề đó sẽ được giải quyết nhanh đến mức nào. Đôi khi người ta nói về học liên tục rằng: “Nhìn này, khả năng này có thể được tái tạo khá dễ. Giống như học trong ngữ cảnh đã tự phát xuất hiện như một hệ quả của tiền huấn luyện, thì học liên tục trên các chân trời dài hơn cũng sẽ tự phát xuất hiện nếu mô hình được khuyến khích ghi nhớ thông tin trên các chân trời dài hơn, dài hơn một phiên duy nhất.” Vậy nên nếu có một vòng lặp RL bên ngoài mà bên trong có nhiều phiên, thì kiểu học liên tục này—tự tinh chỉnh hoặc ghi vào bộ nhớ ngoài—sẽ tự phát xuất hiện. Anh có thấy những điều như vậy là hợp lý không? Tôi không có trực giác sẵn về mức độ hợp lý của nó. Khả năng đó cao đến đâu?

Andrej Karpathy 00:22:07

Tôi không hoàn toàn đồng cảm với điều đó. Khi các mô hình này khởi động, khi cửa sổ của chúng có 0 token, chúng luôn bắt đầu lại từ đầu đúng tại nơi chúng vốn như vậy. Nên tôi không rõ điều đó trông như thế nào trong thế giới quan đó. Nếu làm một phép so sánh lỏng với con người—mà theo tôi là tương đối cụ thể và thú vị để suy nghĩ—thì khi tôi thức, tôi cảm thấy mình đang xây dựng một cửa sổ ngữ cảnh về những gì diễn ra trong ngày. Nhưng khi tôi ngủ, có điều gì đó mang tính ma thuật xảy ra, vì tôi không nghĩ cửa sổ ngữ cảnh đó còn tồn tại. Có một quá trình nào đó chưng cất nó vào trọng số của não. Kiểu như điều này xảy ra trong lúc ngủ và những thứ tương tự vậy.

Các mô hình ngôn ngữ lớn không có thứ gì tương đương với điều đó. Với tôi, đó mới là thứ còn thiếu hơn khi nói về học liên tục. Những mô hình này thực sự không có một bước chưng cất, nơi chúng lấy những gì đã xảy ra, phân tích nó một cách ám ảnh, suy nghĩ về nó, thực hiện một chút quá trình tạo dữ liệu tổng hợp nào đó, rồi chưng cất trở lại vào trọng số. Và có lẽ mỗi người sẽ có một mạng nơ-ron riêng. Có lẽ đó sẽ là LoRA. Không phải toàn bộ mạng nơ-ron trọng số đầy đủ, mà chỉ là một tập con thưa nhỏ của các trọng số được thay đổi.

Nhưng chúng ta muốn tạo ra những cá thể kiểu này với ngữ cảnh rất dài. Không phải mọi thứ chỉ nằm trong cửa sổ ngữ cảnh, vì cửa sổ ngữ cảnh đang tăng lên rất, rất dài. Có lẽ chúng ta sẽ có attention thưa rất tinh vi cho điều đó. Nhưng tôi vẫn nghĩ con người rõ ràng có một quá trình chưng cất một phần tri thức đó vào trọng số. Chúng ta đang thiếu điều đó. Tôi cũng nghĩ con người có một hệ attention thưa rất tinh vi, và tôi nghĩ chúng ta bắt đầu thấy một vài gợi ý ban đầu về nó. DeepSeek v3.2 vừa ra mắt và tôi thấy họ có attention thưa. Ví dụ, đây là một cách để có cửa sổ ngữ cảnh rất, rất dài. Nên tôi cảm thấy chúng ta đang làm lại nhiều mẹo nhận thức mà tiến hóa đã nghĩ ra, nhưng bằng những quá trình rất khác. Tuy vậy, chúng ta sẽ hội tụ về những kiến trúc tương đồng về mặt nhận thức.

Dwarkesh Patel 00:24:02

Bạn có nghĩ rằng sau 10 năm nữa, nó vẫn sẽ là thứ gì đó giống như transformer không? Nhưng với attention được điều chỉnh nhiều hơn và MLP thưa hơn, chẳng hạn?

Andrej Karpathy 00:24:10

Cách tôi nghĩ về điều này là theo nghĩa bất biến tịnh tiến theo thời gian. Mười năm trước chúng ta ở đâu? Năm 2015. Năm 2015, chúng ta chủ yếu có mạng nơ-ron tích chập, và mạng residual vừa mới xuất hiện. Chúng giống nhau một cách đáng kinh ngạc, nhưng vẫn khá khác biệt. Khi đó còn chưa có transformer. Cũng chưa có những tinh chỉnh hiện đại hơn này dành cho transformer. Có lẽ một trong những điều ta có thể đặt cược là, theo tôi, với tính đẳng biến tịnh tiến, 10 năm nữa chúng ta vẫn sẽ huấn luyện các mạng nơ-ron khổng lồ bằng forward pass và backward pass, rồi cập nhật thông qua gradient descent. Nhưng có lẽ nó sẽ trông hơi khác một chút, và mọi thứ sẽ lớn hơn rất nhiều.

Gần đây tôi đã quay ngược lại vài năm trước, về tận năm 1989, và đó là một bài tập thú vị với tôi. Tôi đang tái hiện mạng tích chập năm 1989 của Yann LeCun. Theo hiểu biết của tôi, đó là mạng nơ-ron đầu tiên được huấn luyện bằng gradient descent. Một mạng nơ-ron hiện đại cho nhận dạng chữ số được huấn luyện bằng gradient descent. Tôi quan tâm đến việc có thể hiện đại hóa nó như thế nào. Trong đó, bao nhiêu là thuật toán? Bao nhiêu là dữ liệu? Bao nhiêu tiến bộ trong số này đến từ tính toán và hệ thống? Tôi đã rất nhanh chóng cắt giảm được một nửa việc học qua chuyến du hành thời gian 33 năm.

Vì vậy, nếu du hành 33 năm bằng thuật toán, tôi có thể tinh chỉnh những gì Yann LeCun đã làm năm 1989 và giảm lỗi đi một nửa. Nhưng để đạt thêm nhiều cải thiện hơn, tôi phải thêm nhiều dữ liệu hơn rất nhiều, phải tăng tập huấn luyện lên 10 lần, và phải thêm nhiều tối ưu hóa tính toán hơn. Tôi cũng phải huấn luyện lâu hơn rất nhiều với dropout và các kỹ thuật regularization khác.

Vì vậy, tất cả những thứ này phải được cải thiện cùng lúc. Có lẽ chúng ta sẽ có nhiều dữ liệu hơn rất nhiều, phần cứng tốt hơn rất nhiều, kernel và phần mềm tốt hơn rất nhiều để vận hành phần cứng và tối đa hóa những gì nhận được từ phần cứng, và các thuật toán tốt hơn. Tất cả những điều đó, dường như không có yếu tố nào thắng áp đảo. Tất cả đều đáng ngạc nhiên là ngang nhau. Đây đã là xu hướng trong một thời gian.

Để trả lời câu hỏi, tôi kỳ vọng nó sẽ khác về mặt thuật toán so với những gì đang diễn ra ngày nay. Nhưng tôi cũng kỳ vọng rằng một số thứ đã tồn tại rất lâu rồi có lẽ vẫn sẽ còn ở đó. Có lẽ nó vẫn sẽ là những mạng nơ-ron khổng lồ được huấn luyện bằng gradient descent. Đó là dự đoán của tôi.

Dwarkesh Patel 00:26:16

Thật đáng ngạc nhiên khi gộp mọi thứ lại mà chỉ giảm được lỗi xuống một nửa, tức là 30 năm tiến bộ... mà một nửa có thể đã là rất nhiều. Bởi vì nếu bạn giảm lỗi xuống một nửa, thì thực ra điều đó...

Andrej Karpathy 00:26:30

Một nửa là rất nhiều. Nhưng điều khiến tôi sốc là mọi thứ đều phải được cải thiện trên diện rộng: kiến trúc, optimizer, loss function. Và tất cả những thứ đó cũng đã liên tục được cải thiện trên diện rộng mãi cho đến bây giờ. Vì vậy tôi kỳ vọng tất cả những thay đổi đó sẽ vẫn tiếp tục tồn tại và phát triển tốt.

Dwarkesh Patel 00:26:43

Vâng. Tôi định hỏi một câu rất tương tự về nanochat. Vì anh vừa mới code nó gần đây, nên mọi bước trong quá trình tạo ra một chatbot vẫn còn rất mới trong RAM của anh. Tôi tò mò không biết khi đi từ GPT-2 đến nanochat, anh có suy nghĩ tương tự kiểu như “à, hóa ra chẳng có gì liên quan cả” hay không. Bài học bất ngờ từ trải nghiệm đó là gì?

Andrej Karpathy 00:27:08

Về việc làm nanochat à? nanochat là repository mà tôi đã công khai. Là hôm qua nhỉ hay hôm kia? Tôi không nhớ nữa.

Dwarkesh Patel 00:27:15

Có vẻ như tôi có thể thấy hệ quả của việc thiếu ngủ đã gây ra điều gì...

Andrej Karpathy 00:27:18

Nó hướng tới việc trở thành repository đơn giản nhất nhưng đầy đủ nhất, bao quát toàn bộ pipeline tạo ra một bản sao ChatGPT từ đầu đến cuối. Vì vậy nó không chỉ có các bước riêng lẻ mà có đủ tất cả các bước, và số đó khá nhiều. Trước đây tôi đã làm việc trên từng bước riêng lẻ và, theo nghĩa thuật toán, tôi đã công khai những đoạn mã nhỏ cho thấy cách thực hiện bằng code đơn giản. Nhưng cái này bao quát toàn bộ pipeline. Về mặt học hỏi, tôi không chắc là mình nhất thiết đã học được điều gì mới từ nó. Tôi vốn đã có sẵn trong đầu cách để xây dựng nó rồi. Đây chỉ đơn giản là quá trình cơ học để dựng nó lên và làm cho nó đủ gọn gàng để mọi người có thể học từ đó và thấy nó hữu ích.

Dwarkesh Patel 00:28:04

Cách tốt nhất để ai đó học từ nó là gì? Xóa toàn bộ code đi và thử tự triển khai lại từ đầu, hay là cố gắng thêm các chỉnh sửa vào?

Andrej Karpathy 00:28:10

Câu hỏi hay. Về cơ bản đó là khoảng 8.000 dòng code đi xuyên suốt toàn bộ pipeline từ đầu đến cuối. Nếu có lẽ bạn có hai màn hình, tôi sẽ đặt nó ở màn hình bên phải. Nếu bạn muốn tự làm từ đầu, hãy bắt đầu từ đầu. Được phép tham khảo, nhưng không được copy-paste. Chắc tôi sẽ làm như vậy.

Nhưng tôi cũng nghĩ bản thân repository đó là một con quái vật khá lớn. Khi viết đoạn code này, tôi không đi từ trên xuống dưới, mà đi theo từng khối và mở rộng dần các khối đó, còn thông tin ấy thì không có trong repo. Bạn sẽ không biết nên bắt đầu từ đâu. Vì vậy bạn không chỉ cần repository cuối cùng, mà còn cần cả quá trình tạo ra repository đó, vốn là một quá trình mở rộng các khối rất phức tạp. Phần đó hiện vẫn chưa có. Có lẽ tôi muốn bổ sung nó vào cuối tuần này. Có thể sẽ là video hay gì đó tương tự. Nói đại khái thì đó là điều tôi đang cố làm. Hãy tự xây nó, nhưng đừng cho phép mình copy-paste.

Tôi nghĩ gần như có hai loại tri thức. Có tri thức bề mặt ở mức cao, nhưng khi bạn xây một thứ từ đầu, bạn sẽ phải đối mặt với những gì mình không hiểu, và cả những gì mình thậm chí không biết là mình không hiểu.

Điều đó luôn dẫn đến sự hiểu biết sâu hơn. Đó là cách duy nhất để tạo ra nó. Nếu bạn không thể tạo ra nó, nghĩa là bạn không hiểu nó. Tôi tin đó là câu nói của Feynman. Tôi luôn tin điều này rất mạnh mẽ. Có những thứ rất nhỏ nhặt kiểu như vậy chưa được sắp xếp đúng chỗ, và bạn thực ra chưa có tri thức. Bạn chỉ nghĩ là mình có tri thức thôi. Vì vậy đừng viết bài blog, đừng làm slide, đừng làm những thứ đó. Hãy viết code, sắp xếp nó, làm cho nó chạy được. Đó là con đường duy nhất để tiến lên. Nếu không, bạn đang bỏ lỡ tri thức.

00:29:45 – Suy giảm nhận thức của LLM

Dwarkesh Patel 00:29:45

Anh đã tweet rằng các mô hình code hầu như không giúp được gì trong việc ghép repository này lại. Tôi tò mò tại sao lại như vậy.

Andrej Karpathy 00:29:53

Tôi muốn nói là tôi đã xây repository này trong hơn một tháng một chút. Và tôi muốn nói rằng hiện nay có ba nhóm chính trong cách mọi người tương tác với code. Một số người hoàn toàn từ chối LLM và chỉ viết mọi thứ từ đầu. Có lẽ đây không còn là cách đúng nữa.

Phần ở giữa là chỗ tôi đang làm: tôi vẫn viết nhiều thứ từ đầu, nhưng giờ dùng tính năng tự động hoàn thành hữu dụng từ các mô hình này. Bạn bắt đầu viết một mẩu nhỏ, nó sẽ tự hoàn thành và bạn có thể nhấn tab để chuyển tiếp. Phần lớn là đúng, đôi khi sai thì chỉnh sửa lại. Nhưng bạn vẫn là kiến trúc sư của thứ mình đang viết. Rồi còn có vibe coding: “Này, hãy triển khai cái này hoặc cái kia”, nhấn Enter, rồi để mô hình làm. Đó là agent.

Tôi cảm thấy agent sẽ hoạt động trong những thiết lập rất cụ thể và sẽ được dùng trong những thiết lập nhất định. Nhưng tất cả những thứ này đều là công cụ có thể dùng được, và bạn phải học xem chúng giỏi gì, không giỏi gì, và khi nào nên dùng. Agent chẳng hạn khá tốt cho các công việc boilerplate. Kiểu mã boilerplate chỉ việc sao chép-dán, những thứ như vậy thì rất hợp. Chúng cũng rất giỏi với những thứ xuất hiện cực kỳ thường xuyên trên Internet. Bởi vì trong tập huấn luyện của các mô hình này có rất nhiều ví dụ như thế. Có những đặc điểm để nhận ra thứ mà mô hình sẽ làm rất tốt.

Tôi muốn nói nanochat không phải ví dụ như vậy. Vì đó là một repository khá độc đáo. Không có nhiều mã được tổ chức theo cách tôi cấu trúc nó. Nó không phải mã boilerplate. Đó là mã đòi hỏi hàm lượng tư duy cao, và mọi thứ phải được sắp xếp rất chính xác. Các mô hình có quá nhiều khiếm khuyết về nhận thức. Một ví dụ là chúng liên tục hiểu sai mã của tôi vì chúng mang quá nhiều ký ức về mọi cách làm phổ biến trên Internet mà tôi không áp dụng. Chẳng hạn, các mô hình cứ nghĩ rằng—tôi không chắc có muốn đi vào toàn bộ chi tiết hay không—rằng tôi đang viết mã theo kiểu thông thường, nhưng tôi không làm vậy.

Dwarkesh Patel 00:31:49

Có lẽ một ví dụ?

Andrej Karpathy 00:31:51

Bạn có 8 GPU và tất cả đều đang chạy forward, backward. Cách để đồng bộ gradient giữa chúng là dùng container Distributed Data Parallel của PyTorch, nó sẽ tự động bắt đầu giao tiếp và đồng bộ gradient trong quá trình backward. Tôi đã không dùng DDP. Vì tôi không muốn dùng. Tôi không cần nó. Tôi bỏ nó đi và viết routine đồng bộ riêng của mình bên trong bước của optimizer. Các mô hình cứ muốn tôi dùng container DDP. Chúng rất lo lắng về chuyện đó. Cái này nghe rất kỹ thuật, nhưng tôi không dùng container đó. Vì tôi không cần nó và tôi đã có một triển khai tùy biến cho thứ tương tự.

Dwarkesh Patel 00:32:26

Chúng không thể nội tại hóa được việc anh đã có giải pháp riêng.

Andrej Karpathy 00:32:28

Chúng không vượt qua được chuyện đó. Chúng cứ cố phá hỏng phong cách của tôi. Quá phòng thủ thái quá. Chúng tạo đủ kiểu câu lệnh try-catch. Chúng cứ cố xây một production codebase, trong khi mã của tôi có rất nhiều giả định, và điều đó không sao cả. Nó không cần tất cả những thứ bổ sung đó. Vì vậy tôi cảm thấy chúng làm codebase phình ra, làm độ phức tạp phình ra, tiếp tục hiểu sai, và dùng các API đã bị ngừng sử dụng nhiều lần. Hoàn toàn lộn xộn. Xét thuần về mức hữu ích thì không ổn. Bạn có thể vào dọn dẹp, nhưng xét thuần về độ hữu ích thì không đáng.

Ngoài ra tôi thấy việc phải gõ bằng tiếng Anh điều mình muốn cũng khá phiền, vì phải gõ quá nhiều. Nếu tôi đi tới phần mã mình muốn, tới đúng chỗ mã cần xuất hiện, rồi bắt đầu gõ vài ký tự đầu tiên, tự động hoàn thành sẽ hiểu và đưa cho tôi đoạn mã đó. Đây là cách đặc tả điều mình muốn với băng thông thông tin rất cao. Bạn chỉ đúng vào đoạn mã mình muốn, gõ vài mẩu đầu tiên, rồi mô hình hoàn tất.

Ý tôi là, các mô hình này giỏi ở một số phần nhất định trong stack. Tôi có hai ví dụ về việc tôi đã dùng mô hình, và tôi nghĩ chúng khá tiêu biểu. Một là khi tôi tạo báo cáo. Thứ đó mang tính boilerplate hơn, nên tôi đã vibe coding một phần. Vì nó không phải thứ quan trọng sống còn nên như vậy là ổn, và nó hoạt động tốt.

Phần còn lại là khi tôi viết lại tokenizer bằng Rust. Tôi không quá giỏi Rust. Rust khá mới với tôi. Vì thế có một chút vibe coding khi tôi viết mã Rust. Nhưng tôi đã có một triển khai Python mà tôi hiểu hoàn toàn, và tôi đang kiểm tra xem mình có tạo ra phiên bản hiệu quả hơn không, lại có sẵn test, nên tôi thấy làm như vậy an toàn hơn. Chúng giúp tăng khả năng tiếp cận với những ngôn ngữ hoặc mô hình lập trình mà có thể bạn chưa quen. Tôi nghĩ ở đó chúng cũng rất hữu ích. Có rất nhiều mã Rust, và các mô hình làm khá tốt. Tôi không biết nhiều về nó, nên các mô hình rất hữu ích ở mảng đó.

Dwarkesh Patel 00:34:23

Lý do câu hỏi này thú vị đến vậy là vì câu chuyện chính đằng sau việc mọi người cho rằng chúng ta sẽ nhanh chóng đi đến bùng nổ AI và siêu trí tuệ là AI sẽ tự động hóa kỹ thuật AI và nghiên cứu AI. Họ nhìn vào việc có Claude Code và có thể tạo ra cả một ứng dụng từ đầu, một ứng dụng CRUD, rồi nghĩ rằng: “Nếu bên trong OpenAI và DeepMind cũng có cùng năng lực đó, hãy tưởng tượng hàng nghìn bản sao của anh hoặc một triệu bản sao của anh chạy song song để tìm ra các tinh chỉnh kiến trúc nhỏ.”

Rất thú vị khi nghe anh nói rằng đây chính là chỗ chúng kém hơn một cách bất đối xứng. Điều đó khá liên quan đến việc dự đoán liệu kiểu bùng nổ như AI 2027 có khả năng xảy ra sớm hay không.

Andrej Karpathy 00:35:05

Đó là một cách diễn đạt hay, và tôi hiểu vì sao mốc thời gian của tôi dài hơn một chút. Anh nói đúng. Chúng không giỏi lắm với mã chưa từng được viết trước đây. Có lẽ đó là một cách để diễn đạt điều này, và đó cũng là thứ chúng ta đang cố đạt được khi xây những mô hình này.

Dwarkesh Patel 00:35:19

Đây là câu hỏi rất ngây thơ, nhưng các tinh chỉnh kiến trúc mà anh đang thêm vào nanochat đều có trong các bài báo ở đâu đó mà, đúng không? Thậm chí có thể còn nằm trong một repository nào đó. Nếu bảo chúng “hãy thêm RoPE embedding”, chẳng phải sẽ ngạc nhiên nếu chúng làm sai cách sao?

Andrej Karpathy 00:35:42

Khó lắm. Chúng biết, nhưng không biết hoàn toàn. Chúng không biết cách tích hợp trọn vẹn vào repository của bạn, phong cách của bạn, mã của bạn, bối cảnh của bạn, và cách nó khớp với một số tùy biến bạn đang làm cùng mọi giả định trong repository. Chúng có một chút kiến thức, nhưng chưa đạt đến mức có thể tích hợp và hiểu nó.

Nhiều thứ vẫn đang tiếp tục cải thiện. Mô hình tối tân mà tôi dùng hiện tại là GPT-5 Pro, và đó là một mô hình rất mạnh. Nếu có 20 phút, tôi sẽ copy-paste toàn bộ repository vào GPT-5 Pro, vào oracle, rồi hỏi vài câu. Nhiều khi kết quả không tệ lắm và tốt một cách đáng ngạc nhiên so với những gì tồn tại một năm trước.

Nhìn chung, các mô hình vẫn chưa tới mức đó. Tôi cảm thấy ngành này đang nhảy vọt quá lớn và cố tỏ ra rằng điều này thật đáng kinh ngạc, nhưng không phải vậy. Nó là slop. Họ không đối diện với điều đó, và có lẽ đang cố gọi vốn hay gì đó. Tôi không biết chuyện gì đang xảy ra, nhưng chúng ta đang ở giai đoạn trung gian này. Các mô hình thật đáng kinh ngạc. Chúng vẫn cần rất nhiều công việc. Ở thời điểm hiện tại, tự động hoàn thành là điểm ngọt của tôi. Nhưng đôi khi, với một số loại mã nhất định, tôi sẽ dùng LLM agent.

Dwarkesh Patel 00:36:53

Còn một lý do khác khiến điều này thực sự thú vị. Trong suốt lịch sử lập trình đã có rất nhiều cải thiện năng suất—compiler, linting, ngôn ngữ lập trình tốt hơn—đã giúp tăng năng suất lập trình viên nhưng không dẫn tới bùng nổ. Điều này nghe rất giống với việc nhấn tab để tự động hoàn thành, còn hạng mục kia đơn giản là tự động hóa cho lập trình viên. Thật thú vị khi anh xem nó nhiều hơn như một trường hợp tương tự lịch sử của compiler tốt hơn hay những thứ kiểu vậy.

Andrej Karpathy 00:37:26

Có lẽ điều này dẫn đến một cách nghĩ khác. Tôi thấy khó phân biệt đâu là điểm AI bắt đầu và kết thúc. Vì về cơ bản, tôi xem AI như một sự mở rộng của điện toán theo một cách khá căn bản. Tôi nhìn thấy một dải liên tục ở đây. Một dải liên tục từ những ngày đầu của việc tự cải thiện đệ quy hoặc gia tốc cho lập trình viên: như trình soạn thảo mã, tô sáng cú pháp, hay kiểm tra kiểu, kiểm tra kiểu dữ liệu—tất cả những công cụ mà chúng ta tạo ra cho nhau.

Ngay cả công cụ tìm kiếm cũng vậy. Tại sao công cụ tìm kiếm lại không phải là một phần của AI? Xếp hạng là AI. Có thời điểm, Google, ngay từ đầu, đã tự xem mình là một công ty AI làm công cụ tìm kiếm Google. Điều đó hoàn toàn hợp lý.

Tôi nhìn điều đó như một dải liên tục hơn rất nhiều so với người khác. Với tôi, rất khó để vẽ ra một ranh giới. Giờ đây chúng ta có tự động hoàn thành tốt hơn rất nhiều, và giờ chúng ta cũng có một số agent làm những việc lặp đi lặp lại như thế này, dù đôi khi chúng đi chệch hướng. Điều đang xảy ra là con người dần dần làm ít hơn một chút những việc ở tầng thấp. Chúng ta không viết mã assembly vì đã có compiler. Compiler sẽ lấy ngôn ngữ bậc cao như C và viết mã assembly.

Chúng ta đang tự trừu tượng hóa bản thân mình rất, rất chậm. Có cái mà tôi gọi là “thanh trượt tự chủ”, trong đó ngày càng nhiều thứ được tự động hóa—trong số những thứ có thể được tự động hóa vào một thời điểm nào đó—và chúng ta dần dần làm ít đi một chút, đồng thời nâng mình lên lớp trừu tượng phía trên tự động hóa.

00:40:05 – RL thật tệ

Dwarkesh Patel 00:40:05

Hãy nói một chút về RL. Ông đã tweet một số điều rất thú vị về chuyện này. Về mặt khái niệm, chúng ta nên nghĩ thế nào về cách con người có thể xây dựng một mô hình thế giới phong phú chỉ bằng việc tương tác với môi trường? Và theo cách dường như gần như không liên quan đến phần thưởng cuối cùng ở cuối mỗi episode?

Nếu ai đó khởi nghiệp và 10 năm sau mới biết doanh nghiệp đó thành công hay thất bại, ta sẽ nói rằng cô ấy đã tích lũy được rất nhiều hiểu biết và kinh nghiệm. Nhưng điều đó không phải vì log probability của từng sự việc riêng lẻ xảy ra trong 10 năm qua đều được tăng hoặc giảm trọng số. Có điều gì đó giàu ý đồ hơn và phong phú hơn nhiều đang diễn ra. Phép loại suy trong ML là gì, và nó so với những gì chúng ta đang làm với LLM hiện nay ra sao?

Andrej Karpathy 00:40:47

Có lẽ cách tôi diễn đạt là con người không dùng reinforcement learning. Như tôi đã nói. Tôi nghĩ họ làm thứ khác. Reinforcement learning tệ hơn rất nhiều so với những gì một người bình thường nghĩ. Reinforcement learning thật tệ. Nó chỉ xảy ra vì mọi thứ chúng ta có trước đó còn tệ hơn nhiều. Bởi vì trước đây chúng ta chỉ đang bắt chước con người, nên mới có tất cả những vấn đề này.

Trong reinforcement learning, giả sử bạn đang giải một bài toán. Vì như vậy rất đơn giản. Bạn được giao một bài toán và đang cố tìm lời giải. Trong reinforcement learning, trước hết bạn sẽ thử rất nhiều thứ song song. Khi được giao bài toán, bạn thực hiện hàng trăm lần thử khác nhau. Những lần thử này có thể phức tạp. Chúng có thể là kiểu “hãy thử cái này, thử cái kia, cái này không hiệu quả, cái kia không hiệu quả”, v.v. Rồi có thể bạn tìm ra đáp án. Bây giờ bạn kiểm tra đáp án ở cuối sách và thấy, “được rồi, đáp án đúng là thế này”. Bạn có thể thấy rằng cái này, cái này, và cái kia đã dẫn đến đáp án đúng, còn 97 cái khác thì không. Điều mà reinforcement learning thực sự làm theo đúng nghĩa đen là quay lại những thứ đã hoạt động rất tốt, và mọi thứ riêng lẻ, mọi token riêng lẻ mà bạn đã làm trong quá trình đó đều được tăng trọng số như thể “hãy làm cái này nhiều hơn”.

Vấn đề ở đây là, người ta sẽ nói bộ ước lượng của bạn có phương sai cao, nhưng thực ra đó chỉ là nhiễu. Là nhiễu. Nó giả định rằng mọi mẩu nhỏ trong lời giải gần như đi đến đáp án đúng đều là điều đúng cần làm, nhưng điều đó không đúng. Bạn có thể đã đi vào ngõ cụt sai trước khi tới được đáp án đúng. Miễn là bạn có được đáp án đúng, thì từng điều sai riêng lẻ mà bạn đã làm cũng sẽ được tăng trọng số như thể “hãy làm cái này nhiều hơn”. Thật tệ. Đó là nhiễu.

Bạn đã làm toàn bộ khối lượng công việc này và cuối cùng nhận được một con số duy nhất kiểu như, “ồ, đúng rồi”. Dựa trên đó, bạn gán trọng số bằng cách tăng hoặc giảm trọng số cho toàn bộ quỹ đạo. Cách nói tôi thích là bạn đang hút tín hiệu giám sát qua một cái ống hút. Bạn đã làm toàn bộ khối lượng công việc này, có thể là một rollout kéo dài 1 phút, rồi bạn đang hút từng bit tín hiệu giám sát của phần thưởng cuối cùng qua cái ống hút, phát nó ra trên toàn bộ quỹ đạo và dùng nó để tăng hoặc giảm trọng số của quỹ đạo. Điều đó đơn giản là ngớ ngẩn và điên rồ.

Con người sẽ không bao giờ làm như vậy. Thứ nhất, con người sẽ không bao giờ thực hiện hàng trăm rollout. Thứ hai, khi một người tìm ra lời giải, họ sẽ có một quá trình rà soát khá phức tạp kiểu như, “được rồi, tôi nghĩ những phần này làm tốt, còn những phần này thì không tốt lắm. Có lẽ tôi nên làm thế này hoặc thế kia”. Họ suy nghĩ về mọi việc. Các LLM hiện tại không có thứ này. Không có gì tương đương với nó. Nhưng tôi đang thấy các bài báo xuất hiện. Những bài báo cố gắng làm điều đó đang bắt đầu xuất hiện. Bởi vì điều này là quá rõ ràng với mọi người trong lĩnh vực.

Làn sóng đầu tiên của imitation learning, nhân tiện, cực kỳ đáng kinh ngạc và kỳ diệu và tuyệt vời. Việc bạn có thể tinh chỉnh bằng cách bắt chước con người. Điều đó thật đáng kinh ngạc. Bởi vì lúc đầu, tất cả những gì chúng ta có chỉ là base model. Base model là tự động hoàn thành. Khi đó điều này không hề hiển nhiên với tôi, và tôi đã phải học nó. Bài báo khiến tôi choáng ngợp là InstructGPT. Vì nó chỉ ra rằng nếu bạn lấy một mô hình đã pretrain, tức là một hệ tự động hoàn thành, rồi tinh chỉnh nó trên văn bản trông như hội thoại, thì mô hình sẽ thích nghi rất nhanh để trở nên cực kỳ có tính đối thoại, đồng thời vẫn giữ lại toàn bộ kiến thức từ giai đoạn pretrain. Điều này thực sự khiến tôi choáng ngợp. Vì về mặt phong cách, tôi không hiểu rằng bạn có thể điều chỉnh nhanh đến vậy và chỉ qua vài vòng fine-tuning trên loại dữ liệu đó mà đã có thể biến nó thành một assistant cho người dùng. Với tôi, việc đó hiệu quả là điều rất kỳ diệu. Quá đỗi ấn tượng. Đó là công sức của 2–3 năm.

Giờ thì RL xuất hiện. Và RL giúp bạn làm tốt hơn imitation learning đơn thuần một chút. Bởi vì bạn có thể có những reward function như thế này và có thể hill climbing theo reward function. Một số bài toán đơn giản là có đáp án đúng, và bạn có thể hill climb theo đó mà không cần bắt chước quỹ đạo của chuyên gia. Vậy nên điều đó rất tuyệt vời. Mô hình cũng có thể khám phá ra những lời giải mà con người có thể sẽ không bao giờ nghĩ ra. Điều này thật tuyệt. Nhưng nó vẫn ngớ ngẩn.

Chúng ta cần nhiều hơn nữa. Hôm qua tôi thấy một bài báo từ Google cố gắng đưa ý tưởng phản tư & xem xét này vào. Có phải là bài báo memory bank không? Tôi không chắc. Tôi đã thấy vài bài báo theo hướng đó. Vì vậy tôi kỳ vọng bản cập nhật lớn tiếp theo về cách làm algorithm cho LLM sẽ đến từ khu vực đó. Tôi nghĩ chúng ta cần thêm ba, bốn hoặc năm thứ như vậy.

Dwarkesh Patel 00:44:54

Ông thực sự rất giỏi tạo ra những cách diễn đạt sống động. Tôi rất thích câu “hút tín hiệu giám sát qua một cái ống hút”.

Vậy điều ông đang nói là vấn đề của phần thưởng dựa trên kết quả nằm ở chỗ có một quỹ đạo khổng lồ như thế này, và từ cái bit cuối cùng đó ở đoạn kết, ta cố gắng học mọi điều có thể về việc nên làm gì và nên hiểu gì về thế giới. Xét việc điều này có vẻ quá hiển nhiên, tại sao giám sát dựa trên quy trình lại chưa trở thành một cách thành công để làm mô hình có năng lực hơn như một phương án thay thế? Điều gì đang cản trở việc sử dụng hệ hình thay thế này?

Andrej Karpathy 00:45:29

Giám sát theo quy trình đơn giản là cho thấy rằng chúng ta sẽ không chỉ có hàm phần thưởng ở điểm cuối cùng. Sau 10 phút làm việc, chúng ta sẽ không chỉ nói là bạn làm tốt hay không tốt. Chúng ta sẽ nói ở mỗi bước rằng bạn đang làm tốt đến mức nào. Lý do chúng ta chưa có điều đó là vì làm cho nó đúng cách khá khó. Có những lời giải một phần, và chúng ta không biết cách phân bổ credit như thế nào. Nếu có được đáp án đúng, thì đó chỉ là một phép đối sánh tương đương với câu trả lời. Cực kỳ đơn giản để triển khai. Nếu đang làm giám sát theo quy trình, thì làm sao phân bổ partial credit theo cách có thể tự động hóa? Chưa rõ phải làm thế nào.

Nhiều phòng thí nghiệm đang cố làm điều đó bằng các LLM judge như thế này. LLM cố làm việc đó. Bạn đưa cho LLM một prompt, “Này, hãy xem lời giải một phần của học sinh. Nếu đáp án là thế này, bạn nghĩ họ đang làm tốt đến đâu?” Và họ cố tinh chỉnh prompt.

Lý do điều này khó khá tinh vi. Mỗi khi bạn dùng LLM để phân bổ phần thưởng, những LLM đó là những thứ khổng lồ với hàng tỷ tham số, và chúng có thể bị khai thác. Nếu bạn đang làm học tăng cường với chúng, gần như chắc chắn bạn sẽ tìm ra các ví dụ đối kháng với các LLM judge. Vì thế bạn không thể làm việc này quá lâu. Có lẽ nếu làm 10 hoặc 20 bước thì có thể hiệu quả, nhưng không thể làm 100 hay 1.000 bước. Tôi hiểu điều đó không hiển nhiên, nhưng về cơ bản mô hình sẽ tìm ra các vết nứt nhỏ. Nó sẽ tìm tất cả những thứ giả mạo này ở các ngóc ngách của một mô hình khổng lồ và tìm ra cách lừa nó.

Một ví dụ rất nổi bật trong đầu tôi là, chuyện này có lẽ đã được công khai rồi, nếu bạn đang dùng LLM judge cho phần thưởng, bạn đưa cho nó lời giải từ học sinh và hỏi học sinh làm tốt hay không. Chúng tôi đã huấn luyện bằng học tăng cường trên hàm phần thưởng đó, và nó hoạt động rất tốt. Rồi sau đó, đột nhiên, phần thưởng tăng cực lớn. Một cú nhảy khổng lồ, và nó làm hoàn hảo. Bạn nhìn vào đó và nghĩ, “Wow, điều này có nghĩa là học sinh này hoàn hảo ở tất cả các bài toán. Nó đã giải quyết xong hoàn toàn toán học.”

Nhưng khi nhìn vào các kết quả hoàn chỉnh mà bạn nhận được từ mô hình, chúng hoàn toàn là vô nghĩa. Nó bắt đầu khá ổn, rồi sau đó biến thành “dhdhdhdh”. Kiểu như “Ồ hay, lấy 2 cộng 3 rồi làm cái này cái kia, sau đó dhdhdhdh”. Nhìn vào đó, bạn sẽ thấy điều này thật điên rồ. Làm sao nó lại nhận được phần thưởng 1 hay 100%? Khi xem LLM judge, hóa ra “dhdhdhdh” là một ví dụ đối kháng đối với mô hình, và nó gán xác suất 100%.

Đơn giản là vì đây là một ví dụ ngoài phân phối đối với LLM. Nó chưa từng thấy thứ đó trong quá trình huấn luyện, và đang ở vùng khái quát hóa thuần túy. Nó chưa từng thấy thứ đó trong huấn luyện, và ở vùng khái quát hóa thuần túy, bạn có thể tìm ra những ví dụ như thế để phá nó.

Dwarkesh Patel 00:47:52

Về cơ bản là các anh đang huấn luyện LLM trở thành một mô hình prompt injection.

Andrej Karpathy 00:47:56

Thậm chí còn không phải vậy. Prompt injection còn quá fancy. Chúng tôi đang tìm các ví dụ đối kháng, đúng như cách chúng được gọi. Đây rõ ràng là những lời giải sai và vô nghĩa, nhưng mô hình lại nghĩ chúng thật tuyệt vời.

Dwarkesh Patel 00:48:07

Nếu đây là nút thắt cổ chai để làm RL trở nên hữu dụng hơn, thì để làm theo cách tự động hóa, có lẽ anh sẽ phải khiến LLM trở thành một judge tốt hơn. Có cần một cách tiếp cận kiểu GAN để làm mô hình vững chắc hơn không?

Andrej Karpathy 00:48:22

Các phòng thí nghiệm có lẽ đang làm tất cả những việc đó. Điều hiển nhiên là “dhdhdhdh” không nên nhận phần thưởng 100%. Được rồi, lấy “dhdhdhdh”, đưa nó vào tập huấn luyện của LLM judge, và nói rằng đây không phải 100%, mà là 0%. Bạn có thể làm vậy, nhưng mỗi lần làm thế, bạn có được một LLM mới, và bạn vẫn còn các ví dụ đối kháng. Vì có vô hạn ví dụ đối kháng.

Có lẽ nếu lặp lại việc này vài lần, việc tìm ví dụ đối kháng sẽ ngày càng khó hơn. Nhưng tôi không chắc 100%. Bởi vì đây là thứ có 1 nghìn tỷ tham số hay đại loại vậy. Tôi dám chắc các phòng thí nghiệm đang thử. Tôi vẫn nghĩ là cần những ý tưởng khác.

Dwarkesh Patel 00:48:57

Thú vị đấy. Anh có suy nghĩ gì về việc những ý tưởng khác đó có thể trông như thế nào không?

Andrej Karpathy 00:49:02

Có ý tưởng này về việc xem xét các lời giải và đưa vào ví dụ tổng hợp, để khi huấn luyện trên chúng, mô hình sẽ tốt hơn và meta-learn theo một cách nào đó. Tôi nghĩ có một vài bài báo khởi đầu theo hướng này. Tôi mới ở giai đoạn chỉ đọc abstract thôi. Vì nhiều bài trong số này thực ra chỉ là ý tưởng. Ai đó sẽ phải làm cho nó vận hành được với tính tổng quát đầy đủ ở quy mô phòng thí nghiệm frontier LLM. Bởi vì khi nhìn vào các bài báo đó, chúng xuất hiện và hơi nhiễu. Chúng là những ý tưởng hay, nhưng tôi chưa thấy ai chứng minh một cách thuyết phục rằng điều này khả thi. Dù vậy, các phòng thí nghiệm LLM cũng khá kín tiếng, nên không ai biết họ đang làm gì lúc này.

00:49:38 – Con người học như thế nào?

Dwarkesh Patel 00:49:38

Tôi có thể hình dung ra cách huấn luyện trên các ví dụ tổng hợp hay các bài toán tổng hợp do chính nó tạo ra. Nhưng có vẻ con người còn làm một việc khác nữa—có thể là giấc ngủ làm việc này, có thể là mơ màng làm việc này—không nhất thiết là tạo ra các bài toán giả, mà chỉ đơn giản là phản tư.

Tôi không chắc phép tương tự trong ML cho việc mơ màng hay giấc ngủ, hoặc chỉ là phản tư, là gì. Rõ ràng phép tương tự rất cơ bản sẽ là fine-tune trên các bit phản tư, nhưng tôi thực sự có cảm giác là điều đó có lẽ sẽ không hoạt động tốt đến vậy. Anh có suy nghĩ gì về phép tương tự của chuyện này có thể là gì không?

Andrej Karpathy 00:50:17

Tôi nghĩ chúng ta đang bỏ lỡ một số khía cạnh ở đó. Ví dụ, hãy nhìn vào việc đọc sách. Khi một LLM hiện nay “đọc” một cuốn sách, điều đó có nghĩa là nó trải chuỗi văn bản ra, mô hình dự đoán token tiếp theo, và từ đó nhận được một ít tri thức. Thực ra đó không phải điều con người làm. Khi bạn đọc sách, cuốn sách không giống như một lời giải thích mà bạn phải chú ý và huấn luyện theo. Cuốn sách là một tập prompt để tạo dữ liệu tổng hợp, hoặc để đi đến câu lạc bộ sách và nói chuyện với bạn bè về nó. Chính bằng cách thao tác với thông tin đó mà bạn thực sự có được tri thức. Không có thứ tương đương ở LLM. Chúng thực sự không làm điều đó. Tôi muốn có một giai đoạn nào đó trong tiền huấn luyện nơi chúng suy nghĩ về tài liệu và cố hòa giải nó với những gì chúng đã biết, dành một khoảng thời gian để nghĩ về nó và làm cho nó hoạt động. Không có thứ nào trong số này có tương đương cả. Tất cả đây vẫn là nghiên cứu.

Có những lý do rất tinh vi—mà theo tôi là rất khó để hiểu—vì sao chuyện này không hề đơn giản. Nếu tôi có thể giải thích một lý do: tại sao chúng ta không thể tạo tổng hợp và huấn luyện trên đó? Bạn cho mô hình các bản sinh tổng hợp về việc nghĩ về cuốn sách, bạn nhìn vào đó và nghĩ, “Trông rất tuyệt. Sao chúng ta không thể huấn luyện trên đó?” Bạn có thể thử, nhưng nếu cứ tiếp tục thử, mô hình sẽ tệ đi rất nhiều. Đó là vì mọi mẫu bạn lấy từ mô hình đều âm thầm bị sụp đổ. Một cách âm thầm—nếu nhìn từng ví dụ riêng lẻ thì không hiển nhiên—chúng chiếm một manifold rất nhỏ trong không gian các suy nghĩ khả dĩ. Khi các LLM xuất ra, chúng là thứ mà chúng tôi gọi là “collapsed”. Chúng có một phân phối dữ liệu bị sụp đổ. Một cách dễ để thấy điều đó là vào ChatGPT và hỏi “hãy kể một câu đùa”. Nó chỉ có 3 câu đùa. Nó không cho bạn toàn bộ độ rộng của các câu đùa có thể có. Nó biết 3 câu đùa. Chúng âm thầm bị sụp đổ như vậy.

Các mô hình này không lấy được từ con người mức độ phong phú, đa dạng và entropy như vậy. Con người nhiễu hơn nhiều, nhưng ít nhất là không bị lệch, theo nghĩa thống kê. Họ không âm thầm sụp đổ. Họ duy trì một lượng entropy khổng lồ. Vậy làm sao để giữ được entropy trong khi vẫn khiến việc tạo dữ liệu tổng hợp hoạt động bất chấp sự sụp đổ? Đó là một bài toán nghiên cứu.

Dwarkesh Patel 00:52:20

Để chắc là tôi hiểu đúng, lý do sự sụp đổ liên quan đến việc tạo dữ liệu tổng hợp là vì ta muốn có thể tạo ra các bài toán tổng hợp hay các suy ngẫm không nằm sẵn trong phân phối dữ liệu, đúng không?

Andrej Karpathy 00:52:32

Ý tôi là, nếu có một chương trong sách và bạn bảo LLM suy nghĩ về nó, nó sẽ đưa ra thứ gì đó trông rất hợp lý. Nhưng nếu bạn hỏi 10 lần, bạn sẽ nhận ra tất cả đều giống nhau.

Dwarkesh Patel 00:52:44

Ý ông là với cùng một lượng thông tin trong prompt, ta không thể cứ tiếp tục scale phần “suy ngẫm” và thu được lợi ích từ đó.

Andrej Karpathy 00:52:54

Từng mẫu riêng lẻ thì trông ổn, nhưng phân phối của nó thì khá tệ. Tệ theo kiểu nếu bạn cứ tiếp tục huấn luyện quá nhiều trên chính đầu ra của nó, nó thực sự sẽ sụp đổ.

Tôi nghĩ có thể không có lời giải căn cơ nào cho chuyện này. Tôi cũng nghĩ con người theo thời gian cũng sụp đổ. Những phép ẩn dụ như vậy lại hay đến ngạc nhiên. Con người sụp đổ trong suốt cuộc đời của mình. Đó là lý do trẻ con chưa bị overfit. Chúng sẽ nói những điều có thể làm bạn giật mình. Vì bạn có thể thấy chúng đang đi từ đâu ra, nhưng đó đơn giản không phải kiểu điều người ta thường nói. Bởi vì chúng chưa sụp đổ. Còn chúng ta thì đã sụp đổ. Chúng ta cứ quay lại những ý nghĩ cũ. Ngày càng nói những điều giống nhau hơn, learning rate giảm xuống, sự sụp đổ tiếp tục tệ hơn, rồi mọi thứ đều xấu đi.

Dwarkesh Patel 00:53:39

Ông có xem bài báo rất thú vị này nói rằng giấc mơ là cách ngăn kiểu overfitting và sụp đổ này không? Lý do giấc mơ có giá trị thích nghi về mặt tiến hóa là vì nó đặt bạn vào những tình huống kỳ lạ, rất khác đời thực hằng ngày, để ngăn kiểu overfitting này.

Andrej Karpathy 00:53:55

Ý tưởng thú vị đấy. Khi bạn tạo ra mọi thứ trong đầu và chú ý đến chúng, tôi nghĩ bạn đang huấn luyện trên dữ liệu tổng hợp của chính mình. Nếu làm quá lâu, bạn sẽ lệch quỹ đạo và sụp đổ quá nhiều. Bạn luôn phải tìm entropy trong cuộc sống. Nói chuyện với người khác là một nguồn entropy tuyệt vời, những thứ như vậy. Vậy nên có lẽ bộ não cũng đã xây dựng các cơ chế nội tại để tăng lượng entropy trong quá trình đó. Đó là một ý tưởng thú vị.

Dwarkesh Patel 00:54:25

Đây là một ý còn rất chưa thành hình, nên tôi cứ nói ra để ông phản hồi nhé. Những người học tốt nhất mà ta biết, tức là trẻ em, lại cực kỳ kém trong việc hồi tưởng thông tin. Thực tế, ở giai đoạn đầu nhất của thời thơ ấu, chúng sẽ quên mọi thứ. Với mọi chuyện xảy ra trước một độ tuổi nhất định, chúng đơn giản là bệnh nhân mất trí nhớ. Nhưng chúng lại cực kỳ giỏi trong việc tiếp thu ngôn ngữ mới và học hỏi từ thế giới. Có lẽ ở đây có một yếu tố kiểu nhìn thấy cả khu rừng thay vì từng cái cây.

Ngược lại, ở đầu kia của phổ là tiền huấn luyện LLM, nơi các mô hình này theo nghĩa đen có thể lặp lại từng từ tiếp theo trên một trang Wikipedia. Nhưng khả năng học rất nhanh các khái niệm trừu tượng theo cách một đứa trẻ có thể làm thì bị hạn chế hơn nhiều. Rồi người lớn nằm đâu đó ở giữa: không còn sự linh hoạt trong học tập như thời thơ ấu, nhưng có thể ghi nhớ sự kiện và thông tin theo cách khó hơn với trẻ con. Tôi không biết liệu có điều gì thú vị trong phổ đó không.

Andrej Karpathy 00:55:19

Tôi nghĩ chắc chắn là có điều gì đó rất thú vị ở đây, 100%. Tôi nghĩ con người có yếu tố nhìn thấy cả khu rừng thay vì từng cái cây nhiều hơn hẳn so với LLM. Chúng ta thực ra không giỏi ghi nhớ đến thế, và đó thực ra là một tính năng. Chính vì không giỏi ghi nhớ, chúng ta bị buộc phải tìm ra các mẫu theo nghĩa tổng quát hơn.

Trong khi đó, LLM lại cực kỳ giỏi ghi nhớ. Chúng sẽ đọc lại các đoạn văn từ toàn bộ nguồn huấn luyện này. Bạn có thể đưa cho chúng dữ liệu hoàn toàn vô nghĩa. Bạn có thể băm một lượng văn bản nào đó hay làm thứ gì tương tự, thu được một chuỗi hoàn toàn ngẫu nhiên. Nếu huấn luyện trên đó, chỉ sau một hoặc hai lần lặp, đột nhiên chúng có thể lặp lại toàn bộ. Chúng sẽ ghi nhớ nó. Không đời nào một người có thể đọc một chuỗi số ngẫu nhiên rồi đọc lại cho bạn được.

Đó không phải lỗi, mà là tính năng. Vì nó buộc con người chỉ học những thành phần có thể khái quát hóa. Trong khi đó, LLM bị phân tán bởi toàn bộ ký ức về các tài liệu tiền huấn luyện, và điều đó có lẽ khiến chúng rất phân tâm theo một nghĩa nào đó. Vì vậy khi tôi nói về cognitive core, tôi muốn loại bỏ phần ký ức mà chúng ta đang nói đến. Tôi muốn chúng có ít ký ức hơn, để chúng phải tra cứu mọi thứ, và chỉ giữ lại các thuật toán cho tư duy, ý tưởng về thí nghiệm, cùng toàn bộ lớp keo nhận thức cho hành động.

Dwarkesh Patel 00:56:36

Điều này cũng có liên quan đến việc ngăn model collapse không?

Andrej Karpathy 00:56:41

Để tôi nghĩ xem. Tôi không chắc. Nó gần như là một trục riêng biệt. Các mô hình quá giỏi ghi nhớ, và ta phải tìm cách loại bỏ điều đó. Con người thì kém hơn nhiều, nhưng đó lại là điều tốt.

Dwarkesh Patel 00:56:57

Vậy lời giải cho model collapse là gì? Có những thứ rất ngây thơ mà ta có thể thử. Kiểu như phân phối trên logits phải rộng hơn, đại loại vậy. Có rất nhiều thứ ngây thơ có thể thử. Vậy rốt cuộc vấn đề với các cách tiếp cận ngây thơ là gì?

Andrej Karpathy 00:57:11

Câu hỏi hay đấy. Bạn có thể hình dung việc có một regularization trên entropy, những thứ như vậy. Có vẻ như về mặt thực nghiệm chúng không hoạt động tốt lắm. Vì hiện giờ các mô hình vốn đã bị sụp đổ. Nhưng tôi sẽ nói rằng phần lớn các tác vụ mà ta muốn từ chúng thực ra không đòi hỏi sự đa dạng. Có lẽ đó là câu trả lời cho chuyện đang xảy ra.

Các frontier lab đang cố làm cho mô hình trở nên hữu ích. Tôi nghĩ sự đa dạng trong đầu ra không hẳn... thứ nhất là nó khó làm việc cùng và khó đánh giá hơn nhiều, v.v., nhưng có lẽ nó cũng không nắm bắt được phần lớn giá trị.

Dwarkesh Patel 00:57:42

Thực ra nó còn bị phạt tích cực nữa. Nếu trong RL mà quá sáng tạo thì không tốt.

Andrej Karpathy 00:57:48

Đúng. Hoặc nếu bạn đang nhận rất nhiều hỗ trợ viết từ LLM, thì có lẽ điều đó cũng không tốt. Vì các mô hình sẽ âm thầm đưa cho bạn cùng một thứ hết lần này đến lần khác. Chúng sẽ không khám phá nhiều cách khác nhau để trả lời một câu hỏi.

Có lẽ sự đa dạng này là thứ mà mô hình không có vì nhiều ứng dụng không cần đến nó. Nhưng nó lại trở thành vấn đề ở thời điểm tạo dữ liệu tổng hợp và những lúc tương tự. Thế nên chúng ta đang tự bắn vào chân mình khi không cho phép các mô hình duy trì entropy này. Có lẽ các lab cần cố gắng hơn.

Dwarkesh Patel 00:58:17

Tôi nghĩ ông đã hàm ý rằng đây là một vấn đề rất nền tảng, và sẽ không dễ giải quyết. Trực giác của ông về điều đó là gì?

Andrej Karpathy 00:58:24

Tôi không chắc nó có nền tảng đến vậy không. Tôi không biết mình có định nói như thế không. Tôi chưa làm các thí nghiệm kiểu này, nhưng tôi nghĩ có lẽ bạn có thể regularize entropy cao hơn. Tức là khuyến khích mô hình đưa ra ngày càng nhiều câu trả lời hơn, nhưng bạn cũng không muốn nó đi quá xa khỏi dữ liệu huấn luyện. Nó sẽ bắt đầu tự tạo ra ngôn ngữ riêng. Nó sẽ bắt đầu dùng những từ cực kỳ hiếm, nên sẽ trôi quá xa khỏi phân phối.

Vì vậy tôi nghĩ việc kiểm soát phân phối đơn giản là rất tinh vi. Có lẽ theo nghĩa đó thì nó không hề tầm thường.

Dwarkesh Patel 00:58:58

Nếu phải đoán, lõi trí tuệ tối ưu nên có bao nhiêu bit? Nếu đặt nó vào tàu thăm dò von Neumann, thì nó nên lớn đến mức nào?

Andrej Karpathy 00:59:10

Điều này thực sự rất thú vị trong lịch sử của lĩnh vực này, bởi vì đã có lúc mọi thứ đều nghiện scale. “Ồ, chúng ta sẽ tạo ra những mô hình lớn hơn rất nhiều, các mô hình hàng nghìn tỷ tham số.” Các mô hình đã từng tăng kích thước, rồi giờ lại giảm xuống. Các mô hình tiên tiến nhất hiện nay nhỏ hơn. Dù vậy, tôi vẫn nghĩ chúng ghi nhớ quá nhiều. Vì thế cách đây không lâu tôi đã dự đoán rằng tôi cảm thấy chúng ta có thể có được một lõi nhận thức rất tốt chỉ với gần 1 tỷ tham số.

Nếu bạn trò chuyện với một mô hình 1 tỷ tham số, tôi nghĩ trong 20 năm nữa bạn có thể có một cuộc trò chuyện rất hiệu quả. Nó sẽ suy nghĩ, và giống con người hơn rất nhiều. Nhưng nếu bạn hỏi một câu mang tính thực tế, có thể nó sẽ phải tra cứu, nhưng nó sẽ biết rằng mình không biết và có thể cần phải tra cứu, và sẽ làm tất cả những điều hợp lý.

Dwarkesh Patel 00:59:54

Tôi ngạc nhiên khi ông nghĩ sẽ cần tới 1 tỷ tham số. Bởi vì ngay bây giờ đã có các mô hình 1 tỷ tham số hay vài tỷ tham số, và chúng đã rất thông minh rồi.

Andrej Karpathy 01:00:02

Ừm, các mô hình tiên tiến nhất có vẻ ở mức hàng nghìn tỷ tham số. Nhưng chúng ghi nhớ quá nhiều thứ.

Dwarkesh Patel 01:00:06

Vâng, nhưng với tốc độ đó trong 10 năm tới thì thật đáng ngạc nhiên... Chúng ta có gpt-oss-20b. Nó tốt hơn rất nhiều so với GPT-4 nguyên bản, vốn có hơn hàng nghìn tỷ tham số. Với xu hướng đó, tôi ngạc nhiên khi ông vẫn nghĩ rằng 10 năm nữa lõi nhận thức vẫn sẽ là 1 tỷ tham số. Tôi đã không ngạc nhiên nếu ông nói, “Ồ, nó sẽ chỉ còn vài chục triệu hoặc vài triệu thôi.”

Andrej Karpathy 01:00:30

Vấn đề ở đây là thế này. Dữ liệu huấn luyện là internet, và nó thực sự khủng khiếp. Có một khoản lợi rất lớn có thể đạt được chỉ vì internet quá tệ. Thậm chí khi internet, khi bạn và tôi nghĩ về internet, bạn đang nghĩ đến những thứ như Wall Street Journal. Nhưng đó không phải là cái này. Khi bạn xem các bộ dữ liệu tiền huấn luyện ở các phòng lab frontier và nhìn vào các tài liệu internet ngẫu nhiên, chúng hoàn toàn là rác. Tôi hoàn toàn không hiểu nổi chuyện này hoạt động thế nào. Mã cổ phiếu, ký hiệu, một lượng khổng lồ thứ nhảm nhí và rác từ mọi ngóc ngách của internet. Nó không phải là những bài báo kiểu Wall Street Journal; những thứ đó cực kỳ hiếm. Vì internet quá tệ, chúng ta phải tạo ra các mô hình thật lớn để nén tất cả đống đó. Phần lớn việc nén đó là công việc ghi nhớ thay vì công việc nhận thức.

Nhưng điều chúng ta thực sự muốn là phần nhận thức, và loại bỏ phần ghi nhớ. Ý tôi là, chúng ta cần các mô hình thông minh để giúp tinh lọc tập tiền huấn luyện nhằm thu hẹp nó xuống chỉ còn các thành phần nhận thức. Khi đó nó sẽ là một bộ dữ liệu tốt hơn rất nhiều, và tôi nghĩ ta có thể làm được với một mô hình nhỏ hơn rất nhiều vì có thể huấn luyện trên bộ dữ liệu đó. Nhưng có lẽ nó sẽ không được huấn luyện trực tiếp trên đó, mà có lẽ vẫn sẽ được chưng cất từ một mô hình tốt hơn nhiều.

Dwarkesh Patel 01:01:35

Nhưng tại sao bản được chưng cất vẫn lại là 1 tỷ?

Andrej Karpathy 01:01:39

Tôi chỉ cảm thấy việc chưng cất hoạt động cực kỳ tốt. Vì vậy gần như mọi mô hình nhỏ, nếu nó là mô hình nhỏ, thì gần như chắc chắn nó đã được chưng cất.

Dwarkesh Patel 01:01:46

Đúng, nhưng tại sao bản chưng cất sau 10 năm nữa lại không xuống dưới 1 tỷ?

Andrej Karpathy 01:01:50

Ồ, anh nghĩ nó phải nhỏ hơn 1 tỷ à? Ý tôi là, làm ơn đi, đúng chứ? Tôi không biết. Đến một lúc nào đó, để làm được điều gì đó thú vị thì hẳn phải cần ít nhất 1 tỷ cái núm chỉnh. Anh nghĩ nó phải nhỏ hơn sao?

Dwarkesh Patel 01:02:01

Có. Nhìn vào xu hướng vài năm qua, khi người ta hái những quả thấp và đi từ các mô hình hơn hàng nghìn tỷ tham số xuống các mô hình nhỏ hơn đúng nghĩa 2 lần, chỉ trong 2 năm mà hiệu năng còn tốt hơn, điều đó khiến tôi nghĩ lõi trí tuệ có thể nhỏ hơn rất, rất nhiều. Mượn lời Feynman, ở phía đáy vẫn còn rất nhiều chỗ.

Andrej Karpathy 01:02:22

Tôi đã cảm thấy việc chỉ nói về một lõi nhận thức 1 tỷ tham số thôi đã là quan điểm không theo số đông rồi, mà anh còn vượt cả tôi. Có lẽ nó có thể nhỏ hơn một chút. Tôi thật ra nghĩ ta vẫn muốn mô hình có một mức độ tri thức nào đó. Ta không muốn nó phải tra cứu mọi thứ. Bởi vì như vậy nó sẽ không thể suy nghĩ trong đầu được. Nó sẽ luôn phải tra cứu quá nhiều thứ. Nên cần có một phần kiến thức nền tảng cơ bản, nhưng không phải là thứ kiến thức quá bí hiểm.

Dwarkesh Patel 01:02:48

Chúng ta đang bàn về lõi nhận thức có thể nhỏ đến mức nào. Có một câu hỏi riêng về việc kích thước của các mô hình frontier sẽ thay đổi thế nào theo thời gian. Tôi muốn biết liệu ông có dự đoán nào không. Chúng ta đã thấy quy mô tăng lên cho tới GPT 4.5, rồi giờ quy mô đang giảm hoặc chững lại. Có thể có nhiều lý do khiến điều này xảy ra. Ông có dự đoán gì cho tương lai không? Những mô hình lớn nhất sẽ lớn hơn, nhỏ hơn, hay giữ nguyên?

Andrej Karpathy 01:03:14

Tôi không có dự đoán quá mạnh. Các phòng lab đơn giản là rất thực dụng. Họ có ngân sách FLOP và ngân sách chi phí. Hóa ra tiền huấn luyện không phải là nơi bạn muốn dồn phần lớn FLOP hay chi phí vào. Đó là lý do các mô hình trở nên nhỏ hơn. Chúng nhỏ hơn một chút, tức là giai đoạn tiền huấn luyện nhỏ hơn, nhưng họ bù lại ở học tăng cường, huấn luyện trung gian, và tất cả những thứ tiếp theo sau đó. Họ đơn giản là rất thực dụng về từng giai đoạn và cách lấy hiệu quả tối đa từ chúng.

Dự đoán xu hướng đó khá khó. Tôi vẫn kỳ vọng còn rất nhiều quả thấp để hái. Đó là kỳ vọng mặc định của tôi. Ở đây tôi có một phân bố rất rộng.

Dwarkesh Patel 01:03:51

Ông có kỳ vọng những quả thấp đó sẽ tương tự với kiểu tiến bộ đã xảy ra trong 2 đến 5 năm qua không? Khi nhìn vào nanochat so với nanoGPT và những điều chỉnh kiến trúc mà ông đã tạo ra, đó có phải là kiểu thay đổi mà ông kỳ vọng sẽ tiếp tục diễn ra không? Ông không kỳ vọng một sự chuyển dịch mô hình khổng lồ, đúng không?

Andrej Karpathy 01:04:11

Phần lớn là vậy, đúng. Tôi kỳ vọng bộ dữ liệu sẽ tốt hơn rất, rất nhiều. Nếu bạn nhìn vào các bộ dữ liệu trung bình, chúng cực kỳ khủng khiếp. Chúng tệ đến mức tôi hoàn toàn không hiểu nổi vì sao bất cứ thứ gì lại hoạt động được. Hãy nhìn vào ví dụ trung bình trong tập huấn luyện: sai sót thực tế, lỗi, những thứ vô nghĩa. Bằng cách nào đó, khi làm ở quy mô lớn, nhiễu bị rửa trôi và chỉ còn lại một ít tín hiệu. Bộ dữ liệu sẽ được cải thiện cực kỳ mạnh.

Mọi thứ đều sẽ tốt hơn. Phần cứng của chúng ta, mọi kernel để chạy phần cứng và tối đa hóa những gì ta nhận được từ phần cứng. Nvidia đang từ từ tinh chỉnh chính phần cứng, các Tensor Core, tất cả những điều đó phải xảy ra và sẽ tiếp tục xảy ra. Mọi kernel sẽ tốt hơn và tận dụng con chip đến mức tối đa. Mọi thuật toán có lẽ cũng sẽ được cải thiện trong tối ưu hóa, kiến trúc, và tất cả các thành phần mô hình hóa liên quan đến cách mọi thứ được xây dựng cũng như các thuật toán mà chúng ta đang huấn luyện. Tôi không kỳ vọng sẽ có một thứ gì thống trị. Mọi thứ cộng thêm 20%. Đó đại khái là điều tôi đã thấy.

01:06:25 – AGI sẽ được tính trong tăng trưởng GDP 2%.

Dwarkesh Patel 01:06:25

Mọi người đã đề xuất nhiều cách khác nhau để lập biểu đồ xem chúng ta đã tiến bộ đến đâu trên con đường đi tới AGI hoàn chỉnh. Nếu có thể vẽ ra một đường nào đó, bạn có thể nhìn xem điểm đường đó cắt AGI nằm ở đâu và điều đó sẽ xảy ra ở vị trí nào trên trục x. Mọi người từng đề xuất đó là trình độ học vấn. Chúng ta đã có cấp độ học sinh trung học, rồi với RL thì lên đến đại học, và rồi sẽ lấy bằng tiến sĩ.

Andrej Karpathy 01:06:44

Tôi không thích cách đó.

Dwarkesh Patel 01:06:45

Hoặc họ sẽ đề xuất độ dài chân trời tác vụ. Có thể hiện tại chúng có thể làm các tác vụ mất 1 phút, và làm một cách tự chủ. Sau đó là các tác vụ mất 1 giờ đối với con người, rồi các tác vụ mất 1 tuần đối với con người, cũng một cách tự chủ. Anh nghĩ thế nào về trục y phù hợp ở đây? Chúng ta nên nghĩ về việc AI đang tiến bộ như thế nào?

Andrej Karpathy 01:07:05

Tôi có hai câu trả lời cho chuyện đó. Thứ nhất, tôi gần như muốn bác bỏ chính câu hỏi này. Vì tôi xem đây là sự mở rộng của điện toán. Chúng ta có nói về cách lập biểu đồ tiến bộ trong điện toán không, hay cách lập biểu đồ tiến bộ của điện toán kể từ những năm 1970? Trục y là gì? Nhìn từ góc độ đó, toàn bộ câu hỏi này có phần hơi buồn cười.

Khi mọi người nói về AI và AGI theo nghĩa ban đầu, cũng như cách chúng ta từng nói về nó khi OpenAI mới bắt đầu, AGI là một hệ thống có thể thực hiện mọi công việc có giá trị kinh tế mà con người có thể làm, ở mức hiệu năng bằng hoặc hơn con người. Đó là định nghĩa. Khi ấy tôi khá hài lòng với nó, và tôi đã bám vào định nghĩa đó cho đến giờ. Sau đó mọi người nghĩ ra đủ kiểu định nghĩa khác. Nhưng tôi thích định nghĩa đó.

Nhượng bộ đầu tiên mà mọi người luôn làm là đơn giản loại bỏ mọi thứ mang tính vật lý. Bởi vì chúng ta chỉ đang nói về lao động tri thức kỹ thuật số. Đó là một nhượng bộ khá lớn so với định nghĩa ban đầu. Định nghĩa gốc là mọi công việc mà con người có thể làm. Tôi có thể nhấc đồ vật lên, vân vân. AI rõ ràng chưa làm được điều đó, nhưng thôi tôi chấp nhận. Khi nói rằng “à, chỉ lao động tri thức thôi”, thì chúng ta đang loại bỏ bao nhiêu phần của nền kinh tế? Tôi không biết con số. Cảm giác của tôi là khoảng 10% đến 20%, nếu phải đoán, chỉ riêng lao động tri thức, kiểu ai đó có thể làm việc tại nhà và hoàn thành tác vụ, đại loại vậy. Dù thế đó vẫn là một thị trường thực sự lớn. Quy mô nền kinh tế là bao nhiêu, và 10% hay 20% của nó là gì? Chúng ta vẫn đang nói đến hàng nghìn tỷ USD, chỉ riêng ở Mỹ thôi, về thị phần hay khối lượng công việc. Nên đó vẫn là một hạng mục cực kỳ khổng lồ.

Quay lại định nghĩa, điều tôi tìm kiếm là mức độ mà định nghĩa đó là đúng trong thực tế. Có những nghề nào, hay nhiều tác vụ nào không? Nếu nghĩ theo tác vụ thay vì nghề nghiệp. Điều này khó. Vì vấn đề là xã hội sẽ tái cấu trúc dựa trên những gì có thể và không thể tự động hóa trong các tác vụ cấu thành nên nghề nghiệp. Ngày nay, những nghề nào có thể bị AI thay thế? Ví dụ điển hình gần đây là dự đoán của Geoff Hinton rằng bác sĩ chẩn đoán hình ảnh sẽ không còn là một nghề nữa, điều này hóa ra sai ở rất nhiều khía cạnh. Các bác sĩ chẩn đoán hình ảnh vẫn sống khỏe, phát triển tốt và còn đang tăng trưởng. Dù computer vision cực kỳ, cực kỳ giỏi trong việc nhận diện mọi thứ khác nhau mà họ cần nhận ra trong ảnh. Đó đơn giản là một nghề phức tạp với rất nhiều bề mặt liên quan đến việc làm việc với bệnh nhân và bối cảnh của toàn bộ những thứ này.

Theo định nghĩa đó, tôi không nghĩ AI đã tạo ra tác động lớn đến vậy, ít nhất là chưa. Một số nghề mà tôi sẽ tìm kiếm có những đặc tính khiến chúng phù hợp với tự động hóa hơn nhiều so với các nghề khác, và sẽ sớm hơn. Ví dụ, nhân viên tổng đài thường được nhắc tới, và tôi nghĩ điều đó đúng. Nhân viên tổng đài có rất nhiều thuộc tính đơn giản hóa đối với những gì có thể tự động hóa ngày nay. Công việc của họ khá đơn giản. Đó là một chuỗi tác vụ, và mọi tác vụ đều trông tương tự nhau. Bạn nhận cuộc gọi với một người, đó là một tương tác kéo dài 10 phút, hoặc gì đó tương tự, có thể lâu hơn một chút. Theo trải nghiệm của tôi thì lâu hơn nhiều. Bạn hoàn thành một công việc nào đó trong một hệ thống, thay đổi vài mục trong cơ sở dữ liệu hay đại loại vậy. Thế là bạn cứ lặp đi lặp lại một việc, và đó là công việc của bạn.

Tôi muốn lấy chân trời tác vụ — mất bao lâu để hoàn thành một tác vụ — rồi sau đó loại bỏ ngữ cảnh. Bạn không phải xử lý toàn bộ dịch vụ của công ty hay những bộ phận khác nhau của các khách hàng khác nhau. Chỉ là cơ sở dữ liệu, bạn, và người mà bạn đang phục vụ. Nó khép kín hơn, dễ hiểu hơn, và hoàn toàn mang tính số. Vì thế tôi sẽ tìm những thứ như vậy.

Nhưng ngay cả ở đó, tôi cũng chưa tìm kiếm tự động hóa hoàn toàn. Tôi đang tìm một thanh trượt về mức độ tự chủ. Tôi dự đoán chúng ta sẽ không thay thế con người ngay lập tức. Ta sẽ thay thế bằng AI thực hiện 80% khối lượng công việc. Chúng sẽ chuyển 20% khối lượng còn lại cho con người, và con người sẽ giám sát 5 đội AI đang làm những công việc tổng đài được chuẩn hóa hơn. Tôi sẽ tìm những giao diện mới hoặc những công ty mới cung cấp lớp giúp bạn quản lý một số AI như thế này. Chúng vẫn chưa hoàn hảo. Và rồi tôi sẽ kỳ vọng điều đó trên toàn bộ nền kinh tế. Nhiều nghề còn khó hơn nhân viên tổng đài rất nhiều.

Dwarkesh Patel 01:11:02

Về bác sĩ chẩn đoán hình ảnh, tôi hoàn toàn chỉ đang đoán thôi và chẳng biết gì về quy trình làm việc thực tế của họ cả. Nhưng một phép so sánh có thể áp dụng là khi Waymo lần đầu được triển khai, có một người ngồi ghế trước và phải có mặt ở đó nếu có gì thực sự sai nghiêm trọng. Ngay cả ngày nay, con người vẫn đang theo dõi để đảm bảo mọi thứ diễn ra ổn. Robotaxi vừa mới triển khai cũng vẫn có người ngồi bên trong.

Bây giờ, ngay cả khi chúng ta tự động hóa được 99% của một công việc, thì 1% cuối cùng con người phải làm vẫn có thể cực kỳ giá trị, vì nó trở thành nút thắt cổ chai cho toàn bộ phần còn lại. Trong trường hợp bác sĩ chẩn đoán hình ảnh, nếu người ngồi trước Waymo phải được đào tạo chuyên sâu trong nhiều năm chỉ để cung cấp 1% cuối cùng đó, thì lương của họ hẳn phải tăng rất mạnh. Vì họ là thứ duy nhất đang chặn việc triển khai trên diện rộng. Với bác sĩ chẩn đoán hình ảnh, tôi nghĩ lương của họ đã tăng vì lý do tương tự, nếu bạn là nút thắt cuối cùng và không thể thay thế. Tài xế Waymo có thể lại thay thế được cho nhau. Nên bạn có thể thấy kiểu hiện tượng lương tăng dần cho tới khi đạt 99%, rồi khi 1% cuối cùng biến mất thì lại rơi mạnh. Và tôi tự hỏi liệu chúng ta có đang thấy điều gì tương tự với ngành chẩn đoán hình ảnh hay lương của nhân viên tổng đài và những thứ như vậy không.

Andrej Karpathy 01:12:17

Câu hỏi thú vị đấy. Tôi không nghĩ hiện giờ chúng ta đang thấy điều đó trong ngành chẩn đoán hình ảnh. Tôi không nghĩ chẩn đoán hình ảnh là một ví dụ tốt. Tôi không biết vì sao Geoff Hinton lại chọn chẩn đoán hình ảnh. Vì tôi nghĩ đó là một nghề cực kỳ phức tạp.

Chẳng hạn, tôi sẽ quan tâm hơn nhiều đến việc hôm nay đang xảy ra chuyện gì với nhân viên tổng đài. Vì tôi kỳ vọng một phần lớn những gì mang tính chuẩn hóa ở đó ngày nay có thể tự động hóa được. Tôi không có tiếp cận trực tiếp với chuyện này, nhưng tôi sẽ tìm các xu hướng về những gì đang diễn ra với nhân viên tổng đài. Một điều khác mà tôi cũng kỳ vọng là có thể họ đang thay bằng AI, nhưng sau đó tôi vẫn sẽ chờ thêm 1 hoặc 2 năm. Vì có khả năng tôi cũng kỳ vọng họ sẽ rút lui và tuyển lại một phần nhân sự.

Dwarkesh Patel 01:13:00

Đã có bằng chứng cho thấy điều đó nhìn chung đã xảy ra ở các công ty đang áp dụng AI. Tôi nghĩ điều đó khá đáng ngạc nhiên.

Một điều nữa mà tôi thấy thực sự đáng ngạc nhiên là: AGI, đúng chứ? Nó sẽ làm được mọi thứ. Bỏ qua lao động thể chất, nhưng nó phải làm được mọi lao động tri thức. Một cách ngây thơ, điều tôi từng kỳ vọng là tiến trình này sẽ diễn ra bằng cách lấy một tác vụ nhỏ mà tư vấn viên đang làm, rồi loại nó khỏi hạng mục đó. Lấy một tác vụ nhỏ mà kế toán đang làm, rồi loại nó khỏi hạng mục đó. Và sau đó làm điều đó trên toàn bộ lao động tri thức.

Nhưng ngược lại, nếu bạn tin rằng chúng ta đang đi theo con đường dẫn đến AGI với mô hình hiện tại, thì tiến triển thực ra hoàn toàn không như vậy. Không có vẻ như các tư vấn viên và kế toán đang đạt được mức tăng năng suất khổng lồ. Nó rất giống với việc các lập trình viên đang dần bị bào mòn công việc của họ. Nếu nhìn vào doanh thu của các công ty này, nếu loại trừ doanh thu từ chat thông thường — thứ đó gần giống Google — và chỉ nhìn vào doanh thu API, thì lập trình áp đảo. Vậy nên cái thứ được gọi là “tổng quát”, lẽ ra phải làm được mọi loại lao động tri thức, thì lại đang chủ yếu chỉ làm lập trình. Đó là một cách triển khai AGI rất đáng ngạc nhiên.

Andrej Karpathy 01:14:13

Có một điểm thú vị ở đây. Tôi tin rằng lập trình là ứng dụng đầu tiên hoàn hảo cho các LLM và agent này. Bởi vì lập trình về cơ bản từ trước đến nay luôn vận hành xoay quanh văn bản. Đó là terminal máy tính và văn bản, mọi thứ đều dựa trên văn bản. LLM thích văn bản theo cách chúng được huấn luyện trên Internet. Nó là bộ xử lý văn bản hoàn hảo, và ở đó có toàn bộ dữ liệu này. Rất khớp.

Chúng ta cũng đã có sẵn rất nhiều hạ tầng để xử lý code và văn bản. Ví dụ, Visual Studio Code hay IDE bạn thích sẽ hiển thị code, và agent có thể kết nối vào đó. Nếu có một diff mà agent đã tạo ra khi chỉnh sửa gì đó, thì chúng ta bỗng nhiên đã có sẵn toàn bộ đoạn mã để hiển thị mọi khác biệt trong codebase bằng diff. Có cảm giác như chúng ta đã xây dựng trước rất nhiều hạ tầng dành cho code.

Hãy đối chiếu điều đó với những thứ hoàn toàn không được hưởng lợi như vậy. Chẳng hạn, có những người đang cố xây dựng tự động hóa cho slide thay vì lập trình. Tôi đã thấy các công ty làm về slide. Nó khó hơn rất, rất nhiều. Khó hơn vì slide không phải là văn bản. Slide là các đồ họa nhỏ, được sắp xếp theo không gian, có các thành phần thị giác. Slide không có hạ tầng dựng sẵn này. Ví dụ, nếu agent chỉnh sửa slide, thì bạn hiển thị diff thế nào? Bạn xem diff ra sao? Không có gì để hiển thị diff cho slide cả. Ai đó sẽ phải xây nó. Một số thứ như vậy không phù hợp với AI là bộ xử lý văn bản, còn code thì lại phù hợp một cách đáng ngạc nhiên.

Dwarkesh Patel 01:15:48

Tôi không chắc chỉ như vậy là đã giải thích được. Cá nhân tôi đã cố gắng làm cho LLM hữu ích trong các lĩnh vực đầu vào là ngôn ngữ thuần túy, đầu ra cũng là ngôn ngữ, như viết lại bản chép lời, tạo clip dựa trên bản chép lời. Rất có thể tôi chưa thử mọi cách có thể. Tôi đã đưa rất nhiều ví dụ tốt vào ngữ cảnh, nhưng có lẽ cần một dạng fine-tuning nào đó.

Người bạn chung của chúng ta, Andy Matuschak, nói rằng anh ấy đã thử cả tỷ thứ để làm cho mô hình giỏi viết prompt lặp lại ngắt quãng. Một lần nữa, đó là một tác vụ đầu vào ngôn ngữ, đầu ra ngôn ngữ rất điển hình, kiểu việc lẽ ra phải nằm ngay chính giữa vùng năng lực của các LLM này. Anh ấy đã thử in-context learning với các ví dụ few shot. Anh ấy cũng đã thử supervised fine-tuning và retrieval. Anh ấy không thể khiến nó tạo ra những tấm thẻ mà anh ấy thấy hài lòng.

Vì vậy, ngay cả trong miền đầu ra ngôn ngữ, tách biệt khỏi lập trình, việc rút ra nhiều giá trị kinh tế từ các mô hình này cũng cực kỳ khó. Tôi không biết điều gì giải thích chuyện đó.

Andrej Karpathy 01:16:57

Điều đó hợp lý. Tôi không nói rằng mọi thứ là văn bản đều là chuyện đơn giản. Tôi nghĩ code có cấu trúc khá cao. Có lẽ tôi muốn nói rằng văn bản phong phú hơn nhiều và có entropy cao hơn nhiều. Tôi không biết diễn đạt cách nào khác. Ngoài ra code cũng khó, nên mọi người cảm thấy được LLM trao quyền khá mạnh chỉ từ những hiểu biết đơn giản. Tôi không nghĩ mình có câu trả lời thật sự tốt. Rõ ràng văn bản khiến việc đó dễ hơn rất, rất nhiều, nhưng điều đó không có nghĩa là mọi văn bản đều là chuyện tầm thường.

01:17:36 – ASI (siêu trí tuệ nhân tạo)

Dwarkesh Patel 01:17:36

Bạn nghĩ gì về siêu trí tuệ? Bạn có kỳ vọng nó sẽ mang lại cảm giác khác biệt về mặt chất so với con người bình thường hay các công ty do con người điều hành không?

Andrej Karpathy 01:17:45

Tôi nhìn nó như sự tiến triển của tự động hóa trong xã hội. Nếu ngoại suy xu hướng của điện toán, sẽ có sự tự động hóa dần dần của rất nhiều thứ, và siêu trí tuệ sẽ là phần kéo dài của xu hướng đó. Theo thời gian, tôi kỳ vọng ngày càng nhiều thực thể tự trị sẽ làm rất nhiều công việc số, rồi sau đó một thời gian nào đó thậm chí cả công việc vật lý nữa. Về cơ bản, nói rộng ra thì tôi chỉ xem đó là tự động hóa.

Dwarkesh Patel 01:18:10

Nhưng tự động hóa bao gồm những thứ con người vốn đã làm được, còn siêu trí tuệ thì hàm ý những thứ con người không làm được.

Andrej Karpathy 01:18:16

Nhưng một trong những việc con người làm là phát minh ra cái mới, và nếu điều đó hợp lý, tôi sẽ tính cả nó vào tự động hóa.

Dwarkesh Patel 01:18:20

Nhưng theo nghĩa bớt trừu tượng hơn và mang tính định tính hơn, liệu có điều gì đó... vì thứ này có thể suy nghĩ nhanh hơn rất nhiều, hoặc có rất nhiều bản sao, hoặc các bản sao đó có thể hợp nhất trở lại với nhau, hoặc đơn giản là thông minh hơn rất nhiều, hay bất kỳ lợi thế nào khác mà AI có thể có, thì một nền văn minh nơi những AI như vậy tồn tại có tạo cảm giác khác về mặt chất so với nền văn minh của con người không?

Andrej Karpathy 01:18:51

Tôi nghĩ là có. Về cơ bản nó là tự động hóa, nhưng sẽ cực kỳ xa lạ. Nó sẽ trông thật sự kỳ quặc. Như bạn nói, chúng ta có thể chạy tất cả những thứ này trên các cụm máy tính và làm nhanh hơn rất nhiều.

Một số kịch bản khiến tôi bắt đầu lo lắng khi thế giới trông như vậy là sự mất kiểm soát và mất hiểu biết dần dần về những gì đang diễn ra. Tôi nghĩ mất hiểu biết dần dần là kết cục có khả năng xảy ra nhất. Chúng ta sẽ dần dần chồng thêm tất cả những thứ này ở khắp mọi nơi, và ngày càng ít người hiểu được chúng. Rồi sau đó sẽ có sự mất kiểm soát và mất hiểu biết dần dần về những gì đang xảy ra. Với tôi, đó có vẻ là kết cục có khả năng cao nhất về cách toàn bộ chuyện này sẽ diễn ra.

Dwarkesh Patel 01:19:31

Để tôi đào sâu thêm chỗ đó. Tôi không rõ mất kiểm soát và mất hiểu biết có phải là cùng một thứ không. Hội đồng quản trị của TSMC, Intel — cứ chọn đại một công ty — họ chỉ là những cụ già 80 tuổi có danh tiếng. Họ hầu như không hiểu gì, và có lẽ trên thực tế cũng không thật sự có quyền kiểm soát đáng kể.

Một ví dụ tốt hơn là tổng thống Mỹ. Tổng thống có rất nhiều quyền lực. Tôi không cố đưa ra một nhận định tích cực về người đương nhiệm, hoặc có thể là có, nhưng mức độ hiểu biết thực sự rất khác với mức độ kiểm soát.

Andrej Karpathy 01:20:06

Cũng công bằng. Đó là một phản biện hay. Tôi nghĩ mình kỳ vọng sẽ mất cả hai.

Dwarkesh Patel 01:20:15

Theo cách nào? Mất hiểu biết thì rõ rồi, nhưng vì sao lại mất kiểm soát?

Andrej Karpathy 01:20:20

Chúng ta đang đi rất sâu vào vùng mà chẳng ai biết nó sẽ trông như thế nào, nhưng nếu tôi viết khoa học viễn tưởng, tôi sẽ theo hướng không hẳn là một thực thể đơn lẻ thâu tóm mọi thứ, mà là nhiều thực thể cạnh tranh với nhau và dần trở nên ngày càng tự trị hơn. Một số trong đó trở nên bất hảo và những thực thể khác đánh bại chúng. Đó là một điểm nóng của hoạt động hoàn toàn tự trị mà chúng ta đã ủy quyền. Tôi cảm thấy nó sẽ mang màu sắc như vậy.

Dwarkesh Patel 01:20:52

Không phải việc chúng thông minh hơn chúng ta dẫn đến mất kiểm soát. Mà là việc chúng đang cạnh tranh với nhau, và bất cứ điều gì nảy sinh từ cuộc cạnh tranh đó sẽ dẫn đến mất kiểm soát.

Andrej Karpathy 01:21:06

Đúng. Phần lớn những thứ này sẽ là công cụ cho con người, hành động thay mặt con người hoặc kiểu như vậy. Vậy nên có lẽ những con người đó vẫn đang kiểm soát, nhưng xét ở cấp độ toàn xã hội, theo nghĩa là kết quả có đúng như điều chúng ta mong muốn hay không, thì có lẽ đó vẫn là mất kiểm soát. Bạn vẫn có những thực thể hành động thay mặt cho các cá nhân nhưng nhìn chung có vẻ gần như không thể kiểm soát được.

Dwarkesh Patel 01:21:30

Đây là câu hỏi lẽ ra tôi nên hỏi sớm hơn. Chúng ta đã nói về việc khi làm kỹ thuật AI hay nghiên cứu AI hiện nay, có cảm giác những mô hình này thuộc phạm trù compiler hơn là sự thay thế.

Đến một thời điểm nào đó, nếu có AGI, nó phải có thể làm được công việc mà bạn đang làm. Bạn có cảm thấy việc có một triệu bản sao của chính mình chạy song song sẽ dẫn tới sự tăng tốc khổng lồ trong tiến bộ AI không? Nếu điều đó xảy ra, bạn có kỳ vọng sẽ thấy một vụ bùng nổ trí tuệ khi chúng ta có AGI thực sự không? Tôi không nói về các LLM ngày nay.

Andrej Karpathy 01:22:01

Có, nhưng đó vẫn chỉ là chuyện thường lệ. Bởi vì chúng ta vốn đã ở trong một vụ bùng nổ trí tuệ và đã như vậy suốt nhiều thập kỷ rồi. Về cơ bản đó là đường cong GDP, một tổng có trọng số theo hàm mũ của rất nhiều khía cạnh trong ngành công nghiệp. Mọi thứ đang dần được tự động hóa và đã như vậy suốt hàng trăm năm. Cách mạng công nghiệp là tự động hóa trong một phần của thành phần vật lý, chế tạo công cụ và những thứ tương tự. Compiler là tự động hóa phần mềm thời kỳ đầu, v.v. Chúng ta đã cải thiện chính mình theo kiểu đệ quy và bùng nổ từ rất lâu rồi.

Một cách khác để nhìn nhận là Trái Đất từng là một nơi khá buồn tẻ nếu không xét đến cơ sinh học và các thứ tương tự, và nhìn rất giống nhau. Nếu nhìn từ vũ trụ, chúng ta đang ở giữa một sự kiện pháo hoa này, nhưng chúng ta đang xem nó ở chế độ quay chậm. Tôi thực sự cảm thấy chuyện này đã diễn ra từ lâu rồi. Một lần nữa, tôi không xem AI là một công nghệ tách biệt với những gì đã diễn ra từ rất lâu.

Dwarkesh Patel 01:23:00

Bạn nghĩ nó liên tục với xu hướng siêu hàm mũ này sao?

Andrej Karpathy 01:23:03

Đúng vậy. Điều đó rất thú vị với tôi, vì tôi đã cố tìm AI trong GDP suốt một thời gian. Tôi nghĩ GDP phải tăng lên. Nhưng rồi tôi nhìn vào những công nghệ khác mà tôi nghĩ là mang tính biến đổi rất lớn, như máy tính hay điện thoại di động. Bạn không thể tìm thấy chúng trong GDP. GDP vẫn là cùng một hàm mũ.

Ngay cả iPhone đời đầu cũng không có App Store, và cũng không có nhiều thứ hào nhoáng mà iPhone hiện đại có. Vì vậy ngay cả khi bạn nghĩ năm 2008, thời điểm iPhone xuất hiện, là một biến động kiến tạo lớn, thì thực ra không phải vậy. Mọi thứ quá phân tán và lan tỏa quá chậm, nên cuối cùng tất cả đều được làm phẳng thành cùng một hàm mũ. Máy tính cũng y hệt như vậy. Bạn không thể tìm thấy chúng trong GDP kiểu như “ồ, giờ đã có máy tính rồi”. Điều đó đã không xảy ra. Vì nó diễn ra quá chậm.

Bạn sẽ thấy chính xác điều tương tự với AI. Nó chỉ là thêm nhiều tự động hóa hơn. Nó cho phép chúng ta viết những loại chương trình khác mà trước đây không thể viết được. Nhưng về cơ bản AI vẫn là chương trình. Nó là một loại máy tính mới và một loại hệ thống tính toán mới. Nhưng nó vẫn có tất cả những vấn đề này, sẽ lan rộng theo thời gian, và vẫn sẽ được cộng vào cùng một hàm mũ. Chúng ta vẫn sẽ có một đường hàm mũ trở nên cực kỳ dốc. Sống trong kiểu môi trường đó sẽ rất lạ lẫm.

Dwarkesh Patel 01:24:10

Nếu nhìn vào xu hướng từ trước Cách mạng công nghiệp đến nay, ý bạn là chúng ta có một siêu hàm mũ đi từ tăng trưởng 0%, lên 0,02% cách đây 10.000 năm, rồi tới 2% hiện nay? Đó là siêu hàm mũ. Nếu đưa AI lên biểu đồ đó, bạn đang nói AI sẽ đưa chúng ta lên mức tăng trưởng 20% hay 200% sao?

Hay nếu nhìn vào 300 năm qua, chúng ta đã quan sát từng công nghệ riêng lẻ—máy tính, điện khí hóa, động cơ hơi nước, đường sắt, v.v.—nhưng tốc độ tăng trưởng vẫn giữ nguyên chính xác, là 2%? Bạn đang nói tốc độ tăng trưởng sẽ tăng lên sao?

Andrej Karpathy 01:24:46

Tốc độ tăng trưởng cũng vẫn gần như không đổi mà, đúng không?

Dwarkesh Patel 01:24:49

Chỉ trong khoảng 200–300 năm qua thôi. Nhưng trong toàn bộ lịch sử loài người thì nó đã bùng nổ. Từ 0% sang nhanh hơn, nhanh hơn, nhanh hơn. Bùng nổ công nghiệp, 2%.

Andrej Karpathy 01:25:01

Trong một thời gian, tôi đã cố tìm AI trong đường cong GDP, hay cố tìm kiếm AI, và đã tự thuyết phục mình rằng điều này là sai. Ngay cả khi mọi người nói về tự cải thiện đệ quy và các phòng thí nghiệm này nọ, thì đây vẫn chỉ là chuyện thường lệ. Tất nhiên nó sẽ tự cải thiện theo kiểu đệ quy, vì nó đã tự cải thiện theo kiểu đệ quy từ trước đến nay rồi.

LLM giúp các kỹ sư làm việc hiệu quả hơn rất nhiều để xây dựng vòng LLM tiếp theo, và nhiều thành phần hơn nữa đang được tự động hóa và điều phối. Tất cả các kỹ sư có quyền truy cập Google Search cũng là một phần của chuyện đó. Tất cả các kỹ sư có IDE, tất cả các kỹ sư có autocomplete hay tất cả các kỹ sư có Claude code, v.v., đều là một phần của cùng một sự tăng tốc tổng thể đó. Nó quá trơn tru.

Dwarkesh Patel 01:25:41

Để làm rõ, ý bạn là tốc độ tăng trưởng sẽ không thay đổi. Vụ bùng nổ trí tuệ sẽ chỉ biểu hiện như một thứ giúp chúng ta tiếp tục bám trên quỹ đạo tăng trưởng 2%, giống như Internet đã giúp duy trì quỹ đạo tăng trưởng 2%.

Andrej Karpathy 01:25:53

Đúng, kỳ vọng của tôi là nó sẽ ở lại trong cùng một khuôn mẫu.

Dwarkesh Patel 01:25:58

Nếu đưa ra lập luận ngược lại, thì kỳ vọng của tôi là nó sẽ bùng nổ. Bởi vì tôi nghĩ AGI thực sự—và tôi không nói về bot lập trình LLM, mà nói về sự thay thế con người thực sự trên máy chủ—khác về mặt định tính so với các công nghệ nâng cao năng suất khác này. Bởi vì đó chính là lao động.

Tôi nghĩ chúng ta đang sống trong một thế giới bị ràng buộc rất mạnh bởi lao động. Nói chuyện với các nhà sáng lập startup hay bất kỳ ai, nếu hỏi họ cần gì hơn, thì câu trả lời là cần những người thực sự tài năng. Nếu có thêm hàng tỷ người có thể phát minh, tích hợp, và xây dựng công ty từ đầu tới cuối, thì điều đó có cảm giác khác về mặt định tính so với một công nghệ đơn lẻ. Nó giống như có thêm 10 tỷ người trên Trái Đất.

Andrej Karpathy 01:26:44

Có thể đó là một phản biện. Tôi khá sẵn lòng bị thuyết phục theo hướng này hay hướng kia về điểm đó. Nhưng ví dụ, điện toán là lao động. Điện toán từng là lao động. Máy tính đã làm biến mất nhiều công việc, bởi vì máy tính giờ đây tự động hóa rất nhiều xử lý thông tin số mà con người không còn cần làm nữa. Vậy nên máy tính là lao động, và chuyện đó đã được triển khai.

Ví dụ, xe tự lái cũng là máy tính đang làm lao động. Điều đó cũng đang được triển khai rồi. Nó vẫn chỉ là chuyện thường lệ.

Dwarkesh Patel 01:27:13

Có một cỗ máy có khả năng tạo ra nhiều hơn những thứ đó với tốc độ nhanh hơn. Trong lịch sử, từng có các ví dụ về thay đổi chế độ tăng trưởng, từ tăng trưởng 0,2% lên 2%. Một cỗ máy tạo ra chiếc xe tự lái tiếp theo, Internet tiếp theo, và bất cứ thứ gì tiếp theo... một cỗ máy tạo ra những thứ đó nghe rất khả dĩ...

Andrej Karpathy 01:27:33

Tôi hiểu bạn đang nói gì. Đồng thời, tôi cảm thấy mọi người đang giả định rằng “chúng ta có một vị thần trong chiếc hộp, và giờ nó có thể làm mọi thứ”, nhưng nó sẽ không trông như vậy đâu. Nó sẽ làm được một số thứ. Nó sẽ thất bại ở một số thứ khác. Chúng ta sẽ dần đưa nó vào xã hội, và cuối cùng nó sẽ kết thúc theo cùng một khuôn mẫu. Đó là dự đoán của tôi.

Cái giả định rằng chúng ta đột nhiên có một con người hoàn toàn thông minh, hoàn toàn linh hoạt, hoàn toàn tổng quát trong một chiếc hộp, và có thể phân bổ nó cho những vấn đề tùy ý của xã hội—tôi không nghĩ chúng ta sẽ có kiểu thay đổi gián đoạn như thế. Tôi nghĩ chúng ta sẽ đi đến cùng kiểu lan tỏa dần dần này trên toàn bộ các ngành.

Dwarkesh Patel 01:28:14

Trong những cuộc trò chuyện kiểu này, tôi thường gây ra hiểu lầm. Tôi không thích dùng từ trí tuệ trong ngữ cảnh này. Vì trí tuệ gợi ý rằng có một siêu trí tuệ đơn lẻ ngồi trên máy chủ, và nó sẽ thần kỳ biết cách nghĩ ra các công nghệ và phát minh mới gây ra vụ bùng nổ này. Đó không phải điều tôi hình dung khi nghĩ về tăng trưởng 20%. Điều tôi hình dung là hàng trăm triệu tâm trí giống con người rất thông minh, có thể là vậy, hoặc chỉ cần thế là đủ.

Nhưng thực tế là có hàng trăm triệu, hàng tỷ cá thể như vậy, mỗi cá thể tự mình tạo ra sản phẩm mới và tự tìm ra cách tích hợp vào nền kinh tế. Nếu một người nhập cư thông minh và giàu kinh nghiệm cao đến một quốc gia, họ sẽ không cần được chỉ cho cách tích hợp vào nền kinh tế. Họ sẽ tự tìm ra. Họ có thể khởi nghiệp, có thể phát minh, có thể nâng năng suất của thế giới lên.

Ngay trong hệ thống hiện tại cũng có những ví dụ về các nơi đạt tăng trưởng kinh tế 10–20%. Nếu có nhiều người và lượng vốn ít hơn so với con người, thì bạn có thể có mức tăng trưởng trên 10% trong hàng chục năm, như Hong Kong hay Thâm Quyến hoặc nơi nào đó tương tự. Có rất nhiều người thực sự thông minh sẵn sàng tận dụng nguồn lực và chuẩn bị cho giai đoạn bắt kịp này. Bởi vì chúng ta đã có sự gián đoạn đó, và tôi nghĩ AI cũng có thể tương tự.

Andrej Karpathy 01:29:33

Tôi hiểu, nhưng tôi vẫn nghĩ rằng anh đang giả định một bước nhảy gián đoạn nào đó. Có một sự mở khóa nào đó đang chờ chúng ta khẳng định. Đột nhiên chúng ta sẽ có các thiên tài trong các trung tâm dữ liệu. Tôi vẫn nghĩ rằng anh đang giả định một bước nhảy gián đoạn nào đó không có tiền lệ lịch sử mà tôi không thể tìm thấy trong bất kỳ thống kê nào, và có lẽ nó sẽ không xảy ra.

Dwarkesh Patel 01:29:52

Ý tôi là, Cách mạng Công nghiệp chính là một bước nhảy như vậy. Chúng ta đã đi từ tăng trưởng 0,2% lên 2%. Tôi chỉ đang nói rằng chúng ta sẽ thấy thêm một bước nhảy nữa giống như thế.

Andrej Karpathy 01:30:00

Tôi hơi hoài nghi. Có lẽ cần xem lại. Ví dụ, một số ghi chép từ trước Cách mạng Công nghiệp không thật sự tốt lắm. Tôi hơi hoài nghi về điều đó nhưng không có quan điểm quá mạnh. Anh đang nói rằng đây là một sự kiện đơn lẻ cực kỳ mang tính kỳ diệu. Và anh nói rằng có lẽ sẽ có thêm một sự kiện nữa giống hệt như vậy, cũng cực kỳ mang tính kỳ diệu. Nó sẽ phá vỡ mô hình hiện tại, vân vân.

Dwarkesh Patel 01:30:23

Thực ra tôi... điều quyết định ở Cách mạng Công nghiệp là nó không mang tính kỳ diệu. Nếu phóng to ra, thứ anh thấy vào năm 1770 hay 1870 không phải là có một phát minh cốt lõi nào đó. Nhưng đồng thời, tiến bộ đã nhanh hơn rất nhiều và chuyển nền kinh tế sang một chế độ mà số mũ tăng lên gấp 10 lần. Tôi kỳ vọng điều tương tự ở AI. Tôi không nghĩ sẽ có một khoảnh khắc đơn lẻ với một phát minh quyết định.

Andrej Karpathy 01:30:51

Đó là một nguồn cung dư thừa đang được mở khóa. Giống như một nguồn năng lượng mới. Có một sự mở khóa nào đó — trong trường hợp này là một dạng năng lực nhận thức nào đó — và có một nguồn cung dư thừa của lao động nhận thức cần được thực hiện.

Dwarkesh Patel 01:31:02

Đúng vậy.

Andrej Karpathy 01:31:03

Anh kỳ vọng rằng khi nguồn cung dư thừa đó vượt qua ngưỡng, nó sẽ được lấp đầy bằng công nghệ mới này.

Dwarkesh Patel 01:31:06

Có lẽ một cách để nghĩ về điều đó là, xuyên suốt lịch sử, phần lớn tăng trưởng đến từ việc con người nghĩ ra ý tưởng, rồi sau đó con người triển khai những ý tưởng đó và làm điều gì đó để tạo ra đầu ra có giá trị. Trong phần lớn quãng thời gian đó, dân số bùng nổ. Chính điều đó đã thúc đẩy tăng trưởng.

Trong 50 năm qua, người ta cho rằng tăng trưởng đã chững lại. Dân số ở các nước phát triển cũng chững lại. Tôi nghĩ chúng ta sẽ quay trở lại với tăng trưởng dân số theo hàm mũ, thứ gây ra tăng trưởng siêu hàm mũ của sản lượng.

Andrej Karpathy 01:31:37

Điều đó thực sự rất khó nói. Tôi hiểu quan điểm đó. Nhưng về mặt trực giác thì tôi không cảm nhận được quan điểm đó.

01:32:50 – Sự tiến hóa của trí thông minh và văn hóa

Dwarkesh Patel 01:32:50

Anh đã gợi ý cuốn sách của Nick Lane. Dựa trên đó, tôi cũng thấy nó rất thú vị và đã phỏng vấn ông ấy. Tôi có một vài câu hỏi về cách suy nghĩ về trí thông minh và lịch sử tiến hóa.

Giờ đây khi anh đã làm nghiên cứu AI trong 20 năm qua, hẳn anh có cảm nhận cụ thể hơn về trí thông minh là gì và cần gì để phát triển nó. Kết quả là anh thấy ngạc nhiên hơn hay bớt ngạc nhiên hơn trước việc tiến hóa đơn giản là đã tình cờ chạm tới nó?

Andrej Karpathy 01:33:19

Tôi thực sự thích các cuốn sách của Nick Lane. Trên đường đến đây tôi còn đang nghe podcast của ông ấy. Về trí thông minh và sự tiến hóa của nó, đó là một điều rất, rất gần đây. Tôi thấy khá ngạc nhiên khi nó đã tiến hóa được.

Thật rất cuốn hút khi nghĩ về tất cả những thế giới ngoài kia. Giả sử có một nghìn hành tinh giống Trái Đất và xem chúng sẽ trông ra sao. Nick Lane đã đến đây và nói về một số giai đoạn sớm nhất. Ông ấy kỳ vọng các dạng sống rất tương tự nhau, nói một cách đại khái, và phần lớn trong số đó là những thứ giống vi khuẩn. Có một vài điểm đứt gãy ở đó. Về mặt trực giác, sự tiến hóa của trí thông minh có cảm giác như phải là một sự kiện khá hiếm.

Có lẽ nên dựa phần nào vào việc một thứ đã tồn tại trong bao lâu. Nếu vi khuẩn đã tồn tại suốt 2 tỷ năm mà không có gì xảy ra, thì việc chuyển sang sinh vật nhân thực có lẽ là khá khó. Bởi vì vi khuẩn xuất hiện khá sớm trong tiến hóa hay lịch sử của Trái Đất. Động vật đã tồn tại bao lâu rồi? Có lẽ vài trăm triệu năm, những động vật đa bào chạy nhảy, bò trườn, v.v. Đó có lẽ là 10% tuổi thọ của Trái Đất. Có lẽ ở thang thời gian đó thì nó không quá khó. Việc điều đó đã phát triển vẫn khiến tôi ngạc nhiên, theo trực giác. Có lẽ tôi chỉ kỳ vọng các dạng sống giống động vật làm những việc giống động vật. Việc có thể có được thứ gì đó tạo ra và tích lũy văn hóa cùng tri thức khiến tôi thấy ngạc nhiên.

Dwarkesh Patel 01:34:42

Có vài câu hỏi tiếp theo rất thú vị. Nếu chấp nhận quan điểm của Sutton, thì cốt lõi của trí thông minh là trí thông minh động vật... một câu trích dẫn của ông ấy là: “Khi đã đạt tới mức con sóc, thì bạn đã có được phần lớn AGI.”

Chúng ta đã đạt đến mức trí thông minh của con sóc ngay sau vụ bùng nổ Cambri cách đây 600 triệu năm. Điều dường như đã kích hoạt nó là Sự kiện oxy hóa lớn cách đó 600 triệu năm. Nhưng gần như ngay lập tức, thuật toán trí thông minh đã sẵn sàng để tạo ra mức trí thông minh của con sóc. Điều đó gợi ý rằng trí thông minh động vật vốn dĩ đã như vậy. Ngay khi có oxy trong môi trường, chúng ta có sinh vật nhân thực và có thể gần như lập tức có được thuật toán đó. Có thể việc tiến hóa tình cờ chạm tới nó nhanh như vậy chỉ là ngẫu nhiên, nhưng tôi không biết liệu điều đó có gợi ý rằng rốt cuộc nó sẽ khá đơn giản hay không.

Andrej Karpathy 01:35:31

Rất khó để nói với bất kỳ điều gì như thế này. Ta có thể phần nào dựa vào việc một thứ đã tồn tại trong bao lâu, hoặc cảm giác như một thứ đã bị kẹt ở một nút thắt cổ chai trong bao lâu. Nick Lane rất giỏi trong việc mô tả nút thắt cổ chai cực kỳ rõ ràng này ở vi khuẩn và cổ khuẩn. Suốt 2 tỷ năm, không có gì xảy ra. Có sự đa dạng cực lớn trong sinh hóa, nhưng không có gì phát triển để trở thành động vật. Hai tỷ năm.

Như anh chỉ ra, tôi không biết liệu chúng ta có thấy một dạng tương đương chính xác như vậy ở động vật và trí thông minh hay không. Chúng ta cũng có thể xem xét điều đó thông qua việc nghĩ rằng một loại trí thông minh nhất định đã xuất hiện độc lập bao nhiêu lần.

Dwarkesh Patel 01:36:07

Đó là một điều rất đáng để khảo cứu.

Andrej Karpathy 01:36:09

Một suy nghĩ về điều đó. Có trí thông minh của loài người, rồi có trí thông minh của chim. Quạ, v.v., cực kỳ thông minh, nhưng các phần não của chúng khá khác biệt, và chúng ta không có nhiều điểm chung đến vậy. Đó là một dấu hiệu phần nào cho thấy trí thông minh đã xuất hiện vài lần. Trong trường hợp đó, ta sẽ kỳ vọng nó xảy ra thường xuyên hơn.

Dwarkesh Patel 01:36:32

Các vị khách trước đây, Gwern và Carl Shulman, đã nêu ra một điểm rất thú vị về điều đó. Quan điểm của họ là thuật toán có thể mở rộng mà con người có và loài linh trưởng có cũng đã xuất hiện ở chim, và có lẽ ở những lần khác nữa. Nhưng con người đã tìm thấy một hốc tiến hóa vừa có thể tận dụng mức tăng biên của trí thông minh, vừa có thể đạt được sự gia tăng trí thông minh đó bằng một thuật toán não có thể mở rộng.

Ví dụ, nếu chim có bộ não lớn hơn, chúng sẽ просто rơi khỏi bầu trời. Chúng rất thông minh so với kích thước não, nhưng chúng không ở trong một hốc có thể bù đắp cho việc não lớn hơn. Có lẽ những loài rất thông minh... có thể tương tự.

Andrej Karpathy 01:37:28

Kiểu như cá heo?

Dwarkesh Patel 01:37:28

Chính xác, còn con người thì chúng ta có đôi tay, thứ tưởng thưởng cho việc học cách dùng công cụ. Chúng ta có thể ngoại hóa quá trình tiêu hóa và dành nhiều năng lượng hơn cho bộ não, và điều đó khởi động bánh đà.

Andrej Karpathy 01:38:02

Về cả những việc sẽ làm nữa. Nếu tôi là cá heo thì có lẽ còn khó hơn nhiều. Làm sao tạo ra lửa? Trong nước, vũ trụ những thứ bạn có thể làm dưới nước có lẽ nhỏ hơn những gì có thể làm trên đất liền, xét về mặt hóa học.

Tôi đồng ý với góc nhìn này về những ngách đó và về việc điều gì đang được khuyến khích bằng động lực. Tôi vẫn nghĩ đó là điều kỳ diệu. Ta hẳn đã dự đoán mọi thứ sẽ bị chặn lại ở những loài động vật có cơ bắp lớn hơn. Việc đi qua ngưỡng trí thông minh thực sự là một bước ngoặt rất hấp dẫn.

Dwarkesh Patel 01:38:28

Cách Gwern diễn đạt là lý do điều đó khó đến vậy nằm ở chỗ có một ranh giới rất hẹp giữa những thứ mà việc học quan trọng đến mức không đáng để chưng cất lại đúng mạch đó trực tiếp vào DNA, và những thứ hoàn toàn không đủ quan trọng để học. Nó phải là thứ gì đó được khuyến khích để xây dựng một thuật toán học tập suốt đời.

Andrej Karpathy 01:38:55

Phải khuyến khích một kiểu khả năng thích nghi nào đó. Bạn muốn một môi trường đủ khó đoán để tiến hóa không thể nướng sẵn thuật toán vào trọng số. Nhiều loài động vật theo nghĩa này đã được cài sẵn từ trước. Con người khi sinh ra thì phải tự tìm ra ở thời điểm suy luận. Bạn muốn một môi trường thay đổi cực nhanh, nơi không thể tiên đoán điều gì sẽ hoạt động tốt. Để tìm ra điều đó ở thời điểm suy luận, trí thông minh được tạo ra.

Dwarkesh Patel 01:39:28

Có một bài blog thú vị mà Quintin Pope nói rằng lý do ông ấy không kỳ vọng một cú nhảy đột ngột là vì con người đã từng có một cú nhảy đột ngột. Có vẻ như 60.000 năm trước chúng ta đã có kiến trúc nhận thức như ngày nay. 10.000 năm trước là cách mạng nông nghiệp, rồi hiện đại tính. Trong 50.000 năm đó đã xảy ra chuyện gì? Chúng ta phải xây dựng bộ khung văn hóa này để có thể tích lũy tri thức qua nhiều thế hệ.

Đây là một năng lực dường như tồn tại miễn phí trong cách chúng ta huấn luyện AI. Trong nhiều trường hợp, nó được chưng cất theo đúng nghĩa đen. Khi bạn huấn luyện lại mô hình, chúng có thể được huấn luyện dựa trên nhau, có thể được huấn luyện trên cùng một kho ngữ liệu tiền huấn luyện, và không cần thực sự bắt đầu lại từ đầu. Con người mất rất nhiều thời gian để vận hành vòng lặp văn hóa này, nhưng với cách ta huấn luyện LLM thì có cảm giác như nó được cho sẵn miễn phí.

Andrej Karpathy 01:39:45

Vừa đúng vừa không. Bởi vì LLM thực ra không có thứ tương đương với văn hóa. Có thể là chúng ta đang cho chúng quá nhiều và vì thế lại làm mất động lực để chúng tự tạo ra điều đó, hoặc đại loại vậy. Nhưng phát minh ra văn hóa, phát minh ra ghi chép, việc truyền ghi chú cho nhau — tôi không nghĩ hiện tại LLM có thứ tương đương với điều đó. Tôi muốn nói rằng hiện tại LLM thực sự chưa có văn hóa, và đó là một trong những rào cản.

Dwarkesh Patel 01:40:05

Ông có thể giúp hình dung LLM culture sẽ trông như thế nào không?

Andrej Karpathy 01:40:09

Trường hợp đơn giản nhất, đó sẽ là một scratchpad khổng lồ mà LLM có thể chỉnh sửa. Và khi đang đọc gì đó hoặc đang giúp giải quyết một tác vụ, nó sẽ tự chỉnh sửa scratchpad cho chính mình. Tại sao một LLM lại không thể viết sách cho các LLM khác? Điều đó sẽ rất hay. Tại sao các LLM khác lại không thể đọc sách của LLM này rồi được truyền cảm hứng, hoặc bị sốc, hoặc làm những chuyện kiểu vậy? Hiện chưa có thứ tương đương nào cho một số điều như thế.

Dwarkesh Patel 01:40:29

Thú vị đấy. Ông kỳ vọng kiểu điều đó sẽ bắt đầu xảy ra khi nào? Và còn hệ thống đa tác tử, cùng một kiểu nền văn minh và văn hóa AI độc lập thì sao?

Andrej Karpathy 01:40:40

Trong lĩnh vực đa tác tử có hai ý tưởng mạnh, nhưng thực ra cả hai đều chưa được lập luận thuyết phục hay gì tương tự. Ý đầu tiên là văn hóa, và việc LLM có một kho tri thức ngày càng tăng phục vụ cho chính mục đích của nó.

Ý thứ hai giống với ý tưởng mạnh mẽ của self-play hơn nhiều. Theo tôi, nó cực kỳ mạnh. Tiến hóa có rất nhiều cạnh tranh thúc đẩy trí thông minh và cả chính tiến hóa. Về mặt thuật toán hơn, trong AlphaGo, AlphaGo đấu với chính mình, và đó là cách nó học cách chơi cờ vây thật giỏi. Hiện chưa có thứ tương đương với self-play cho LLM, nhưng tôi kỳ vọng nó cũng sẽ xuất hiện. Chưa ai thực sự làm điều đó. Chẳng hạn, tại sao LLM không thể tạo ra rất nhiều bài toán mà một LLM khác đang học cách giải? Sau đó các LLM sẽ luôn cố đưa ra những bài toán ngày càng khó hơn, kiểu như vậy.

Có nhiều cách để tổ chức chuyện đó. Đây là một lĩnh vực nghiên cứu, nhưng tôi chưa thấy ai lập luận thuyết phục cho hai dạng cải tiến đa tác tử này. Chúng ta chủ yếu vẫn đang ở trong thế giới của một tác tử đơn lẻ, nhưng điều đó sẽ thay đổi. Với mảng văn hóa cũng vậy, tôi cũng muốn tính cả các tổ chức vào. Tôi cũng chưa thấy điều đó được thể hiện thuyết phục. Đó là lý do vì sao chúng ta vẫn còn ở giai đoạn đầu.

Dwarkesh Patel 01:41:53

Ông có thể xác định nút thắt cổ chai cốt lõi đang ngăn kiểu hợp tác này giữa các LLM không?

Andrej Karpathy 01:41:59

Có lẽ cách tôi diễn đạt là, một số phép so sánh này lẽ ra không nên đúng, nhưng bằng cách nào đó, đáng ngạc nhiên là lại đúng. Rất nhiều mô hình nhỏ hơn, hay ngốc hơn, bằng cách nào đó, đáng ngạc nhiên là rất giống trẻ mẫu giáo, học sinh tiểu học, hoặc học sinh trung học. Bằng cách nào đó, chúng ta vẫn chưa tốt nghiệp đủ để những thứ này có thể tiếp quản. Claude Code hay Codex của tôi vẫn mang cảm giác như học sinh tiểu học. Tôi biết chúng có thể giải được các câu hỏi kiểu bài kiểm tra tiến sĩ, nhưng về mặt nhận thức, chúng vẫn giống trẻ mẫu giáo hay học sinh tiểu học.

Tôi không nghĩ chúng có thể tạo ra văn hóa. Bởi vì chúng vẫn là trẻ con. Là những đứa trẻ thần đồng. Chúng có trí nhớ hoàn hảo về tất cả những thứ này. Chúng có thể tạo ra đủ loại thứ rác rất thuyết phục trông cực kỳ ổn. Nhưng tôi vẫn nghĩ chúng thực sự không biết mình đang làm gì, và vẫn chưa thực sự có nhận thức trên toàn bộ tập hợp những ô kiểm nhỏ mà chúng ta còn phải ghép lại.

01:42:55 Vì sao xe tự lái lại mất nhiều thời gian đến vậy

Dwarkesh Patel 01:42:55

Ông từng nói mình dẫn dắt mảng tự lái ở Tesla từ năm 2017 đến 2022. Và ông đã trực tiếp chứng kiến tiến bộ đó, từ những màn demo ấn tượng cho tới việc hiện nay hàng nghìn chiếc xe thực sự tự chạy. Vì sao việc đó mất 10 năm? Trong khoảng thời gian đó đã diễn ra điều gì?

Andrej Karpathy 01:43:11

Có một điều mà tôi gần như muốn phản bác ngay lập tức, đó là chuyện này còn chưa hề gần đến mức hoàn tất, theo rất nhiều cách mà tôi sẽ nói tới. Tự lái rất thú vị, vì đó chắc chắn là nơi tôi rút ra rất nhiều trực giác của mình, do đã dành 5 năm cho nó. Có cả một lịch sử của xe tự lái mà những màn demo đầu tiên còn quay về tận thập niên 1980. Bạn có thể xem màn demo năm 1986 của CMU. Có một chiếc xe tải tự lái trên đường.

Tua nhanh về sau. Khi tôi gia nhập Tesla, tôi đã được trải nghiệm một demo Waymo rất sớm. Về cơ bản, họ đã cho tôi một chuyến đi hoàn hảo vào khoảng năm 2014 hay đâu đó, tức là đúng 10 năm trước. Vậy nên là một chuyến đi Waymo hoàn hảo từ 10 năm trước. Tôi được đi quanh Palo Alto vì có một người bạn làm ở đó chở tôi đi. Tôi đã nghĩ là nó đã rất gần rồi, thế mà sau đó vẫn mất rất lâu.

Với một số loại công việc, ngành nghề và việc làm, có một khoảng cách demo-sản phẩm rất lớn: demo thì rất dễ, nhưng sản phẩm thì rất khó. Đặc biệt đúng với những thứ như tự lái, nơi cái giá của thất bại quá cao. Nhiều ngành, công việc và nghề nghiệp có lẽ không có đặc tính đó, nhưng khi đã có, nó chắc chắn sẽ kéo dài timeline.

Ví dụ, trong kỹ thuật phần mềm, tôi nghĩ thuộc tính đó có tồn tại. Với nhiều kiểu vibe coding thì không hẳn. Nhưng nếu bạn đang viết mã ở cấp độ production thực sự, thì thuộc tính đó phải tồn tại. Bởi vì bất kỳ loại sai sót nào cũng có thể dẫn đến lỗ hổng bảo mật hoặc những thứ tương tự. Có thể làm lộ số định danh cá nhân của hàng triệu, hàng trăm triệu người, đại loại vậy. Nên trong phần mềm, con người phải cẩn trọng, giống như trong xe tự lái. Với xe tự lái, nếu có chuyện sai, ai đó có thể bị thương. Và còn có những hậu quả tệ hơn. Nhưng trong phần mềm, chuyện đó gần như là vô hạn. Tức là nó có thể trở nên kinh khủng đến mức nào.

Tôi nghĩ chúng có chung thuộc tính đó. Việc mất rất nhiều thời gian, và cách để nghĩ về nó, là đó là cuộc hành quân của các số 9. Mỗi một số 9 đều là một lượng công việc nhất định. Mỗi số 9 đều là cùng một lượng công việc. Bạn có một bản demo và thứ gì đó hoạt động 90% thời gian, thì đó mới chỉ là số 9 đầu tiên. Sau đó bạn cần số 9 thứ hai, thứ ba, thứ tư, thứ năm. Khi tôi ở Tesla khoảng 5 năm, chúng tôi có lẽ đã đi qua ba số 9 hoặc hai số 9. Tôi không biết chính xác là gì, nhưng là nhiều số 9 qua các vòng lặp. Và vẫn còn cần thêm nhiều số 9 nữa.

Đó là lý do những thứ này mất nhiều thời gian như vậy. Điều đó thực sự đã định hình tôi, việc nhìn thấy thứ gì đó từng là một bản demo. Tôi rất ít khi bị ấn tượng bởi demo. Mỗi khi tôi xem demo của một thứ gì đó, tôi cực kỳ ít bị ấn tượng. Nếu đó là demo do ai đó dựng lên để trình diễn, còn tệ hơn nữa. Nếu tôi có thể tương tác với nó thì khá hơn một chút. Nhưng ngay cả khi đó, nó vẫn chưa xong. Bạn cần một sản phẩm thật. Khi chạm vào thực tế, nó sẽ đối mặt với tất cả những thách thức này, và sẽ có đủ loại hành vi cần vá ở những ngóc ngách khác nhau.

Chúng ta sẽ thấy tất cả những điều này dần diễn ra. Đó là cuộc hành quân của các số 9. Mỗi số 9 là một hằng số. Demo thì đáng khích lệ. Nhưng vẫn cần một khối lượng công việc khổng lồ. Nếu bạn không làm vibe coding, thì đây là một miền an toàn quan trọng; còn vibe coding thì cứ thoải mái và vui vẻ thôi. Đó cũng là điều củng cố thêm mốc thời gian của tôi từ góc nhìn đó.

Dwarkesh Patel 01:46:25

Nghe điều đó rất thú vị. Ý anh là các bảo đảm an toàn cần có trong phần mềm thực ra không khác quá nhiều so với xe tự lái. Điều mọi người thường nói là lý do xe tự lái mất lâu như vậy là vì cái giá của thất bại quá cao. Con người trung bình mắc một lỗi mỗi 400.000 dặm hoặc mỗi 7 năm. Nếu phải phát hành một coding agent không được phép mắc lỗi trong ít nhất 7 năm, thì rõ ràng sẽ khó triển khai hơn nhiều.

Nhưng ý anh là nếu nó phạm một lỗi lập trình nghiêm trọng, kiểu như phá hỏng một hệ thống quan trọng mỗi 7 năm...

Andrej Karpathy 01:46:56

Rất dễ làm vậy.

Dwarkesh Patel 01:46:57

Thực ra, xét theo thời gian thực, con số đó sẽ ít hơn rất nhiều so với 7 năm. Bởi vì nó đang liên tục sinh mã theo cách đó. Xét theo token thì sẽ là 7 năm. Nhưng xét theo thời gian thực thì...

Andrej Karpathy 01:47:09

Ở một số khía cạnh, đó là một bài toán còn khó hơn nhiều. Xe tự lái chỉ là một trong hàng nghìn việc con người làm. Theo tôi, nó gần như là một vertical đơn lẻ. Trong khi khi bạn nói về kỹ thuật phần mềm nói chung, thì nó có phạm vi rộng hơn rất nhiều... nhiều bề mặt hơn rất nhiều.

Dwarkesh Patel 01:47:20

Còn một phản biện khác mọi người thường nêu ra với phép so sánh đó, là trong xe tự lái, phần lớn thời gian đã được dùng để giải bài toán có được nhận thức nền tảng đủ vững, xây dựng biểu diễn, và có một mô hình có common sense để có thể khái quát hóa khi thấy thứ gì đó hơi ngoài phân phối. Nếu ai đó đang vẫy tay kiểu này trên đường, bạn không cần phải huấn luyện riêng cho tình huống đó. Nó sẽ có một mức độ hiểu biết nào đó về cách phản ứng với kiểu sự việc như vậy.

Đây là những thứ mà ngày nay ta đang nhận được miễn phí từ LLM hoặc VLM, nên bạn không cần giải các bài toán biểu diễn rất cơ bản đó nữa. Vì thế, triển khai AI sang các miền khác giờ sẽ giống như triển khai xe tự lái sang một thành phố khác với các mô hình hiện tại, và điều đó khó, nhưng không phải là một công việc kéo dài 10 năm.

Andrej Karpathy 01:48:07

Tôi không chắc 100%. Nếu là hoàn toàn đồng ý với điều đó thì không. Tôi không biết ta thực sự đang nhận được bao nhiêu thứ miễn phí. Vẫn còn rất nhiều khoảng trống trong việc hiểu chính xác ta đang nhận được gì. Chắc chắn chúng ta đang có trí tuệ có khả năng khái quát hóa hơn từ một thực thể duy nhất. Trong khi đó, xe tự lái là một nhiệm vụ rất chuyên biệt. Ở một khía cạnh nào đó, xây dựng một nhiệm vụ chuyên biệt có lẽ còn khó hơn nhiều. Bởi vì nó không xuất phát từ một thứ tổng quát hơn đang được làm ở quy mô lớn, nếu điều đó hợp lý.

Nhưng phép so sánh đó vẫn chưa thật sự cộng hưởng hoàn toàn. Bởi vì LLM vẫn còn khá nhiều lỗi và còn nhiều khoảng trống cần lấp đầy. Tôi không nghĩ chúng ta đang hoàn toàn có được kiểu khái quát hóa thần kỳ ngay khi mở hộp, theo một nghĩa nào đó.

Khía cạnh khác mà tôi muốn quay lại là xe tự lái vẫn còn rất xa mới gọi là xong. Việc triển khai vẫn khá tối thiểu. Ngay cả Waymo cũng chỉ có rất ít xe. Nói đại khái, tôi cho rằng lý do họ làm được điều đó là vì hiện giờ nó chưa có tính kinh tế. Họ đã tạo ra thứ gì đó đang sống trong tương lai. Họ phải kéo tương lai về trước, nhưng phải làm điều đó theo cách không hiệu quả về kinh tế. Không chỉ là chi phí biên cho những chiếc xe đó, cho việc vận hành và bảo trì, mà còn cả capex của toàn bộ hệ thống, tất cả những loại chi phí này đều tồn tại. Biến nó thành thứ có tính kinh tế vẫn sẽ là một chặng vật lộn với họ.

Ngoài ra, khi nhìn những chiếc xe này, không ai đang lái, nhưng tôi thực ra nghĩ điều đó có phần đánh lừa. Bởi vì có những trung tâm điều khiển từ xa rất tinh vi với con người đang ở trong vòng lặp theo cách nào đó với các xe này. Tôi không nắm toàn bộ mức độ, nhưng có nhiều human-in-the-loop hơn mọi người tưởng. Có những con người ở đâu đó được truyền vào từ trên trời. Tôi không biết họ có hoàn toàn ở trong vòng lặp lái xe hay không. Đôi khi thì có, nhưng chắc chắn là có sự tham gia và có con người ở đó. Theo một nghĩa nào đó, chúng ta thực ra chưa loại bỏ con người, mà chỉ chuyển họ đến đâu đó mà bạn không nhìn thấy.

Tôi nghĩ vẫn sẽ còn một số việc phải làm để thực sự tạo ra xe tự lái. Nhưng tôi đồng ý với điểm anh nói về việc đi từ môi trường này sang môi trường khác. Vẫn còn những thách thức để thực sự tạo ra xe tự lái. Nhưng tôi đồng ý rằng rõ ràng nó đã vượt qua ngưỡng khiến nó có cảm giác là thật, trừ khi thực ra nó đang bị điều khiển từ xa. Ví dụ, Waymo không thể đi đến mọi khu vực khác nhau trong thành phố. Tôi đoán rằng đó là những khu vực của thành phố nơi nó không nhận được tín hiệu tốt. Dù sao thì, tôi chẳng biết gì về stack của họ cả. Tôi chỉ đang đoán thôi.

Dwarkesh Patel 01:50:23

Anh đã dẫn dắt mảng tự lái ở Tesla suốt 5 năm mà.

Andrej Karpathy 01:50:27

Xin lỗi, ý tôi là tôi không biết gì về chi tiết của Waymo. Nhưng mà, tôi rất thích Waymo và lúc nào cũng đi nó. Chỉ là tôi nghĩ đôi khi mọi người hơi ngây thơ quá về tiến bộ, trong khi vẫn còn một khối lượng công việc khổng lồ. Theo tôi, Tesla đã chọn một cách tiếp cận có khả năng mở rộng hơn rất nhiều, và đội ngũ của họ đang làm cực kỳ tốt. Tôi từng có những dự đoán được ghi nhận về chuyện này sẽ diễn ra như thế nào. Waymo đã có lợi thế xuất phát sớm vì họ có thể đóng gói rất nhiều cảm biến. Nhưng tôi nghĩ Tesla đang theo đuổi một chiến lược có khả năng mở rộng hơn, và rồi kết quả sẽ trông giống như hướng đó hơn nhiều. Vì vậy, chuyện này vẫn còn phải tiếp tục diễn ra, nó vẫn chưa xong. Nhưng tôi không muốn nói về xe tự lái như một thứ đã mất 10 năm. Bởi vì nó vẫn chưa xong, nếu điều đó hợp lý.

Dwarkesh Patel 01:51:08

Bởi vì thứ nhất, khởi đầu của nó là từ năm 1980 chứ không phải 10 năm trước, và thứ hai, cái kết vẫn chưa ở đây.

Andrej Karpathy 01:51:14

Cái kết còn chưa gần. Bởi vì khi nói về xe tự lái, theo tôi, thường là nói về xe tự lái ở quy mô lớn. Kiểu như mọi người không còn cần phải lấy bằng lái xe nữa, vân vân.

Dwarkesh Patel 01:51:22

Tôi muốn đưa ra hai cách ví von khác nhau có thể phù hợp. Lý do câu hỏi này đặc biệt thú vị là vì đây có lẽ là câu hỏi quan trọng nhất trong thế giới hiện tại, xét về tốc độ AI được triển khai và mức độ giá trị của nó ở giai đoạn đầu. Nếu bạn đang cố mô hình hóa năm 2030 sẽ trông như thế nào, thì đây là câu hỏi mà bạn cần hiểu ở một mức độ nào đó.

Một điểm khác bạn có thể nghĩ đến là, thứ nhất, xe tự lái có yêu cầu về độ trễ. Tôi hoàn toàn không biết các mô hình thực tế là gì, nhưng cứ giả sử chúng có cỡ vài chục triệu tham số chẳng hạn. Đây không phải là ràng buộc cần thiết đối với lao động tri thức dùng LLM. Với việc sử dụng máy tính và những thứ tương tự thì có thể là như vậy.

Nhưng một điều lớn khác, có lẽ còn quan trọng hơn, là câu hỏi về chi tiêu vốn này. Đúng là có thêm chi phí để cung cấp thêm một bản sao của mô hình, nhưng chi phí vận hành của một phiên làm việc khá thấp, và tùy vào việc suy luận mở rộng tiến triển ra sao, bạn có thể phân bổ dần chi phí của AI vào chính lần huấn luyện đó. Nhưng chắc chắn nó không giống như phải chế tạo một chiếc xe hoàn toàn mới chỉ để cung cấp thêm một instance của mô hình. Vì vậy, tính kinh tế của việc triển khai trên diện rộng thuận lợi hơn rất nhiều.

Andrej Karpathy 01:52:37

Tôi nghĩ điều đó đúng. Nếu bạn ở lại trong thế giới của bit, thì bit dễ hơn gấp cả triệu lần so với việc chạm vào thế giới vật lý. Điều đó tôi chắc chắn thừa nhận. Bit hoàn toàn có thể thay đổi được và có thể được sắp xếp lại tùy ý với tốc độ rất cao. Tôi cũng sẽ kỳ vọng sự thích nghi trong ngành diễn ra nhanh hơn rất nhiều. Ý đầu tiên là gì nhỉ?

Dwarkesh Patel 01:52:59

Yêu cầu độ trễ và hàm ý của nó đối với kích thước mô hình?

Andrej Karpathy 01:53:02

Tôi nghĩ nhìn chung là đúng. Đồng thời, nếu bạn đang nói về lao động tri thức ở quy mô lớn, thì xét về mặt thực tế tôi nghĩ vẫn sẽ có một số yêu cầu về độ trễ. Bởi vì bạn phải tạo ra một lượng tính toán khổng lồ và cung cấp nó.

Khía cạnh cuối cùng mà tôi muốn nói rất nhanh là tất cả phần còn lại. Xã hội nhìn nhận điều đó như thế nào? Tác động pháp lý là gì? Nó vận hành về mặt pháp lý ra sao? Về bảo hiểm thì thế nào? Những tầng lớp và khía cạnh kiểu đó là gì? Tương đương với những người đặt cọc tiêu lên Waymo sẽ là gì? Sẽ có những thứ tương đương cho tất cả những điều đó. Vì thế tôi cảm thấy xe tự lái là một phép so sánh rất hay để bạn mượn dùng. Tương đương với cái cọc tiêu trong xe là gì? Tương đương với người vận hành từ xa được giấu đi là gì, và mọi khía cạnh xoay quanh nó.

Dwarkesh Patel 01:53:53

Anh nghĩ gì về việc xây dựng AI hiện tại? Trong 1 hoặc 2 năm nữa chúng ta sẽ tăng lượng compute có thể sử dụng trên thế giới lên gấp 10 lần, và đến cuối thập kỷ thì hơn 100 lần. Nếu mức sử dụng AI sẽ thấp hơn những gì một số người dự đoán một cách ngây thơ, thì điều đó có nghĩa là chúng ta đang xây dựng quá mức về compute, hay đó là một câu hỏi riêng biệt?

Andrej Karpathy 01:54:15

Giống kiểu chuyện đã xảy ra với đường sắt.

Dwarkesh Patel 01:54:18

Xin lỗi, là gì cơ?

Andrej Karpathy 01:54:19

Là đường sắt phải không, hay là?

Dwarkesh Patel 01:54:20

Vâng, đúng vậy.

Andrej Karpathy 01:54:21

Ừ. Có tiền lệ lịch sử rồi. Hay là ngành viễn thông nhỉ? Việc đóng gói sẵn Internet đến trước cả 10 năm và tạo ra cả một bong bóng trong ngành viễn thông vào cuối những năm 90.

Tôi hiểu là ở đây tôi nghe có vẻ rất bi quan. Thực ra tôi lạc quan. Tôi nghĩ thứ này sẽ hoạt động. Tôi nghĩ nó có thể xử lý được. Lý do duy nhất tôi nghe có vẻ bi quan là vì nếu bạn vào dòng thời gian Twitter của tôi, bạn sẽ thấy tất cả những điều này mà với tôi là vô nghĩa. Có rất nhiều lý do khiến những thứ đó tồn tại. Thành thật mà nói, phần lớn chỉ là gọi vốn. Là cấu trúc khuyến khích. Nhiều phần có thể chỉ là gọi vốn. Nhiều phần chỉ là sự chú ý, và việc chuyển đổi sự chú ý trên Internet thành tiền, những thứ kiểu vậy. Có rất nhiều thứ đang diễn ra, và tôi chỉ đang phản ứng với điều đó thôi.

Nhưng nhìn chung tôi vẫn rất lạc quan về công nghệ. Chúng ta sẽ giải quyết được tất cả những điều này. Đã có một lượng tiến bộ rất nhanh. Tôi không biết có xây dựng quá mức hay không. Theo hiểu biết của tôi, tôi nghĩ chúng ta sẽ có thể hấp thụ hết những gì đang được xây dựng. Ví dụ, những thứ như Claude Code hay OpenAI Codex thậm chí còn chưa tồn tại cách đây 1 năm. Đúng không? Đây là những công nghệ kỳ diệu vốn chưa từng tồn tại. Sẽ có một lượng nhu cầu khổng lồ, như những gì ta đã thấy với ChatGPT, v.v.

Vì vậy tôi không biết có xây dựng quá mức hay không. Tôi chỉ đang phản ứng với một số mốc thời gian cực nhanh mà mọi người cứ liên tục nói sai. Tôi đã làm việc trong AI 15 năm và đã nhiều lần nghe những người rất có uy tín trong lĩnh vực này luôn hiểu sai vấn đề đó. Tôi muốn chuyện này được điều chỉnh cho đúng, và một phần của điều này cũng liên quan đến các tác động địa chính trị đi kèm với những câu hỏi như thế. Tôi không muốn mọi người mắc sai lầm ở những chuyện thuộc lĩnh vực đó. Tôi muốn chúng ta bám vào thực tế của công nghệ là gì và không phải là gì.

01:56:20 - Tương lai của giáo dục

Dwarkesh Patel 01:56:20

Hãy nói về giáo dục và Eureka. Một điều anh có thể làm là khởi động thêm một phòng thí nghiệm AI nữa rồi cố giải quyết những vấn đề đó. Tôi tò mò hiện giờ anh đang làm gì, và vì sao lại không phải là nghiên cứu AI tự thân.

Andrej Karpathy 01:56:33

Cách tôi diễn đạt là tôi cảm thấy có một mức độ tính tất định nào đó đối với những gì các phòng thí nghiệm AI đang làm. Tôi cảm thấy mình có thể giúp ở đó, nhưng không chắc mình sẽ cải thiện được theo cách thật sự độc đáo. Nỗi sợ lớn của cá nhân tôi là rất nhiều điều trong số này đang diễn ra ở phía nhân loại, và nhân loại lại bị tước quyền bởi nó. Tôi quan tâm không chỉ đến tất cả những quả cầu Dyson mà chúng ta sẽ tạo ra, và AI sẽ tạo ra theo cách hoàn toàn tự trị, mà còn quan tâm đến chuyện gì sẽ xảy ra với con người. Tôi muốn con người sẽ ổn trong tương lai.

Tôi cảm thấy mình có thể tạo ra giá trị độc đáo hơn nhiều ở đó so với việc cải thiện dần dần trong một frontier lab. Điều tôi sợ nhất là một thứ giống như được khắc họa trong các bộ phim như WALL-E hay Idiocracy. Nơi nhân loại đứng ở bên lề của những thứ này. Tôi muốn con người trở nên tốt hơn rất, rất nhiều trong tương lai đó. Với tôi, con đường để đạt được điều này là thông qua giáo dục.

Dwarkesh Patel 01:57:35

Vậy anh đang làm gì ở đó?

Andrej Karpathy 01:57:36

Cách dễ nhất để tôi mô tả là chúng tôi đang cố gắng xây dựng Starfleet Academy. Không biết anh có xem Star Trek không.

Dwarkesh Patel 01:57:44

Tôi chưa xem.

Andrej Karpathy 01:57:44

Starfleet Academy là một tổ chức tinh hoa dành cho công nghệ tiên phong, xây dựng tàu vũ trụ, và đào tạo ra các học viên sẽ trở thành phi công của những con tàu đó, kiểu như vậy. Vì thế tôi hình dung đơn giản là một tổ chức tinh hoa cho tri thức công nghệ và một kiểu trường học rất hiện đại, tốt nhất có thể.

Dwarkesh Patel 01:58:05

Nhóm câu hỏi mà tôi muốn hỏi anh là về việc giảng dạy tốt nội dung kỹ thuật hoặc khoa học trông như thế nào. Bởi vì anh là một trong những bậc thầy hàng đầu thế giới về chuyện đó. Tôi tò mò anh nghĩ gì về những nội dung anh đã đăng lên YouTube, và cả về Eureka nữa, nếu nó khác thì khác như thế nào.

Andrej Karpathy 01:58:25

Về Eureka, một điều khiến tôi cực kỳ say mê ở giáo dục là tôi nghĩ giáo dục sẽ thay đổi khá căn bản nếu AI hiện diện ở bên cạnh. Ở một mức độ nào đó, nó cần được đi dây lại và thay đổi.

Tôi vẫn nghĩ chúng ta đang ở giai đoạn khá sớm. Sẽ có rất nhiều người có LLM và cố làm những điều hiển nhiên mà bạn có thể hỏi nó. Hãy làm tất cả những điều cơ bản hiện có thể làm thông qua prompting. Nó có ích, nhưng với tôi vẫn hơi giống kiểu làm ẩu. Tôi muốn làm cho đúng, và tôi không nghĩ năng lực hiện tại đã đạt tới điều tôi muốn. Điều tôi muốn là một trải nghiệm gia sư thực sự.

Ví dụ nổi bật trong đầu tôi là gần đây tôi đã học tiếng Hàn. Nên là chuyện học ngôn ngữ ấy. Tôi đã trải qua giai đoạn tự học tiếng Hàn một mình trên internet. Tôi cũng đã trải qua giai đoạn là một phần của một lớp học nhỏ cùng với một nhóm người khác nghe tiếng Hàn ở Hàn Quốc, và chuyện đó thực sự rất buồn cười. Chúng tôi có giáo viên và khoảng 10 người cùng học tiếng Hàn. Sau đó tôi chuyển sang học với gia sư 1 kèm 1.

Điều khiến tôi thấy mê hoặc là, tôi nghĩ mình đã có một gia sư thực sự giỏi, và chỉ cần nghĩ về việc cô ấy đã làm gì cho tôi, trải nghiệm đó tuyệt vời đến mức nào, và tiêu chuẩn cho thứ mà cuối cùng tôi muốn tạo ra cao đến đâu. Chỉ từ một cuộc trò chuyện rất ngắn, cô ấy ngay lập tức hiểu tôi đang ở đâu với tư cách một học viên, tôi biết gì và không biết gì. Cô ấy có thể thăm dò chính xác những loại câu hỏi hay những điều cần khám phá để hiểu mô hình thế giới của tôi. Hiện giờ không có LLM nào có thể làm điều đó cho bạn 100%, thậm chí còn chưa gần tới mức đó. Nhưng gia sư thì làm được, nếu họ thực sự giỏi. Một khi đã hiểu rồi, cô ấy thực sự cung cấp mọi thứ tôi cần ngay tại mảnh năng lực hiện tại của mình. Bạn phải luôn được thử thách ở mức phù hợp. Không thể đối mặt với thứ quá khó hoặc quá tầm thường, và gia sư rất giỏi trong việc đưa cho bạn đúng thứ phù hợp.

Tôi cảm thấy giới hạn duy nhất của việc học là bản thân tôi. Thông tin hoàn hảo luôn được cung cấp. Tôi là giới hạn duy nhất. Cảm giác đó rất tuyệt. Bởi vì tôi là trở ngại duy nhất còn tồn tại. Không phải là không tìm được kiến thức, hay nó không được giải thích đúng cách, vân vân. Chỉ đơn giản là khả năng ghi nhớ của tôi và những thứ như vậy. Đó là điều tôi muốn cho mọi người.

Dwarkesh Patel 02:00:27

Làm sao bạn tự động hóa điều đó?

Andrej Karpathy 02:00:29

Câu hỏi rất hay. Với năng lực hiện tại thì không làm được. Đó là lý do tôi nghĩ hiện tại chưa phải thời điểm thích hợp để tạo ra kiểu gia sư AI này. Tôi vẫn nghĩ đó sẽ là một sản phẩm hữu ích, và nhiều người sẽ làm nó, nhưng tiêu chuẩn quá cao còn năng lực thì chưa tới đó. Ngay cả ngày hôm nay, tôi vẫn muốn nói ChatGPT là một sản phẩm giáo dục cực kỳ giá trị. Nhưng với tôi, được thấy tiêu chuẩn cao đến mức nào khi học với cô ấy thật quá mê hoặc. Tôi gần như cảm thấy chẳng có cách nào để xây dựng được thứ này.

Dwarkesh Patel 02:01:02

Nhưng bạn đang xây nó mà, đúng không?

Andrej Karpathy 02:01:03

Bất kỳ ai từng có một gia sư thực sự giỏi đều sẽ nghĩ, “Làm sao mình xây được thứ này?” Tôi đang chờ năng lực đó xuất hiện.

Tôi từng làm tư vấn AI về computer vision. Trong nhiều trường hợp, giá trị tôi mang lại cho công ty là nói với họ đừng dùng AI. Tôi là chuyên gia AI, họ mô tả vấn đề, và tôi nói, “Đừng dùng AI.” Đó là giá trị gia tăng của tôi. Hiện tại trong giáo dục tôi cũng có cảm giác tương tự. Với thứ tôi đang hình dung, thời điểm vẫn chưa tới, nhưng rồi nó sẽ tới. Còn lúc này, tôi đang làm một thứ trông truyền thống hơn một chút, có cả thành phần vật lý lẫn số, vân vân. Nhưng tương lai nó nên trông như thế nào thì đã khá rõ ràng.

Dwarkesh Patel 02:01:43

Trong phạm vi bạn sẵn sàng chia sẻ, có thứ gì bạn hy vọng ra mắt trong năm nay hoặc năm sau không?

Andrej Karpathy 02:01:49

Tôi đang làm khóa học đầu tiên. Tôi thực sự, thực sự muốn tạo ra một khóa học thật tốt. Một điểm đến hàng đầu hiển nhiên cho người muốn học, trong trường hợp này là AI. Vì đó là thứ tôi quen thuộc, nên đây là một sản phẩm đầu tiên rất tốt để làm thật xuất sắc ở mảng đó. Vậy nên đó là thứ tôi đang làm. Nanochat mà bạn vừa nhắc ngắn gọn là dự án capstone của lớp học tôi đang xây, LLM101N. Nó là một phần rất lớn của khóa đó. Nhưng giờ tôi còn phải tạo ra rất nhiều bước trung gian, rồi thuê một nhóm nhỏ các TA và xây dựng toàn bộ khóa học.

Có một điều nữa tôi muốn nói là trong nhiều trường hợp, khi mọi người nghĩ về giáo dục, họ thường nghĩ nhiều hơn đến thứ mà tôi gọi là thành phần mềm hơn của việc truyền bá kiến thức. Còn tôi đang nghĩ tới những thứ rất khó và rất kỹ thuật. Theo tôi, giáo dục là một quá trình kỹ thuật rất khó để tạo ra những chiếc ramp dẫn tới tri thức. Theo tôi, nanochat là một chiếc ramp dẫn tới tri thức. Bởi vì nó rất đơn giản. Nó là cả full stack nhưng đã được đơn giản hóa hoàn toàn. Nếu bạn đưa hiện vật này cho ai đó và họ xem qua nó, họ sẽ học được một lượng khổng lồ thứ. Nó mang lại rất nhiều thứ mà tôi gọi là eureka mỗi giây, tức là sự thấu hiểu mỗi giây. Đó là điều tôi muốn, thật nhiều eureka mỗi giây. Nên với tôi, đây là một vấn đề kỹ thuật về cách làm cho chiếc ramp này thật hiệu quả. Để mọi người không bao giờ bị mắc kẹt, và mọi thứ không bao giờ quá khó cũng không quá tầm thường, luôn có đúng tài liệu cần thiết để tiến bộ.

Dwarkesh Patel 02:03:25

Điều bạn hình dung trong ngắn hạn là thay vì để gia sư thăm dò mức độ hiểu của bạn, nếu bạn có đủ tự nhận thức để tự thăm dò chính mình, thì bạn sẽ không bao giờ bị mắc kẹt. Giữa việc nói chuyện với TA hoặc với LLM và xem implementation tham chiếu, bạn có thể tìm ra câu trả lời đúng. Tới giờ, tự động hóa hay AI có vẻ chưa phải phần quan trọng. Tới giờ, alpha lớn ở đây là khả năng của bạn trong việc diễn giải AI thành tài liệu nguồn cho khóa học. Về cơ bản đó chính là khóa học.

Andrej Karpathy 02:04:00

Bạn luôn phải điều chỉnh theo đúng năng lực đang tồn tại trong ngành. Nhiều người sẽ chỉ theo đuổi kiểu đi hỏi ChatGPT, vân vân. Nhưng ngay lúc này, ví dụ, nếu bạn vào ChatGPT và bảo nó dạy AI cho bạn, thì không có cửa đâu. Nó sẽ trả ra kiểu làm ẩu. AI hiện giờ tuyệt đối sẽ không tự viết ra nanochat. Nhưng nanochat là một điểm trung gian thực sự hữu ích. Tôi đang hợp tác với AI để tạo ra tất cả tài liệu này, nên AI về cơ bản vẫn cực kỳ hữu ích.

Trước đây tôi từng tạo CS231n ở Stanford, mà tôi nghĩ là lớp deep learning đầu tiên ở Stanford, và nó rất nổi tiếng. Sự khác biệt giữa việc tạo 231n khi đó và tạo LLM101N bây giờ là khá rõ rệt. Tôi thực sự cảm thấy được trao quyền bởi LLM theo đúng cách mà chúng tồn tại hiện nay, nhưng tôi vẫn ở rất nhiều trong vòng lặp. Chúng giúp tạo tài liệu, và tôi đi nhanh hơn nhiều. Chúng làm rất nhiều việc nhàm chán, vân vân. Tôi cảm thấy mình đang phát triển khóa học nhanh hơn rất nhiều, và nó có LLM hỗ trợ, nhưng chúng vẫn chưa ở mức có thể sáng tạo ra nội dung. Tôi vẫn phải ở đó để làm việc đó. Điểm khó là luôn phải điều chỉnh bản thân theo những gì đang thực sự tồn tại.

Dwarkesh Patel 02:05:04

Khi hình dung điều sẽ khả dụng thông qua Eureka sau vài năm nữa, có vẻ nút thắt lớn là tìm được các Karpathy trong từng lĩnh vực, những người có thể biến sự hiểu biết của họ thành các chiếc ramp kiểu này.

Andrej Karpathy 02:05:18

Điều đó sẽ thay đổi theo thời gian. Ngay lúc này, có lẽ sẽ là thuê giảng viên để làm việc sát cánh cùng AI và con người như một đội. Có thể là để tạo ra các khóa học hàng đầu. Theo thời gian, có lẽ một số TA có thể là AI. Tôi nghĩ bạn có thể lấy toàn bộ tài liệu khóa học rồi cung cấp một TA tự động rất tốt cho học viên. Khi họ có những câu hỏi cơ bản hơn hoặc những kiểu như vậy. Nhưng để có kiến trúc tổng thể của khóa học và bảo đảm nó phù hợp, tôi nghĩ vẫn sẽ cần giảng viên. Nên tôi nhìn thấy tiến trình về cách thứ này sẽ tiến hóa. Có lẽ ở một thời điểm nào đó trong tương lai tôi sẽ không còn hữu ích đến vậy nữa và AI sẽ làm phần lớn việc thiết kế tốt hơn rất nhiều so với tôi. Nhưng tôi vẫn nghĩ sẽ cần thời gian để điều đó diễn ra.

Dwarkesh Patel 02:05:59

Bạn đang hình dung những người có chuyên môn ở các lĩnh vực khác nhau sẽ đóng góp khóa học, hay xét đến hiểu biết của bạn về cách mình muốn giảng dạy thì việc chính bạn là người thiết kế nội dung là điều cốt lõi trong tầm nhìn này? Giống như Sal Khan trực tiếp thuyết minh toàn bộ video của Khan Academy vậy. Bạn có hình dung như thế không?

Andrej Karpathy 02:06:20

Không, tôi sẽ thuê đội ngũ giảng viên. Bởi vì có những lĩnh vực mà tôi không phải là chuyên gia. Cuối cùng thì đó là cách duy nhất để mang lại trải nghiệm tiên tiến nhất cho học viên. Tôi dự đoán sẽ thuê giảng viên, nhưng có lẽ tôi sẽ gắn với AI thêm một thời gian nữa. Với năng lực hiện tại, điều tôi hình dung có lẽ truyền thống hơn những gì mọi người đang kỳ vọng.

Khi xây dựng Starfleet Academy, tôi có lẽ hình dung một cơ sở vật lý, rồi bên dưới đó là một tầng cung cấp nội dung số. Đó không phải là trải nghiệm tối tân nhất mà bạn có được khi ai đó đến học toàn thời gian trực tiếp và chúng tôi cùng đi qua tài liệu từ đầu đến cuối, đảm bảo bạn thực sự hiểu. Đó là hình thức trực tiếp. Còn hình thức số sẽ là nhiều nội dung trên internet và có thể là một trợ lý LLM nào đó. Nó có phần mang tính gimmick hơn và là một tầng thấp hơn, nhưng ít nhất có thể tiếp cận với 8 tỷ người.

Dwarkesh Patel 02:07:08

Về cơ bản, có vẻ như bạn đang phát minh lại đại học từ các nguyên lý đầu tiên cho những công cụ hiện có ngày nay, đồng thời chọn ra những người có động lực và hứng thú thực sự để tương tác với tài liệu.

Andrej Karpathy 02:07:26

Không chỉ giáo dục mà còn sẽ phải có rất nhiều tái đào tạo. Tôi muốn giúp ở đó. Bởi vì công việc có lẽ sẽ thay đổi khá nhiều. Ví dụ, ngày nay nhiều người đang cố nâng cao kỹ năng, đặc biệt là trong AI. Tôi nghĩ đây là một khóa học thực sự phù hợp để dạy liên quan đến điều đó. Về mặt động lực, động lực trước AGI khá dễ giải quyết. Vì mọi người muốn kiếm tiền. Đây là cách kiếm tiền trong ngành hiện nay. Sau AGI thì có thể thú vị hơn nhiều. Bởi vì nếu mọi thứ đều được tự động hóa và không còn việc gì cho ai làm, thì tại sao ai đó lại đến trường?

Tôi thường nói giáo dục trước AGI là hữu ích. Giáo dục sau AGI là để vui. Theo cách tương tự như việc ngày nay mọi người đi gym. Chúng ta không cần sức mạnh thể chất của họ để di chuyển vật nặng, vì chúng ta có máy móc làm việc đó. Nhưng họ vẫn đi gym. Tại sao họ đi gym? Vì vui, vì tốt cho sức khỏe, và vì có cơ bụng thì trông ngầu. Làm điều đó hấp dẫn với con người, theo một ý nghĩa rất sâu sắc về tâm lý và tiến hóa. Giáo dục cũng sẽ diễn ra theo cách như vậy. Người ta sẽ đi học như đi gym.

Ngay lúc này, nhiều người không học. Bởi vì học là khó. Họ bị văng ra khỏi tài liệu. Một số người vượt qua được rào cản đó, nhưng với đa số thì rất khó. Đó là một bài toán kỹ thuật cần được giải. Điều mà gia sư của tôi đã làm cho tôi khi tôi học tiếng Hàn là một bài toán kỹ thuật có thể giải được. Nó có thể được xử lý, có thể được xây dựng, và ai đó cần phải xây nó. Điều đó sẽ khiến việc học một thứ gì đó trở nên tầm thường và đáng mong muốn, và mọi người sẽ làm nó để giải trí. Bởi vì nó trở nên quá dễ. Nếu bạn có một gia sư như vậy cho bất kỳ mẩu kiến thức ngẫu nhiên nào, thì việc học bất cứ điều gì cũng sẽ dễ hơn rất nhiều, và mọi người sẽ làm thế. Họ sẽ làm vậy vì cùng lý do họ đi gym.

Dwarkesh Patel 02:09:17

Nghe có vẻ khác đấy... Vậy nên sau AGI, bạn dùng thứ này cho mục đích giải trí hay tự hoàn thiện bản thân. Nhưng trước đó thì dường như bạn cũng có một tầm nhìn rằng nền giáo dục này liên quan đến việc giúp nhân loại duy trì quyền kiểm soát AI. Điều đó nghe khác nhau. Với một số người thì là giải trí, còn với số khác thì là trao quyền sao? Bạn nghĩ thế nào?

Andrej Karpathy 02:09:41

Tôi nghĩ cuối cùng thì đó hơi giống một trò chơi thua cuộc, nếu cách nói đó hợp lý. Về dài hạn thì đúng vậy. Có lẽ về dài hạn hơn cả những gì hầu hết mọi người trong ngành nghĩ tới, đó là một trò chơi thua cuộc. Mọi người nghĩ có thể đi rất xa, nhưng chúng ta mới chỉ cào nhẹ bề mặt của việc con người có thể đi xa đến đâu. Chỉ là vì mọi người bị văng ra khỏi tài liệu quá dễ hoặc quá khó. Con người có thể đi xa hơn rất nhiều. Ai rồi cũng sẽ nói được năm thứ tiếng. Tại sao lại không? Vì nó sẽ trở nên quá tầm thường. Ai cũng sẽ biết toàn bộ chương trình nền tảng ở bậc đại học, v.v.

Dwarkesh Patel 02:10:18

Giờ thì tôi hiểu tầm nhìn này rồi, và nó rất thú vị. Văn hóa gym là một phép so sánh hoàn hảo. Tôi không nghĩ rằng 100 năm trước có ai cơ bắp như bây giờ. Không ai có thể tự nhiên nâng bench press hai hay ba bánh tạ như vậy. Nhưng bây giờ điều đó rất phổ biến nhờ ý tưởng luyện tập có hệ thống, nâng tạ trong phòng gym, hay luyện tập có hệ thống để có thể chạy marathon. Đó là năng lực mà phần lớn con người không tự nhiên có sẵn. Có vẻ như bạn đang hình dung những điều tương tự cho việc học trên nhiều lĩnh vực khác nhau, nhưng tập trung hơn nhiều, sâu hơn và nhanh hơn.

Andrej Karpathy 02:10:54

Chính xác. Tôi đang đặt cược phần nào vào tính bền vững của bản tính con người. Tôi nghĩ việc làm tất cả những điều này sẽ vẫn đáng khao khát, và mọi người sẽ vẫn ngưỡng mộ nó như họ đã làm hàng nghìn năm nay. Điều đó sẽ tiếp tục đúng. Trong lịch sử cũng có một số bằng chứng cho điều đó. Chẳng hạn, nếu nhìn vào giới quý tộc, hay Hy Lạp cổ đại, hoặc những ví dụ tương tự, thì bất cứ khi nào ta có những môi trường nhỏ kiểu như “hậu AGI” theo một nghĩa nào đó, con người đã dành rất nhiều thời gian để phát triển thịnh vượng theo những cách nhất định cả về thể chất lẫn nhận thức. Tôi cảm thấy khá lạc quan về triển vọng đó.

Nếu điều này là sai, nếu tôi sai và rốt cuộc chúng ta đi đến một tương lai kiểu Wall-E hay Idiocracy, thì tôi thậm chí cũng không quan tâm có Dyson sphere hay không. Đó là một kết cục khủng khiếp. Tôi thực sự quan tâm đến nhân loại. Mọi người đều phải trở thành siêu nhân theo một nghĩa nào đó.

Dwarkesh Patel 02:11:52

Nhưng như vậy thì vẫn là... về cơ bản chúng ta... kiểu như một thế giới văn hóa đúng không? Về cơ bản đó là một thế giới nơi bạn không thể thật sự thay đổi quỹ đạo của công nghệ hay tác động đến các quyết định chỉ bằng lao động hay năng lực nhận thức của chính mình. Có lẽ bạn có thể tác động đến quyết định vì AI xin bạn phê duyệt, nhưng không phải là tôi thực sự ảnh hưởng đến tương lai vì tôi phát minh ra thứ gì đó hay nghĩ ra một thiết kế mới.

Andrej Karpathy 02:12:21

Có thể. Tôi nghĩ sẽ có một giai đoạn chuyển tiếp nơi nếu chúng ta hiểu rất nhiều thứ, chúng ta vẫn ở trong vòng lặp và có thể thúc đẩy mọi việc tiến lên. Nhưng về dài hạn, điều đó có lẽ sẽ biến mất. Có thể sẽ có những môn thể thao là phiên bản powerlifting của thời đại nhận thức. Có lẽ sẽ có những người đi đến mức cực đoan để tạo ra một kỳ Olympic dành cho việc thực sự biết rất nhiều thứ. Nếu bạn có một AI tutor hoàn hảo, có lẽ bạn có thể tiến rất rất xa. Tôi cảm thấy những thiên tài ngày nay mới chỉ chạm nhẹ vào bề mặt của những gì tâm trí con người có thể làm được.

Dwarkesh Patel 02:12:59

Tôi rất thích tầm nhìn này. Và tôi cũng cảm thấy mình là người có product-market fit lớn nhất với nó. Vì công việc của tôi đòi hỏi phải học những chủ đề khác nhau mỗi tuần, và điều đó khiến tôi rất hào hứng.

Andrej Karpathy 02:13:17

Tôi cũng tương tự. Nhiều người, chẳng hạn, ghét trường học và muốn thoát khỏi đó. Còn tôi thì thật sự rất thích đi học. Tôi thích học mọi thứ, v.v. Tôi muốn ở lại trường. Tôi ở lại cho tới bậc tiến sĩ, rồi sau đó họ không cho tôi ở lại nữa, nên tôi chuyển sang công nghiệp. Nói chung mà nói, tôi yêu việc học, kể cả chỉ vì bản thân việc học, nhưng tôi cũng yêu việc học vì nó là một hình thức trao quyền, và nó hữu ích, năng suất.

Dwarkesh Patel 02:13:39

Bạn cũng vừa nêu ra một điểm tinh tế mà tôi muốn viết thành lời. Với những gì đã xảy ra với các khóa học online cho đến nay, tại sao chúng vẫn chưa khiến từng con người một có thể biết mọi thứ? Chỉ là vì chúng quá đòi hỏi về động lực. Vì không có lộ trình tăng dần rõ ràng, và quá dễ bị mắc kẹt. Còn nếu thay vào đó bạn có thứ này—một thứ giống như một gia sư con người thật sự giỏi—thì từ góc độ động lực, đó sẽ đơn giản là một dạng mở khóa hoàn toàn.

Andrej Karpathy 02:14:10

Tôi nghĩ vậy. Bị bật ra khỏi tài liệu thì rất khó chịu. Rất khó chịu. Khi bạn dồn thời gian vào một thứ mà không thu được kết quả, hoặc khi thứ bạn đang nhận được quá dễ hay quá khó đến mức hoàn toàn chán ngắt, bạn sẽ nhận phần thưởng tiêu cực. Còn khi làm đúng, việc học mang lại cảm giác rất tốt. Đưa được tới đó là một bài toán kỹ thuật. Trong một thời gian, sẽ là cộng tác giữa AI và con người, và đến một thời điểm nào đó, có lẽ sẽ chỉ còn AI.

Dwarkesh Patel 02:14:36

Tôi có thể hỏi vài câu về việc dạy tốt không? Nếu phải khuyên những nhà giáo dục ở các lĩnh vực khác mà bạn thấy hứng thú hãy làm kiểu video hướng dẫn YouTube như bạn đã làm, nhất là với những lĩnh vực mà không thể kiểm tra mức độ hiểu kỹ thuật của ai đó bằng cách bắt họ viết code hay tương tự như vậy, bạn sẽ đưa ra lời khuyên gì?

Andrej Karpathy 02:14:58

Đó là một chủ đề khá rộng. Có lẽ tôi có 10-20 mẹo và thủ thuật mà tôi làm theo kiểu nửa vô thức. Nhưng phần lớn trong đó đến từ nền tảng vật lý của tôi. Tôi thực sự, thực sự rất thích nền tảng vật lý của mình. Có cả một câu chuyện dài về lý do vì sao ai cũng nên học vật lý từ giai đoạn giáo dục ban đầu. Bởi vì giáo dục ban đầu không phải để tích lũy kiến thức hay ký ức phục vụ công việc sau này trong ngành công nghiệp. Nó là để khởi động bộ não. Và vật lý khởi động bộ não tốt nhất. Vì một số thứ mà vật lý buộc não bạn phải làm sau này cực kỳ có giá trị.

Đó là ý tưởng về việc xây dựng mô hình và các tầng trừu tượng, hiểu rằng có một xấp xỉ bậc nhất giải thích phần lớn hệ thống, nhưng cũng có thể có hoặc không có các hạng bậc hai, bậc ba, bậc bốn. Ý tưởng rằng bạn đang quan sát một hệ thống rất nhiễu, nhưng có những tần số nền tảng như vậy mà bạn có thể trừu tượng hóa. Khi một nhà vật lý bước vào lớp và nói: "hãy giả sử có một con bò hình cầu", ai cũng cười, nhưng điều đó thật tuyệt. Theo nhiều cách, bạn có thể xấp xỉ một con bò thành hình cầu, và đó là một kiểu tư duy rất tuyệt, có thể khái quát hóa rộng khắp nhiều ngành.

Ví dụ, có một cuốn sách rất hay, Scale. Đây là cuốn sách do một nhà vật lý viết về sinh học. Có lẽ đây cũng là cuốn tôi khuyên nên đọc. Bạn có thể tạo ra những phép xấp xỉ cực kỳ thú vị về động vật và vẽ ra các định luật tỷ lệ của động vật. Bạn nhìn vào nhịp tim của chúng và những thứ như thế, và chúng khớp với kích thước của loài vật cùng các yếu tố tương tự. Bạn có thể nói về động vật theo thể tích. Bạn có thể nói về khả năng tản nhiệt của nó. Bởi vì tản nhiệt tăng theo diện tích bề mặt, tức là theo bình phương. Nhưng sinh nhiệt hay phát nhiệt thì tăng theo lũy thừa bậc ba. Vì vậy tôi cảm thấy các nhà vật lý đơn giản là có đầy đủ những công cụ nhận thức đúng đắn để tiếp cận giải quyết vấn đề trong thế giới thực.

Nhờ quá trình rèn luyện đó, tôi luôn cố tìm hạng bậc nhất hay bậc hai của mọi thứ. Khi quan sát một hệ thống hay một điều gì đó, trong đầu tôi có một sự rối rắm của các ý tưởng và mạng lưới kiến thức. Tôi cố gắng tìm ra điều gì là quan trọng. Thành phần bậc nhất là gì? Làm sao để đơn giản hóa nó? Làm sao để có phiên bản đơn giản nhất thể hiện được điều đó, thực sự cho thấy nó, rồi sau đó mới thêm các hạng khác vào?

Một ví dụ trong các repository của tôi mà tôi nghĩ thể hiện điều này rất rõ là micrograd. Tôi không biết bạn có quen với nó không. micrograd là 100 dòng code để minh họa backpropagation. Bạn có thể xây dựng mạng nơ-ron từ những phép toán đơn giản như cộng và nhân. Những khối Lego của mạng nơ-ron. Bạn dựng đồ thị tính toán, chạy forward pass và backward pass để lấy gradient. Và đây chính là cốt lõi của toàn bộ việc huấn luyện mạng nơ-ron.

Vì vậy micrograd là 100 dòng Python khá dễ diễn giải, có thể thực hiện forward và backward cho các mạng nơ-ron tùy ý, nhưng nó không hiệu quả. Nên micrograd, 100 dòng Python này, là tất cả những gì bạn cần để hiểu mạng nơ-ron được huấn luyện như thế nào. Mọi thứ khác chỉ là hiệu năng. Để có hiệu năng thì cần một khối lượng công việc khổng lồ. Bạn cần tensor, batching, stride, tạo kernel, sắp xếp việc di chuyển bộ nhớ cho đúng, v.v. Tất cả về cơ bản chỉ là hiệu năng. Nhưng mảnh ghép trí tuệ cốt lõi của việc huấn luyện mạng nơ-ron là micrograd. Nó chỉ có 100 dòng. Dễ hiểu. Đó là việc áp dụng đệ quy quy tắc dây chuyền để suy ra gradient. Nó cho phép bạn tối ưu hóa bất kỳ hàm khả vi nào.

Vì vậy tôi rất thích tìm ra những hạng bậc thấp nhỏ bé như thế, khám phá chúng rồi bày chúng ra thật rõ ràng. Tôi cảm thấy giáo dục là điều hấp dẫn nhất về mặt trí tuệ. Bởi vì bạn có một mớ rối rắm của sự hiểu biết, và bạn đang cố sắp xếp nó theo cách tạo thành một chiếc dốc mà ở đó mọi thứ chỉ phụ thuộc vào những gì đến trước nó. Tôi thấy việc gỡ rối mớ kiến thức đó, như một dạng lao động nhận thức, đơn giản là cực kỳ thú vị về mặt trí tuệ. Cá nhân tôi rất thích làm điều đó, nhưng cũng có một sự say mê trong việc cố gắng sắp xếp mọi thứ theo một cách nhất định. Có lẽ điều đó giúp ích cho tôi.

Dwarkesh Patel 02:18:41

Điều đó cũng khiến trải nghiệm học tập trở nên có động lực hơn rất nhiều. Tutorial của bạn về transformer bắt đầu từ bigram, theo nghĩa đen chỉ là một bảng tra cứu, “ở đây là từ hiện tại, hoặc ở đây là từ trước đó, ở đây là từ tiếp theo.” Theo nghĩa đen chỉ là một bảng tra cứu.

Andrej Karpathy 02:18:58

Đó chính là bản chất của nó, đúng vậy.

Dwarkesh Patel 02:18:59

Bắt đầu từ bảng tra cứu rồi đi tới transformer là một cách làm thực sự tuyệt vời. Mỗi mảnh ghép đều có động lực riêng. Tại sao lại thêm cái đó? Tại sao lại thêm phần tiếp theo? Bạn có thể học thuộc công thức attention, nhưng điều quan trọng là hiểu vì sao từng mảnh ghép đều liên quan, nó đang giải quyết vấn đề gì.

Andrej Karpathy 02:19:13

Hãy đưa ra nỗi đau trước khi đưa ra lời giải, và xem nó thông minh đến mức nào. Tôi muốn dẫn dắt học sinh qua tiến trình đó. Còn rất nhiều điều nhỏ khác làm cho nó trở nên hay, cuốn hút và thú vị. Hãy luôn đưa ra lời nhắc cho học sinh.

Có rất nhiều điều nhỏ nhưng quan trọng khác mà các nhà giáo dục giỏi sẽ làm, như: bạn sẽ giải quyết chuyện này thế nào? Tôi sẽ không đưa ra lời giải trước khi anh tự đoán thử. Làm vậy sẽ rất lãng phí. Hơi kiểu... tôi không muốn chửi thề, nhưng nếu tôi đưa ra lời giải trước khi cho anh cơ hội tự thử, thì đó là cách hành xử không tốt với anh.

Dwarkesh Patel 02:19:51

Bởi vì nếu bạn cố tự nghĩ ra, bạn sẽ hiểu rõ hơn không gian hành động là gì, mục tiêu là gì, rồi vì sao chỉ hành động này mới đáp ứng được mục tiêu đó.

Andrej Karpathy 02:20:03

Bạn có cơ hội tự thử, và khi tôi đưa ra lời giải thì bạn sẽ biết trân trọng nó. Điều đó tối đa hóa lượng kiến thức trên mỗi sự thật mới được thêm vào.

Dwarkesh Patel 02:20:11

Vì sao về cơ bản những người thực sự là chuyên gia trong lĩnh vực của họ lại thường kém trong việc giải thích nó cho người đang học?

Andrej Karpathy 02:20:24

Đó là chuyên môn và lời nguyền tri thức. Đây là một hiện tượng có thật, và tôi cũng khổ sở vì nó nhiều như bất kỳ ai khác. Bạn mặc định coi một số thứ là hiển nhiên, và bạn không thể đặt mình vào vị trí của người mới hoàn toàn bắt đầu. Điều này rất phổ biến và nó cũng xảy ra với tôi.

Có một điều rất hữu ích. Ví dụ, gần đây có người muốn cho tôi xem một bài báo sinh học, và ngay lập tức tôi có quá nhiều câu hỏi tệ hại. Điều tôi làm là dùng ChatGPT, đưa bài báo vào context window rồi đặt câu hỏi. Nó giải quyết được một số điều đơn giản. Sau đó tôi chia sẻ cả thread đó với người đã viết bài báo hoặc làm công trình đó. Tôi cảm thấy nếu họ nhìn thấy những câu hỏi ngớ ngẩn mà tôi có, điều đó có thể giúp họ giải thích tốt hơn trong tương lai.

Với tài liệu của tôi, tôi sẽ rất thích nếu mọi người chia sẻ những cuộc trò chuyện ngớ ngẩn của họ với ChatGPT về những gì tôi đã tạo ra. Bởi vì điều đó thực sự giúp tôi đặt mình trở lại vào vị trí của người đang bắt đầu lại từ đầu.

Dwarkesh Patel 02:21:19

Còn có một mẹo khác hoạt động đáng ngạc nhiên là tốt. Khi ai đó viết một bài báo khoa học, một bài blog hoặc có một buổi thuyết trình, thì phần tường thuật hay bản ghi lại cách họ sẽ giải thích nó vào giờ ăn trưa thường không chỉ dễ hiểu hơn nhiều mà thực ra còn chính xác và mang tính khoa học hơn nữa. Trong 100% trường hợp. Theo nghĩa là mọi người có xu hướng giải thích mọi thứ theo cách trừu tượng nhất có thể, đầy rẫy thuật ngữ chuyên môn, và mất bốn đoạn để dọn đường trước khi giải thích ý tưởng cốt lõi. Nhưng khi giao tiếp một-một với ai đó, có điều gì đó khiến họ просто nói ra điều họ muốn nói.

Andrej Karpathy 02:22:07

Cứ nói thẳng ra thôi. Tôi đã thấy tweet đó, và tôi nghĩ nó thực sự rất hay. Tôi đã chia sẻ nó với rất nhiều người. Tôi đã cảm nhận điều này hết lần này đến lần khác.

Ví dụ nổi bật nhất là tôi nhớ thời làm nghiên cứu sinh tiến sĩ của mình. Bạn đọc bài báo của ai đó và cố gắng hiểu xem nó đang làm gì. Rồi sau đó, ở một hội nghị nào đó, bạn gặp họ lúc đang uống bia và hỏi, “Vậy bài báo này, nó đang làm gì vậy? Bài báo nói về cái gì?”

Họ sẽ chỉ nói ra ba câu nắm bắt hoàn hảo bản chất của bài báo đó và truyền tải trọn vẹn ý tưởng. Và bạn chẳng cần phải đọc bài báo nữa. Chỉ khi ngồi ở bàn với bia hay gì đó, họ sẽ nói, “À đúng rồi, bài báo đó đơn giản là lấy ý tưởng này, lấy ý tưởng kia, rồi thử thí nghiệm này và thử cái này.” Họ có cách diễn đạt nó trong hội thoại một cách hoàn hảo. Sao đó lại không phải là phần tóm tắt?

Dwarkesh Patel 02:22:51

Chính xác. Điều này đến từ góc nhìn về việc một người đang cố giải thích ý tưởng thì nên trình bày tốt hơn như thế nào. Với tư cách là sinh viên, lời khuyên của anh dành cho những sinh viên khác là gì, nếu không có Karpathy đang ở đó để giải thích ý tưởng? Nếu bạn đang đọc bài báo hay đọc sách của ai đó, anh dùng chiến lược nào để học tài liệu mình quan tâm trong một lĩnh vực mà mình không phải chuyên gia?

Andrej Karpathy 02:23:20

Thành thật mà nói, tôi không biết mình có mẹo hay thủ thuật độc đáo nào không. Đó là một quá trình đau đớn. Một điều luôn khá hữu ích với tôi là—tôi có một tweet nhỏ về việc này—học theo nhu cầu là khá tốt. Học theo chiều sâu trước. Học theo chiều sâu, theo nhu cầu—bạn đang cố hoàn thành một dự án cụ thể nào đó để nhận được phần thưởng—và tôi cảm thấy cần có một chút luân phiên với học theo bề rộng, kiểu như “Ồ, hãy học 101 về mọi thứ, rồi đây là tất cả những thứ có thể cần ở đây.” Đó là điều nhiều trường học làm—họ học theo bề rộng, kiểu “Ồ, cứ tin đi, sau này bạn sẽ cần cái này.” Được thôi, tôi sẽ tin. Tôi sẽ học vì mình cần nó. Nhưng tôi thích kiểu học mà bạn nhận được phần thưởng từ việc làm ra thứ gì đó, và bạn đang học theo nhu cầu.

Một điều khác mà tôi thấy cực kỳ hữu ích. Đây là khía cạnh hơi vị tha hơn của giáo dục, nhưng giải thích mọi thứ cho người khác là một cách tuyệt vời để học thứ gì đó sâu hơn. Điều này luôn xảy ra với tôi. Có lẽ nó cũng xảy ra với người khác. Bởi vì nếu bạn thực sự không hiểu điều gì đó, bạn sẽ nhận ra rằng mình không thể giải thích nó. Bạn đang cố làm vậy và nói, “Ồ, mình không hiểu cái này.” Việc đối diện với điều đó thật khó chịu. Bạn có thể quay lại và kiểm tra xem mình đã hiểu chưa. Bạn lấp đầy những khoảng trống trong hiểu biết này. Nó buộc bạn phải đối diện với chúng. Nó buộc bạn phải dung hòa chúng.

Tôi thích giải thích lại điều gì đó, và những người khác cũng nên làm vậy. Khi đó bạn phải thao tác với kiến thức, và phải chắc chắn rằng mình thực sự hiểu điều mình đang nói khi giải thích.

Dwarkesh Patel 02:24:48

Đúng là một đoạn kết quá đẹp để khép lại. Andrej, tuyệt lắm.

Andrej Karpathy 02:24:51

Cảm ơn.

[GN⁺]

Ý kiến trên Hacker News

• Tôi nghĩ cách nhìn sự phát triển của AI như một kiểu “cuộc hành quân của các số 9” là rất quan trọng. Mỗi khi thêm được một mức 9%, lại cần một lượng nỗ lực tương đương. Nếu đã làm được bản demo 90%, thì giờ phải tiếp tục chồng thêm 9% thứ hai, 9% thứ ba, v.v. Khi làm 5 năm ở Tesla, tôi cũng đã nhiều lần trải qua quá trình lặp như vậy. Vẫn còn rất nhiều chặng đường phía trước. Tiến bộ AI thường trông như năng lực tăng theo cấp số nhân trên một số benchmark cố định, nhưng độ khó để bước sang cấp độ tiếp theo cũng tăng theo cấp số nhân, nên về dài hạn lại giống như cải thiện tuyến tính

  • Khi xem cuộc phỏng vấn gần đây với Rich Sutton, tôi cảm thấy AGI không chỉ đơn giản là vấn đề cộng dồn thêm 9%. Người phỏng vấn giả định rằng để hiểu ngôn ngữ thì phải có một mô hình về thế giới, nhưng Sutton đã bác bỏ ngay tiền đề đó. Có lẽ tôi cũng có thể đồng ý với thái độ hoài nghi ấy

  • Câu chuyện này làm tôi nhớ đến một châm ngôn cũ về marathon. Marathon gồm hai phần: 20 dặm đầu tiên, và 10 km cuối cùng khi bạn chạy trong trạng thái đau nhức và kiệt sức nhất đời

  • Tôi thích phép ví von của tác giả. Nhưng từ một thời điểm nào đó, chính AI sẽ bắt đầu giúp thúc đẩy tiến bộ, và điểm này khác biệt mang tính quyết định so với ML chuyên biệt theo miền hay các hệ thống trước đây. Vì vậy tôi kỳ vọng trong 2 năm tới có thể sẽ xảy ra một đợt tăng tốc mạnh

  • Tôi cũng hay đùa rằng mình hoàn thành 90% đầu của công việc, rồi lại bước sang 90% tiếp theo

  • Cách suy nghĩ này có thể áp dụng ở nhiều nơi. Nó giống hiệu quả Pareto, tức quy luật 80/20: 20% nỗ lực tạo ra 80% công việc, nhưng phần lớn thời gian lại dùng để hoàn thành 20% còn lại. Nguyên lý này lặp đi lặp lại. Gần đây trong lĩnh vực IT hiện tượng này càng nổi bật. Cách làm nhanh và thử nghiệm liên tục rất tốt cho phần lớn chặng đường, nhưng trong quá trình đó rất nhiều vấn đề tích tụ, và cuối cùng vẫn cần ai đó dọn dẹp, rà soát. Mỗi vấn đề nhỏ cộng lại thành vấn đề lớn. Dù hệ thống có uptime 99.9% thì vẫn tương đương 9 giờ downtime mỗi năm, và 1 triệu trường hợp trên 1 tỷ giao dịch cũng không phải quy mô có thể xem nhẹ. Nhờ tính mở rộng của công nghệ mà lĩnh vực này tăng trưởng rất nhanh, nhưng đồng thời mặt tối cũng lớn dần. Trình độ trên trung bình có thể đạt được khá dễ chỉ với nỗ lực, nhưng kỹ năng của một người trong lĩnh vực nào đó trên thực tế vẫn có thể còn cách rất xa mức bậc thầy. Cũng như người có 100 triệu USD thực ra về khoảng cách tài sản còn gần người vô gia cư hơn là tỷ phú, trực giác của chúng ta là mang tính cong chứ không tuyến tính

• Mỗi khi các nhà nghiên cứu AI và các nhà khoa học máy tính bắt đầu so sánh não người với AI và máy tính, tôi lại thấy hơi kỳ quặc. Tại sao chỉ vì học khoa học máy tính mà chúng ta lại nghĩ mình đã hiểu đủ về sinh học, thần kinh học, tiến hóa học, v.v.? Bản thân những cuộc thảo luận này rất thú vị, nhưng trong đầu tôi luôn có một giọng nói nhắc rằng “đừng quên là lúc này bạn đang nghe hai sinh viên CS nói về neuroscience”

  • Tôi nghĩ nên loại bỏ hoàn toàn kiểu nói này và cả thuật ngữ đó khỏi lĩnh vực AI. Nó chỉ gây ra sự nhầm lẫn bất tận cho công chúng. Bản chất thực của LLM chỉ là huấn luyện các ma trận để dự đoán token tiếp theo. Chừng đó đã đủ để giải thích, không cần lôi AGI, Roko's basilisk hay ý thức con người vào

  • Để trả lời vì sao lại có tiền đề như vậy: đó là “sự ngạo mạn”

  • Thực ra nếu nghĩ theo logic, có một câu đùa rằng mọi chuyện bắt đầu bằng việc tưởng tượng ra “một bộ não hình cầu hoàn hảo và không có ma sát”

  • Hồi đại học tôi cũng từng so sánh như vậy, cuối cùng thường dựa vào một mô hình khái niệm kiểu nếu não làm X thì máy tính có lẽ cũng làm một thứ X tương tự, hoặc có thể tái hiện X qua các bước như Y và Z. Nhưng từ khi hiểu rằng bộ não là một cỗ máy hóa học cực kỳ phức tạp, tôi ngày càng hoài nghi hơn với những so sánh kiểu này

  • AI và neuroscience, đặc biệt ở thế hệ nghiên cứu trước đây, có rất nhiều phần giao nhau. Ví dụ, người hướng dẫn của Karpathy là Fei-Fei Li từng nghiên cứu thị giác ở não mèo trước khi chuyển sang computer vision; Demis Hassabis có bằng tiến sĩ computational neuroscience; Geoff Hinton cũng từng học tâm lý học. Hội nghị RLDM (Reinforcement Learning and Decision Making) kết nối reinforcement learning với neuroscience để các chuyên gia hai bên giao lưu. Trên thực tế, một nhà nghiên cứu AI trung bình rất có thể biết về não bộ nhiều hơn một sinh viên khoa học máy tính thông thường, dù để làm nghiên cứu chuyên sâu thì vẫn có thể chưa đủ chuyên môn

• Nếu nói về giới hạn căn bản của LLM/AI hiện nay, thì chúng chủ yếu được huấn luyện để mô phỏng vỏ não trước trán của con người, nơi phụ trách suy luận logic, bằng cách tập trung vào dữ liệu đã được trừu tượng hóa. Nhưng phán đoán thực tế của con người lại được dẫn dắt bởi hoạt động của hệ viền, thiên về cảm xúc và trực giác. Nói cách khác, phần lớn thời gian chúng ta “làm điều gì đó trước rồi mới hiểu lý do sau”, và sau hành động đó thì vỏ não trước trán mới ghép câu chuyện cho khớp. Kết quả là LLM chỉ đang bắt chước một vài dạng hoạt động thần kinh từ một vị trí hoàn toàn khác với cách con người xử lý thực tại

• Tôi sẵn sàng cược toàn bộ tài sản của mình rằng AGI sẽ không xuất hiện trong suốt cuộc đời của bất kỳ ai đang đọc tin nhắn này lúc này. Thậm chí cả những độc giả tương lai có thể đọc lại bài này sau này cũng vậy. Câu hỏi thú vị thật sự là làm sao có thể chứng minh được vụ cá cược đó

  • Tôi tò mò muốn biết cụ thể vì sao bạn nghĩ vậy. Mỗi ngày đọc Hacker News tôi đều thấy người ta đưa ra đủ loại dự đoán về AGI mà chẳng có mấy logic nghiêm túc đằng sau, nên thấy khá bối rối. Tôi thực sự không biết điều gì sẽ xảy ra

  • Nếu muốn biến vụ cược đó thành một kèo thật sự, bạn phải đặt tiền thật trên một thị trường dự đoán như Polymarket. Nhưng trước tiên cần thống nhất một định nghĩa cụ thể về AGI. Nếu đối phương được quyền định nghĩa theo hướng có lợi cho họ thì bạn không có cửa thắng

  • Nếu thực sự muốn đem tài sản ra cược, thì vì đây là loại giao kèo gần như không thể thanh khoản nên thực tế tốt nhất là đưa vào thị trường dự đoán. Trên Polymarket có rất nhiều kèo liên quan đến AGI

  • Có khi short cổ phiếu Nvidia còn thực tế hơn

  • Đây là phát biểu ủng hộ dùng escrow (một cơ chế bên thứ ba giữ tiền giữa các bên liên quan)

• Tôi cũng muốn bổ sung một ý: tôi nghĩ chúng ta vẫn chưa có nổi mức hiểu biết sơ đồ về “trí thông minh là gì và nó vận hành ra sao”. Ngay cả mối liên hệ giữa ý thức và trí thông minh cũng còn chưa rõ. Trong hoàn cảnh như vậy, rất nhiều thảo luận, thậm chí cả dự đoán về AGI hay AI, đều thiếu nền tảng vững chắc. Chúng ta còn chưa biết chính xác trí thông minh là gì mà đã định nghĩa trí tuệ nhân tạo thì thật vô lý

  • Sở dĩ việc định nghĩa trí thông minh hay ý thức khó đến vậy là vì chúng ta hoàn toàn phụ thuộc vào đúng một mẫu quan sát duy nhất (con người), rồi lại còn phủ thêm lên đó một lớp huyền bí vô căn cứ. Bài tham khảo liên quan: https://bower.sh/who-will-understand-consciousness

  • Tôi thật sự đồng cảm sâu sắc với điểm này. Chúng ta còn chưa mô hình hóa được ngay cả ý thức của động vật không xương sống, cũng chẳng có một lý thuyết tử tế nào về “tâm trí”. Rốt cuộc AI chỉ đang giả vờ như hiểu mà thôi, chứ còn rất xa cái gọi là trí thông minh thực sự

• Nếu bản ghi phỏng vấn là chính xác, thì Karpathy chưa hề nói ở đâu trong cuộc phỏng vấn này rằng AGI sẽ đến trong vòng 10 năm, cũng không đưa ra khẳng định cụ thể nào về thời điểm AGI xuất hiện. Tiêu đề của Patel vì thế đang gây hiểu lầm so với nội dung thật

  • Với Sutton cũng vậy. Trong cuộc trò chuyện thực tế không hề có phát biểu kiểu “LLM là điểm cuối”, nhưng rồi lại bị diễn giải thành như thế

• Nếu so vibe coding với tính năng autocomplete, các mô hình LLM hiện tại có khá nhiều khiếm khuyết về mặt nhận thức. Ví dụ, chúng được huấn luyện quá quen với những cách viết code phổ biến nên cứ liên tục hiểu sai những cách tôi không dùng. Và việc phải gõ mọi thứ mình muốn bằng tiếng Anh thật quá phiền, trong khi chỉ cần đến đúng vị trí trong code rồi nhập vài ký tự là autocomplete có thể đề xuất ngay. Trong khi đó, các model lại có xu hướng làm codebase phức tạp quá mức, liên tục dùng code thừa và API cũ, nên nhìn chung tôi cũng không chắc chúng có thật sự hữu ích hay không

• Tôi có cảm giác rằng ngay cả trong một thế giới mà tỷ lệ thất nghiệp lên tới 50%, người ta vẫn sẽ tiếp tục tranh cãi “liệu đây có thật sự là AGI không”

• Bản thân việc lấy AGI làm mục tiêu đã thấy kỳ quặc rồi. Thuật ngữ AI cũng không chính xác và không phản ánh đúng bản chất. LLM không phải trí tuệ nhân tạo, kể cả LLM rất lớn cũng vậy. Dù vậy, language model vẫn là một công nghệ cực kỳ hữu ích và có tiềm năng mang tính cách mạng. Gọi LLM là AI vừa là đánh giá quá cao, vừa là đánh giá quá thấp giá trị của nó. Không cần phải thất vọng chỉ vì nó không phải trí tuệ nhân tạo; đây vẫn là công nghệ rất đáng kinh ngạc

  • Thuật ngữ này gây nhầm lẫn. Trước đây AI từng có nghĩa là mọi dạng machine intelligence, từ AI chơi cờ trình độ thấp, bộ phân loại hình ảnh, đến AI nhân vật game. Nhưng bây giờ nhiều người lại đồng nhất AI với AGI (trí thông minh cấp độ con người)

• Giờ đây khi Nvidia đã trở thành công ty có vốn hóa lớn nhất, các cuộc thảo luận nghiêm túc về AGI đang bị chôn vùi dưới “đoàn tàu hype” khổng lồ của dòng vốn. Phần lớn định giá của các công ty liên quan dựa trên niềm tin rằng AGI sẽ thành hiện thực trong tương lai gần. Nếu AGI được cảm nhận là quá gần, người ta sẽ nghĩ các công ty dẫn đầu hiện tại sẽ thâu tóm toàn bộ thị trường; còn nếu quá xa, đầu tư và chi tiêu hiện tại có thể trông như không bền vững

  • Có thể giá trị doanh nghiệp thật sự không hẳn dựa vào kỳ vọng AGI sẽ xuất hiện, mà dựa nhiều hơn vào việc các công ty đang đổ tiền vào công nghệ AI để tiết kiệm lương tầng lớp lao động trí óc, chẳng hạn qua tự động hóa công việc văn phòng

  • Ngay cả không phải AGI, chỉ riêng AI thôi cũng có thể tạo ra giá trị kinh tế khổng lồ

  • Đúng vậy. Kết hợp với câu chuyện AGI còn 5–10 năm nữa, người ta vin vào “cuộc chiến công nghệ với Trung Quốc” kiểu như cuộc đua không gian để lập luận rằng cần đầu tư “hàng nghìn tỷ USD”. Năm 2024 tin tức kiểu này cũng đã xuất hiện: https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html