Một người dùng cảm thấy không tìm thấy điều gì mới mẻ hay hữu ích trong bài phát biểu. Họ cho rằng nội dung mang tính tôn giáo và rỗng tuếch
Người này đánh giá tích cực việc Ilya mở đầu bài phát biểu bằng ảnh của Quoc Le. Quoc Le là tác giả chính của bài báo về mở rộng mạng nơ-ron năm 2012, và đó là cơ duyên khiến người này bắt đầu quan tâm đến deep learning
Họ nhận xét phát biểu của Ilya vừa khiêm tốn vừa dựa trên các nghiên cứu công khai trước đó, nhưng đồng thời ông đang theo đuổi những dự án lớn và có trí tưởng tượng phong phú
Họ xem phát biểu của Ilya rằng "suy luận khó dự đoán hơn" là điều quan trọng. Họ lập luận rằng suy luận hữu ích về bản chất là khó dự đoán
Họ nêu câu hỏi vì sao song song hóa pipeline lại là một ý tưởng tồi
Họ cảm thấy bài phát biểu có quá nhiều nội dung không cần thiết. Tóm lược 10 năm qua, giới hạn của scaling law, agent, dữ liệu tổng hợp và cải tiến điện toán đều được nhắc đến
Họ nhấn mạnh việc Sutskever nói rằng "tiền huấn luyện rồi sẽ kết thúc". Họ dự đoán cách huấn luyện mô hình sẽ thay đổi do giới hạn dữ liệu
Họ đề xuất các bộ dữ liệu tổng hợp được tuyển chọn làm dữ liệu thay thế cho dữ liệu internet trong huấn luyện. Họ giải thích rằng việc sử dụng các bộ dữ liệu độc quyền quy mô lớn bị hạn chế bởi vấn đề bản quyền, nhưng nếu chính chủ sở hữu trực tiếp sử dụng thì có thể giải quyết được vấn đề pháp lý
Họ đánh giá podcast của DeepMind cũng bàn về những chủ đề tương tự như bài phát biểu này nhưng thú vị hơn
Họ đánh giá tích cực việc ví dữ liệu internet như một tài nguyên hữu hạn. Họ cho rằng cần nhận thức và ứng phó với giới hạn của tài nguyên này
Họ nói thật đáng ngạc nhiên khi so sánh "nơ-ron" của transformer với nơ-ron sinh học thực tế. Nơ-ron thực tế bao gồm các quá trình sinh hóa phức tạp, trong khi transformer dùng các tầng tuyến tính đơn giản và phi tuyến tính
Họ đề cập rằng một LLM đã dùng Gemini Flash 8B để chỉnh sửa bản chép lời gốc trên YouTube
1 bình luận
Ý kiến trên Hacker News
Một người dùng cảm thấy không tìm thấy điều gì mới mẻ hay hữu ích trong bài phát biểu. Họ cho rằng nội dung mang tính tôn giáo và rỗng tuếch
Người này đánh giá tích cực việc Ilya mở đầu bài phát biểu bằng ảnh của Quoc Le. Quoc Le là tác giả chính của bài báo về mở rộng mạng nơ-ron năm 2012, và đó là cơ duyên khiến người này bắt đầu quan tâm đến deep learning
Họ nhận xét phát biểu của Ilya vừa khiêm tốn vừa dựa trên các nghiên cứu công khai trước đó, nhưng đồng thời ông đang theo đuổi những dự án lớn và có trí tưởng tượng phong phú
Họ xem phát biểu của Ilya rằng "suy luận khó dự đoán hơn" là điều quan trọng. Họ lập luận rằng suy luận hữu ích về bản chất là khó dự đoán
Họ nêu câu hỏi vì sao song song hóa pipeline lại là một ý tưởng tồi
Họ cảm thấy bài phát biểu có quá nhiều nội dung không cần thiết. Tóm lược 10 năm qua, giới hạn của scaling law, agent, dữ liệu tổng hợp và cải tiến điện toán đều được nhắc đến
Họ nhấn mạnh việc Sutskever nói rằng "tiền huấn luyện rồi sẽ kết thúc". Họ dự đoán cách huấn luyện mô hình sẽ thay đổi do giới hạn dữ liệu
Họ đề xuất các bộ dữ liệu tổng hợp được tuyển chọn làm dữ liệu thay thế cho dữ liệu internet trong huấn luyện. Họ giải thích rằng việc sử dụng các bộ dữ liệu độc quyền quy mô lớn bị hạn chế bởi vấn đề bản quyền, nhưng nếu chính chủ sở hữu trực tiếp sử dụng thì có thể giải quyết được vấn đề pháp lý
Họ đánh giá podcast của DeepMind cũng bàn về những chủ đề tương tự như bài phát biểu này nhưng thú vị hơn
Họ đánh giá tích cực việc ví dữ liệu internet như một tài nguyên hữu hạn. Họ cho rằng cần nhận thức và ứng phó với giới hạn của tài nguyên này
Họ nói thật đáng ngạc nhiên khi so sánh "nơ-ron" của transformer với nơ-ron sinh học thực tế. Nơ-ron thực tế bao gồm các quá trình sinh hóa phức tạp, trong khi transformer dùng các tầng tuyến tính đơn giản và phi tuyến tính
Họ đề cập rằng một LLM đã dùng Gemini Flash 8B để chỉnh sửa bản chép lời gốc trên YouTube