30 Papers - Tóm tắt danh sách các bài báo AI cốt lõi do Ilya Sutskever gợi ý

baeba · 2026-07-08T09:33:20+09:00

Dựa trên danh sách các bài báo AI cốt lõi được cho là Ilya Sutskever đã giới thiệu cho John Carmack, đây là một trang web tập hợp các bài báo nền tảng về machine learning theo cách giúp người mới dễ theo dõi hơn Danh sách đi theo các dòng phát triển chính của AI hiện đại như deep learning, computer vision, mô hình chuỗi, attention, transformer, graph neural network, scaling laws, lý thuyết thông tin và lý thuyết độ phức tạp Không chỉ liệt kê bài báo, trang còn gom cả ghi chú bài giảng, bài viết giải thích và phần diễn giải dựa trên mã nguồn để hạ thấp rào cản tiếp cận bài báo gốc Độc giả muốn hiểu các large language model và hệ thống deep learning hiện đại có thể xem tổng quan điểm khởi đầu của kiến trúc, kỹ thuật huấn luyện và lý thuyết độ phức tạp tại một nơi Ban đầu danh sách được biết đến là gồm 30 bài báo, nhưng hiện tại trang web mới chỉ sắp xếp 27 mục Giới thiệu Danh sách tổng hợp các tài liệu cốt lõi về sự phát triển của AI Trang web này là một dự án tập hợp các bài báo và tài liệu học tập đã tạo ra những bước ngoặt quan trọng trong nghiên cứu AI. Danh sách được xây dựng dựa trên tin đồn rằng Ilya Sutskever đã đề xuất chúng cho John Carmack. Tác giả trang web cho biết hiện mới thu thập được 27 trong tổng số 30 bài báo. Mỗi mục bao gồm tiêu đề bài báo, tóm tắt nội dung cốt lõi và thông tin về các tác giả đóng góp chính. Mục đích của tài liệu là sắp xếp các ý tưởng nền tảng đứng sau công nghệ AI hiện đại để có thể nắm bắt chúng trong một cái nhìn tổng quan. Nội dung chính Sự phát triển của computer vision và convolutional neural network CS231n: Convolutional Neural Networks for Visual Recognition Đây là tài liệu học tập giải thích convolutional neural network từ nền tảng cơ bản. Nội dung đi từng bước từ bộ phân loại tuyến tính đến các mô hình nhận dạng ảnh sâu. Nó đóng vai trò là tài liệu nhập môn để học CNN trong lĩnh vực computer vision. ImageNet Classification with Deep Convolutional Neural Networks Đây là bài báo AlexNet, đã giành chiến thắng tại cuộc thi ImageNet với khoảng cách hiệu năng lớn. Bài báo chứng minh hiệu quả của deep convolutional neural network trong phân loại ảnh quy mô lớn. Đây được đánh giá là bài báo tiêu biểu đã khởi phát kỷ nguyên deep learning hiện đại. Deep Residual Learning for Image Recognition Đây là bài báo ResNet, giới thiệu kết nối residual. Mạng được thiết kế để học phần thay đổi so với đầu vào thay vì toàn bộ phép biến đổi. Nó giúp việc huấn luyện mạng neural rất sâu ở quy mô hàng trăm lớp trở nên khả thi. Identity Mappings in Deep Residual Networks Đây là nghiên cứu tiếp nối ResNet, phân tích vì sao shortcut đồng nhất lại hiệu quả. Bài báo đề xuất pre-activation residual block để cải thiện cấu trúc mạng residual. Nó góp phần nâng cao độ ổn định tối ưu hóa và hiệu năng của mạng sâu. Multi-Scale Context Aggregation by Dilated Convolutions Bài báo đưa ra phương pháp mở rộng receptive field bằng dilated convolution mà không làm mất độ phân giải. Cách này cho phép tận dụng thông tin ngữ cảnh rộng hơn trong các tác vụ dense prediction như phân đoạn ảnh. Nó góp phần phản ánh đặc trưng trên phạm vi rộng trong khi vẫn giữ được thông tin không gian chi tiết. Mô hình chuỗi và cách giải quyết bài toán phụ thuộc dài hạn The Unreasonable Effectiveness of Recurrent Neural Networks Đây là một bài blog thực tiễn thử nghiệm sinh văn bản bằng RNN ở cấp ký tự. Nó cho thấy qua ví dụ rằng RNN có thể nắm bắt phần lớn cấu trúc và mẫu trong dữ liệu. Bài viết giải thích một cách trực quan tiềm năng của việc mô hình hóa dữ liệu tuần tự. Understanding LSTM Networks Đây là tài liệu giải thích trực quan cấu trúc cổng và cách truyền thông tin của LSTM. Tài liệu tập trung vào việc hiểu nguyên lý duy trì thông tin trong các chuỗi dài. Đây là tài liệu nhập môn được sử dụng rộng rãi cho người mới học LSTM. Recurrent Neural Network Regularization Bài báo đề xuất cách áp dụng dropout phù hợp cho LSTM. Nó giải thích rằng dropout nên được áp dụng lên non-recurrent connection chứ không phải recurrent connection. Công trình này góp phần giảm overfitting trong các recurrent neural network lớn. Order Matters: Sequence to Sequence for Sets Bài báo phân tích ảnh hưởng của thứ tự đầu vào và đầu ra đến hiệu năng trong mô hình sequence-to-sequence. Nó bàn về các vấn đề phát sinh khi xử lý dữ liệu vốn là tập hợp bằng mô hình tuần tự. Bài báo cung cấp thảo luận về cách mô hình hóa các cấu trúc dữ liệu không có thứ tự. Chuyển dịch cấu trúc dẫn tới attention và transformer Neural Machine Translation by Jointly Learning to Align and Translate Đây là bài báo cốt lõi đưa attention mechanism vào machine translation. Nó giúp mô hình không còn phụ thuộc vào một vector tóm tắt cố định duy nhất mà có thể tham chiếu trực tiếp đến các từ nguồn liên quan. Công trình này trở thành nền tảng quan trọng cho các thay đổi kiến trúc sau đó trong mô hình xử lý ngôn ngữ tự nhiên. Pointer Networks Đây là mô hình tuần tự được thiết kế để đầu ra trỏ tới một vị trí cụ thể trong đầu vào. Nó phù hợp với những bài toán mà đáp án được biểu diễn bằng việc chọn hoặc sắp xếp các phần tử đầu vào. Bài báo đưa ra một cấu trúc mô hình có thể áp dụng cho tối ưu hóa tổ hợp và các bài toán dự đoán có cấu trúc. Attention Is All You Need Đây là bài báo đề xuất kiến trúc transformer. Nó loại bỏ recurrence và xử lý dữ liệu tuần tự chỉ bằng self-attention. Đây trở thành nền tảng kiến trúc cốt lõi của các large language model hiện đại. The Annotated Transformer Đây là tài liệu giải thích bài báo transformer theo từng dòng kèm mã có thể chạy được. Nó giúp hiểu cấu trúc của bài báo gốc từ góc nhìn triển khai thực tế. Tài liệu này đóng vai trò thu hẹp khoảng cách giữa bài báo nghiên cứu và triển khai trong thực tiễn. Bộ nhớ, suy luận quan hệ và học cấu trúc đồ thị Neural Turing Machines Đây là mô hình kết hợp neural network với bộ nhớ ngoài có thể đọc và ghi. Nó điều khiển bộ nhớ thông qua attention khả vi. Bài báo cho thấy khả năng học các thuật toán đơn giản từ dữ liệu ví dụ. A Simple Neural Network Module for Relational Reasoning Đây là bài báo đề xuất relation network. Nó bổ sung vào neural network một mô-đun có thể suy luận quan hệ giữa các cặp đối tượng. Bài báo đưa ra một cấu trúc hữu ích cho suy luận thị giác và giải quyết bài toán dựa trên quan hệ. Relational Recurrent Neural Networks Công trình này kết hợp bộ nhớ dựa trên self-attention vào recurrent network. Nó được thiết kế để các bộ nhớ được lưu trữ có thể tương tác với nhau. Mục tiêu là cải thiện hiệu năng ở các tác vụ cần suy luận quan hệ theo thời gian. Neural Message Passing for Quantum Chemistry Bài báo giải thích graph neural network theo cách thống nhất dưới khung message passing. Nó áp dụng học dựa trên đồ thị vào bài toán dự đoán thuộc tính của cấu trúc phân tử. Có thể xem đây là bài báo sắp xếp nền tảng cấu trúc cho nghiên cứu graph neural network. Huấn luyện mô hình quy mô lớn và scaling laws Scaling Laws for Neural Language Models Bài báo đo lường rằng loss của language model giảm theo dạng power law ổn định khi kích thước mô hình, dữ liệu và lượng tính toán tăng lên. Nó cung cấp cơ sở thực nghiệm cho việc xây dựng các mô hình quy mô lớn. Về sau, công trình này trở thành tiêu chí quan trọng cho chiến lược phát triển large language model. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Bài báo đề xuất phương pháp pipeline parallelism để huấn luyện các mạng neural khổng lồ trên nhiều thiết bị. Nó phân phối công việc giữa các thiết bị một cách hiệu quả, giúp việc huấn luyện mô hình lớn trở nên thực tiễn hơn. Công trình này cung cấp lời giải ở góc độ hạ tầng huấn luyện cần thiết cho việc mở rộng kích thước mô hình. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin Đây là hệ thống xử lý nhận dạng giọng nói tiếng Anh và tiếng Trung theo cách end-to-end. Nó học chuỗi giọng nói bằng connectionist temporal classification. Công trình này cho thấy tiềm năng của mô hình nhận dạng giọng nói có thể mở rộng sang các môi trường ngôn ngữ khác nhau. Hiểu việc học từ góc nhìn lý thuyết thông tin, nén và độ phức tạp Keeping Neural Networks Simple by Minimizing the Description Length of the Weights Đây là nghiên cứu ban đầu diễn giải khả năng khái quát hóa của neural network thông qua độ dài mô tả của trọng số. Nó đưa ra góc nhìn rằng mô hình tốt là mô hình có các trọng số có thể được mô tả bằng ít bit hơn. Bài báo giải thích mối quan hệ giữa nén và khái quát hóa từ góc nhìn lý thuyết thông tin. A Tutorial Introduction to the Minimum Description Length Principle Đây là tài liệu hướng dẫn giới thiệu nguyên lý độ dài mô tả tối thiểu. Nó diễn giải việc học là quá trình tìm ra mô hình mô tả dữ liệu ngắn gọn nhất. Tài liệu cung cấp các khái niệm cơ bản cần thiết để hiểu lựa chọn mô hình và việc học dựa trên nén. Kolmogorov Complexity Đây là lý thuyết bàn về độ dài của chương trình ngắn nhất có thể sinh ra một chuỗi. Nó cung cấp nền tảng hình thức cho description length và algorithmic randomness. Lý thuyết này kết nối với các thảo luận về nén, khái quát hóa và độ phức tạp trong mô hình AI. The First Law of Complexodynamics Đây là bài viết khám phá quy luật giải thích vì sao độ phức tạp trong hệ kín lại tăng rồi giảm. Nó không đồng nhất độ phức tạp đơn thuần với entropy mà xem đó là một đặc tính động lực học riêng. Bài viết đặt ra các câu hỏi khái niệm về sự biến đổi theo thời gian của các hệ thống phức tạp. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton Đây là nghiên cứu mô hình hóa quá trình cà phê và kem trộn lẫn bằng cellular automata. Nó phân tích hiện tượng độ phức tạp tăng rồi giảm khi hệ tiến tới trạng thái cân bằng. Công trình này cho thấy nỗ lực định lượng sự biến đổi theo thời gian của độ phức tạp. Mô hình sinh và khái niệm trí tuệ phổ quát Variational Lossy Autoencoder Đây là mô hình kết hợp variational autoencoder với autoregressive decoder. Nó đề xuất cách kiểm soát thông tin nào cần được latent code giữ lại. Bài báo bàn về sự cân bằng giữa học biểu diễn và bảo toàn thông tin trong mô hình sinh. Machine Super Intelligence Đây là luận án tiến sĩ đề xuất phương pháp đo lường phổ quát cho trí tuệ máy. Nó khảo sát về mặt lý thuyết các đặc tính và hệ quả của những tác nhân cực kỳ mạnh. Có thể xem đây là một trong những nền tảng hình thức của các thảo luận về AGI và siêu trí tuệ. Kết luận Danh sách tham khảo cô đọng con đường phát triển cốt lõi của AI hiện đại Danh sách này sắp xếp các khái niệm chính đã dẫn dắt sự phát triển của AI hiện đại theo từng dòng chảy công nghệ. Nó cho thấy sự chuyển dịch cấu trúc bắt đầu từ các mô hình computer vision ban đầu, rồi nối sang RNN, LSTM, attention, Transformer và scaling laws. Danh sách cũng bao quát rộng từ tối ưu hóa neural network, huấn luyện quy mô lớn, học cấu trúc đồ thị đến lý thuyết thông tin và lý thuyết độ phức tạp. Đây không chỉ là danh sách bài báo của một lĩnh vực đơn lẻ mà gần hơn với một lộ trình học tập nhiều tầng để hiểu AI hiện đại. Với các nhà nghiên cứu và nhà phát triển AI, nó có thể được dùng như tài liệu nền tảng để đồng thời nắm bắt bối cảnh lịch sử, các nguyên lý cốt lõi và hướng nghiên cứu của công nghệ này.

(30papers.com)

21 điểm bởi baeba 4 giờ trước | 2 bình luận | Chia sẻ qua WhatsApp

Dựa trên danh sách các bài báo AI cốt lõi được cho là Ilya Sutskever đã giới thiệu cho John Carmack, đây là một trang web tập hợp các bài báo nền tảng về machine learning theo cách giúp người mới dễ theo dõi hơn
Danh sách đi theo các dòng phát triển chính của AI hiện đại như deep learning, computer vision, mô hình chuỗi, attention, transformer, graph neural network, scaling laws, lý thuyết thông tin và lý thuyết độ phức tạp
Không chỉ liệt kê bài báo, trang còn gom cả ghi chú bài giảng, bài viết giải thích và phần diễn giải dựa trên mã nguồn để hạ thấp rào cản tiếp cận bài báo gốc
Độc giả muốn hiểu các large language model và hệ thống deep learning hiện đại có thể xem tổng quan điểm khởi đầu của kiến trúc, kỹ thuật huấn luyện và lý thuyết độ phức tạp tại một nơi
Ban đầu danh sách được biết đến là gồm 30 bài báo, nhưng hiện tại trang web mới chỉ sắp xếp 27 mục

Giới thiệu

Danh sách tổng hợp các tài liệu cốt lõi về sự phát triển của AI

Trang web này là một dự án tập hợp các bài báo và tài liệu học tập đã tạo ra những bước ngoặt quan trọng trong nghiên cứu AI.
Danh sách được xây dựng dựa trên tin đồn rằng Ilya Sutskever đã đề xuất chúng cho John Carmack.
Tác giả trang web cho biết hiện mới thu thập được 27 trong tổng số 30 bài báo.
Mỗi mục bao gồm tiêu đề bài báo, tóm tắt nội dung cốt lõi và thông tin về các tác giả đóng góp chính.
Mục đích của tài liệu là sắp xếp các ý tưởng nền tảng đứng sau công nghệ AI hiện đại để có thể nắm bắt chúng trong một cái nhìn tổng quan.

Nội dung chính

Sự phát triển của computer vision và convolutional neural network

CS231n: Convolutional Neural Networks for Visual Recognition
- Đây là tài liệu học tập giải thích convolutional neural network từ nền tảng cơ bản.
- Nội dung đi từng bước từ bộ phân loại tuyến tính đến các mô hình nhận dạng ảnh sâu.
- Nó đóng vai trò là tài liệu nhập môn để học CNN trong lĩnh vực computer vision.
ImageNet Classification with Deep Convolutional Neural Networks
- Đây là bài báo AlexNet, đã giành chiến thắng tại cuộc thi ImageNet với khoảng cách hiệu năng lớn.
- Bài báo chứng minh hiệu quả của deep convolutional neural network trong phân loại ảnh quy mô lớn.
- Đây được đánh giá là bài báo tiêu biểu đã khởi phát kỷ nguyên deep learning hiện đại.
Deep Residual Learning for Image Recognition
- Đây là bài báo ResNet, giới thiệu kết nối residual.
- Mạng được thiết kế để học phần thay đổi so với đầu vào thay vì toàn bộ phép biến đổi.
- Nó giúp việc huấn luyện mạng neural rất sâu ở quy mô hàng trăm lớp trở nên khả thi.
Identity Mappings in Deep Residual Networks
- Đây là nghiên cứu tiếp nối ResNet, phân tích vì sao shortcut đồng nhất lại hiệu quả.
- Bài báo đề xuất pre-activation residual block để cải thiện cấu trúc mạng residual.
- Nó góp phần nâng cao độ ổn định tối ưu hóa và hiệu năng của mạng sâu.
Multi-Scale Context Aggregation by Dilated Convolutions
- Bài báo đưa ra phương pháp mở rộng receptive field bằng dilated convolution mà không làm mất độ phân giải.
- Cách này cho phép tận dụng thông tin ngữ cảnh rộng hơn trong các tác vụ dense prediction như phân đoạn ảnh.
- Nó góp phần phản ánh đặc trưng trên phạm vi rộng trong khi vẫn giữ được thông tin không gian chi tiết.

Mô hình chuỗi và cách giải quyết bài toán phụ thuộc dài hạn

The Unreasonable Effectiveness of Recurrent Neural Networks
- Đây là một bài blog thực tiễn thử nghiệm sinh văn bản bằng RNN ở cấp ký tự.
- Nó cho thấy qua ví dụ rằng RNN có thể nắm bắt phần lớn cấu trúc và mẫu trong dữ liệu.
- Bài viết giải thích một cách trực quan tiềm năng của việc mô hình hóa dữ liệu tuần tự.
Understanding LSTM Networks
- Đây là tài liệu giải thích trực quan cấu trúc cổng và cách truyền thông tin của LSTM.
- Tài liệu tập trung vào việc hiểu nguyên lý duy trì thông tin trong các chuỗi dài.
- Đây là tài liệu nhập môn được sử dụng rộng rãi cho người mới học LSTM.
Recurrent Neural Network Regularization
- Bài báo đề xuất cách áp dụng dropout phù hợp cho LSTM.
- Nó giải thích rằng dropout nên được áp dụng lên non-recurrent connection chứ không phải recurrent connection.
- Công trình này góp phần giảm overfitting trong các recurrent neural network lớn.
Order Matters: Sequence to Sequence for Sets
- Bài báo phân tích ảnh hưởng của thứ tự đầu vào và đầu ra đến hiệu năng trong mô hình sequence-to-sequence.
- Nó bàn về các vấn đề phát sinh khi xử lý dữ liệu vốn là tập hợp bằng mô hình tuần tự.
- Bài báo cung cấp thảo luận về cách mô hình hóa các cấu trúc dữ liệu không có thứ tự.

Chuyển dịch cấu trúc dẫn tới attention và transformer

Neural Machine Translation by Jointly Learning to Align and Translate
- Đây là bài báo cốt lõi đưa attention mechanism vào machine translation.
- Nó giúp mô hình không còn phụ thuộc vào một vector tóm tắt cố định duy nhất mà có thể tham chiếu trực tiếp đến các từ nguồn liên quan.
- Công trình này trở thành nền tảng quan trọng cho các thay đổi kiến trúc sau đó trong mô hình xử lý ngôn ngữ tự nhiên.
Pointer Networks
- Đây là mô hình tuần tự được thiết kế để đầu ra trỏ tới một vị trí cụ thể trong đầu vào.
- Nó phù hợp với những bài toán mà đáp án được biểu diễn bằng việc chọn hoặc sắp xếp các phần tử đầu vào.
- Bài báo đưa ra một cấu trúc mô hình có thể áp dụng cho tối ưu hóa tổ hợp và các bài toán dự đoán có cấu trúc.
Attention Is All You Need
- Đây là bài báo đề xuất kiến trúc transformer.
- Nó loại bỏ recurrence và xử lý dữ liệu tuần tự chỉ bằng self-attention.
- Đây trở thành nền tảng kiến trúc cốt lõi của các large language model hiện đại.
The Annotated Transformer
- Đây là tài liệu giải thích bài báo transformer theo từng dòng kèm mã có thể chạy được.
- Nó giúp hiểu cấu trúc của bài báo gốc từ góc nhìn triển khai thực tế.
- Tài liệu này đóng vai trò thu hẹp khoảng cách giữa bài báo nghiên cứu và triển khai trong thực tiễn.

Bộ nhớ, suy luận quan hệ và học cấu trúc đồ thị

Neural Turing Machines
- Đây là mô hình kết hợp neural network với bộ nhớ ngoài có thể đọc và ghi.
- Nó điều khiển bộ nhớ thông qua attention khả vi.
- Bài báo cho thấy khả năng học các thuật toán đơn giản từ dữ liệu ví dụ.
A Simple Neural Network Module for Relational Reasoning
- Đây là bài báo đề xuất relation network.
- Nó bổ sung vào neural network một mô-đun có thể suy luận quan hệ giữa các cặp đối tượng.
- Bài báo đưa ra một cấu trúc hữu ích cho suy luận thị giác và giải quyết bài toán dựa trên quan hệ.
Relational Recurrent Neural Networks
- Công trình này kết hợp bộ nhớ dựa trên self-attention vào recurrent network.
- Nó được thiết kế để các bộ nhớ được lưu trữ có thể tương tác với nhau.
- Mục tiêu là cải thiện hiệu năng ở các tác vụ cần suy luận quan hệ theo thời gian.
Neural Message Passing for Quantum Chemistry
- Bài báo giải thích graph neural network theo cách thống nhất dưới khung message passing.
- Nó áp dụng học dựa trên đồ thị vào bài toán dự đoán thuộc tính của cấu trúc phân tử.
- Có thể xem đây là bài báo sắp xếp nền tảng cấu trúc cho nghiên cứu graph neural network.

Huấn luyện mô hình quy mô lớn và scaling laws

Scaling Laws for Neural Language Models
- Bài báo đo lường rằng loss của language model giảm theo dạng power law ổn định khi kích thước mô hình, dữ liệu và lượng tính toán tăng lên.
- Nó cung cấp cơ sở thực nghiệm cho việc xây dựng các mô hình quy mô lớn.
- Về sau, công trình này trở thành tiêu chí quan trọng cho chiến lược phát triển large language model.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Bài báo đề xuất phương pháp pipeline parallelism để huấn luyện các mạng neural khổng lồ trên nhiều thiết bị.
- Nó phân phối công việc giữa các thiết bị một cách hiệu quả, giúp việc huấn luyện mô hình lớn trở nên thực tiễn hơn.
- Công trình này cung cấp lời giải ở góc độ hạ tầng huấn luyện cần thiết cho việc mở rộng kích thước mô hình.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- Đây là hệ thống xử lý nhận dạng giọng nói tiếng Anh và tiếng Trung theo cách end-to-end.
- Nó học chuỗi giọng nói bằng connectionist temporal classification.
- Công trình này cho thấy tiềm năng của mô hình nhận dạng giọng nói có thể mở rộng sang các môi trường ngôn ngữ khác nhau.

Hiểu việc học từ góc nhìn lý thuyết thông tin, nén và độ phức tạp

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- Đây là nghiên cứu ban đầu diễn giải khả năng khái quát hóa của neural network thông qua độ dài mô tả của trọng số.
- Nó đưa ra góc nhìn rằng mô hình tốt là mô hình có các trọng số có thể được mô tả bằng ít bit hơn.
- Bài báo giải thích mối quan hệ giữa nén và khái quát hóa từ góc nhìn lý thuyết thông tin.
A Tutorial Introduction to the Minimum Description Length Principle
- Đây là tài liệu hướng dẫn giới thiệu nguyên lý độ dài mô tả tối thiểu.
- Nó diễn giải việc học là quá trình tìm ra mô hình mô tả dữ liệu ngắn gọn nhất.
- Tài liệu cung cấp các khái niệm cơ bản cần thiết để hiểu lựa chọn mô hình và việc học dựa trên nén.
Kolmogorov Complexity
- Đây là lý thuyết bàn về độ dài của chương trình ngắn nhất có thể sinh ra một chuỗi.
- Nó cung cấp nền tảng hình thức cho description length và algorithmic randomness.
- Lý thuyết này kết nối với các thảo luận về nén, khái quát hóa và độ phức tạp trong mô hình AI.
The First Law of Complexodynamics
- Đây là bài viết khám phá quy luật giải thích vì sao độ phức tạp trong hệ kín lại tăng rồi giảm.
- Nó không đồng nhất độ phức tạp đơn thuần với entropy mà xem đó là một đặc tính động lực học riêng.
- Bài viết đặt ra các câu hỏi khái niệm về sự biến đổi theo thời gian của các hệ thống phức tạp.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- Đây là nghiên cứu mô hình hóa quá trình cà phê và kem trộn lẫn bằng cellular automata.
- Nó phân tích hiện tượng độ phức tạp tăng rồi giảm khi hệ tiến tới trạng thái cân bằng.
- Công trình này cho thấy nỗ lực định lượng sự biến đổi theo thời gian của độ phức tạp.

Mô hình sinh và khái niệm trí tuệ phổ quát

Variational Lossy Autoencoder
- Đây là mô hình kết hợp variational autoencoder với autoregressive decoder.
- Nó đề xuất cách kiểm soát thông tin nào cần được latent code giữ lại.
- Bài báo bàn về sự cân bằng giữa học biểu diễn và bảo toàn thông tin trong mô hình sinh.
Machine Super Intelligence
- Đây là luận án tiến sĩ đề xuất phương pháp đo lường phổ quát cho trí tuệ máy.
- Nó khảo sát về mặt lý thuyết các đặc tính và hệ quả của những tác nhân cực kỳ mạnh.
- Có thể xem đây là một trong những nền tảng hình thức của các thảo luận về AGI và siêu trí tuệ.

Kết luận

Danh sách tham khảo cô đọng con đường phát triển cốt lõi của AI hiện đại

Danh sách này sắp xếp các khái niệm chính đã dẫn dắt sự phát triển của AI hiện đại theo từng dòng chảy công nghệ.
Nó cho thấy sự chuyển dịch cấu trúc bắt đầu từ các mô hình computer vision ban đầu, rồi nối sang RNN, LSTM, attention, Transformer và scaling laws.
Danh sách cũng bao quát rộng từ tối ưu hóa neural network, huấn luyện quy mô lớn, học cấu trúc đồ thị đến lý thuyết thông tin và lý thuyết độ phức tạp.
Đây không chỉ là danh sách bài báo của một lĩnh vực đơn lẻ mà gần hơn với một lộ trình học tập nhiều tầng để hiểu AI hiện đại.
Với các nhà nghiên cứu và nhà phát triển AI, nó có thể được dùng như tài liệu nền tảng để đồng thời nắm bắt bối cảnh lịch sử, các nguyên lý cốt lõi và hướng nghiên cứu của công nghệ này.

2 bình luận

GN⁺ 2 giờ trước

Ý kiến trên Hacker News

Tôi không ngờ bài này lại được quan tâm đến vậy; ban đầu tôi chỉ nghĩ đây là một dự án nhỏ để giúp bạn bè bắt đầu đọc bài báo nghiên cứu
Có nhiều phản hồi rằng phần nền và animation quá mạnh, nên có lẽ tôi đã quá nghiêng về việc làm cho nó trông ngầu thay vì tính dễ dùng
Vì vậy tôi đã thêm công tắc để có thể tắt riêng chuyển động của trang và nền bài báo
Cũng có ý kiến muốn có cảm nhận cá nhân hơn cho từng bài báo; với một số bài phổ biến thì tôi đã viết trên X tại @notmcrowley
Nếu hữu ích, tôi có thể thêm chúng vào site, nhưng tôi chưa từng học ML hay AI một cách chính quy nên các diễn giải chỉ là cá nhân và có thể không đúng
Nếu ai có nhiều kinh nghiệm hơn muốn đóng góp thì cứ liên hệ
- Với những người chưa từng dùng Twitter và cũng không định tạo tài khoản, sẽ rất tốt nếu thêm những cảm nhận cá nhân đó vào site
  Tôi cũng đang muốn bắt đầu đọc bài báo nghiên cứu giống như bạn bè của bạn, nên bộ sưu tập này đúng là tài liệu rất hợp lúc này
Có người đăng trên X rằng “đây là 30 bài báo của Ilya”, nhưng không có nguồn, cũng không nói lấy từ đâu, và người đó cũng không có liên hệ gì với Ilya hay Carmack
Rồi dựa trên đó, ai đó dùng vibe coding để chắp vá một website vừa đủ dùng, và nó được lên trang nhất HN — đúng là tình huống hiện tại sao?
- Một sinh viên năm nhất ngành khoa học máy tính thấy hứng thú với một chủ đề nên làm một site tập hợp bài báo nhỏ và đăng lên HN để chia sẻ với người khác
  Và đúng là có ai đó đã để lại một bình luận không mấy thiện chí
- Bộ sưu tập tài liệu dành cho dân geek về cơ bản chỉ là mồi nhử thôi
  Kiểu bạn bấm bookmark và upvote rồi mãi mãi không bao giờ xem lại nữa :)
- Trên site cũng có ghi nguồn ở mức nào đó
  Nó viết là “danh sách bài báo được đồn là Ilya Sutskever đã đưa cho John Carmack”
  Manning cũng có một cuốn sách gọi là danh sách của Ilya
  https://www.manning.com/books/sutskevers-list
- Lại thêm một người phản đối nữa, trong khi đã chẳng thiếu rồi
Tôi là tác giả. Tôi là sinh viên năm nhất ngành khoa học máy tính tại Trinity College Dublin; tôi làm cái này vì khi bắt đầu đọc bài báo nghiên cứu, tôi đã đốt rất nhiều lượt dùng Claude chỉ để hỏi những câu mà chắc người khác cũng từng hỏi rồi
Site này chỉ là một side project và chắc chắn vẫn còn đang hoàn thiện
Tôi có thể trả lời câu hỏi hoặc nhận PR trên GitHub
- Sẽ hữu ích nếu có tùy chọn tắt animation và hiển thị các liên kết bài báo dưới dạng một danh sách đơn giản
- Tôi thấy sẽ thú vị nếu được nghe mục tiêu của site là gì
  Tôi tò mò liệu nó chỉ là host lại danh sách và chuyển các bài báo sang một định dạng mới hay không
  Ít nhất tôi đã kỳ vọng sẽ có chú thích về những gì bạn học được từ từng bài báo
Sẽ tốt hơn nếu chúng được sắp xếp theo thứ tự đọc được khuyến nghị hoặc có tính logic
Ví dụ, bài báo giới thiệu cơ chế attention có lẽ nên đứng trước “Attention Is All You Need”
- Đồng ý. Nếu các bài báo đang theo thứ tự đọc logic, sẽ rất hữu ích nếu nói rõ điều đó ở ngay đầu trang
Đây có thể là bài X gốc đã làm danh sách này nổi tiếng. Nó được đăng năm 2024 và có 876 nghìn lượt xem
https://x.com/keshavchan/status/1787861946173186062
Tôi không nghĩ việc danh sách này có thật sự do Ilya tạo ra hay không đáng để tranh luận nhiều
Nhiều bài trong số này được công nhận rộng rãi là tài liệu giáo dục, ví dụ annotated transformer, unreasonable effectiveness of RNNs, understanding LSTM networks
Những bài khác là các bài báo tiêu biểu mà ai quan tâm đến lĩnh vực này đọc cũng sẽ thu được điều gì đó: Krizhevsky et al. (2012) giới thiệu AlexNet, Bahdanau et al. (2014) giới thiệu attention, He et al. (2015) giới thiệu ResNet, Vaswani et al. (2017) giới thiệu Transformer
Các bài còn lại chuyên sâu hơn, nhưng trong số đó tôi nghĩ Kaplan et al. (2020) của OpenAI có lẽ là quan trọng nhất
Nếu là người mới bắt đầu, khi chưa quen đọc bài báo, tôi khuyên nên đọc Welch Labs Illustrated Guide To AI
Đó là một cuốn sách đẹp và tôi đã rất thích khi đọc
Sau đó đọc những bài báo này thì có lẽ sẽ hiểu sâu hơn
Lúc đầu tôi tưởng là “30 bài báo hàng đầu do Ilya viết”, nên đã hơi bối rối trong chốc lát vì sao “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” lại nằm trong danh sách
Câu “chưa đọc hết các phiên bản website từ đầu đến cuối” cũng không rõ “phiên bản website” là nội dung thực tế hay là “phần giải thích”
Dù là cách nào thì cũng có vẻ là tín hiệu cảnh báo lớn
Sau khi lần đầu thấy danh sách này, tôi đã làm PdfToMp3 để nghe các bài báo này
Giờ nó đã phát triển thành ListenDock
Điều thú vị là PdfToMp3 có trước NotebookLM, và khi đó đã có cả “overview”, nhưng lúc ấy chúng tôi gọi là phần giải thích của giáo viên
Ví dụ “Teacher Explanation” cho bài báo “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” ở đây
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- Tôi không hiểu vì sao mỗi lần đăng gì đó ở đây lại bị downvote
  Không biết là vì trông quá giống spam, vì là AI, hay có bot downvote nào đang bám theo tôi
Các bài báo lý thuyết về độ phức tạp Kolmogorov nổi bật trong danh sách
Với những ai chưa quen, Ilya lập luận rằng lý do mạng nơ-ron tổng quát hóa được, tức là lý do ban đầu chúng hoạt động, là vì về cơ bản chúng tìm ra cách mô tả dữ liệu huấn luyện một cách đơn giản và hội tụ về giới hạn của độ phức tạp Kolmogorov [1]
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- Điều đó đúng với mọi mô hình thống kê, không phải một thuộc tính ma thuật riêng của mạng nơ-ron
Tôi thích cách trình bày danh sách
Trước hoặc trong khi đọc những bài báo này, xem vài bài nói chuyện hoặc podcast của Ilya có lẽ sẽ giúp nắm được bức tranh tổng thể và cách các công trình liên kết với nhau
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 giờ trước

Cảm ơn vì đã cung cấp danh sách các tài liệu có thể học để bước vào lĩnh vực LLM/AI hiện đại.

-> CNN dạy cách đọc không gian, RNN/LSTM dạy cách ghi nhớ thời gian, attention dạy cách tìm thông tin cần thiết, Transformer dạy cách song song hóa quá trình đó, các hướng GNN/Relation/Memory dạy cách tính toán quan hệ giữa các đối tượng, các bài báo về scaling/infrastructure dạy cách huấn luyện nó ở quy mô lớn, còn các hướng MDL/Kolmogorov/complexity cung cấp cách suy nghĩ về vì sao học là vấn đề của nén và khái quát hóa.

Nói cách khác, 27 bài báo trong danh sách này là một tập tài liệu cho thấy từ nhiều góc độ quan điểm rằng “hệ thống thông minh sẽ trở nên mạnh mẽ khi kết hợp được inductive bias tốt, luồng thông tin ổn định, trí nhớ có chọn lọc, tính toán quan hệ, học ở quy mô lớn, và việc phát hiện ra cấu trúc có thể nén được”.