Ilya Sutskever: "Nếu học được tất cả những điều này, bạn sẽ biết 90% những gì quan trọng"

 (reddit.com)
6 điểm bởi GN⁺ 2024-05-19 | 3 bình luận | Chia sẻ qua WhatsApp

Ilya Sutskever đã đề xuất một danh sách tài liệu đọc liên quan đến machine learning/AI

  • The Annotated Transformer
  • The First Law of Complexodynamics
  • The Unreasonable Effectiveness of RNNs
  • Understanding LSTM Networks
  • Recurrent Neural Network Regularization
  • Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
  • Pointer Networks
  • ImageNet Classification with Deep CNNs
  • Order Matters: Sequence to sequence for sets
  • GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
  • Deep Residual Learning for Image Recognition
  • Multi-Scale Context Aggregation by Dilated Convolutions
  • Neural Quantum Chemistry
  • Attention Is All You Need
  • Neural Machine Translation by Jointly Learning to Align and Translate
  • Identity Mappings in Deep Residual Networks
  • A Simple NN Module for Relational Reasoning
  • Variational Lossy Autoencoder
  • Relational RNNs
  • Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
  • Neural Turing Machines
  • Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
  • Scaling Laws for Neural LMs
  • A Tutorial Introduction to the Minimum Description Length Principle
  • Machine Super Intelligence Dissertation
  • Từ trang 434 trở đi: Komogrov Complexity
  • CS231n Convolutional Neural Networks for Visual Recognition

Tổng hợp liên kết: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

Bài viết liên quan

3 bình luận

 
lemonmint 2024-05-19

Có vẻ đang có vấn đề với việc bot Neo thu thập dữ liệu.
 
xguru 2024-05-20

Có vẻ Reddit đang chặn. Tôi đã chèn thủ công vào rồi ;)
 
GN⁺ 2024-05-19
Ý kiến trên Hacker News

Tóm tắt các bình luận trên Hacker News

  • Tiêu đề này khiến quy mô của việc này trông nhỏ hơn thực tế. Nếu bấm vào xem các mục này là gì:

    • Một mục là cả một khóa học đầy đủ về mạng nơ-ron tích chập liên kết
    • Một mục là giáo trình dày 500 trang liên kết
    • Một mục khác là giáo trình dài 80 trang liên kết
    • Có thể làm được nếu học danh sách này toàn thời gian trong khoảng 1 năm. Tùy ưu tiên mà điều đó có thể đáng giá.

  • Cách đây một thời gian tôi cũng đã sao chép danh sách tại liên kết để tiện dùng wget hơn (ví dụ tải toàn bộ PDF trên arXiv)

    • Có thể dùng lệnh wget để tải tất cả PDF trên arXiv.
    • Tôi và một người bạn đã dùng pdfunite để gộp chúng thành một PDF, rồi in thành sách đóng gáy xoắn ở tiệm in. Thành phẩm rất đẹp.

  • Cần lưu ý là chưa có xác nhận đây là danh sách thật.

    • Chưa có xác nhận rằng đây có phải danh sách thật hay không.
    • Người ta nói đây là danh sách mà Ilya đã đưa cho John Carmack một năm trước.

  • Nếu chưa có nền tảng khoa học máy tính thì cần bao lâu để học các kiến thức tiên quyết trước khi học những thứ này?

    • Đọc qua danh sách thì ngay cả khoảng một nửa số tiêu đề cũng khó hiểu.
    • Tôi tự hỏi nếu bắt đầu với danh sách này thì liệu có thể hiểu được hay nên bắt đầu từ chỗ khác.

  • Điều mọi người hay quên là nếu không có một mục tiêu đúng đắn, cụ thể và hữu hình, thì dù có đọc bao nhiêu bài báo cốt lõi hay thú vị, bạn vẫn sẽ chẳng nhớ được gì.

    • Nếu không có mục tiêu rõ ràng và cụ thể, thì dù có đọc bao nhiêu bài báo cũng sẽ không đọng lại gì.

  • Có một vài cuộc thảo luận trước đây, từ khoảng tháng 10 năm 2022. Tôi tự hỏi bây giờ danh sách này đã lỗi thời đến mức nào.

    • Đã có một vài cuộc thảo luận từ tháng 10 năm 2022.
    • Tôi tự hỏi danh sách này cũ đến mức nào rồi.

  • Đây chỉ là thư mục bookmark của ai đó thôi. Bằng chứng đâu cho thấy đây là những thứ được Ilya khuyến nghị?

    • Không có bằng chứng nào cho thấy danh sách này là do Ilya khuyến nghị. Nó có thể chỉ là thư mục bookmark của ai đó.

  • Lập luận rằng đây là 90% những gì quan trọng trong ML có vẻ hơi mạnh tay.

    • Khẳng định rằng danh sách này chiếm 90% những gì quan trọng trong machine learning là khá táo bạo. Các chủ đề quan trọng như reinforcement learning hay graph neural network đều bị thiếu.

  • Trong này hoàn toàn không có gì về LLM, trong khi in-context learning, retrieval augmentation, dùng công cụ và đa phương thức mới thực sự là những hướng đang bùng nổ.

    • Danh sách không có nội dung nào về mô hình ngôn ngữ lớn (LLM). Các chủ đề quan trọng như học theo ngữ cảnh, tăng cường truy hồi, sử dụng công cụ và đa phương thức đều bị thiếu.

  • Đọc 30 công trình không có nghĩa là đã “học và hiểu”. Đặc biệt là nếu bắt đầu từ con số 0.

    • Đọc 30 bài báo không đồng nghĩa với việc đã “học và hiểu”. Nhất là khi bắt đầu từ số 0.