Hiểu về học sâu

Tóm tắt nội dung sách

• Cuốn sách "Understanding Deep Learning" do Simon J.D. Prince viết dự kiến sẽ được MIT Press xuất bản vào ngày 5 tháng 12 năm 2023.
• Cuốn sách bao quát nhiều chủ đề nhằm giúp người đọc hiểu về học sâu, và được giải thích theo cách mà cả các kỹ sư phần mềm mới vào nghề cũng có thể hiểu được.
• Nội dung chính của sách bao gồm học có giám sát, mạng nơ-ron, hàm mất mát, huấn luyện mô hình, đo lường hiệu năng, chính quy hóa, mạng tích chập, mạng dư, transformer, mạng nơ-ron đồ thị, học không giám sát, mạng đối kháng sinh, normalizing flows, variational autoencoder, mô hình khuếch tán, học tăng cường sâu, cách học sâu vận hành, và học sâu cùng các vấn đề đạo đức.

Tài liệu cho giảng viên

• Bộ đáp án dành cho giảng viên được cung cấp thông qua MIT Press khi xuất trình thông tin xác thực đủ điều kiện.
• Có thể yêu cầu bản sao phục vụ giảng dạy thông qua MIT Press.
• Tài liệu hình minh họa cho từng chương được cung cấp ở các định dạng PDF, SVG và PowerPoint.

Tài liệu cho sinh viên

• Cung cấp câu trả lời cho một số câu hỏi được chọn và các notebook Python, giúp sinh viên hiểu học sâu tốt hơn thông qua thực hành.
• Các notebook bao quát nhiều chủ đề như nền tảng toán học, học có giám sát, mạng nơ-ron nông, mạng nơ-ron sâu, hàm mất mát, huấn luyện mô hình, gradient và khởi tạo, đo lường hiệu năng, chính quy hóa, mạng tích chập, mạng dư, transformer, mạng nơ-ron đồ thị, mạng đối kháng sinh, normalizing flows, variational autoencoder, mô hình khuếch tán, học tăng cường sâu, cách học sâu vận hành, và học sâu cùng các vấn đề đạo đức.

Ý kiến của GN⁺

• Cuốn sách này mang đến sự hiểu biết toàn diện về học sâu, đồng thời bao gồm cả phần giải thích lý thuyết lẫn các ví dụ ứng dụng thực tế nên rất hữu ích cho người học.
• Bằng việc cung cấp tài liệu để các kỹ sư phần mềm mới vào nghề có thể học một cách có hệ thống từ những khái niệm cơ bản đến các chủ đề nâng cao của học sâu, cuốn sách tạo ra cơ hội nuôi dưỡng hứng thú và kiến thức trong lĩnh vực này.
• Điểm quan trọng nhất là sách đi kèm notebook Python cho thực hành và tài liệu cho giảng viên, giúp người học có cơ hội áp dụng kiến thức lý thuyết vào giải quyết các vấn đề thực tế.

[GN⁺]

Ý kiến trên Hacker News

• • Các bình luận nhìn chung chia thành hai quan điểm: 1) không cần kiến thức kiểu này vẫn có thể xây dựng hệ thống AI, 2) cần có kiến thức nền tảng này mới hiểu được điều gì thực sự đang diễn ra.
  • Cả hai góc nhìn đều đúng. Lĩnh vực này đang dần phân tách thành kỹ sư ML và nhà khoa học ML (hoặc nhà nghiên cứu).
  • Sẽ tốt hơn nếu trong đội có cả hai kiểu người. Các nhà khoa học có thể chậm hơn, còn kỹ sư sẽ tiến nhanh bằng cách thử nhiều API và mô hình mã nguồn mở khác nhau. Nhưng khi gặp trở ngại hoặc cần điều chỉnh thuật toán, nhiều kỹ sư có thể sẽ gặp khó khăn. Khi đó cần một tư duy R&D vốn xa lạ với nhiều kỹ sư.
  • Đây là lúc tầm quan trọng của nhà khoa học AI trở nên nổi bật.
• • Nếu bắt đầu học về AI từ bây giờ thì có thể tiến gần đến mức chuyên gia không?
  • Lo lắng về việc bắt đầu một hành trình có thể đòi hỏi bằng thạc sĩ hoặc tiến sĩ.
• • Tò mò không biết việc học lĩnh vực này giờ chỉ còn có ý nghĩa về mặt lịch sử, hay vẫn còn liên quan đến việc làm trong tương lai.
  • Họ hình dung OpenAI sẽ thống trị mọi thứ liên quan đến AI, nhưng tự hỏi liệu suy nghĩ đó có đúng không.
• • Cuốn sách này rất ấn tượng. Tôi thích chương về 'hiệu quả phi lý của deep learning'. Còn cuốn nào khác cũng đáng chú ý không?
• • Đã làm việc hàng chục năm tại các công ty công nghệ nổi tiếng trên nhiều nền tảng machine learning khác nhau. Mọi thứ từng làm đều nhanh chóng trở nên lỗi thời. Từ thuật toán ML đến nền tảng tính toán, tất cả đều thay đổi thất thường. Chỉ một số ít công ty tinh hoa đang dẫn dắt mọi đổi mới ML, nên với nhiều người, việc học những tài liệu như thế này có cảm giác khá mâu thuẫn.
• • Khó mà đánh giá những cuốn sách như thế này... (chỉ dựa vào mục lục thôi sao?)
  • Tác giả là ai?
  • Có ấn phẩm nào khác được đánh giá cao không?
  • Có review tốt từ những người hiểu lĩnh vực này không?
  • Có review tốt từ những sinh viên không biết gì không?
• • Có thể là câu hỏi ngớ ngẩn, nhưng: làm sao để mua sách bản in thực tế?
• • Có vẻ như hình minh họa PDF về 'vì sao deep learning hoạt động' đang trỏ sang 'deep learning và đạo đức', và trường hợp ngược lại cũng vậy.
• • Đây là một công trình tuyệt vời, và việc cung cấp miễn phí như vậy thật đáng kinh ngạc!!
• • Không có chương nào về RNN, nhưng thật thú vị khi thấy có chương về transformer, nhất là sau lần cuối tôi đọc cuốn 'Deep Learning' của Ian Goodfellow năm 2016.