Hệ thống học sâu
(dlsyscourse.org)- Đây là lịch giảng dạy môn Hệ thống học sâu của CMU trong giai đoạn 26/8~8/12, tổng hợp tại một nơi các ngày học, chủ đề, giảng viên, slide và liên kết video phiên bản năm 2022
- Thời điểm của một số buổi học có thể thay đổi, và slide của các buổi học sắp tới là tài liệu từ phiên bản trước nên sẽ được cập nhật trước khi lên lớp
- Phần đầu bắt đầu từ giới thiệu và ôn tập ML, rồi tiếp tục với automatic differentiation, tối ưu hóa, trừu tượng hóa và triển khai thư viện mạng nơ-ron, cùng triển khai mạng tích chập
- Phần giữa và cuối bao quát tăng tốc phần cứng cho đại số tuyến tính, GPU, RNN, Transformers, huấn luyện mô hình quy mô lớn, mô hình sinh, tùy biến mô hình tiền huấn luyện và triển khai mô hình
- Video bài giảng trực tuyến sẽ được công bố cùng slide khi có sẵn; lịch học cũng bao gồm các ngày nghỉ Fall Break, Democracy Day, Thanksgiving và phần trình bày dự án của sinh viên
Cách cung cấp tài liệu và phạm vi lịch học
- Toàn bộ môn học được cung cấp dưới dạng lịch tạm thời
- Thời điểm chính xác của một số buổi học có thể thay đổi
- Slide của các buổi học sắp tới là tài liệu bài giảng từ phiên bản trước, và slide đã được cập nhật sẽ được đăng trước mỗi buổi học
- Video bài giảng trực tuyến công khai sẽ được đăng cùng slide khi có thể cung cấp
- Bảng gồm ngày theo chuẩn CMU, số buổi và chủ đề, giảng viên, slide và video phiên bản năm 2022
- Giảng viên được hiển thị là Dettmers, Chen, Both, Students
Tiến trình môn học
- Từ cuối tháng 8 đến giữa tháng 9 là phần nền tảng của hệ thống học sâu
- 8/26: Introduction / Logistics
- 8/28: ML Refresher / Softmax Regression
- 9/2: Manual Neural Networks / Backprop
- 9/4: Automatic Differentiation
- 9/9: Automatic Differentiation Implementation
- Từ giữa tháng 9 đến đầu tháng 10, nội dung mở rộng sang huấn luyện mô hình và triển khai framework
- 9/11: Optimization
- 9/16: Neural Network Library Abstractions
- 9/18: Normalization, Dropout, + Implementation
- 9/23: NN Library Implementation
- 9/25: Convolutional Networks
- Từ cuối tháng 9 đến giữa tháng 10 là nội dung về tăng tốc phần cứng và triển khai CNN
- 9/30: Hardware Acceleration for Linear Algebra
- 10/2: Hardware Acceleration + GPUs
- 10/7: Hardware Acceleration Implementation
- 10/9: Convoluations Network Implementation
- 10/14, 10/16 nghỉ học do Fall Break
- Cuối tháng 10 là nội dung về mô hình hóa chuỗi và Transformers
- 10/21: Sequence Modeling + RNNs
- 10/23: Sequence Modeling Implementation
- 10/28: Transformers and Autoregressive Models
- 10/30: Transformers Implementation
- Từ tháng 11 trở đi là mô hình quy mô lớn, mô hình sinh, triển khai và trình bày dự án
- 11/4 nghỉ học do Democracy Day
- 11/6: Training Large Models
- 11/11: Generative Models
- 11/13: Generative Models Implementation
- 11/18: Customize Pretrained Models
- 11/20: Model Deployment
- 11/25: Future Directions / Q&A
- 11/27 nghỉ học do Thanksgiving
- 12/2, 12/4, 12/8 là lịch trình bày dự án của sinh viên
1 bình luận
Ý kiến trên Hacker News
Rất thích phần châm biếm những cái tên gần như chẳng có ý nghĩa trong deep learning, như “keys”, “queries”, “values” trên slide về phép tính self-attention
Họ cũng châm biếm việc nhét những tên như “forget gate”, “input gate”, “output gate” vào ngữ cảnh LSTM; ngược lại, chính nhờ kiểu giải thích này mà mình thấy tự tin rằng mình đang hiểu đúng chủ đề
Trước đây mình có cảm giác như đã bị các thuật ngữ gượng gạo dẫn đi sai hoàn toàn
Dù vậy, mình vẫn nghĩ có những cái tên dễ nhớ để dùng khi giải thích khái niệm bằng lời là điều tốt
cell_h = cell_(h-1) * forget_gate + tanh(linear(input_h)) * input_gateout_h = cell_h * output_gateNhư có thể thấy,
forget_gatenhân với một số trong khoảng[0, 1]để mask đầu vào,input_gatekiểm soát đầu vào bên ngoài, cònoutput_gatethì đương nhiên kiểm soát đầu raTài liệu giáo dục mở thật sự mang lại cảm giác rất ấm lòng
Khóa học này là một khóa khá độc đáo, nhập môn về biên dịch và triển khai machine learning
Trong hầu hết các khóa deep learning, phần triển khai được giao cho trợ giảng, rồi cũng không được ghi hình hay công khai, nhưng khóa này là ngoại lệ
Một ngoại lệ tốt khác là khóa NYU Deep Learning của Yann LeCun và Alfredo Canziani [0], trong đó toàn bộ các buổi thực hành “Practica” cũng được ghi hình và công khai. Canziani là một giáo viên tuyệt vời
[0]: https://atcold.github.io/pytorch-Deep-Learning
Hay. Mình cũng khá thích khóa deep learning của VU Amsterdam trên YouTube
Ít tập trung vào mảng hệ thống hơn, nhưng rất tốt nếu muốn nhập môn machine learning hiện đại dựa trên neural network
Không biết mùa thu này khóa học có được mở lại không. Có vẻ cần đăng ký nếu muốn nộp bài tập, nên hy vọng nó sẽ sớm mở lại
Rất mong chờ khi thấy MLSys phát triển
Các phương pháp deep learning đòi hỏi tính toán quá lớn, nên nhiều tiến bộ đã đến từ các thuật toán và phương pháp tối ưu hóa mới
Mình đã học khóa này khi nó được mở lần đầu lúc còn ở CMU; đó thật sự là một khóa học xuất sắc và được tổ chức rất tốt
Mình thích việc khóa học đề cập đến tăng tốc phần cứng. Đây là khoảng trống trong kiến thức của mình, một lĩnh vực mình đã muốn bắt đầu tìm hiểu