CS 886: Xu hướng nghiên cứu mới nhất về foundation model

• Một trong những khóa học AI của Đại học Waterloo, được mệnh danh là “MIT của Canada”
• Mỗi chương đều kèm theo slide giải thích, video bài giảng trên YouTube và các liên kết tài liệu tham khảo
• Chỉ riêng danh sách chủ đề và tài liệu tham khảo cũng đã có thể là một nguồn tham khảo rất tốt

Mục lục khóa học

Introduction to Foundation Models

1. Giới thiệu về Foundation Model
2. Hướng dẫn môn học
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. Language Model Pretraining

Large Language Models

9. Large Language Model
10. Scaling Law
11. Instruction Tuning & RLHF
12. Huấn luyện LLM hiệu quả
13. Suy luận LLM hiệu quả
14. Nén và làm thưa LLM
15. LLM Prompting

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. Tạo sinh hình ảnh
19. Tiền huấn luyện mô hình đa phương thức
20. Large Multimodal Model

Augmenting Foundation Models

21. Tăng cường bằng công cụ
22. Tăng cường truy xuất