MIT 6.S184: Nhập môn Flow Matching và mô hình khuếch tán

Giới thiệu về flow matching và mô hình khuếch tán

• Môn học khoa học máy tính 6.S184 của MIT là một khóa học về AI tạo sinh sử dụng phương trình vi phân ngẫu nhiên.
• Các mô hình khuếch tán và dựa trên dòng chảy đã trở thành công nghệ tối tân của AI tạo sinh trong nhiều loại dữ liệu khác nhau như hình ảnh, video và âm nhạc.
• Khóa học này hướng tới việc xây dựng nền tảng toán học của các mô hình đó từ đầu, và đến cuối khóa sinh viên sẽ tự tay xây dựng một mô hình khuếch tán ảnh đơn giản.
• Khóa học này rất phù hợp với những sinh viên muốn hiểu một cách bài bản cả lý thuyết lẫn thực hành của AI tạo sinh.

Ghi chú bài giảng

• Ghi chú bài giảng là phần cốt lõi của môn học và cung cấp phần giải thích độc lập cho toàn bộ tài liệu.
• Slide bài giảng được cung cấp như tài liệu hỗ trợ trực quan và không phải là tài liệu độc lập.

Bài giảng

• Bài 1: Mô hình dòng chảy và khuếch tán

  • Giới thiệu mô hình tạo sinh
  • Phương trình vi phân thường và phương trình vi phân ngẫu nhiên
  • Lấy mẫu trong mô hình dòng chảy và khuếch tán

• Bài 2: Xây dựng mục tiêu huấn luyện

  • Đường đi xác suất có điều kiện và biên
  • Phương trình liên tục và Fokker–Planck
  • Trường vector biên và hàm score biên

• Bài 3: Huấn luyện mô hình dòng chảy và khuếch tán

  • Flow matching
  • Score matching
  • Nhiều cách tiếp cận khác nhau cho mô hình khuếch tán

• Bài 4: Xây dựng bộ sinh ảnh

  • Guidance và sinh có điều kiện
  • Kiến trúc mạng nơ-ron
  • Khảo sát các mô hình tối tân

• Bài 5: Robotics tạo sinh

  • Bài giảng khách mời của Benjamin Burchfiel
  • Mô hình hành động quy mô lớn
  • Mô hình khuếch tán cho robotics

• Bài 6: Thiết kế protein tạo sinh

  • Bài giảng khách mời của Jason Yim
  • Thiết kế protein mới bằng AI
  • Flow matching cho sinh cấu trúc protein

Thực hành

• Có 3 bài thực hành đi kèm khóa học, cung cấp các bài tập xây dựng flow matching và mô hình khuếch tán theo từng bước.
• Có thể mở và thực hiện các bài thực hành trên Google Colab.

Giảng viên

• Peter và Ezra cùng giảng dạy khóa học, còn Tommi Jaakkola giữ vai trò bảo trợ và cố vấn.
• Peter Holderrieth là nghiên cứu sinh tiến sĩ, còn Ezra Erives là học viên thạc sĩ ngành kỹ thuật.

Điều kiện tiên quyết

• Cần có kiến thức về đại số tuyến tính, giải tích thực và lý thuyết xác suất cơ bản, đồng thời phải có kinh nghiệm với Python và PyTorch.

Lưu ý

• Khóa học này không đề cập đến mô hình ngôn ngữ lớn (LLM). LLM bao gồm dữ liệu rời rạc như văn bản, trong khi khóa học này tập trung vào dữ liệu trong không gian liên tục như hình ảnh, video và cấu trúc protein.

Lời cảm ơn

• Khóa học này sẽ không thể thực hiện được nếu không có sự hỗ trợ của nhiều cá nhân và tổ chức.
• Xin gửi lời cảm ơn tới Giáo sư Tommi Jaakkola, Lisa Bella và Ellen Reid của MIT EECS, cùng nhiều người khác.

[GN⁺]

Ý kiến Hacker News

• Khóa học MIT "6.S184: Introduction to Flow Matching and Diffusion Models" đã được công bố trên YouTube

  • Giảng dạy các thuật toán AI tạo sinh cho hình ảnh, video, protein, v.v. và các công cụ toán học để hiểu chúng
  • Flow và diffusion model là những chủ đề khó về mặt toán học, nên nhiều bài giảng chỉ dạy trực giác ở mức khái quát
  • Khóa học này cung cấp phần giới thiệu độc lập và chặt chẽ về mặt toán học, hướng đến người mới bắt đầu với AI
  • Hy vọng mọi người sẽ thích khóa học này

• Conditional normalizing flow là một trong những lời giải đẹp nhất cho các bài toán thiết kế ngược

  • Nếu có dữ liệu, bạn có thể huấn luyện nó
  • Ý tưởng biến đổi phân phối cơ sở bằng một hàm song ánh để di chuyển nó đến đúng vị trí là cực kỳ thanh nhã
  • Tôi đã gặp khó khăn khi xử lý đồng thời các mục tiêu liên tục và phân loại
  • Đây thực sự là một phương pháp rất tuyệt

• 10 năm qua là thời kỳ hoàng kim của giáo dục deep learning

  • Sự cạnh tranh trong việc cung cấp miễn phí nội dung học tập chất lượng cao thật thú vị

• Bài giảng rất hay, tôi muốn học ngay

  • Khóa học này tập trung vào không gian liên tục, nhưng cũng có rất nhiều điều thú vị đang diễn ra trong diffusion rời rạc
  • Tôi tự hỏi liệu có kế hoạch cho bài giảng tiếp theo không
  • Tôi biết rằng giảng viên Peter đã công bố một bài báo về diffusion rời rạc

• Tôi tự hỏi liệu có bộ sưu tập nào tổng hợp tất cả các khóa học công khai về công nghệ AI mới nhất không

• Xin cảm ơn sâu sắc đến MIT OCW và các cộng tác viên của họ

  • Tôi dùng nó làm tài liệu bổ trợ, và việc học cùng một chủ đề theo hai cách khác nhau rất hữu ích
  • Điều này đặc biệt có ích với những chủ đề khó hiểu

• Có vẻ như LLMs đã làm phân tán rất nhiều sự chú ý, dù công nghệ này cực kỳ hữu ích

• Thật tuyệt khi MIT cung cấp miễn phí nội dung kịp thời và phù hợp

• Cảm ơn rất nhiều, tôi tự hỏi liệu có các khóa OCW khác về AI hiện đại không

• Làm rất tốt, xin chúc mừng