Nền tảng toán học của học tăng cường (RL): sách và bài giảng trên YouTube

• Cuốn sách này nhằm giới thiệu một cách gần gũi về mặt toán học các khái niệm cơ bản, bài toán và thuật toán của học tăng cường
• Không chỉ trình bày quy trình của các thuật toán, sách còn giải thích từ góc nhìn toán học để người đọc có thể hiểu vì sao chúng được thiết kế như vậy và vì sao chúng hiệu quả
• Mức độ chuyên sâu về toán được điều chỉnh ở mức phù hợp, đồng thời cung cấp các ví dụ để người đọc có thể lựa chọn đọc theo nhu cầu
• Tách các ý tưởng cốt lõi của thuật toán khỏi những yếu tố phức tạp để giúp người đọc hiểu rõ hơn
• Mỗi chương được xây dựng dựa trên chương trước và cung cấp nền tảng cho chương tiếp theo

• Các bài giảng video bằng tiếng Anh đã được mở trên Youtube

Nội dung

• Cuốn sách gồm 10 chương và được chia thành hai phần về các công cụ cơ bản và các thuật toán.
• Các chương có liên hệ chặt chẽ với nhau, vì vậy cần học các chương đầu trước.

Đối tượng độc giả

• Cuốn sách dành cho sinh viên đại học năm cuối, học viên cao học, nhà nghiên cứu và người làm thực tế quan tâm đến học tăng cường.
• Sách bắt đầu từ các khái niệm cơ bản để ngay cả người không có kiến thức nền về học tăng cường cũng có thể hiểu được.
• Cần có kiến thức về lý thuyết xác suất và đại số tuyến tính; các nền tảng toán học cần thiết được đưa vào phần phụ lục.

Video bài giảng

• Có thể học hiệu quả hơn bằng cách kết hợp sách với video bài giảng.
• Video bài giảng tiếng Trung có thể xem trên kênh Bilibili và kênh YouTube, và đến tháng 2 năm 2025 đã ghi nhận hơn 1.300.000 lượt xem.
• Video bài giảng tiếng Anh đã được tải lên YouTube.

Giới thiệu tác giả

• Thông tin về tác giả có thể xem trên trang chủ và website của nhóm nghiên cứu.
• Từ năm 2019, tác giả đã giảng dạy các khóa học sau đại học về học tăng cường, và cuốn sách này được chuẩn bị từ ghi chú bài giảng.
• Tác giả hy vọng cuốn sách này sẽ giúp người đọc bước vào lĩnh vực học tăng cường một cách thuận lợi.

Trích dẫn

• Tên sách: "Mathematical Foundations of Reinforcement Learning"
• Tác giả: S. Zhao
• Năm xuất bản: 2025
• Nhà xuất bản: Springer Nature Press và Tsinghua University Press

Lịch sử cập nhật

• Tháng 2 năm 2025: đạt 5.000+ sao
• Tháng 12 năm 2024: đạt 4.000+ sao
• Tháng 10 năm 2024: hoàn tất thiết kế bìa sách
• Tháng 9 năm 2024: chỉnh sửa cuối cùng trước khi xuất bản với Springer
• Tháng 8 năm 2024: đạt 3.000+ sao và thêm mã nguồn
• Tháng 6 năm 2024: chỉnh sửa cuối cùng trước khi xuất bản
• Tháng 4 năm 2024: thêm mã cho môi trường Grid World
• Tháng 3 năm 2024: đạt 2.000 sao
• Tháng 3 năm 2024: bản nháp phiên bản thứ ba được đưa lên mạng
• Tháng 9 năm 2023: đạt 1.000+ sao
• Tháng 8 năm 2023: bản nháp phiên bản thứ hai được đưa lên mạng
• Tháng 11 năm 2022: dự kiến đồng xuất bản cùng Springer Nature và Tsinghua University Press
• Tháng 10 năm 2022: ghi chú bài giảng và video được đưa lên mạng
• Tháng 8 năm 2022: bản nháp đầu tiên được đưa lên mạng

[kipsong133]

Cảm ơn bạn đã giới thiệu tài liệu hay.

[GN⁺]

Ý kiến trên Hacker News

• Điểm mạnh lớn của reinforcement learning (RL) trong thời kỳ OpenAI Gym là rất dễ tiếp cận với người mới bắt đầu. Có thể học RL như một sở thích trong các môi trường nhỏ và thử áp dụng vào những bài toán đơn giản như Cartpole. Tôi tự hỏi liệu có những bài toán hay môi trường học RL tương tự, dễ tiếp cận và liên quan đến LLMs hay không. Cũng tò mò không biết với một chiếc MacBook Air thông thường thì có thể làm gì trong mảng LLM x RL

  • Cũng rất khuyến nghị loạt 6 bài giảng về nền tảng Deep RL của Pieter Abbeel. Nó mang lại cái nhìn tổng quan tốt và trực giác rõ ràng
  • Bài giảng hay nhất về RL và các chủ đề liên quan là bài giảng của Dimitris Bertsekas
  • Cũng rất khuyến nghị các sơ đồ và video YouTube giới thiệu 30 phút cung cấp cái nhìn trực quan tuyệt vời về RL
  • Kỳ vọng sẽ có nhiều startup tăng trưởng siêu tốc xuất hiện, sử dụng RL để giải các vấn đề thực tế trong kỹ thuật, logistics và y học
  • Dù LLMs hiện đang nhận được rất nhiều sự chú ý, vẫn thấy ngạc nhiên khi các quỹ đầu tư mạo hiểm không đặc biệt quan tâm đến các công ty RL

• Một tài liệu tuyệt vời khác về RL là bộ giáo trình của Mykel Kochenderfer

  • Cuốn giáo trình đang được viết, tập trung vào RL của Murphy, cũng đáng được nhắc tới
  • Với những ai quan tâm, có một repo GitHub đã hiện thực hóa phần lớn cuốn sách của Sutton
  • Cảm ơn vì đã liên kết cả mã của MinRL. Khi làm nghiên cứu RL, một vấn đề lớn là tái hiện các nghiên cứu đối sánh và kiểm chứng đóng góp của chính mình. Một thư viện đơn giản có sandbox gridworld, nơi có thể kiểm chứng chỉ bằng công cụ trực quan hóa và quan sát, là cực kỳ hữu ích

• Cuốn sách này nói rằng người đọc cần có kiến thức về lý thuyết xác suất và đại số tuyến tính. Những câu như vậy lúc nào cũng nên được tiếp nhận một cách dè dặt, cùng với việc hiểu rằng chúng thường do các mọt toán viết ra. Một lập trình viên bình thường với năng lực toán học trung bình nên cẩn trọng

• Tôi không biết làm sao để từ việc hiểu tài liệu này mà kiếm được công việc trong lĩnh vực này. Hiện tại tôi vẫn đang là kỹ sư phần mềm (SWE)