Richard Sutton và Andrew Barto nhận giải Turing 2024

• ACM A.M. Turing Award tôn vinh hai nhà nghiên cứu dẫn dắt sự phát triển của công nghệ AI nền tảng

• Andrew Barto và Richard Sutton được công nhận là những người tiên phong của học tăng cường

  • ACM đã chọn Andrew G. Barto và Richard S. Sutton là những người nhận ACM A.M. Turing Award 2024. Họ đã phát triển các nền tảng khái niệm và thuật toán của học tăng cường.
  • Barto là giáo sư danh dự ngành thông tin và khoa học máy tính tại University of Massachusetts Amherst, còn Sutton hiện là giáo sư khoa học máy tính tại University of Alberta.
  • Giải Turing được gọi là giải Nobel của ngành điện toán, với giải thưởng trị giá 1 triệu USD do Google tài trợ.

• Học tăng cường là gì?

  • Lĩnh vực trí tuệ nhân tạo (AI) chủ yếu tập trung vào việc xây dựng các tác tử có khả năng nhận thức và hành động. Học tăng cường (RL) là quá trình để các tác tử này học hành vi tốt hơn thông qua tín hiệu phần thưởng.
  • Nền tảng của học tăng cường bắt đầu từ đầu những năm 1980, khi Barto và Sutton chính thức hóa học tăng cường như một khuôn khổ bài toán tổng quát dựa trên các quan sát trong tâm lý học.
  • Họ đã phát triển các thuật toán học tăng cường bằng cách sử dụng nền tảng toán học dựa trên Markov decision process (MDP).

• Những đóng góp chính

  • Barto và Sutton đã phát triển các cách tiếp cận thuật toán cơ bản của học tăng cường, đặc biệt gồm học sai khác theo thời gian, phương pháp policy gradient và biểu diễn hàm học bằng mạng nơ-ron.
  • Giáo trình của họ, "Reinforcement Learning: An Introduction", vẫn được dùng như tài liệu tham khảo tiêu chuẩn trong lĩnh vực này và đã được trích dẫn hơn 75.000 lần.

• Ứng dụng thực tế của học tăng cường

  • Trong 15 năm gần đây, học tăng cường đã đạt được những tiến bộ lớn khi kết hợp với các thuật toán học sâu. Những ví dụ tiêu biểu gồm chiến thắng cờ vây của AlphaGo và sự phát triển của ChatGPT.
  • Học tăng cường đang thành công trong nhiều lĩnh vực như học kỹ năng vận động cho robot, kiểm soát tắc nghẽn mạng, thiết kế chip và tối ưu hóa quảng cáo trên internet.

• Nguồn cảm hứng thần kinh học của học tăng cường

  • Theo các nghiên cứu gần đây, một số thuật toán học tăng cường được phát triển trong AI cho thấy là lời giải thích phù hợp nhất đối với hệ dopamine trong não người.

• Giải thích về ACM A.M. Turing Award

  • Giải Turing được trao từ năm 1966 để tôn vinh các nhà khoa học máy tính và kỹ sư đã thúc đẩy sự phát triển của ngành công nghệ thông tin.

• Những người đoạt ACM A.M. Turing Award 2024

  • Andrew Barto là giáo sư danh dự ngành thông tin và khoa học máy tính tại University of Massachusetts Amherst và đã nhận nhiều giải thưởng khác nhau.
  • Richard Sutton là giáo sư khoa học máy tính tại University of Alberta, hoạt động tại nhiều tổ chức nghiên cứu và đã nhận nhiều giải thưởng.

[GN⁺]

Ý kiến Hacker News

• Thật sự rất tuyệt. Vợ tôi và tôi đã mua căn nhà của Andy Barto và vợ ông ấy

  • Trong quá trình mua đã có một cuộc chiến trả giá
  • Vì biết ông ấy là nhà toán học, tôi đã đưa ra mức giá bằng một số nguyên tố
  • Tôi thực sự vui khi thấy những thành tựu của ông ấy được công nhận

• Tuyệt vời! Ông ấy hoàn toàn xứng đáng. Họ cung cấp miễn phí bản PDF của cả hai ấn bản sách giáo khoa về RL

  • Tôi đã làm việc thực tế trong AI từ năm 1982, và RL là một chủ đề cá nhân tôi thấy khó nắm vững
  • Sách của Sutton/Barto, khóa học RL trên Coursera của giáo sư White, v.v. đã giúp ích rất nhiều: rất đáng khuyến nghị
  • Các chương trình ví dụ trong sách của họ được cung cấp bằng Common Lisp và Python

• Đây là thời điểm thích hợp để đọc lại The Bitter Lesson

• Sutton là một kẻ theo chủ nghĩa kế vị con người, và không quan tâm nếu toàn bộ loài người chết hết. Ông ta không đáng tin cậy và không phải người để chúc mừng

• Giá mà trao giải cho các nhà vật lý thì tốt hơn

• Thật ngạc nhiên khi Sutton sống ở Edmonton, Canada thay vì Mỹ

  • Điều đó cho thấy ông ấy coi trọng sự chính trực và chân thành hơn danh tiếng và tiền bạc

• Họ rất xuất sắc, nhưng thật không may, sách AI của Sutton và Barto thực sự rất tệ

  • Grokking Machine Learning của Trask và vài tháng tự triển khai các bài báo ML sẽ tốt hơn

• Tôi đã dùng sách RL của họ trong khóa học mình giảng dạy

  • Sách được viết rất đẹp và cung cấp miễn phí
  • Tôi thường mải tập trung vào lối viết đẹp mà lại bỏ lỡ nội dung thực tế

• Xin chân thành chúc mừng Andrew Barto và Richard Sutton nhân việc nhận giải Turing Award

  • Khi còn là sinh viên, giáo trình Reinforcement Learning: An Introduction của họ là cơ duyên đưa tôi vào lĩnh vực này
  • Chương 6 về 'Temporal Difference Learning' đã thay đổi tận gốc cách tôi suy nghĩ về việc ra quyết định tuần tự
  • Đây là một tác phẩm kinh điển mà đến nay tôi vẫn rất khuyến nghị đọc

• Chuyện này đã mất rất nhiều thời gian. Họ đã theo đuổi ý tưởng đó từ đầu đến cuối, và mở rộng nó thành cả một lĩnh vực thay vì chỉ là một tiểu mục trong sách về dynamic programming

  • Tôi ước có nhiều trò chơi thực sự dùng RL hơn - đó là nơi mọi thứ bắt đầu - sẽ rất tuyệt