Giới thiệu
Năm nay, sáu bài báo đã giành được giải thưởng bài báo xuất sắc. Quy trình tuyển chọn diễn ra như sau.
Trước tiên, các bài báo được sàng lọc sơ bộ để chọn ra 32 bài báo tiềm năng cho giải thưởng. Trong quá trình này, các bài có điểm trung bình cao cùng những bài được ủy ban chương trình đề cử đã được lựa chọn. Kết quả là tập này bao gồm các bài báo đề cập đến 16 chủ đề được trình bày trong các phiên thuyết trình miệng. Những bài báo này đã được chuyển đến ủy ban giải thưởng bài báo xuất sắc.
Ủy ban đã xem xét các bài báo này và chọn ra các bài đoạt giải dựa trên mức độ rõ ràng xuất sắc, chiều sâu hiểu biết, tính sáng tạo và ảnh hưởng lâu dài của chúng.
Dĩ nhiên, không có quy trình nào là hoàn hảo để chọn ra các bài báo đoạt giải, nhưng chúng tôi tin rằng cộng đồng ICML sẽ ghi nhận những đóng góp rất mạnh mẽ của các bài báo này.
- Ủy ban giải thưởng bài báo xuất sắc: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
Những người chiến thắng như sau (theo thứ tự ID bài báo):
-
D-Adaptation bằng học không cần learning rate (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
Bài báo này giới thiệu một cách tiếp cận thú vị nhằm giải quyết thách thức đạt được cận tối ưu không cần learning rate cho tối ưu hóa lồi ngẫu nhiên không trơn. Các tác giả đề xuất một phương pháp mới để tối ưu hóa các bài toán như vậy, vượt qua những hạn chế của việc chọn learning rate theo cách truyền thống. Nghiên cứu này mang lại một đóng góp có giá trị và thực tiễn cho lĩnh vực tối ưu hóa. -
Watermark cho các mô hình ngôn ngữ lớn (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
Bài báo này đề xuất cách áp dụng watermark lên đầu ra của các mô hình ngôn ngữ lớn, tức là nhúng vào văn bản được tạo ra một tín hiệu con người không nhìn thấy nhưng có thể được phát hiện bằng thuật toán. Watermark có thể được tạo mà không cần huấn luyện lại mô hình ngôn ngữ, và cũng có thể được phát hiện mà không cần truy cập API hay tham số. Bài báo cũng đề xuất một phép kiểm định thống kê với giá trị p có thể diễn giải được để phát hiện watermark, đồng thời đưa ra một khung lý thuyết thông tin để phân tích độ nhạy của nó. Phương pháp được đề xuất vừa đơn giản vừa mới mẻ, đồng thời trình bày phân tích lý thuyết kỹ lưỡng và thực nghiệm vững chắc. Xét đến thách thức quan trọng trong việc phát hiện và kiểm toán văn bản tổng hợp do LLM tạo ra, bài báo này có khả năng tạo ảnh hưởng đáng kể đối với cộng đồng. -
Khái quát hóa trên dữ liệu chưa từng thấy, suy luận logic và curriculum theo bậc (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
Công trình này mang lại bước tiến quan trọng cho việc học các hàm Boolean, đặc biệt nhắm đến thiết lập khái quát hóa trên dữ liệu chưa từng thấy (GOTU). Đây là một bài toán đầy thách thức vì đặt ra vấn đề khái quát hóa ngoài phân phối. Bài báo đi sâu vào chủ đề quan trọng này, trình bày một cách tiếp cận có cấu trúc tốt được hỗ trợ bởi phân tích lý thuyết và thực nghiệm diện rộng. Nghiên cứu này nâng cao hiểu biết lý thuyết về việc học hàm Boolean, đồng thời cho thấy cách áp dụng nó vào các thuật toán thực tế. -
Thiết kế chiến lược thăm dò-khai thác bằng tỷ lệ thông tin thuật toán (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
Bài báo này giải quyết bài toán rất tổng quát về việc thiết kế các chiến lược bandit và những chiến lược ra quyết định tuần tự khác. Công trình đề xuất cách dùng một đại lượng mới gọi là tỷ lệ thông tin thuật toán để giới hạn regret của một chiến lược, đồng thời suy ra cách tối ưu hóa cận này. Cận này chặt hơn so với các đại lượng lý thuyết thông tin tương tự trước đây, và các phương pháp này hoạt động tốt trong cả thiết lập bandit ngẫu nhiên lẫn đối kháng, đạt hiệu năng hàng đầu trong mọi bối cảnh. Điểm đặc biệt thú vị là bài báo gợi mở khả năng mở ra cả một hướng mới cho các chiến lược thăm dò-khai thác vượt ra ngoài Thompson sampling và UCB vốn đã nổi tiếng cho bandit. Việc mở rộng nguyên lý này sang học tăng cường là một triển vọng rất hứa hẹn. Bài báo này đã nhận được sự ủng hộ mạnh mẽ và nhất quán từ các reviewer chuyên môn.
Tài liệu tham khảo
Đây là website chính thức của ICML 2023. Bạn có thể xem nhiều bài báo và tác phẩm đoạt giải khác nhau tại đây:
https://icml.cc/Conferences/2023
Đây là nền tảng nơi bạn có thể xem review và thảo luận về các bài báo. Qua liên kết của từng bài, bạn có thể xem thêm chi tiết và các cuộc thảo luận:
https://openreview.net/
- *Bài viết này là phần mô tả được tạo tự động bằng GPT-4 và có thể có nội dung chưa chính xác. *
- Nếu phát hiện nội dung sai, vui lòng cho biết qua phần bình luận! ♂️
1 bình luận
Đọc thêm