Tác dụng phụ của hiệu suất quá mức (2022)
(sohl-dickstein.github.io)Hiệu suất quá cao khiến mọi thứ trở nên tồi tệ hơn: overfitting và phiên bản mạnh của định luật Goodhart
Khi hiệu suất tăng lên, nghịch lý là kết quả có thể trở nên tệ hơn. Điều này đúng trong gần như mọi lĩnh vực. Ta sẽ gọi hiện tượng này là phiên bản mạnh của định luật Goodhart. Ví dụ, việc theo dõi tập trung thành tích học sinh thông qua các bài kiểm tra tiêu chuẩn hóa nghe có vẻ là một ý tưởng hay, nhưng điều đó có thể khiến các trường chỉ tập trung vào luyện thi, từ đó làm xấu đi kết quả giáo dục tổng thể. Những ví dụ tương tự cũng tồn tại trong chính trị, kinh tế, y tế, khoa học và nhiều lĩnh vực khác.
Overfitting và định luật Goodhart
- Overfitting: Trong machine learning, vì không thể tối ưu trực tiếp mục tiêu, người ta huấn luyện mô hình bằng một proxy tương tự. Ban đầu, khi proxy được cải thiện thì mục tiêu cũng được cải thiện theo, nhưng nếu tiếp tục tối ưu, proxy có thể tốt hơn nữa trong khi mục tiêu không còn cải thiện. Hiện tượng này được gọi là overfitting.
- Định luật Goodhart: Khi một phép đo trở thành mục tiêu, nó sẽ không còn là một phép đo tốt nữa. Điều này không chỉ áp dụng trong kinh tế học mà còn trong nhiều lĩnh vực khác.
Phiên bản mạnh của định luật Goodhart: khi trở nên quá hiệu quả, những gì ta quan tâm sẽ xấu đi
- Nếu tiếp tục tối ưu mục tiêu proxy, mục tiêu thực sự có thể xấu đi. Đây là hiện tượng rất phổ biến trong machine learning.
- Phiên bản mạnh của định luật Goodhart: khi một phép đo trở thành mục tiêu và được tối ưu một cách hiệu quả, chính thứ mà nó định đo lường sẽ trở nên tệ hơn.
Sự gia tăng hiệu suất và overfitting xuất hiện ở khắp nơi
- Khi hiệu suất tăng lên, nó có thể tạo ra kết quả tích cực hoặc tiêu cực trên toàn xã hội.
- Ví dụ:
- Mục tiêu: giáo dục trẻ em thật tốt
- Proxy: điểm thi tiêu chuẩn hóa
- Kết quả: chỉ tập trung vào luyện thi nên chất lượng giáo dục thực tế giảm sút
- Mục tiêu: thúc đẩy khoa học tiến bộ nhanh chóng
- Proxy: tiền thưởng dựa trên số lượng công bố
- Kết quả: gia tăng việc công bố các kết quả nghiên cứu thiếu chính xác
- Mục tiêu: một dân số khỏe mạnh
- Proxy: khả năng tiếp cận thực phẩm giàu dinh dưỡng
- Kết quả: vấn đề béo phì
- Mục tiêu: giáo dục trẻ em thật tốt
Cách giảm nhẹ overfitting và phiên bản mạnh của định luật Goodhart
- Căn chỉnh tốt hơn giữa mục tiêu proxy và kết quả mong muốn: Trong machine learning, người ta thu thập các ví dụ huấn luyện tương tự hơn với tình huống kiểm thử. Trong các hệ thống xã hội, có thể thay đổi luật lệ, incentive và chuẩn mực xã hội để chúng khớp hơn với mục tiêu.
- Thêm regularization penalty: Trong machine learning, người ta giữ cho độ lớn của các tham số ở mức nhỏ. Trong các hệ thống xã hội, có thể giảm độ phức tạp hoặc áp thêm chi phí.
- Bơm nhiễu vào hệ thống: Trong machine learning, người ta thêm nhiễu ngẫu nhiên vào đầu vào, tham số hoặc trạng thái bên trong. Trong các hệ thống xã hội, có thể thêm yếu tố ngẫu nhiên để giảm tính dễ dự đoán.
- Dừng sớm: Trong machine learning, việc huấn luyện sẽ dừng lại khi validation loss bắt đầu xấu đi. Trong các hệ thống xã hội, có thể giới hạn thời gian ra quyết định hoặc tạm dừng hoạt động thị trường.
- Giới hạn năng lực/dung lượng: Trong machine learning, người ta làm mô hình nhỏ hơn để tránh overfitting. Trong các hệ thống xã hội, có thể giới hạn năng lực của tổ chức hoặc tác nhân.
- Tăng năng lực/dung lượng: Trong machine learning, người ta làm mô hình rất lớn để tránh overfitting. Trong các hệ thống xã hội, có thể tăng mạnh năng lực để loại bỏ trade-off giữa mục tiêu và proxy.
Suy nghĩ kết lại
Phiên bản mạnh của định luật Goodhart là nguyên nhân gốc rễ cho nỗi sợ cá nhân của tôi về AI. AI có thể nâng cao hiệu suất trong gần như mọi công việc. Có rất nhiều cơ hội nghiên cứu để giải quyết vấn đề này. Nếu các hệ thống xã hội sụp đổ vì phiên bản mạnh của định luật Goodhart, sẽ rất khó để thực hiện những hành động hợp lý nhằm khắc phục nó. Việc đặt tên cho hiện tượng này và hiểu nó rõ hơn có thể sẽ hữu ích.
Tóm tắt của GN⁺
- Phiên bản mạnh của định luật Goodhart giải thích rằng khi hiệu suất tăng lên, mục tiêu có thể trở nên tệ hơn.
- Nó tương tự hiện tượng overfitting trong machine learning và có thể áp dụng cho nhiều lĩnh vực khác nhau.
- Có thể giảm nhẹ vấn đề bằng các cách như căn chỉnh tốt hơn giữa mục tiêu proxy và mục tiêu thực, thêm regularization penalty, và bơm nhiễu vào hệ thống.
- Việc AI làm tăng hiệu suất có thể gây ra nhiều tác dụng phụ khác nhau, và cần có nghiên cứu để giải quyết chúng.
- Điều quan trọng là phải hiểu và ứng phó với phiên bản mạnh của định luật Goodhart để các hệ thống xã hội không bị sụp đổ.
2 bình luận
Tôi được biết kỳ thi CSAT của Hàn Quốc đã dần rời xa mục tiêu ban đầu là đo lường năng lực toán học, và biến thành một hệ thống chỉ nhằm tối ưu hóa việc phân bổ ngưỡng xếp hạng. Đây có vẻ là một ví dụ không thể thoát khỏi định luật Goodhart.
Ý kiến trên Hacker News
Jascha là một nhà nghiên cứu ML xuất sắc từng làm việc tại Google Brain và hiện ở Anthropic
Luật Goodhart nói rằng khi một phép đo trở thành mục tiêu, nó sẽ không còn là một phép đo tốt
Đây đã trở thành một vấn đề xã hội nổi lên ở Thụy Điển trong 20 năm qua
Trong sinh lý học thể thao cũng có một quy luật tương tự
Trong lý thuyết hàng đợi cũng có một quy luật liên quan
Không thích việc tập trung vào GDP
Tìm thấy một ví dụ của quy luật này ở cửa hàng phần cứng địa phương
Đã có trải nghiệm tương tự khi đến các chuỗi nhà hàng
Nhớ ra tên của tác giả
Hiệu ứng này có tồn tại, nhưng các ví dụ không thật sự chính xác