Tác động tiêu cực của Chain-of-Thought trong các tác vụ mà suy nghĩ làm suy giảm hiệu suất của con người

Chain-of-Thought và suy giảm hiệu suất

• Tổng quan về Chain-of-Thought (CoT)

  • CoT là một chiến lược được sử dụng rộng rãi trong các mô hình ngôn ngữ lớn và đa phương thức.
  • Dù được biết đến là có thể cải thiện hiệu suất trong nhiều tác vụ, việc xác định chính xác nó hiệu quả trong những thiết lập nào vẫn là một bài toán đang tiếp tục được nghiên cứu.

• Mục tiêu nghiên cứu

  • Nhằm xác định các đặc điểm của những tác vụ mà CoT có thể làm suy giảm hiệu suất của mô hình.
  • Lấy cảm hứng từ tâm lý học nhận thức, nghiên cứu xem xét: (i) các trường hợp suy nghĩ bằng ngôn ngữ hoặc cân nhắc kỹ lưỡng làm cản trở hiệu suất của con người, và (ii) các ràng buộc chi phối hiệu suất của con người có thể khái quát sang mô hình ngôn ngữ hay không.

• Các trường hợp nghiên cứu chính

  • Thử nghiệm ba trường hợp như học thống kê ngầm, nhận thức thị giác và phân loại mẫu có ngoại lệ.
  • Phát hiện rằng ở nhiều mô hình tiên tiến khác nhau, hiệu suất giảm mạnh khi sử dụng suy nghĩ trong lúc suy luận (ví dụ: OpenAI o1-preview giảm tới 36.3% độ chính xác tuyệt đối so với GPT-4o).

• Các phát hiện bổ sung

  • Xác định ba tác vụ thỏa điều kiện (i) nhưng không thỏa điều kiện (ii).
  • Trong các tác vụ này, dù suy nghĩ bằng ngôn ngữ làm giảm hiệu suất của con người, CoT vẫn giữ nguyên hoặc cải thiện hiệu suất của mô hình.

• Kết luận

  • Dù không có sự song song chính xác giữa quá trình nhận thức của mô hình và con người, việc xem xét các trường hợp suy nghĩ tác động tiêu cực đến hiệu suất của con người vẫn giúp nhận diện những thiết lập có thể gây ảnh hưởng tiêu cực đến mô hình.
  • Bằng cách kết nối tài liệu về sự cân nhắc của con người với đánh giá CoT, nghiên cứu cung cấp một công cụ mới để hiểu việc lựa chọn prompt và tác động của suy nghĩ trong quá trình suy luận.

Tóm tắt của GN⁺

• Nghiên cứu này cho thấy CoT không phải lúc nào cũng cải thiện hiệu suất mô hình trong mọi tình huống.
• Nghiên cứu gợi mở khả năng dự đoán sự suy giảm hiệu suất của mô hình thông qua các trường hợp mà suy nghĩ của con người ảnh hưởng tiêu cực đến hiệu suất.
• Việc tận dụng các hiểu biết từ tâm lý học nhận thức để hiểu hiệu quả của CoT là một hướng tiếp cận thú vị.
• Các dự án có chức năng tương tự được khuyến nghị gồm nhiều mô hình ngôn ngữ khác nhau của OpenAI.