Hiệu ứng Dunning-Kruger là tự tương quan

Hiệu ứng Dunning-Kruger là tính tự tương quan

• Hiệu ứng Dunning-Kruger được biết đến là xu hướng những người kém năng lực lại đánh giá quá cao năng lực của bản thân.
• Hiệu ứng này được các nhà tâm lý học phát hiện vào năm 1999, và trong nhiều nghiên cứu dường như đã được xác nhận bằng dữ liệu.
• Tuy nhiên, trên thực tế hiệu ứng này là kết quả của một sai số thống kê gọi là tự tương quan, không liên quan đến tâm lý con người.

Tự tương quan là gì?

• Tự tương quan là hiện tượng một biến có mối tương quan với chính nó.
• Ví dụ, nếu đo chiều cao của một người, thì chiều cao đó có tương quan hoàn hảo với chính nó.
• Khi một biến bị trộn vào cả hai vế của một công thức, rất khó để phát hiện ra tự tương quan.

Hiệu ứng Dunning-Kruger

• Hiệu ứng Dunning-Kruger là một ví dụ về tự tương quan, và thực chất bắt nguồn từ việc hiểu sai biểu đồ.
• Dunning và Kruger đã kiểm tra mọi người rồi yêu cầu họ tự đánh giá năng lực của mình, sau đó báo cáo rằng những người có điểm thấp có xu hướng đánh giá quá cao năng lực bản thân.
• Tuy nhiên, kết quả này trên thực tế là do tự tương quan giữa điểm kiểm tra và điểm tự đánh giá.

Giải cấu trúc hiệu ứng Dunning-Kruger

• Biểu đồ Dunning-Kruger nhóm mọi người theo điểm kiểm tra, biểu diễn chúng theo percentile, rồi so sánh với tự đánh giá.
• Cách làm này tương đương với việc so sánh điểm kiểm tra với chính nó, qua đó che giấu hiện tượng tự tương quan.
• Trên thực tế, ngay cả khi dùng dữ liệu ngẫu nhiên, hiệu ứng Dunning-Kruger vẫn xuất hiện vì chính hiện tượng tự tương quan này.

Tái hiện hiệu ứng Dunning-Kruger

• Khi cố gắng hiểu hiệu ứng Dunning-Kruger bằng dữ liệu thực, kết quả xuất hiện lại khác với dữ liệu gốc.
• Khi cố tái lập thí nghiệm, dữ liệu thô trông có vẻ ngẫu nhiên và không có dấu vết của hiệu ứng Dunning-Kruger.
• Nhưng nếu phân tích dữ liệu theo cách khác, nó lại có vẻ như hiệu ứng Dunning-Kruger đang xuất hiện.

Sự sụp đổ của hiệu ứng Dunning-Kruger

• Việc các nhà nghiên cứu tái hiện được hiệu ứng Dunning-Kruger dù thực tế chỉ dùng các con số ngẫu nhiên là do tự tương quan.
• Sau khi phát hiện lỗi này, người ta nhận ra rằng biểu đồ Dunning-Kruger thực chất dựa trên tự tương quan.

Sự vắng mặt của hiệu ứng Dunning-Kruger

• Khi đo lường hiệu ứng Dunning-Kruger bằng một phương pháp có giá trị thống kê, người ta phát hiện hiệu ứng này biến mất.
• Kết quả đo sai số tự đánh giá của các nhóm người được phân theo trình độ học vấn cho thấy sai số trung bình nằm quanh mức 0, không có bằng chứng nào cho hiệu ứng Dunning-Kruger.

Những người kém năng lực mà không biết điều đó

• Việc Dunning và Kruger mắc lỗi thống kê có thể chỉ là một sai lầm, nhưng bài báo của họ chứa lập luận rằng những người kém năng lực không nhận ra sự kém cỏi của chính mình.
• Tuy nhiên, trên thực tế chính Dunning và Kruger lại bộc lộ sự kém cỏi về thống kê, khi họ nhầm lẫn giữa tự tương quan và một hiệu ứng tâm lý.

Ý kiến của GN⁺

Điều quan trọng nhất trong bài viết này là hiệu ứng Dunning-Kruger thực chất không liên quan đến tâm lý con người mà dựa trên một sai số thống kê gọi là tự tương quan. Điều này cho thấy những cái bẫy có thể phát sinh khi các nhà nghiên cứu diễn giải dữ liệu, đồng thời là ví dụ về cách một phát hiện khoa học có thể bị hiểu sai do cách diễn giải thống kê sai lệch. Việc hiểu những sai lầm như vậy mang lại bài học quan trọng trong diễn giải và kiểm chứng kết quả nghiên cứu, và đây là thông tin hữu ích không chỉ với các kỹ sư phần mềm mới vào nghề mà còn với các nhà nghiên cứu trong mọi lĩnh vực khoa học.

[GN⁺]

Ý kiến Hacker News

• Người bình luận thừa nhận rằng mình không hiểu đủ sâu về thống kê hay tâm lý học, nhưng cảm thấy nghiên cứu D&K khá giống với câu nói của ông mình: "Càng biết nhiều, bạn càng nhận ra mình còn không biết nhiều thứ". Người này suy ngẫm rằng nhiều người có xu hướng nghĩ mình biết nhiều hơn thực tế, và điều đó có lẽ cũng đúng với chính họ cũng như tác giả bài viết.
• Một người bình luận khác không đồng ý với lập luận của bài viết và giới thiệu một bài phản biện tuyên bố rằng đồ thị D-K chỉ đơn thuần là kết quả của tự tương quan. Theo họ, việc giả định rằng thành tích và đánh giá thành tích là độc lập với nhau mới thực sự đáng ngạc nhiên; nghiên cứu D-K cho thấy có tương quan giữa thành tích và tự đánh giá, chỉ là không mạnh như kỳ vọng. Thay vào đó, nó cho thấy một thiên lệch nhất quán, và đó mới là kết quả thú vị.
• Như đã được nhắc tới trong thảo luận trước, tác giả giả định rằng con người dự đoán năng lực của bản thân rất tệ, đến mức tự đánh giá giống như một biến ngẫu nhiên vô điều kiện. Nếu năng lực thực tế cao, thì do ngẫu nhiên, tự đánh giá sẽ có khả năng thấp hơn năng lực thật. Lời phê bình này đặt ra câu hỏi liệu con người có thực sự đánh giá sai năng lực của mình đến mức đó hay không.
• Các tác giả đã làm phép phân tích "X - Y so với X", nhưng đó không phải vấn đề lớn nhất. Họ đã lấy hiệu của hai đại lượng được biến đổi và bị giới hạn trong khoảng từ 0 đến 1. Điều gì xảy ra ở các giá trị cực biên? Những người có thành tích cao nhất có thể đánh giá quá cao thành tích của mình đến mức nào? Họ vốn đã gần chạm mức 1 nên không thể tăng thêm bao nhiêu. Nếu họ đánh giá quá cao và quá thấp với cùng tỷ lệ và cùng độ lớn, thì hiệu ứng trần của các giá trị đã biến đổi sẽ khiến đồ thị trông như thể họ thường xuyên tự đánh giá thấp hơn.
• Cuộc tranh luận trong phần bình luận giữa Nicolas Boneel và tác giả khá thú vị, và Nicolas đã nêu ra những nghi ngờ mà anh có khi đọc bài viết. Cốt lõi của hiệu ứng DK là con người đánh giá sai kỹ năng của mình, nên nếu giả định rằng họ chỉ đoán ngẫu nhiên trình độ kỹ năng của bản thân thì dĩ nhiên có thể tái tạo lại kết quả.
• Thuật ngữ "tự tương quan" mà tác giả sử dụng khác với nghĩa thường dùng trong thống kê. "Tự tương quan" thường chỉ mối tương quan của dữ liệu chuỗi thời gian với chính nó ở một độ trễ thời gian nhất định, nên cách dùng trong bài gốc, như OP đã nhắc, có thể gây nhầm lẫn cho những người biết thống kê.
• Trong thế giới mà tác giả hình dung, nếu ước lượng điểm số của con người độc lập với điểm số thực tế, thì có thể nói rằng hiệu ứng DK thực sự tồn tại. Người có điểm thấp sẽ có xu hướng đánh giá quá cao điểm của mình, còn người có điểm cao sẽ có xu hướng đánh giá thấp.
• Có sự nhầm lẫn quanh thuật ngữ "thiên lệch". Nếu tự đánh giá là ngẫu nhiên, thì những người có thành tích cao đều sẽ tự đánh giá thấp, nhưng đó không phải là thiên lệch theo hướng đánh giá thấp. Biểu đồ D-K cho thấy một thiên lệch khác, phù hợp với việc đa số mọi người nghĩ rằng mình ở mức trung bình. Khi đó, người có thành tích cao sẽ đánh giá quá cao mức trung bình, còn người có thành tích thấp sẽ đánh giá quá thấp mức trung bình.
• Có ý kiến chỉ ra rằng định nghĩa "tự tương quan" trong bài viết khác với định nghĩa trên Wikipedia. Định nghĩa trong bài không liên quan đến độ trễ thời gian, nên gọi đó là "tự tương quan" trong bối cảnh D-K là cách diễn đạt sai.
• Nếu người kém thành thạo và người thành thạo trung bình đều tự đánh giá giống nhau, thì người kém thành thạo sẽ đánh giá quá cao còn người thành thạo sẽ đánh giá quá thấp. Chỉ riêng điều đó cũng đã có thể là một kết quả quan trọng, và người bình luận nhấn mạnh rằng trên thực tế vẫn tồn tại tương quan.