Bài kiểm tra marshmallow thiếu độ tin cậy trong việc dự đoán năng lực ở tuổi trưởng thành

Trì hoãn thỏa mãn và kết quả ở tuổi trưởng thành: bài kiểm tra marshmallow không dự đoán đáng tin cậy năng lực ở tuổi trưởng thành

• Tổng quan nghiên cứu
  • Nghiên cứu này mở rộng cách tiếp cận phân tích của Watts et al. (2018) để khảo sát tính giá trị dự báo dài hạn của khả năng trì hoãn thỏa mãn.
  • Người tham gia (n = 702; 83% da trắng, 46% nam) đã hoàn thành bài kiểm tra marshmallow ở mốc 54 tháng tuổi (1995-1996) và hoàn thành khảo sát ở tuổi 26 (2017-2018).
  • Sử dụng phân tích đăng ký trước, nghiên cứu phát hiện rằng thành tích trong bài kiểm tra marshmallow không dự đoán mạnh mẽ thành tựu, sức khỏe hoặc hành vi ở tuổi trưởng thành.
  • Có phát hiện tương quan nhẹ với thành tích học vấn (r = .17) và chỉ số khối cơ thể (r = - .17), nhưng hầu hết mọi hệ số điều chỉnh hồi quy đều không có ý nghĩa.
  • Không tìm thấy mô hình điều chỉnh rõ ràng giữa khả năng trì hoãn thỏa mãn với tình trạng kinh tế - xã hội hoặc giới tính.
  • Kết quả cho thấy thành tích trong bài kiểm tra marshmallow không dự đoán đáng tin cậy các kết quả ở tuổi trưởng thành.
  • Nghiên cứu thảo luận về tính giá trị dự báo và tính giá trị cấu trúc của năng lực trì hoãn thỏa mãn.

Tuyên bố về khả dụng dữ liệu

• Nghiên cứu này đã được đăng ký trước trên Open Science Framework (osf.io/67XFN).
• Do dữ liệu dùng trong nghiên cứu hiện tại (làn sóng người trưởng thành SECCYD) chưa được công khai, nhóm nghiên cứu cung cấp cú pháp phân tích.
• Nghiên cứu cũng cung cấp ma trận tương quan và thống kê mô tả của các biến chính.
• Các đợt thu thập dữ liệu trước đó của mẫu SECCYD có sẵn tại Inter-University Consortium for Political and Social Research (icpsr.umich.edu/web/ICPSR/series/233).

Tóm tắt của GN⁺

• Nghiên cứu này cho thấy bài kiểm tra marshmallow không đáng tin cậy trong việc dự đoán thành tựu, sức khỏe và hành vi ở tuổi trưởng thành.
• Dù có tương quan nhẹ với thành tích học vấn và chỉ số khối cơ thể, phần lớn các hệ số điều chỉnh hồi quy không có ý nghĩa.
• Bài viết bao gồm thảo luận về tính giá trị dự báo và tính giá trị cấu trúc của năng lực trì hoãn thỏa mãn.
• Nghiên cứu này hữu ích để xem xét lại niềm tin trước đây về tính hiệu lực dài hạn của các bài kiểm tra trì hoãn thỏa mãn.
• Một nghiên cứu khác có chức năng tương tự được khuyến nghị là nghiên cứu của Moffitt et al. (2011).

[GN⁺]

Các ý kiến trên Hacker News

• Kết quả nghiên cứu ban đầu đã bị đặt nghi vấn trong một nghiên cứu năm 2018 có quy mô lớn hơn. Nghiên cứu ban đầu có 90 học sinh, còn nghiên cứu tiếp theo khảo sát 900 người; họ tìm thấy cùng mối tương quan, nhưng phần lớn biến mất khi kiểm soát thu nhập hộ gia đình
  Kết luận tự nhiên là thu nhập hộ gia đình là biến dự báo cho cả khả năng trì hoãn sự thỏa mãn lẫn thành tích học tập. Nếu lớn lên trong một gia đình nghèo, việc tiếp cận các nguồn lực vật chất kém ổn định và khó dự đoán hơn, nên nắm lấy cơ hội trước mắt có thể là hợp lý hơn so với phần thưởng lớn hơn trong tương lai; đồng thời sự hỗ trợ học tập cũng có thể thiếu hụt. Nghiên cứu mới lần này còn đi xa hơn khi cho rằng bản thân mối tương quan cũng yếu
  [0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661

  • Thu nhập hộ gia đình là biến dự báo của rất nhiều thứ. Nó tương quan mạnh với mã bưu chính và hoạt động gần như tương tự; từ đó cũng có thể dự đoán khá tốt cả chủng tộc lẫn khuynh hướng chính trị
    Nhiều người ngây thơ nghĩ rằng nếu loại dữ liệu chủng tộc tường minh ra thì chủng tộc sẽ biến mất khỏi mô hình, nhưng trên thực tế nó vẫn còn gián tiếp. Điều này cũng đúng với nhiều yếu tố khác, không chỉ chủng tộc hay chính trị, nên thống kê nhân quả trở thành một lĩnh vực rất khác và khó hơn nhiều. Ở đây “biến dự báo” không có nghĩa là nguyên nhân, mà là có tương quan; tôi không thích thuật ngữ này lắm vì nó dễ gây nhầm lẫn
  • Tôi không biết trẻ em thì thế nào, nhưng việc người lớn nghèo khó kiểm soát xung động kém hơn là điều có lý. Họ có nhiều nỗi lo hơn, ít điều để trông đợi hơn, và có thể phải làm việc 12 tiếng thay vì 8 tiếng
    Người giàu làm việc quá sức cũng có nhiều thói xấu, nhưng vì họ có sự nghiệp thành công nên những thứ đó được xem như cơ chế đối phó và được tách riêng như một phần của cuộc sống. Nếu những nghiên cứu kiểu này cuối cùng lại xuất hiện theo hướng hợp lý hóa lập trường của tầng lớp đó chỉ vì nhóm nhà nghiên cứu và tầng lớp trung lưu thượng lưu có dân số chồng lấn nhau, thì sự hoài nghi của tôi chỉ càng được biện minh
  • Chỉ việc kiểm soát thu nhập hộ gia đình rồi thấy phần lớn mối tương quan biến mất thì chưa chứng minh được nhiều. Thái độ đối với phần thưởng dài hạn có khả năng chịu ảnh hưởng của các yếu tố văn hóa đặc thù được chia sẻ trong gia đình, và yếu tố đó có thể ảnh hưởng đến cả thu nhập lẫn thành tích học tập
    Muốn kết luận thì cần tìm một thí nghiệm tự nhiên trong đó chênh lệch thu nhập là hoàn toàn ngoại sinh và không do các yếu tố chung gây ra
  • Trong bảng 3, việc có phải người da trắng hay không là một biến dự báo rất có ý nghĩa (p=0.007) cho khả năng chờ hơn 7 phút, nhưng trong bảng 7 thì mục chủng tộc lại hoàn toàn không báo cáo người da trắng. Tôi tự hỏi liệu điều đó có nghĩa là khác biệt giữa các trẻ da trắng được giải thích hoàn toàn bằng địa vị kinh tế-xã hội và các hiệp biến khác hay không
    Ngược lại, nếu điều đó có nghĩa là việc là người da đen có một hiệu ứng không được các hiệp biến khác giải thích, thì sẽ khá gây tranh cãi
  • Đó không hẳn là một kết luận hiển nhiên như vậy. Chẳng hạn cũng có thể có các đặc điểm di truyền ảnh hưởng đến tự kiểm soát

• Khi nhìn vào nhiều chi tiết của thí nghiệm này, niềm tin và sự quan tâm của tôi đối với khoa học xã hội đã giảm mạnh. Từ góc độ một người được đào tạo về sinh học định lượng, khi nhìn vào những nghiên cứu như thế này, tôi thấy một danh sách dài các yếu tố có thể khiến nhà nghiên cứu kết luận sai rằng giả thuyết là đúng
  Trong trường hợp này, có vẻ nhà nghiên cứu đã không đủ quan tâm đến việc thực hiện nghiên cứu chất lượng cao, mà xuất phát từ niềm tin đạo đức hoặc phán xét giá trị, tiến hành thí nghiệm, rồi diễn giải kết quả theo cách ủng hộ “giả thuyết” của mình. Do bản chất của khoa học xã hội, việc thực hiện một thí nghiệm trung thực thật sự là rất khó

  • Chính vì lý do đó mà có thể đọc được hơn 100 năm phê phán đồ sộ và kỹ lưỡng đối với phần lớn “khoa học” xã hội. Nhiều người lớn lên khi được dạy rằng có sự khác biệt về phạm trù giữa khoa học cứng như vật lý, hóa học và khoa học mềm như khoa học xã hội cùng nhiều phân ngành của sinh học, y học
    Nhưng sự phân biệt đó đã biến mất khá nhiều khỏi tinh thần thời đại, và giờ đây nhiều người mặc nhiên xem bất cứ thứ gì đăng trên “tạp chí khoa học” là lành mạnh. Đây là một bước lùi lớn về hiểu biết khoa học của công chúng, và đang đặt nền móng để người ta ngày càng nghi ngờ cả các kết luận của khoa học cứng thật sự
  • Trong các thí nghiệm tâm lý học, dường như quỷ dữ luôn nằm ở chi tiết. Có thể người làm thí nghiệm đã đưa ra những tín hiệu tinh vi cho đứa trẻ, và họ chỉ đang kiểm tra xem đứa trẻ đọc các tín hiệu đó tốt đến mức nào
    Cách diễn đạt chính xác của “giao dịch” được đề nghị với đứa trẻ là gì, nếu thay đổi câu chữ thì kết quả có thay đổi không, lúc đó là thời kỳ thiếu lương thực hay dư dả, chuẩn mực văn hóa khi ấy về việc đứa trẻ “nên hành xử như thế nào” là gì — tất cả đều có thể ảnh hưởng. Tuổi trung bình của trẻ chỉ cần hơn hoặc kém 6 tháng cũng có thể khác, và cả nước, không khí, sơn ở nơi thử nghiệm cũng có thể liên quan
    Trước những yếu tố gây nhiễu tiềm tàng như vậy, có vẻ cần nhiều thống kê và kiểm soát hơn cả thí nghiệm va chạm vật lý về electron. Thế mà ngay cả các nhà vật lý, trong một môi trường đơn giản và có thể tái lập, cũng đã đặt tiêu chuẩn phát hiện nghiêm ngặt là 5 sigma, còn các ngoại lệ 3 sigma thì đến rồi đi. Trong tâm lý học, tiêu chuẩn như vậy trên thực tế khó có thể tưởng tượng được, nên tôi cho rằng nó khó trở thành một khoa học thực nghiệm đáng tin cậy
  • Tôi đã đọc các bài viết trong nhiều năm qua, trong đó cả các nhà tâm lý học lẫn xã hội học đều phê phán thí nghiệm cụ thể này. Nó chỉ phổ biến trong số những người trên internet tự xem mình là “nerd ngầu” và làm ra vẻ là chuyên gia về mọi thứ
    Nếu đọc các bài viết nhàm chán hơn của các nhà khoa học thực thụ, bạn sẽ thấy họ đã nêu bất mãn từ nhiều năm trước
  • Ngay cả hiệu ứng Dunning-Kruger cũng là sự lạm dụng thống kê. Hiệu ứng đó xuất hiện cả trong các mẫu được tạo ngẫu nhiên, vì dữ liệu có sàn và trần
    Nếu điểm thấp, dư địa để ước tính thấp hơn bị giới hạn nên dễ đánh giá quá cao năng lực của mình; nếu điểm cao, dư địa để ước tính cao hơn bị giới hạn nên dễ đánh giá thấp năng lực của mình
  • Có lý do khiến nhiều nhà khoa học gọi ngoại giao các “khoa học” xã hội là khoa học mềm. Feynman, một nhà khoa học kém ngoại giao hơn, gọi chúng là giả khoa học

• Điều thú vị là khi thực hiện nghiên cứu ban đầu, người ta muốn thí nghiệm thỏa mãn giả thuyết của mình; còn khi xây dựng trên nghiên cứu trước đó, người ta muốn tái hiện thành công. Nhưng với những kết quả nổi tiếng như thế này thì ngược lại, người ta lại mong chúng thất bại, vì khi đó mọi người mới nói về kết quả của mình
  Những thí nghiệm như vậy có vô số cách có thể bị ảnh hưởng một cách vô thức và tinh vi bởi mong muốn của người làm thí nghiệm. Nói thêm, một yếu tố gây nhiễu thú vị của bài kiểm tra kẹo marshmallow là nó đo mức độ tin tưởng rằng phần thưởng thực sự sẽ được trao, cũng nhiều như đo khả năng chờ đợi phần thưởng. Nếu sống trong một môi trường khó đoán, cứ ăn luôn thì hơn

  • Từ góc nhìn của một người từng sống trong môi trường khó đoán ở Nga thập niên 90, câu chính xác hơn sẽ là “nếu sống trong một môi trường khó đoán, tốt hơn là chuyển đến một môi trường có thể dự đoán được”
    Tôi đã thấy nhiều người tiết kiệm cho tương lai hơn hẳn, và ngược lại tôi lại ngạc nhiên khi ở Canada, một môi trường có thể dự đoán được, điều trái ngược xảy ra nhiều hơn
  • Tôi nhớ yếu tố gây nhiễu đó từng được dùng như một lời giải thích để lướt qua vấn đề khả năng tái hiện của bài kiểm tra marshmallow, nhưng không nhớ thực tế ai đã kiểm chứng nó
    Bài viết lần này toàn là chuyện nhảm, nên có vẻ nó cho thấy phía có thể bịa ra bất kỳ yếu tố gây nhiễu nào để giải thích
  • Nguồn lực dành cho nghiên cứu tái hiện là hữu hạn nên cần phân bổ. Kết quả càng nổi tiếng thì càng có xu hướng thu hút những nỗ lực tái hiện nghiêm túc và hoài nghi
    Cách này trước giờ trông vẫn khá ổn. Chỉ là tái hiện cần thời gian, trong khi một số người coi việc các kết quả “xấu” không được sửa ngay như một thảm họa
  • Rõ ràng đôi khi chuyện đó xảy ra. Khi đọc một bài báo thường được trích dẫn để “phản bác” Dunning-Kruger, tôi đã ngạc nhiên vì phương pháp luận của nó tệ đến mức nào
    https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...

• Về cơ bản, tất cả các nghiên cứu tôi học trong môn Tâm lý học AP ở trung học đều không tái hiện được, bao gồm cả nghiên cứu này. Nhìn lại thì lớp đó, nói nhẹ là lãng phí thời gian, nói nặng là đã cung cấp thông tin sai cho các quyết định cuộc đời

  • Danh tiếng của những tác giả kiểu này cần bị kéo xuống bùn. Trang wiki của Daniel Kahneman không khiến ông trông như một kẻ lừa đảo, nhưng ông đã tự tin nhắc đến các nghiên cứu không tái hiện được và còn phê chuẩn cả dữ liệu giả của những kẻ lừa đảo khác
  • Tâm lý học và tâm thần học không phải khoa học mà là các nhánh giả khoa học của triết học, giống như nắn xương hay tướng sọ học. Chúng giống một giáo phái đọc lá trà bói toán hơn là làm thí nghiệm có kiểm soát và có thể tái hiện, chẩn đoán lâm sàng dựa trên bằng chứng, hay đo lường/kiểm tra cơ quan mà chúng tuyên bố là điều trị

• Một cách diễn giải khác về bài kiểm tra kẹo marshmallow là nó đo niềm tin nhiều không kém gì khả năng tự kiểm soát. Nếu không tin nhà nghiên cứu sẽ đưa hai viên marshmallow, đứa trẻ sẽ không chờ

  • Mức độ tin tưởng thấp vào nhà nghiên cứu giải thích động lực thành tích học tập thấp rồi ;)
  • Cái này có vẻ cần kiểm tra lặp lại. Trong vài vòng đầu nên thử theo kiểu về sau không có phần thưởng
  • Hoặc cũng có thể nó là thứ hoàn toàn nhảm nhí, chẳng có sức dự đoán nào, nên muốn diễn giải thế nào cũng được
  • Hoặc viên marshmallow thứ hai có thể không hấp dẫn lắm. Nếu được đề nghị một viên bây giờ hay hai viên sau này, có thể chọn một viên bây giờ vì không muốn hai viên

• Những đứa trẻ tin tưởng người lớn hứa hẹn có xu hướng trì hoãn sự thỏa mãn của bản thân
  https://pubmed.ncbi.nlm.nih.gov/26799458/
  Nhìn từ góc độ lý thuyết trò chơi thì cũng hợp lý. Nếu có một mô hình nội tại rằng thời gian chờ để người lớn giữ lời hứa nên có phân phối tiên nghiệm chuẩn, tức là kinh nghiệm cho thấy phần lớn người lớn trong đời thường giữ lời hứa, thì chờ đợi là hợp lý
  Ngược lại, nếu dựa trên kinh nghiệm phải giả định một phân phối tiên nghiệm theo luật lũy thừa, thì đến một thời điểm nào đó cắt lỗ là hoàn toàn hợp lý. Cách diễn giải này khá đẹp ở chỗ nó ngụ ý thành công trong đời tương quan với việc có cha mẹ đáng tin cậy, và xét đến yếu tố thời gian thì tôi cho rằng thực sự cũng có quan hệ nhân quả

• Trong số các bài kiểm tra tâm lý học nổi tiếng, có cái nào đã được tái hiện không?

  • Thí nghiệm tuân thủ Asch có vẻ được tái hiện: https://journals.plos.org/plosone/article?id=10.1371/journal...
    Nói thêm, các thí nghiệm tâm lý học có xu hướng nổi tiếng vì gây tranh cãi, và bản thân điều đó có thể tạo ra thiên lệch bất lợi cho khả năng tái hiện. Có lẽ nhiều thí nghiệm tâm lý học nhàm chán với kết quả không mấy bất ngờ vẫn được tái hiện mà không có vấn đề gì
  • Tôi khá chắc rằng bài kiểm tra “liệu có xuất bản chuyện nhảm như sự thật vì danh tiếng hay tiền bạc hay không” đã được tái hiện nhiều lần ở nhiều lĩnh vực
  • Thí nghiệm sự thờ ơ của người ngoài cuộc đã được tái hiện nhiều lần, và thí nghiệm Milgram cũng vậy
  • https://www.bps.org.uk/research-digest/ten-famous-psychology...
    Đây là một chủ đề khó nhằn trên nhiều phương diện

• Theo giai thoại quanh tôi thì điều này đúng. Trong số những người lớn lên và đi học cùng tôi, những ai biết trì hoãn sự thỏa mãn tức thời và có mục tiêu dài hạn thì khá thuận lợi, còn những người sống theo dòng chảy mà không có kế hoạch thì thường chật vật chỉ để cầm cự
  Trong đời tôi cũng vậy, khi có mục tiêu hay tầm nhìn và khi chỉ sống tới đâu hay tới đó, kết quả khác nhau rất lớn. Tôi nghĩ trong những lĩnh vực quan trọng — sở thích, bạn đời, sự nghiệp, gia đình, các mối quan hệ — đều cần có mục tiêu, tầm nhìn và tiêu chuẩn

  • Nếu không phải bạn đã làm bài kiểm tra marshmallow với bạn bè hồi nhỏ, thì thật lòng tôi cũng không biết liệu chúng ta có đang nói cùng một chuyện không. Nghiên cứu gốc là một trường hợp áp dụng mức ngoại suy khổng lồ lên một hiện tượng rất kỳ lạ và cụ thể
    “Thành công trong đời”, “trì hoãn sự thỏa mãn”, “mục tiêu dài hạn” còn cách rất xa các đặc tính có thể đo lường cụ thể. Ví dụ, phải nhìn nhận thế nào với một người luôn đợi game giảm giá mới mua, nhưng vì từng bất an về lương thực nên không thể từ chối cả đồ ăn miễn phí không lành mạnh? Để đánh giá những đặc tính như vậy, có vô số biến số. Điều nghiên cứu này nói là có lẽ không khôn ngoan khi ngoại suy những nét vẽ lớn như thế từ một chỉ báo nhỏ
  • Nếu một đặc điểm tính cách như vậy tồn tại, thì việc nó quan trọng với thành công là điều khá hiển nhiên đúng. Nhưng liệu có thể đo được đặc điểm đó bằng cách đặt một viên marshmallow trước mặt đứa trẻ bốn tuổi rưỡi hay không lại là một câu hỏi hoàn toàn khác
  • Quanh tôi thì cả hai hướng đều có thể xảy ra. Có người vào Ivy League rồi cuối cùng làm một công việc kỹ thuật bình thường, và cũng có người tốt nghiệp Ivy League nhưng chật vật tìm việc
    Ngược lại, những người sống theo dòng chảy cũng đạt tới cùng những công việc kỹ thuật bình thường đó, còn những người thất bại ở trường và chỉ vừa đủ hoàn thành cao đẳng cộng đồng thì nhờ liên tục tự mở đường cho mình mà đang điều hành doanh nghiệp nhỏ thành công
  • Tôi nghĩ không hẳn vậy. Tôi biết nhiều người hành động khá cơ hội chủ nghĩa thay vì lấy mục tiêu làm trung tâm, nhưng cuộc đời vẫn khá suôn sẻ. Việc đặt mục tiêu cho bạn đời, gia đình và các mối quan hệ nghe như một công thức dẫn tới thảm họa
  • Vì thế những nghiên cứu tâm lý học vớ vẩn kiểu này tinh vi ở chỗ gây hại. Có thể hiệu ứng thực sự tồn tại, nhưng có lẽ không phải hiệu ứng ở cấp độ em bé và viên marshmallow

• Một số lĩnh vực nghiên cứu sẽ luôn là nghệ thuật, không phải khoa học. Văn học, nghệ thuật và tâm lý học con người là như vậy
  Những nhà văn, nghệ sĩ, nhà trị liệu xuất sắc có thể đóng góp rất lớn, nhưng họ không thể tiến hành các thí nghiệm nghiêm ngặt và xác lập chân lý bằng con số. Điều đó vẫn ổn
  Điều không ổn là một nhóm các nhà tâm lý học hàn lâm, vì không được đào tạo trong các ngành định lượng/“cứng”, nên thậm chí không biết rằng mình đang nói nhảm. Ở đây “cứng” không có nghĩa là khó, mà là được định nghĩa rõ ràng

• Khi lớn lên, tôi nhớ mình từng gặp những tình huống giống bài kiểm tra marshmallow, nhưng điều tôi học được ở đó không phải là trì hoãn sự thỏa mãn, mà là nếu chờ đợi hay hy sinh thì sẽ thành kẻ bị lợi dụng
  “Nếu bây giờ bỏ cái này, sau này tôi sẽ cho bạn hai cái” thường biến thành “không có viên marshmallow thứ hai, và viên đầu tiên cũng không được trả lại”. Những đứa trẻ khác cần trải qua chuyện này bao nhiêu lần mới học được rằng đừng trì hoãn sự thỏa mãn? Người ta trách đó là “thiếu kiểm soát xung động”, còn tôi sẽ gọi đó là bài học từ trải nghiệm

  • Thiếu lương thực dạy điều đó rất nhanh. Gần như mọi việc làm ở các bậc lương thấp đều vận hành theo kiểu này
    Đó là những lời hứa như “nếu làm hỗ trợ khách hàng cho công ty công nghệ lớn này, bạn có thể vào vai trò ở bộ phận doanh nghiệp”, nhưng trên thực tế tỷ lệ người được tuyển thành công theo cách đó gần như là 0%. Một trong những điểm hay của Reddit là nó làm lộ rõ hệ thống những lời hứa không được giữ đang vận hành hầu hết các công việc bán lẻ và dịch vụ