ĐH Michigan phát hiện sinh viên có họ xếp cuối bảng chữ cái nhận điểm thấp hơn

Kết quả nghiên cứu về thiên lệch chấm điểm theo trình tự

• Nhóm nghiên cứu tại Đại học Michigan đã phân tích hơn 30 triệu bản ghi điểm trên Canvas và phát hiện rằng sinh viên có họ nằm về cuối theo thứ tự bảng chữ cái có xu hướng nhận điểm thấp hơn
  • Nguyên nhân là do thiên lệch chấm điểm theo trình tự và thứ tự mặc định của bài nộp trên Canvas được sắp xếp dựa trên vị trí chữ cái trong họ
• Những sinh viên bị bất lợi theo thứ tự bảng chữ cái nhận được các nhận xét tiêu cực hơn và kém lịch sự hơn, đồng thời chất lượng chấm điểm đo bằng mức độ khiếu nại điểm sau đó của sinh viên cũng thấp hơn
• Nhóm nghiên cứu cho biết họ luôn suy nghĩ rất nhiều về tính công bằng và độ chính xác của việc chấm điểm, nhưng chỉ nhận ra rằng thứ tự có thể tạo ra khác biệt sau khi xem dữ liệu

Dữ liệu và kết quả nghiên cứu

• Nhóm đã thu thập toàn bộ dữ liệu lịch sử có sẵn về mọi chương trình, sinh viên và bài tập trên Canvas từ học kỳ mùa thu năm 2014 đến học kỳ mùa hè năm 2022
  • Kết hợp với dữ liệu ghi danh của trường, bộ dữ liệu bao gồm thông tin chi tiết về xuất thân, nhân khẩu học và lộ trình học tập của sinh viên trong trường đại học
• Dữ liệu đến từ Đại học Michigan, nhưng nhóm nghiên cứu cho biết kết quả có thể khái quát sang các cơ sở và khóa học khác do đây là một vấn đề thiết kế phổ biến của các hệ thống quản lý học tập
  • Cụ thể là do cài đặt mặc định sắp xếp bài tập của sinh viên theo thứ tự chữ cái của tên
• Nhóm phát hiện một mô hình rõ ràng cho thấy chất lượng chấm điểm suy giảm khi người chấm phải chấm nhiều bài hơn
  • Sinh viên có họ bắt đầu bằng A, B, C, D, E nhận điểm cao hơn 0,3 điểm trên thang 100 so với khi được chấm ngẫu nhiên
  • Tương tự, sinh viên có họ ở cuối bảng chữ cái nhận điểm thấp hơn 0,3 điểm, tạo ra chênh lệch tổng cộng 0,6 điểm
• Chênh lệch 0,6 điểm có vẻ nhỏ, nhưng những sai lệch như vậy ảnh hưởng đến điểm trung bình môn học của sinh viên và từ đó tác động tiêu cực đến cơ hội trên con đường sự nghiệp của mỗi người

Bối cảnh nghiên cứu và đề xuất

• Ý tưởng nghiên cứu này xuất hiện khi Wang, người nghiên cứu công nghệ giáo dục, và Fei, người nghiên cứu AI, thảo luận về đề tài
  • Họ chú ý rằng việc gán nhãn dữ liệu, một công việc nền tảng trong machine learning, cũng là công việc lặp đi lặp lại, kéo dài và dễ gây nhàm chán, nhưng thường được thực hiện ngẫu nhiên
  • Thông qua một nghiên cứu thử nghiệm, họ kiểm tra xem có sự mất cân bằng điểm số theo thời gian chấm hay không
• Nhóm nghiên cứu suy đoán rằng mệt mỏi có thể là một trong những yếu tố chính gây ra hiệu ứng này
  • Khi phải làm một việc trong thời gian dài, con người sẽ mệt, giảm chú ý và suy giảm năng lực nhận thức
• Trên Canvas và các hệ thống quản lý học tập trực tuyến khác có tùy chọn chấm bài theo thứ tự ngẫu nhiên và một số giảng viên đã sử dụng, nhưng chế độ mặc định vẫn là theo bảng chữ cái
  • Một giải pháp đơn giản là đặt mặc định thành thứ tự ngẫu nhiên
• Ngoài ra, nhóm cũng đề xuất các cơ sở học thuật nên thuê thêm người chấm cho các lớp học quy mô lớn, phân bổ khối lượng công việc cho nhiều người hơn, hoặc đào tạo để nhận diện và giảm thiểu thiên lệch

Ý kiến của GN⁺

• Việc thiên lệch chấm điểm theo trình tự có tác động thực tế đến điểm số của sinh viên đặt ra vấn đề về tính công bằng của hệ thống đánh giá giáo dục. Vì điểm số có ảnh hưởng lớn đến tương lai của sinh viên, có vẻ rất cần sớm cải thiện vấn đề này
• Tuy vậy, đây là nghiên cứu giới hạn ở các quốc gia dùng tiếng Anh nên có thể không phải là vấn đề lớn tại Hàn Quốc. Cần có thêm nghiên cứu trong nước để xem hiện tượng tương tự có xuất hiện khi sắp xếp theo thứ tự phụ âm của Hangul hay số nét của họ Hán tự hay không
• Việc mức độ mệt mỏi của người chấm ảnh hưởng đến chất lượng chấm điểm cho thấy môi trường giáo dục cần có cơ chế hỗ trợ và bù đắp phù hợp cho công việc đánh giá. Gánh nặng công việc quá mức có thể làm suy giảm tính công bằng trong đánh giá
• Việc đưa vào các hệ thống chấm điểm tự động dựa trên trí tuệ nhân tạo cũng có thể là một phương án thay thế. Tuy nhiên, sẽ khó giải quyết hoàn toàn vấn đề thiên lệch, nên vẫn cần các biện pháp bổ sung để bảo đảm khía cạnh chất lượng của đánh giá

[GN⁺]

Ý kiến trên Hacker News

Sau đây là phần tóm tắt các bình luận trên Hacker News:

• Khi chấm bài thi ở đại học, thứ tự các bài thi xếp trên bàn là theo thứ tự được thu vào. Người chấm sẽ xáo các bài thi và mỗi người phụ trách một câu hỏi cụ thể để bảo đảm chấm điểm nhất quán. Vì vậy, thứ tự chấm thực tế có thể xem là ngẫu nhiên.
• Khi chấm bài tập nộp, người ta thường chấm theo thứ tự bảng chữ cái tên sinh viên, nhưng ai cũng đồng ý rằng nên xáo thứ tự để công bằng hơn. Lý do là vì (1) lúc đầu người chấm còn ít mệt hơn, (2) về cuối thì tâm trạng tốt hơn vì sắp xong, và (3) ở giai đoạn đầu có thể bỏ sót các lỗi phổ biến hoặc chưa bắt được “gu” chấm.
• Một người kể rằng hồi tiểu học, vì họ của mình đứng đầu danh sách học sinh nên thường xuyên bị giao các việc đặc biệt như quản lý vé hay bị đánh giá đầu tiên trong giờ thể dục. Với một đứa trẻ hướng nội thì đó là điều khá phiền.
• Trong trường học những năm 80~90, chỗ ngồi được xếp trước sau theo thứ tự chữ cái của họ. Ở cấp ba, những học sinh có họ bắt đầu bằng A~D thường là học sinh giỏi, còn những em có họ bắt đầu bằng U~Z lại thường hay quậy phá. Có thể là vì ngồi gần giáo viên hơn nên nhận được nhiều sự chú ý hơn.
• Những người có chữ cái đầu là Z hoặc W rất để ý đến việc sắp xếp theo bảng chữ cái, còn bạn bè có chữ cái đầu là A hoặc B thì không như vậy.
• Ở đại học, các kỳ thi và bài tập quan trọng được xử lý bằng mã số thí sinh đã được ẩn danh. Dù không hoàn toàn ẩn danh, hệ thống này vẫn tạo ra một mức độ liêm chính nhất định.
• Khi chấm điểm, lúc đầu có thể chưa gặp một lỗi cụ thể hay một kiểu câu trả lời bất ngờ nào; đến khi gặp ở các bài sau thì phải quay lại chấm lại những bài trước đó.
• Việc dùng thứ tự ngẫu nhiên làm mặc định có thể giúp giảm thiên kiến. Tuy vậy, sinh viên bị chấm cuối cùng vẫn có thể nhận điểm thấp hơn.
• Vợ của một người có họ bắt đầu bằng Y nên ghét việc luôn bị xếp phía sau; vì thế, khi đặt họ cho con, họ để họ của chồng (bắt đầu bằng E) lên trước rồi nối bằng dấu gạch ngang. Tên riêng cũng bắt đầu bằng A và B để khi sắp xếp sẽ đứng gần đầu danh sách.
• Trong bộ sách Nhật ký chú bé nhút nhát, có chi tiết rằng những đứa trẻ có họ ở đầu bảng chữ cái được ngồi bàn trên trong lớp, được gọi trả lời nhiều hơn và học được nhiều hơn.
• Một người là cha của học sinh có họ ở gần cuối bảng chữ cái cho biết trong lớp của con mình, khi giáo viên duyệt dự án theo thứ tự họ thì khoảng 40% trường hợp sẽ không kịp tới phần cuối. Nhưng không phải học sinh nào cũng chủ động tìm gặp giáo viên, nên điều đó có thể dẫn tới điểm số thấp hơn.
• Có người thắc mắc vì sao Helen Wang lại nghiên cứu chủ đề này.