Nghiên cứu của Đại học Michigan: Sinh viên có họ ở cuối bảng chữ cái nhận điểm thấp hơn
(record.umich.edu)- Nhóm nghiên cứu tại Đại học Michigan đã phân tích hơn 30 triệu bản ghi chấm điểm trên Canvas và xác nhận xu hướng sinh viên có họ ở cuối bảng chữ cái nhận điểm thấp hơn
- Nguyên nhân cốt lõi là cách sắp xếp mặc định của Canvas hiển thị bài nộp theo thứ tự bảng chữ cái của họ, cùng với thiên lệch tuần tự phát sinh khi người chấm đánh giá bài tập theo đúng thứ tự đó
- Sinh viên có họ từ A-E nhận điểm cao hơn 0,3 điểm trên thang 100 so với chấm ngẫu nhiên, trong khi sinh viên có họ ở cuối bảng chữ cái nhận thấp hơn 0,3 điểm, tạo ra chênh lệch tổng cộng 0,6 điểm
- Khi khoảng 5% người chấm chấm theo thứ tự từ Z đến A, khoảng cách này xuất hiện theo chiều ngược lại, củng cố cách lý giải rằng thứ tự chấm điểm chứ không phải bản thân họ đã tạo ra chênh lệch điểm số
- Chênh lệch 0,6 điểm có vẻ nhỏ nhưng vẫn có thể ảnh hưởng đến GPA môn học và cơ hội nghề nghiệp, nên cần chuyển mặc định sang chấm ngẫu nhiên và có biện pháp giảm gánh nặng chấm bài ở các lớp học đông
Khoảng cách theo chữ cái đầu họ do sắp xếp mặc định của Canvas tạo ra
- Nhóm nghiên cứu của Đại học Michigan đã thu thập dữ liệu chấm điểm lịch sử của mọi chương trình, sinh viên và bài tập có thể truy xuất trên Canvas từ học kỳ mùa thu 2014 đến học kỳ hè 2022
- Đối tượng phân tích là hơn 30 triệu bản ghi chấm điểm, đồng thời được bổ sung bằng dữ liệu từ phòng đăng ký của trường về bối cảnh sinh viên, nhân khẩu học và lộ trình học tập
- Sinh viên có họ đứng về cuối bảng chữ cái nhận điểm thấp hơn, nhận phản hồi tiêu cực hơn và kém lịch sự hơn, đồng thời chất lượng chấm điểm đo bằng mức độ khiếu nại của sinh viên cũng thấp hơn
- Bài báo liên quan là 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity, hiện đang được phản biện tại Management Science
Cách thiên lệch chấm điểm tuần tự vận hành
- Canvas mặc định sắp xếp bài nộp của sinh viên theo thứ tự bảng chữ cái của họ
- Thiết kế mặc định này không chỉ dừng ở một môn học cụ thể mà có thể lan rộng sang nhiều cơ sở giáo dục và nhiều môn học sử dụng hệ thống quản lý học tập
- Xuất hiện mô hình chất lượng chấm điểm suy giảm khi người chấm phải đánh giá nhiều bài tập hơn
- Theo Wang, sinh viên có họ bắt đầu bằng A, B, C, D, E nhận điểm cao hơn 0,3 điểm trên thang 100 so với khi được chấm theo thứ tự ngẫu nhiên, còn sinh viên có họ ở cuối bảng chữ cái nhận thấp hơn 0,3 điểm
Hiệu ứng ngược thể hiện trong chấm điểm theo thứ tự đảo
- Khoảng 5% người chấm chấm theo thứ tự từ Z đến A
- Trong trường hợp này, chênh lệch đảo chiều đúng như dự đoán
- Sinh viên có họ từ A-E trở nên bất lợi
- Sinh viên có họ từ W-Z nhận điểm cao hơn so với khi được chấm ngẫu nhiên
- Quan sát này củng cố cách diễn giải rằng nguyên nhân của chênh lệch điểm số ban đầu không phải là bản thân họ mà là thứ tự chấm điểm
Tác động với sinh viên từ một chênh lệch điểm nhỏ
- Chênh lệch 0,6 điểm có thể trông nhỏ, nhưng vẫn ảnh hưởng đến GPA môn học của sinh viên
- Sự thay đổi GPA cũng có thể tác động tiêu cực đến cơ hội nghề nghiệp của từng sinh viên
- Wang cho biết điều xảy ra một cách vô thức với người chấm có thể dẫn tới tác động xã hội thực sự
Ý tưởng nghiên cứu và yếu tố mệt mỏi
- Ý tưởng nghiên cứu xuất hiện trong quá trình thảo luận giữa nghiên cứu công nghệ giáo dục của Wang và nghiên cứu trí tuệ nhân tạo của Pei
- Pei chú ý rằng gán nhãn dữ liệu, một công việc nền tảng của machine learning, cũng là dạng công việc tuần tự kéo dài và nhàm chán nhưng lại được ngẫu nhiên hóa
- Quan sát này dẫn tới một nghiên cứu thử nghiệm xem xét mối liên hệ giữa thời gian chấm bài và chênh lệch điểm số trong các hệ thống giáo dục như Canvas
- Trong các công việc kéo dài, sự mệt mỏi tích tụ và làm suy giảm mức độ chú ý cũng như năng lực nhận thức, nên mệt mỏi có thể là một trong những yếu tố chính tạo ra hiệu ứng này
Các biện pháp cải thiện được đề xuất
- Canvas có tùy chọn chấm bài theo thứ tự ngẫu nhiên và một số giảng viên đã sử dụng
- Tuy nhiên, chế độ mặc định của Canvas và các hệ thống quản lý học tập trực tuyến khác vẫn là thứ tự bảng chữ cái
- Giải pháp đơn giản nhất là đổi thiết lập mặc định sang thứ tự ngẫu nhiên
- Các tổ chức học thuật cũng được đề xuất những phương án thay thế như sau
- Tuyển thêm người chấm cho các lớp học đông
- Phân tán công việc chấm bài cho nhiều người hơn
- Cung cấp đào tạo để nhận diện và giảm thiên lệch trong quá trình chấm điểm
1 bình luận
Ý kiến trên Hacker News
Tôi làm trong giới học thuật. Khi chấm thi, thứ tự chồng bài là theo thứ tự thu bài trong lớp, và thường có 5 người ngồi cùng một phòng, mỗi người phụ trách một câu hỏi cụ thể để giữ tính nhất quán
Mỗi người cầm chồng bài lên, tìm các bài mà câu của mình chưa được chấm rồi rút ra, nên các bài bị xáo trộn khá nhiều, và thứ tự chấm thực tế gần như có thể xem là ngẫu nhiên
Ngược lại, bài tập hằng tuần trong học kỳ được commit vào kho lưu trữ, và thư mục của từng sinh viên bắt đầu bằng chữ cái đầu trong tên của họ. Mọi người đều đồng ý rằng để công bằng thì phải xáo thứ tự chấm mỗi tuần. Lúc đầu thì còn đỡ mệt, còn đến khoảng 2 bài cuối thì tâm trạng lại tốt hơn vì nghĩ là sắp xong, và đặc biệt là ở giai đoạn đầu bạn vẫn chưa thấy hết các lỗi phổ biến nên chưa bắt được nhịp và có thể bỏ sót, trong khi ở các bài nộp về sau thì lại phát hiện ra ngay
Còn một hiệu ứng bảng chữ cái khác là hồi tiểu học tôi thường đứng đầu danh sách lớp nên hay bị giao cầm bảng cho đoàn đi bảo tàng, ghi chép gì đó, làm đầu tiên trước mặt mọi người những việc chẳng ai muốn làm trước, hoặc bị kiểm tra thể dục đầu tiên. Tôi là đứa trẻ khá nhút nhát nên điều đó đã làm tôi khó chịu từ lớp 1
Làm vậy thì những sinh viên mắc cùng một lỗi sẽ nhận cùng số điểm. Sau mỗi lần chấm xong một câu, thứ tự bài cũng tự nhiên bị xáo đi
Cách này không cần thiết cho trắc nghiệm đơn giản và cũng không hợp lắm với bài luận dài, nhưng lại rất hiệu quả cho các câu trả lời ngắn mang tính kỹ thuật trong khoa học máy tính và an ninh
Vì chỉ sau khi đã thấy hết mọi lỗi thì mới đánh giá được một lỗi thực sự nghiêm trọng đến mức nào
Thế mà tôi nhận được 80% mà không có bất kỳ ghi chú hay đánh dấu nào
Suốt 25 năm qua tôi vẫn luôn tự hỏi bài tập của học sinh thực sự được xem xét kỹ đến mức nào
Tôi làm trong EdTech, và mỗi lần thêm tính năng đòi hỏi giáo viên phải xem thủ công bài làm của học sinh thì lại thấy có người rất tận tâm còn có người thì không hề đụng vào
Cây bút đỏ đầu tiên dùng để đánh dấu các lỗi tại từng điểm riêng lẻ như lỗi chính tả hoặc lỗi dùng từ rõ ràng. Trong quá trình này, tôi cũng tự nhiên nắm được mặt bằng chung của chất lượng bài viết, đồng thời có thể lướt nhanh toàn bộ bài
Cây bút xanh lá thứ hai chủ yếu dùng để đánh dấu ở lề những chỗ có lập luận hay hoặc đi tới kết luận, nhằm chuẩn bị cho bước tiếp theo. Cách này cũng được áp dụng cho tất cả các bài
Đến cây bút xanh dương thứ ba, tôi mới đánh giá và phê bình chất lượng bài viết. Tôi có thể để lại ghi chú ngắn ở lề hoặc thêm nhận xét ở cuối bài luận
Học sinh đôi khi cười vì những màu sắc đẹp mắt đó, nhưng khi tôi giải thích cách làm và lý do thì các em hiểu rất rõ, và có lẽ cũng thấy biết ơn
Có thể liên quan hoặc không, nhưng khi tôi học ở trường phổ thông K-12 vào thập niên 80 và đầu 90, chỗ ngồi luôn được sắp từ trước ra sau theo thứ tự alphabet của họ. Những đứa có họ bắt đầu từ A-D thì luôn ngồi phía trước, còn U-Z thì luôn ngồi phía sau, và lớp nào cũng vậy
Tôi nhớ nhiều bạn thân của mình có họ gần họ của tôi cũng vì chúng tôi luôn ngồi gần nhau. Đến khoảng cấp ba thì dường như rõ ràng là có nhiều học sinh thành tích cao hơn trong nhóm họ A-D, còn phía U-Z thì có nhiều học sinh cá biệt hơn
Có phải vì ngồi gần giáo viên hơn và được quan tâm nhiều hơn không? Không có thí nghiệm hay nhóm đối chứng nào nên không thể biết được
Nhiều bạn của tôi cũng là những đứa đeo kính, và vì kính không chỉnh thị lực hoàn toàn nên cũng thích ngồi bàn trên
Tất nhiên vẫn có thể nói rằng những học sinh bắt đầu ở phía trước trong tuần đầu tiên vẫn có lợi thế, nhưng có lẽ không lớn đến thế
Chữ cái đầu tên tôi là Z và W nên tôi rất hay để ý đến chuyện sắp xếp theo alphabet. Tôi hỏi một người bạn có chữ cái đầu là A và B, và bạn ấy nói chưa từng để ý đến chuyện đó
Tôi không cảm nhận được khác biệt về chấm điểm hay xếp hạng, nhưng tôi nghe câu kiểu “đến lượt bạn thì đồ đạc/thời gian này kia đã hết rồi” thường xuyên hơn nhiều, nên tôi nhạy cảm hơn hẳn với các vấn đề về kế hoạch và tổ chức
Tôi luôn ở cuối bảng chữ cái, và chuyện này trước đó đã là vấn đề cả khi chọn sách để đọc. Được phép chọn sách, nhưng lúc nào cũng theo thứ tự alphabet, nên đến lượt tôi thì chỉ còn vài cuốn và những cuốn được chuộng nhất đã biến mất hết
Khi cuối cùng cũng đến lượt tôi lấy bi, thì bi cũng đã hết. Tôi hỏi “Bi của con đâu ạ?” và cô giáo chỉ nhún vai rồi nói “Hết rồi.” Chắc khi đó tôi khoảng 7 tuổi, tôi đã khóc rất nhiều, và hình như có được vài viên bi từ những đứa trẻ khác, nhưng thực ra vấn đề không nằm ở mấy viên bi đó
Đến giờ tôi vẫn không hiểu sao người ta có thể kỳ vọng chuyện này sẽ dẫn tới kết quả nào khác
Có một hôm cô giáo nói kiểu như “Hôm nay ta đảo ngược thứ tự nhé, nhưng cũng sẽ xếp theo tên luôn.” Tên tôi bắt đầu bằng A, nên cuối cùng tôi vẫn lại đứng cuối, và mọi người thấy rất buồn cười
Ở trường đại học của chúng tôi, gần như mọi việc chấm điểm đều được ẩn danh. Mỗi năm vào đầu năm học, chúng tôi nhận một số dự thi ngẫu nhiên và ghi số đó vào các bài tập quan trọng hoặc bài thi
Với các bài tập trên lớp ít quan trọng hơn thì thường không làm đến mức đó, mà hay ghi mã số sinh viên, nhưng ý tưởng cơ bản là như nhau
Ngoại trừ luận văn và vài bài tập lặt vặt không ảnh hưởng đến điểm tổng kết, chúng tôi không ghi tên. Việc gỡ ẩn danh không hẳn là khó, nhưng hệ thống nhờ vậy có thêm một chút tính liêm chính
Đây là một cách triển khai rất đơn giản, nên tôi không hiểu vì sao nó không được dùng thường xuyên hơn
Tôi cũng nhớ hệ thống học tập trực tuyến của chúng tôi sắp xếp bài nộp theo thời gian nộp chứ không theo bất kỳ mã định danh nào
Nó giải quyết được thiên kiến đối với cá nhân, nhưng không giải quyết được thiên kiến liên quan đến cách các bài nộp bị sắp xếp
Có vẻ đúng hơn là nên dùng mã định danh ngẫu nhiên cùng với thứ tự sắp xếp ngẫu nhiên
Tuy vậy, tôi kém chắc chắn hơn về việc đề xuất hội nghị ẩn danh có phải là ý hay không. Từ kinh nghiệm trước đây, nếu tôi biết một người nào đó gần như chắc chắn sẽ làm rất xuất sắc, thì tôi sẽ ít bị thuyết phục hơn khi chọn một người ngẫu nhiên không có năng lực nổi bật rõ ràng cho cùng chủ đề đó. Tất nhiên, chỉ chọn bạn bè trong hội đồng thì rõ ràng cũng có thể đi quá xa
Dù tên người dùng nhìn có vẻ ngẫu nhiên, một số cái tên bắt đầu có danh tiếng trên bảng thảo luận của lớp, và sinh viên cũng dần nhận ra một vài tên
Tuy vậy, các môn khoa học máy tính thường có tiêu chí chấm điểm khá khách quan, nên tôi không rõ tính ẩn danh thực sự quan trọng đến mức nào
Người ta nói “giải pháp đơn giản là đặt thứ tự ngẫu nhiên làm mặc định”, nhưng điều đó chỉ có nghĩa là thiên kiến được biến thành ngẫu nhiên. Có lẽ sinh viên bị chấm cuối cùng vẫn sẽ nhận điểm thấp hơn
Từ kinh nghiệm làm trợ giảng, thiên kiến này chắc chắn là có. Nhưng nó không thể biến một lời giải hoàn toàn sai thành đúng, hay một lời giải rất xuất sắc thành tệ đi
Về sau, tôi biết được sinh viên nào đang gặp khó khăn và sinh viên nào làm tốt. Nếu một sinh viên giỏi làm sai, nghĩa là có chuyện gì đó lớn đã xảy ra, nên tôi sẽ lướt nhanh qua trước, xem bài của những sinh viên đang gặp khó khăn, rồi chấm phần còn lại theo thứ tự nhận được, và cuối cùng quay lại xem nhóm sinh viên yếu và nhóm sinh viên giỏi. Tôi cần một đường cơ sở để biết những bài tệ nhất thực sự tệ đến mức nào. Có thể nói một số tập bài giống như một cuộc phiêu lưu tình cờ
Viết ra như vậy nghe có vẻ rất lạnh lùng và vô cảm, nhưng việc tập trung vào nhóm 1/3 dưới ở các bài luyện tập rồi báo lại cho trợ giảng và giáo sư xem họ mắc ở đâu đã giúp ích rất nhiều cho mọi người, đặc biệt là chính những sinh viên đó. Nó giúp họ nắm vững những nền tảng quan trọng
Vài tháng trước khi lần đầu chấm bài, tôi cũng cảm nhận được điều này
Những bài đầu tiên tôi chấm không mắc một số lỗi nhất định, hoặc trả lời theo cách tôi dự đoán; rồi về sau khi gặp những câu trả lời hoặc lỗi ngoài dự đoán, tôi phải nghĩ lại điểm của những bài đã chấm trước đó. Ví dụ, có trường hợp vì câu trả lời của một người mà tôi thấy một đáp án mình từng xem là sai thực ra lại ít sai hơn
Lớp học nhỏ nên có thể quay lại sửa, và thứ tự nộp bài vốn đã được xáo trộn phần nào nên tôi chấm theo cách đó, nhưng nếu không thì chắc chắn đã có thiên kiến
Chỉ sau khi thấy một lỗi nào đó lặp lại vài lần, tôi mới đánh giá lại và nhận ra đó là một sai sót rất dễ mắc
Hoặc tôi phát hiện một lỗi mới mà ban đầu không biết, hóa ra cũng khá phổ biến. Khi đó tôi phải cập nhật bộ kiểm thử rồi chạy lại cho tất cả mọi người
Tôi cố làm khá kỹ, và cuối cùng thường phải xem lại cả chồng bài, nhưng thực sự rất đau đầu. Tôi hoàn toàn có thể làm qua loa, nhưng sinh viên đã dành nhiều tuần cho công việc đó nên tôi cảm thấy mình phải đưa ra phản hồi trung thực
Thành ra việc chấm điểm cũng có xu hướng trở nên khoan dung hơn. Nếu lười chỉ kiểm tra vài lỗi, bạn sẽ trừ rất nhiều điểm cho từng vấn đề, như vậy không công bằng với những sinh viên tình cờ dính đúng những lỗi bạn dự đoán trước. Nếu tìm ra mọi lỗi, bạn buộc phải chỉ trừ vài điểm cho mỗi lỗi để không phá hỏng điểm của tất cả mọi người
Tôi cũng ở trong cùng hoàn cảnh và làm như vậy. Tôi không tin mình có thể tự tay tạo ra một thứ tự ngẫu nhiên thật sự, nên đành dựa vào tính ngẫu nhiên rất yếu do thứ tự nộp bài mang lại
Thực ra đây gần như chính là lý do họ của bọn trẻ nhà tôi lại như vậy
Họ của tôi bắt đầu bằng E, còn họ của vợ tôi bắt đầu bằng Y. Trái với truyền thống, khi kết hôn vợ tôi không đổi họ, và khi các con ra đời chúng tôi phải quyết định sẽ cho chúng mang họ nào. Chúng tôi chọn họ ghép bằng dấu gạch nối
Trong lịch sử, họ ghép thường theo thứ tự họ của phụ nữ - họ của đàn ông. Nhưng vợ tôi lớn lên với cảm giác không thích việc họ của mình nằm gần cuối bảng chữ cái
Vì thế, chúng tôi lại phá lệ một lần nữa và đặt họ của tôi lên trước, để khi sắp xếp theo bảng chữ cái thì bọn trẻ sẽ nằm ở phía đầu. Nhân tiện, tên của bọn trẻ cũng bắt đầu bằng A và B, nên khi sắp theo tên chúng cũng ở phía trên
Nếu thực sự muốn phá vỡ truyền thống, thì đừng kết hôn mà cứ sống chung rồi sinh con thôi
Rốt cuộc, còn gì truyền thống hơn hôn nhân nữa chứ?
Họ của tôi bắt đầu bằng một chữ cái gần cuối bảng chữ cái nên tôi luôn để ý những chuyện như thế này. Năm nay có một việc như sau: con trai tôi đang học một lớp ở trung học, nơi một dự án dài hạn cần phản hồi liên tục từ giáo viên
Giáo viên xem xét dự án theo thứ tự bảng chữ cái của họ, nhưng khoảng 40% thì không xem tới được nửa dưới của lớp và nếu có vấn đề thì bảo học sinh đến gặp sau giờ học. Nhưng với tính chất của dự án này, những nhận xét chủ động từ giáo viên là thực sự cần thiết
Vì vậy tôi dặn con trai mình hãy đến gặp giáo viên để được xem trước một cách chủ động ngay cả khi không có vấn đề gì, nhưng không phải đứa trẻ nào cũng làm vậy và kết quả là có khả năng nhận điểm thấp hơn
Tôi thắc mắc vì sao Helen Wang lại chọn chủ đề này để nghiên cứu
Điều này gợi nhớ đến một hệ quả ngoài ý muốn nghiêm trọng của việc sắp xếp
Tương tự hiệu ứng thẩm phán đói [1]. Đây là hiệu ứng cho rằng các thẩm phán có xu hướng nghiêm khắc hơn trước giờ nghỉ và khoan dung hơn sau giờ nghỉ
[1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect