Tổ chức thi đại học trong thời đại chatbot

• Trong kỳ thi của môn học Chiến lược mã nguồn mở, giảng viên đã thử triển khai một hình thức thi phi truyền thống cho phép cả truy cập Internet lẫn sử dụng tài liệu, nhằm khuyến khích sinh viên tự học
• Sinh viên phải chọn trước có sử dụng chatbot hay không, và nếu sử dụng thì bắt buộc ghi rõ nguồn, công khai prompt và phân tích lỗi
• Trong số 60 sinh viên, có 57 người không dùng chatbot, và nhìn chung nhóm không dùng có xu hướng đạt kết quả tốt hơn
• Sinh viên có xu hướng ngại dùng chatbot vì sợ bị coi là gian lận và vì nhận thức về tiêu chí đánh giá của giảng viên
• Giảng viên dùng tệp “dòng ý thức” (stream of consciousness) để nắm bắt quá trình tư duy của sinh viên, đồng thời nhấn mạnh tầm quan trọng của việc củng cố năng lực tự tư duy hơn là dựa vào chatbot

---

Cách tổ chức kỳ thi

• Kỳ thi được thiết kế với quy tắc mở: cho phép sử dụng mọi tài liệu và Internet, không giới hạn thời gian, có thể thảo luận với nhau, thậm chí có thể tự ra đề
  • Sinh viên cũng được tự do chọn trang phục khi thi, từ trang phục truyền thống đến các bộ đồ hài hước
• Mục tiêu của cách làm này là biến kỳ thi thành phần kéo dài của quá trình học tập và giảm áp lực căng thẳng

Cơ chế lựa chọn dùng chatbot

• Trước kỳ thi, sinh viên phải chủ động chọn rõ có dùng chatbot hay không
  • Phương án A: không dùng chatbot; nếu dùng sẽ bị coi là gian lận
  • Phương án B: được dùng chatbot, nhưng mỗi lần dùng đều phải nộp nguồn, prompt và phân tích lỗi
• Lỗi do chatbot tạo ra bị trừ điểm nặng hơn lỗi do con người mắc phải, và người dùng phải chịu trách nhiệm với kết quả

Lựa chọn của sinh viên và phân bố điểm số

• Trong số 60 sinh viên, có 57 người không dùng chatbot
  • Nhóm thiên về sở thích cá nhân: coi trọng việc học tự chủ, điểm từ 15 đến 19
  • Nhóm không dùng: không thích tương tác với chatbot, điểm trung bình 13
  • Nhóm thực dụng: cho rằng với tính chất của bài thi thì chatbot là không cần thiết, điểm 12 đến 16
  • Nhóm người dùng nặng: phụ thuộc vào chatbot nên bị rối, đa số đạt 8 đến 11 điểm
• Trong 3 sinh viên chọn dùng chatbot
  • 1 người quên mất việc dùng chatbot
  • 1 người chỉ dùng tối thiểu để kiểm tra lại khái niệm
  • 1 người dùng thiết lập LLM phức tạp nên lại hiểu kém hơn (hỏi một LLM rồi nhờ LLM khác xác nhận)
    • Khi trò chuyện mà không có chatbot thì sinh viên này vẫn hiểu đủ tốt, nhưng lại hiểu kém hơn vì đầu ra của chatbot. Với người này, chatbot rốt cuộc còn gây hại

Nhận thức mang tính thế hệ về gian lận

• Phần lớn sinh viên không tin chatbot hoặc sợ bị hiểu nhầm là gian lận
• Một số sinh viên thậm chí lo rằng cả tính năng câu trả lời tự động của Google cũng có thể bị hiểu nhầm là gian lận
• Trong hệ thống đại học hiện tại, gian lận có thể bị xử phạt rất nặng, chẳng hạn bị cấm vào trường tới 3 năm
• Giảng viên bày tỏ sự ngạc nhiên khi thấy khác với thế hệ trước, sinh viên ngày nay còn ngại cả việc hợp tác trước kỳ thi

Thử nghiệm với tệp “dòng ý thức”

• Sinh viên được yêu cầu ghi lại suy nghĩ của mình theo thời gian thực trong lúc làm bài thi
  • Không được sửa hay xóa, không được sao chép, chỉ cho phép URL
  • Không được dùng chatbot, chỉ ghi lại đúng suy nghĩ của bản thân
• Trong số 60 sinh viên, có 55 người nộp, và 24 người nộp thành công bằng git-send-email
• Qua bản ghi này, có thể nắm được mức độ căng thẳng và quá trình tư duy của sinh viên
  • Một số sinh viên cho biết khi viết ra, họ hiểu rõ vấn đề hơn và bớt lo lắng hơn
  • Nhờ tệp này, giảng viên có thể cứu những sinh viên thật sự hiểu bài nhưng diễn đạt chưa tốt

Kết luận và triết lý giáo dục

• Giảng viên dự định sẽ tiếp tục duy trì cách làm này vào năm sau
• Với chatbot, điều quan trọng là năng lực sử dụng nó như một công cụ; nếu đã xử lý tốt thì thậm chí không nhất thiết phải cần đến nó
• Vấn đề thực sự không nằm ở công nghệ, mà ở sự phá hỏng hạ tầng của thế hệ cũ và những hệ thống kém hiệu quả
  • Việc đưa Outlook vào làm trải nghiệm email tệ đi, và sinh viên gọi email là “hộp thư spam của hiệu trưởng”
  • Nhiều sinh viên còn không phân biệt được Git và GitHub, hệ quả của môi trường phụ thuộc vào Microsoft
• Giảng viên gửi tới sinh viên thông điệp: “Hãy học nhanh hơn và sâu hơn thế hệ của tôi”, đồng thời nhấn mạnh sự tiến bộ trong học tập giữa các thế hệ và việc kế thừa tư duy phản biện

[GN⁺]

Ý kiến trên Hacker News

• 10 năm trước, người ta viết bài thi bằng tay, và không có thứ như internet hay LLM
  Ngay cả bây giờ, cách đó vẫn hoàn toàn hiệu quả. Nếu không phải đánh giá khả năng Google của sinh viên thì tôi không thấy lý do gì phải dùng cách khác

  • Tôi cũng đang quay lại thi trên giấy trong lớp học. Cấm thiết bị số, đánh giá phân tán bằng 7 bài quiz ngắn. Tỷ trọng dự án đã giảm xuống 50% vì rất khó xác minh sinh viên có tự làm hay không
  • Vấn đề là thiếu thời gian chấm bài. Có lúc phải xem 20 trang trong vòng 15 phút. Vì vậy tôi đơn giản hóa thành câu hỏi trắc nghiệm, sơ đồ và bài toán tính toán. Cũng có nhiều sinh viên viết tay quá khó đọc, nên có lẽ cho phép nhập liệu terminal đơn giản cũng được. Ngoài ra, kể cả khi sinh viên không nhớ hết mọi thứ, tôi cho rằng điều quan trọng là phải hiểu trực quan được nên tìm câu trả lời ở đâu
  • Thi mở tài liệu không phải chuyện mới. Trong toán học hay sinh học cũng đã có từ lâu. Nếu không nắm khái niệm cơ bản thì cũng không thể qua môn chỉ bằng Google. Cần thiết kế bài thi đánh giá tư duy phản biện hơn là chỉ kiểm tra ghi nhớ đơn thuần
  • Thời tôi học đại học đã từng có giai đoạn thúc đẩy mở rộng dạy học trực tuyến. Chất lượng giảng dạy giảm xuống và giá trị bằng cấp cũng bị pha loãng. Tôi từng tự hỏi vì sao đại học công lập lại theo đuổi tối đa hóa lợi nhuận
  • Tôi nghĩ cách này rốt cuộc vẫn thiên về kiểm tra khả năng ghi nhớ. Tôi cũng có trí nhớ trung hạn tốt nên làm bài thi rất ổn, nhưng điều đó không có nghĩa là thực sự hiểu. Một cấu trúc chỉ có lợi cho người nhớ tốt thì không công bằng

• Tôi cảm thấy nhiều sinh viên không tìm ra câu trả lời cho việc “vì sao phải học”
  Sau khi tốt nghiệp, thực tế là chỉ cần biết “đủ để không bị sa thải”. Trong thời đại LLM, chuẩn đó còn thấp hơn nữa. Vì vậy tôi lại nghĩ nên quay về hình thức thi truyền thống. Thi viết tay trong môi trường đóng, thi vấn đáp, bỏ bài tập về nhà, thay vào đó công khai hàng nghìn câu hỏi và lời giải để rèn luyện khả năng ghi nhớ làm nền tảng cho sáng tạo

  • Tôi cho rằng mục đích của đại học không chỉ là “không bị sa thải” mà là đóng góp vào việc mở rộng tri thức của nhân loại. Nhưng đại học ngày nay đã trở thành nơi sản xuất ra nhân lực theo nhu cầu doanh nghiệp dưới logic thị trường. Hơn nữa, nhiều công việc trên thực tế có thể chỉ là ‘việc làm vô nghĩa (bullshit jobs)’
  • Cũng nguy hiểm nếu giả định sinh viên có thể phụ thuộc liên tục vào LLM. Nếu phí dùng LLM tăng lên 1000 USD mỗi tháng thì sao? Khi đó họ còn làm việc được không?
  • Ở châu Âu, từ trước thi vấn đáp và thi viết tay vốn đã phổ biến. Văn hóa chấm điểm bài tập về nhà ngược lại còn thấy khá lạ. Trong thời đại LLM, tôi nghĩ điều quan trọng hơn là phải học cái gì
  • Giờ đây, câu hỏi của giáo dục không còn là “dạy thế nào” mà là “ý nghĩa của công việc và năng lực là gì”. Xã hội ngày càng coi trọng performance hơn năng lực, và AI lại càng đẩy mạnh xu hướng đó
  • Giáo sư điện từ học của tôi từng nói: “Đừng học thuộc công thức, hãy hiểu các mối quan hệ.” Nhưng tôi nghĩ ghi nhớ công thức chính là điểm khởi đầu để hiểu các mối quan hệ. Vật lý không chỉ là công thức mà là ngành học về việc hiểu cấu trúc tiến hóa của các hệ thống

• Có vẻ câu “đa số sinh viên không muốn dùng chatbot” giờ đã không còn đúng nữa
  Tôi là giảng viên đại học, và số sinh viên phụ thuộc vào LLM đang tăng bùng nổ. Tôi lo rằng rồi sẽ xuất hiện một thế hệ không thể học nếu không có LLM

  • Giáo sư và sinh viên trong bài có lẽ không cần LLM vì họ vốn hứng thú với việc học. Nhưng phần lớn sinh viên mục tiêu là qua môn, nên dùng LLM là lựa chọn hợp lý. Nếu là môn tôi không hứng thú, có lẽ tôi cũng sẽ dùng LLM
  • Tôi cho rằng đây là một môi trường thi đặc thù nên khó khái quát hóa. Nếu điều kiện là “được dùng AI nhưng phải chịu trách nhiệm về kết quả”, thì những sinh viên chuẩn bị tốt sẽ không nhất thiết phải dùng AI
  • Nếu việc dùng LLM bị cấm trong đại học, sinh viên sẽ học được tư duy tự chủ thông qua nỗi sợ. Tư duy phản biện là kỹ năng phải được rèn luyện bền bỉ
  • Nếu LLM bắt đầu tính phí đúng với chi phí thực, thì do rào cản giá cả, nhiều sinh viên có thể sẽ không tiếp cận được
  • Vấn đề là Google đã phá hỏng tìm kiếm và thay bằng hộp LLM. Nguyên nhân có thể không phải nhu cầu của sinh viên mà là hướng đi của doanh nghiệp

• Có giáo sư cảm nhận rằng khả năng đồng cảm và sự quan tâm tới người khác của sinh viên cao đến đáng ngạc nhiên. Cách họ tiếp cận AI cũng rất nhân văn, khác với nhiều nhà giáo dục khác

• Ý tưởng “cho phép sinh viên thảo luận với nhau trong lúc thi” khá thú vị
  Thế thì có lẽ nên cấp bằng tốt nghiệp theo nhóm cũng nên, như một câu đùa. Thực ra cũng có công ty tuyển dụng theo nhóm, nên biết đâu đây không phải ý tưởng tệ

  • Tôi là tác giả bài gốc. Tôi dạy Open Source Strategies. Cốt lõi là hợp tác. Nếu xác định vấn đề, đặt câu hỏi và mở rộng hiểu biết thông qua câu trả lời, thì như vậy đã là học rất tốt rồi.
    Một cách khác là để sinh viên 1 giải thích khái niệm, rồi cho sinh viên 2 học hiểu trong vòng 20 phút. Sau đó đánh giá sinh viên 1 dựa trên câu trả lời của sinh viên 2. Đây là cách thúc đẩy sự hợp tác có trách nhiệm
  • Sẽ còn tốt hơn nếu có quy tắc buộc cả hai sinh viên đều phải tham gia tích cực
  • Có vẻ kiểu lớp học hợp tác này xuất hiện như một phản ứng trước văn hóa cạnh tranh trong nhà trường
  • Cũng có câu đùa châm biếm kiểu “cứ gửi hết bằng tốt nghiệp cho OpenAI đi”. Đó là lời mỉa mai rằng giá trị của giáo dục đang bị lung lay

• Tôi ấn tượng với thiết kế bài thi linh hoạt của vị giáo sư này. Thái độ thấu hiểu sinh viên, làm rõ kỳ vọng và cùng nhau học hỏi là điều hiếm thấy

  • Tôi là tác giả bài gốc. Phần lớn giáo sư là những người trở thành giáo sư vì làm bài thi chuẩn rất giỏi. Tôi thì ngược lại, từng là sinh viên kém. Tôi tốt nghiệp với số điểm tối thiểu, nhưng đã xây dựng sự nghiệp trong lĩnh vực mã nguồn mở và nhờ đó được tuyển làm giáo sư. Tôi biết ơn con đường phi truyền thống này

• Tôi ngạc nhiên khi nghe nói “sinh viên sợ bị xem là gian lận nên không hợp tác với nhau”. Vì trước đây tôi lại từng nghe rằng gian lận rất phổ biến

  • Tôi dạy ở bậc thạc sĩ, và trong vài năm gần đây khoảng 15% sinh viên đạo văn một cách trắng trợn. Thậm chí từng có hai người nộp bài làm giống hệt nhau đến từng byte
  • Có thể lớp học này không đại diện cho hành vi phổ biến của toàn bộ sinh viên

• Tôi cảm thấy cách dạy của vị giáo sư này thật sự là một cách tiếp cận sâu sắc và cân bằng. Đây là cấu trúc vừa trao cho sinh viên quyền tự chủ vừa đặt ra trách nhiệm.
  Câu nói “mục tiêu của tôi là để các bạn học nhanh hơn và sâu hơn tôi” đặc biệt ấn tượng