Bài báo sai sót đăng trên tạp chí quản trị đã được trích dẫn hơn 6.000 lần

• Bài báo cho rằng có mối tương quan giữa tính bền vững của doanh nghiệp và hiệu suất giá cổ phiếu đã được trích dẫn hơn 6.000 lần, nhưng bị phát hiện có lỗi nghiêm trọng và mô tả sai sự thật
• Andy King, người đã cố gắng tái lập nghiên cứu, cho biết tác giả, giới học thuật, tạp chí và trường đại học đều liên tục phớt lờ các yêu cầu sửa lỗi và xác minh của ông
• Bài báo chứa nhiều vấn đề như ghi sai ý nghĩa thống kê, ghi sai phương pháp luận, ghép mẫu phi thực tế; một số lỗi còn bị xem là lỗi đánh máy đơn thuần
• King đã nêu vấn đề qua LinkedIn công khai và tạp chí chuyên về nghiên cứu tái lập (JOMSR), nhưng Harvard Business School và London Business School kết luận đây chỉ là vấn đề nhỏ
• Các tác giả vẫn chưa rút bài, và bài viết nhấn mạnh sự sụp đổ của hệ thống quản lý độ tin cậy khoa học và nhu cầu cải cách

---

Bài báo có vấn đề và nỗ lực tái lập

• Bài báo “The Impact of Corporate Sustainability on Organizational Processes and Performance” đã được trích dẫn hơn 6.000 lần và được đánh giá là một nghiên cứu có ảnh hưởng, từng được các lãnh đạo Phố Wall và cả một cựu Phó Tổng thống Mỹ trích dẫn
• Andy King khi cố tái lập nghiên cứu này đã phát hiện sự không nhất quán về phương pháp, lỗi thống kê, các phép kiểm định bị thiếu và cấu trúc mẫu bất thường
  • Ông đã gửi email cho tác giả nhiều lần nhưng không nhận được phản hồi
  • Cũng có nghiên cứu của Bloomfield et al.(2018) cho thấy việc các nghiên cứu đã công bố phớt lờ hoặc trì hoãn yêu cầu từ các nhà nghiên cứu tái lập/nhân bản (Replication) là thông lệ phổ biến

Phản ứng của giới học thuật và tạp chí

• King đã nhờ các học giả đồng nghiệp hỗ trợ, nhưng phần lớn từ chối với lý do tránh xung đột hoặc thiếu thời gian
  • Một số học giả nói rằng “chỉ ra lỗi của một bài báo đã xuất bản còn gây hại cho sự nghiệp hơn”
• Ông gửi bình luận phê bình tới tạp chí Management Science, nhưng bị từ chối với lý do “giọng điệu không phù hợp”
  • Các tác giả thừa nhận đã ghi sai ký hiệu về ý nghĩa của các kết quả chính, nhưng cho rằng đó chỉ là ‘lỗi đánh máy’
  • Mọi yêu cầu chỉnh sửa bổ sung của King đều bị từ chối

Công khai bên ngoài và xuất bản nghiên cứu tái lập

• Sau khi King công khai các lỗi trên LinkedIn, tạp chí mới đăng thông báo đính chính (erratum)
• Nghiên cứu Replication được đăng trên Journal of Management Scientific Reports (JOMSR), nhấn mạnh vai trò của các tạp chí chuyên dành cho nghiên cứu tái lập
• King xác nhận rằng bài báo gốc khác giữa phương pháp được báo cáo và phương pháp thực sự được dùng, và với phương pháp thực sự đó thì không thể tái tạo kết quả

Điều tra đạo đức nghiên cứu và phản ứng của trường đại học

• King đã nộp đơn tố cáo vi phạm đạo đức nghiên cứu lên Harvard Business School và London Business School
  • Các tác giả giải thích rằng “một câu sai đã bị sót lại do lỗi trong quá trình biên tập”, nhưng cùng một lỗi lặp lại ở mọi bản thảo
  • Harvard giữ kín việc có tiến hành điều tra hay không, còn LBS cho rằng đây không phải là khai báo gian dối có chủ ý và chỉ khuyến nghị biện pháp mang tính giáo dục
• King chỉ trích rằng “việc có tiếp cận được dữ liệu hay không không phải là bản chất vấn đề; mô tả sai làm sụp đổ khả năng diễn giải của nghiên cứu”

Thất bại thể chế và đề xuất cải cách

• Bài báo chỉ được đính chính một phần, còn mô tả sai về phương pháp vẫn chưa được sửa
• King nói rằng “hệ thống quản lý khoa học đáng tin cậy không hoạt động” và đề xuất:
  • Hạn chế trích dẫn một nghiên cứu đơn lẻ và kiểm tra xem đã được tái lập hay chưa
  • Sửa lỗi ngay khi phát hiện
  • Cảnh báo đồng nghiệp có hành vi phi đạo đức
  • Hỗ trợ nghiên cứu tái lập và các tạp chí như JOMSR
  • Tăng cường chính sách đạo đức nghiên cứu của các tổ chức
• Ông cũng đề xuất thể chế hóa tính minh bạch, giám sát độc lập và chế tài theo từng cấp độ trong quản lý học thuật, đồng thời nêu nhu cầu áp dụng các hệ thống hậu kiểm như FurtherReview

Bình luận của Andrew Gelman

• Gelman xem hành vi của các tác giả là hành vi sai trái trong nghiên cứu, nhưng tập trung vào vấn đề mang tính hệ thống hơn là cá nhân
• Ông chỉ ra rằng “thái độ không thừa nhận sai lầm trong quá khứ” khiến khoa học trở thành ‘khoa học chết’ (dead science)
• Ông cảnh báo rằng nếu cộng đồng học thuật không khuyến khích việc sửa lỗi và thái độ có trách nhiệm, thì cùng một vấn đề sẽ tiếp tục lặp lại

[GN⁺]

Ý kiến trên Hacker News

• Tôi đã phát triển một bộ công cụ mô hình hóa dựa trên tác tử mã nguồn mở mà tôi duy trì từ năm 2003
  Gần đây có một bài báo về bộ công cụ mới viết bằng ngôn ngữ khác đem so với phần mềm của tôi và khẳng định họ tốt hơn, nhưng thực tế họ chạy sai công cụ của tôi và còn bóp méo dữ liệu
  Tôi đã yêu cầu sửa nhưng tạp chí vì sĩ diện nên lặng lẽ cho chìm xuồng, còn các tác giả thì chỉ toàn ngụy biện
  Vấn đề là chuyện như vậy trong giới học thuật xảy ra quá thường xuyên

  • Tôi cũng từng gặp chuyện tương tự. Một đối thủ đã công bố bài báo khi chưa hiểu đúng phần mềm của tôi, rồi rút ra kết luận từ dữ liệu sai
    Sau chuyện đó, niềm tin của tôi vào các bài báo học thuật giảm mạnh
  • Trước đây tôi có viết một phần mềm phục vụ học thuật, và rồi tôi được phản biện một bài báo của nhóm khác dùng chương trình của tôi làm đối chứng
    Phương pháp kiểm thử của họ sai từ gốc, và họ huấn luyện theo một tiêu chuẩn tùy tiện cho một bài toán không có “đáp án đúng” thực sự, rồi tuyên bố kết quả của họ là tốt nhất
    Tôi đã khuyến nghị từ chối đăng và tạp chí cũng đồng ý, nhưng vài tháng sau tôi thấy bài đó được đăng nguyên xi ở một tạp chí khác, khiến tôi thật sự tuyệt vọng về học thuật
  • Nếu đúng bạn là Sean Luke mà tôi biết, thì hồi còn học cử nhân ở Đại học Maryland, các bài giảng của bạn đã ảnh hưởng rất lớn đến cách tôi tư duy về khoa học máy tính. Xin cảm ơn
  • Trước đây một đồng nghiệp nhờ tôi xem mã nguồn cho bài báo của họ, và tôi phát hiện họ tính sai độ phức tạp, dẫn đến kết luận sai hoàn toàn
    Cuối cùng tôi rút ra kết luận là “đừng giao việc lập trình cho người học tâm lý học”. Ít nhất cũng phải được người học CS kiểm chứng
  • Thời cao học, tôi đã báo với tạp chí rằng giáo sư hướng dẫn của tôi có thao túng dữ liệu, nhưng không nhận được bất kỳ phản hồi nào
    Phòng pháp chế của trường cũng vậy, và từ đó niềm tin của tôi vào giới học thuật gần như biến mất. Đó chính là lý do của khủng hoảng tái lập

• Dạo này số lượt trích dẫn không còn nhiều ý nghĩa như trước
  Những bài báo có vấn đề vẫn tiếp tục bị trích dẫn kiểu copy-paste
  Vì vậy tôi đang nghĩ tới một dịch vụ chồng thêm mạng lưới độ tin cậy lên trên đồ thị trích dẫn
  Các bài báo trích dẫn một công trình sai mà không phê phán sẽ bị đánh dấu là “có khả năng nhiễm bẩn”, và tác giả hay tổ chức nào có nhiều bài như vậy cũng sẽ bị gắn nhãn tương tự

  • Tôi cũng từng khám phá ý tưởng này khi GPT-3 mới ra mắt
    Nhưng khi thực sự đọc các bài báo, tôi nhận ra bài báo rác quá nhiều
    Tiền đề cho rằng bài kém chất lượng chỉ là ngoại lệ vốn đã sai, và cuối cùng nó giống như “đãi kim cương trong bùn”
    Nên nếu một lĩnh vực mà 90% là giả dối, thì tốt hơn là bỏ qua luôn lĩnh vực đó
  • Ý tưởng thú vị đấy, nhưng phân biệt trích dẫn phê phán với trích dẫn đơn thuần đâu có dễ?
    Chỉ cần tóm tắt nghiên cứu liên quan thôi cũng có thể bị bất lợi
  • Tôi đã thấy những người xây dựng sự nghiệp bằng nghiên cứu giả ở hội thảo, nên niềm tin của tôi vào giới chuyên gia giảm đi nhiều
    Nhưng kể cả có làm hệ thống niềm tin thì rồi nó cũng sẽ bị game hóa, nên tôi khá hoài nghi
  • Ở nước tôi cũng đầy rẫy vòng trích dẫn (citation ring) và chuyện thổi phồng số lượng tác giả

• Lĩnh vực nào cũng có bài báo tệ, nhưng cứ nhìn vào các bài báo của khoa kinh doanh là lòng tự trọng của bạn sẽ hồi phục
  Trong lĩnh vực đó, người làm nghiên cứu tử tế gần như là ngoại lệ cỡ Galileo

  • Tôi cũng học kép kỹ thuật, kinh tế và quản trị kinh doanh, và tôi thấy quản trị kinh doanh chỉ ở mức đọc báo
    Cũng thú vị, nhưng thiếu chiều sâu và có cảm giác hời hợt như phim tài liệu lịch sử
  • Khoa kinh doanh rốt cuộc là nơi nghiên cứu kỹ thuật tạo lợi nhuận với chi phí thấp, nên bản thân điều đó đã là sản phẩm đầu ra rồi

• Tôi hoàn toàn đồng ý với ý rằng đừng dùng một nghiên cứu đơn lẻ làm bằng chứng quyết định
  Ví dụ, “Harvard Goal Study” nổi tiếng thực ra không hề tồn tại
  FAQ của thư viện Harvard cũng nói rõ là không có nghiên cứu như vậy

  • “Jick Study” cũng là một trường hợp tương tự. Có thể tham khảo bài viết trên Wikipedia
  • Nên bỏ qua nghiên cứu đơn lẻ. Nếu hiệu ứng đó là thật, các nhà nghiên cứu khác sẽ mở rộng nó thông qua tái lập một phần
    Ngược lại, nếu gần như không có trích dẫn tiếp theo, đó là dấu hiệu nên tránh xa

• Vấn đề gốc rễ là văn hóa “publish or perish”
  Việc bổ nhiệm giảng viên và cấp kinh phí nghiên cứu phụ thuộc vào số trích dẫn, nên trích dẫn chéo và sản xuất hàng loạt bài báo đã trở thành chuyện thường ngày

  • Vấn đề là đánh giá chỉ dựa trên trích dẫn
    Cần một hệ thống đánh giá nhiều tầng, bao gồm công khai dữ liệu và kiểm chứng tái lập
  • Rốt cuộc đây là sự tiếp nối của cấu trúc cạnh tranh điểm số thời đi học sang “cuộc đua bài báo” ở thế giới người lớn
  • Đây là ví dụ điển hình của định luật Goodhart

• Có quá nhiều bài báo khoa học tệ hại trên đời
  Một bài tôi rất thích là “Why Most Published Research Findings Are False” của John P. A. Ioannidis

  • Đây là một bài rất hay, nhưng một số người trong ngành công nghệ lại vin vào đó để né tránh thực tế, kiểu “thực tại của tôi mới là chân lý”
  • Ioannidis rất vĩ đại trong nghiên cứu về khủng hoảng tái lập, nhưng những phát biểu của ông về COVID-19 lại khiến tôi thất vọng vì mang thái độ âm mưu luận

• Cốt lõi của vấn đề là ý nghĩa thống kê và cấu trúc tạp chí học thuật
  Vì những kết quả “không có ý nghĩa” không được xuất bản, nên tự nhiên chỉ còn lại các kết quả thiên lệch
  Đăng ký trước nghiên cứu và công khai dữ liệu có thể tái lập là rất quan trọng, nhưng vì cạnh tranh thăng tiến và lợi ích thương mại nên chúng không được tuân thủ tốt

  • Có một truyện tranh xkcd liên quan: https://xkcd.com/882/

• Tôi khó mà đồng ý với lập luận rằng “người lái xe khi say không phải người xấu”
  Nếu bênh vực hành vi đe dọa tính mạng người khác thì ý nghĩa của chữ “xấu” cũng không còn nữa
  Việc nói các nhà nghiên cứu hành xử phi đạo đức chỉ là do “được huấn luyện như vậy” nghe giống né tránh trách nhiệm

  • Việc khẳng định ai đó là “người xấu” là kiểu tư duy nhị nguyên
    Nếu hệ thống khiến hành vi xấu trở nên dễ xảy ra, thì rốt cuộc vấn đề cấu trúc mới là nguyên nhân
    “Được huấn luyện” ở đây không có nghĩa là “được dạy dỗ”, mà là bị môi trường nhào nặn
  • Thay vì “hành vi xấu”, có lẽ nên nói là “hành vi ngu ngốc” hoặc “hành vi vô trách nhiệm” thì chính xác hơn
    Từ ‘bad’ có hàm ý đạo đức khá yếu
  • Trong thời kỳ ai cũng làm thế, người ta sống trong ảo tưởng văn hóa và tin rằng mình khác biệt
    Cuối cùng đó là hệ quả của hiệu ứng Dunning-Kruger khiến họ quá tự tin vào bản thân
    Nếu con người vốn dễ rơi vào những ảo tưởng như vậy, thì không thể nói bản thân con người là xấu được

• Câu “nhà nghiên cứu tái lập nên cẩn thận” đi ngược lại bản chất của khoa học
  Kết quả không thể tái lập thì vô nghĩa, và nghiên cứu tái lập đáng ra phải được khuyến khích hơn

• Số lượt trích dẫn của một bài báo trên cùng một tạp chí lại hiện khác nhau tùy từng trang
  SSRN là 109, ResearchGate là 3936, còn Google Scholar là 6269
  Tiêu chí tính trích dẫn mỗi nơi một kiểu nên rất khó tin cậy
  Ngoài ra còn có đề xuất rằng “hãy công khai mọi bình luận, đính chính và yêu cầu rút bài cho tất cả các bài báo”,
  nhưng làm vậy thì có lẽ ngay cả bài của Einstein cũng sẽ đầy những bình luận kỳ quặc

  • Thực tế nếu theo Google Scholar thì đúng là 6269 lượt trích dẫn
  • Nhưng nhìn vào các nền tảng cho phép bình luận ẩn danh như PubPeer,
    thì vấn đề bị lạm dụng dường như không lớn như người ta tưởng