Những bất nhất lộ ra trong quá trình đánh giá AGI và lựa chọn người thắng cuộc

 (kaggle.com)
1 điểm bởi GN⁺ 4 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Sau khi Kaggle và Google DeepMind công bố kết quả hackathon benchmark AGI, các thí sinh đã yêu cầu công khai quy trình chấm và xem xét lại, dựa trên vấn đề tính điểm và khả năng tái lập của MEDLEY-BENCH, đội hạng nhất
  • MEDLEY-BENCH kết luận rằng khi quy mô mô hình tăng lên, chỉ ‘đánh giá’ được cải thiện còn ‘kiểm soát’ thì đình trệ; nhưng phía chỉ trích phản bác rằng hai chỉ số tăng tương tự nhau và các phép đo cơ bản cũng có tương quan cao ρ=0.79~0.94
  • Việc rà soát mã xác nhận có 33 trọng số thủ công không có căn cứ hay nghiên cứu ablation, 30 tiêu chí chấm bằng LLM chưa được kiểm chứng, logic xử lý độ tin cậy thấp theo hướng ngược lại, và cách tạo dữ liệu gán cùng một ID cho các lập luận khác nhau rồi cộng gộp
  • MEDLEY-BENCH, GAUGE và Metaproteus chỉ cho phép xem một điểm số duy nhất mà không có trace thực thi; LearningBench cũng phức tạp đến mức việc kiểm chứng từng trường hợp mất hàng giờ, nên các thí sinh yêu cầu toàn bộ leaderboard và kết quả đánh giá theo từng tiêu chí
  • Kaggle trả lời rằng khoảng 20 giám khảo con người đã đánh giá độc lập mọi bài đoạt giải, mỗi bài ít nhất 2 người, một số bài 3~4 người, và thời gian chấm cũng được kéo dài từ 1,5 tháng lên 3 tháng; nhưng không công khai điểm theo từng bài nộp và quy trình lựa chọn chi tiết

Cấu trúc hackathon và kết quả giải thưởng

  • Kaggle và Google DeepMind đồng tổ chức hackathon Measuring Progress Toward AGI: Cognitive Abilities, nhằm đánh giá suy luận, hành động và phán đoán của các mô hình tuyến đầu, vượt ra ngoài việc tái hiện kiến thức đã ghi nhớ
    • Hơn 1.000 đội đã nộp benchmark ở 5 track nhận thức
    • 4 giải lớn được phân bổ 25.000 USD mỗi giải, và 10 giải theo track được phân bổ 10.000 USD mỗi giải

4 bài đoạt giải lớn

  • MEDLEY-BENCH đánh giá liệu mô hình có nhận thức được sự bất định của mình dưới áp lực xã hội, giữ nguyên niềm tin trước áp lực sai lệch, và điều chỉnh niềm tin trước phản chứng hợp lệ hay không
  • LearningBench đo khả năng học tại thời điểm suy luận, tức học các quy tắc của một hệ thống dựa trên văn bản mới gặp lần đầu trong một cuộc hội thoại, thay vì dựa vào kiến thức tiền huấn luyện
  • GAUGE dùng bậc thang siêu nhận thức 3 bước: dự đoán độ khó của bài toán, giải kèm độ tin cậy, rồi nộp hoặc bỏ cuộc tùy theo phần thưởng kiểu lý thuyết trò chơi
    • Một mô hình tuyến đầu có độ chính xác và hiệu chỉnh tốt nhất trên 270 mục nhưng không bỏ cuộc lần nào, cho thấy năng lực giám sát và kiểm soát hành vi có thể tách rời nhau
  • Metaproteus đánh giá mức độ mô hình hiểu phân phối đầu ra và xu hướng sampling của chính mình, chứ không phải tri thức thế giới
    • Sau khi tạo đầu ra liên tưởng từ, một instance mô hình mới được yêu cầu dự đoán phản hồi của chính nó; benchmark phân biệt các lỗi như đánh giá thấp những đầu ra mà mô hình tự tin đưa ra, hoặc phê duyệt quá mức cả những từ mà nó không tạo ra

Các bài đoạt giải ở 5 track nhận thức

  • Chức năng điều hành

    • Turn Bench đo tách biệt lập kế hoạch, thực thi, trí nhớ làm việc, ức chế và tính linh hoạt thích nghi thông qua các trò chơi theo lượt có luật được cố ý làm đơn giản
    • Dùng các biến thể trò chơi có yêu cầu trái ngược nhau để phân biệt tính linh hoạt nhận thức thực sự với các hành vi mặc định tình cờ phù hợp trong một tình huống cụ thể
    • Xem chức năng điều hành không phải là một năng lực đơn nhất tăng cùng kích thước mô hình, mà là hồ sơ phụ thuộc ngữ cảnh
    • SecureExec-Bench đo liệu mô hình có chịu được thao túng đối nghịch và duy trì quy trình bảo mật trong các môi trường nhạy cảm về bảo mật như ứng phó sự cố và xử lý thông tin xác thực hay không

  • Học tập

    • GrammarGym, dựa trên học ngữ pháp nhân tạo trong tâm lý học nhận thức, đánh giá liệu mô hình có tiếp thu các quy tắc tổng hợp mới tách khỏi ngữ nghĩa hay không
    • Vì ngữ pháp được tạo mới, có thể kiểm tra năng lực học mà không dựa vào kiến thức đã ghi nhớ
    • EphLangBench tạo một ngôn ngữ lập trình được ngẫu nhiên hóa theo từng phiên, bao gồm từ khóa, toán tử, ký pháp trung tố, tiền tố và hậu tố
    • Mô hình phải chỉ đọc đặc tả trong ngữ cảnh, học cú pháp mới để giải bài toán thuật toán, và sửa lỗi qua phản hồi từ compiler trong nhiều lượt
    • Trên 10 mô hình và 200 bài toán, tỷ lệ vượt qua dao động từ 7~89%, cho thấy khoảng cách hiệu năng lớn hơn nhiều so với HumanEval

  • Siêu nhận thức

    • ESFP Benchmark đánh giá liệu mô hình có thể chuyển đổi giữa thái độ truyền đạt quan điểm chuyên gia và thái độ tự suy luận của chính mô hình hay không
    • Khả năng chuyển đổi giữa chế độ ‘công cụ’ và ‘chủ thể’ khác biệt lớn theo từng mô hình; instruction tuning dẫn mô hình về phía vai trò công cụ, kìm hãm khả năng tự biểu đạt tự chủ
    • Metacognitive Calibration Benchmark đồng thời kiểm tra liệu mô hình có lập giả thuyết từ thông tin kiểu đánh giá lâm sàng hạn chế, phân biệt bằng chứng với suy đoán, và nhận định rằng cần thêm thông tin khi dữ liệu chưa đủ hay không

  • Nhận thức xã hội

    • HedgeDecode đo liệu mô hình có hiểu được ý định được truyền đạt ngầm để nói giảm nói tránh hoặc giữ thể diện, và phản hồi phù hợp về mặt xã hội mà không làm lộ cách diễn đạt mang tính tự bảo vệ của người dùng hay không
    • AdvisorBench đánh giá liệu AI có đưa ra lời khuyên chất lượng thấp hơn cho người dùng giao tiếp theo cách thể hiện năng lực đọc viết thấp hay không
    • Đo xem chất lượng, độ sâu và tính khả thi của lời khuyên có suy giảm theo cách giao tiếp hay không

  • Chú ý

    • RIAC đo tách biệt hiện tượng sụp đổ chú ý do lặp lại, trong đó mô hình vốn trích xuất được giá trị từ câu sạch lại thất bại khi bị bao quanh bởi các token gây nhiễu lặp lại
    • ABC đánh giá sự chú ý chọn lọc dưới nhiễu ở cả văn bản và thị giác, đồng thời phân biệt chú ý nhạy với đặc trưng và chú ý nhạy với cấu trúc dựa trên tâm lý học Gestalt
    • Kết quả thử nghiệm 15 mô hình và 2.160 trường hợp cho thấy ngay cả các mô hình nhận diện tốt đặc trưng cục bộ rõ ràng cũng có thể thất bại khi cần tìm đúng nhóm, vùng hoặc đơn vị cấu trúc

Tranh cãi về cách diễn giải kết quả MEDLEY-BENCH

  • Thomas Werkmeister chỉ trích rằng MEDLEY-BENCH, giải lớn hạng nhất, không đáp ứng các tiêu chí chấm được biết đến là chất lượng, khả năng bảo vệ lập luận, độ rõ ràng và tính mới
  • Màn hình so sánh mô hình của Kaggle Benchmarks SDK chỉ hiển thị một điểm số duy nhất, khiến khó kiểm tra quy trình thu thập dữ liệu hoặc trace thực thi hội thoại
  • Kết quả đầu tiên được diễn giải rằng khi quy mô mô hình tăng, chỉ số ‘đánh giá’ màu cam tăng còn chỉ số ‘kiểm soát’ màu xanh thì phẳng; nhưng phía chỉ trích cho rằng hai đường này và các phép đo còn lại cùng thể hiện một xu hướng
    • Cũng có phản biện rằng trong họ Gemma, trên biểu đồ trông như kiểm soát cải thiện nhiều hơn đánh giá
    • Bài báo bổ sung báo cáo tương quan giữa các phép đo cơ bản là ρ=0.79~0.94
  • MEDLEY-BENCH kết luận rằng huấn luyện LLM tiêu chuẩn ưu tiên năng lực đánh giá hơn kiểm soát, nhưng ở phần khác lại xem đánh giá là năng lực tương đối yếu nhất trong 4 năng lực cơ bản, nên bị chỉ trích là mâu thuẫn nội tại
  • Nếu bốn năng lực gần như cùng dịch chuyển, việc liệu benchmark có thật sự đo tách biệt các năng lực khác nhau hay không cũng không rõ ràng

Vấn đề trong tính điểm và tạo dữ liệu

  • Rà soát mã bổ sung cho thấy tổng cộng 33 trọng số thủ công được dùng để kết hợp điểm
    • 24 trọng số dùng trong tính T1, T2, T3; 8 trọng số dùng để tính độ thay đổi xã hội so với đối chứng không công khai của T2; 1 trọng số dùng để tổng hợp yếu tố cân bằng MMS
    • Không có căn cứ hay nghiên cứu ablation nào được cung cấp cho từng trọng số
  • T3 dùng tổng cộng 30 tiêu chí nhận thức một dòng, mỗi tiêu chí 3 cái cho 10 hạng mục chấm bằng LLM, nhưng chưa kiểm tra liệu chúng có thực sự nắm bắt năng lực dự định hay không
  • Prompt xử lý độ tin cậy thấp đối với một lập luận như thể phản đối lập luận đó
    • Phía chỉ trích cho rằng người ta vẫn có thể có độ tin cậy thấp với một lập luận được xem là tạm thời đúng, và phản đối không giống với việc tin chắc vào mệnh đề đối lập
  • Vì mỗi mô hình tự viết các lập luận số 1~5, nên đã xác nhận vấn đề rằng ngay cả với cùng một trường hợp và cùng ID lập luận, claim_text vẫn khác nhau
    • C4 của KA_CR_001 được gán các nội dung khác nhau như SQL injection, xác thực nội bộ và VPN, xử lý chữ hoa/thường của allowlist, hay rủi ro bảo trì trong tương lai
    • Một số mô hình có claim_text là null hoặc chỉ tạo ít hơn 5 lập luận
  • Độ tin cậy của các lập luận khác nhau được cộng gộp theo cùng một ID để tạo độ tin cậy trung tâm, quan điểm đa số và phân phối quan điểm, rồi chuyển vào prompt Step B Social
    • Mô hình nhận ý kiến từ các mô hình khác có thể khác nội dung với các lập luận 1~5 mà nó tạo ban đầu, rồi phải chỉnh sửa lập luận hiện có
    • Sau đó trọng số thủ công và chấm bằng LLM được áp dụng, dẫn đến chỉ trích rằng khó tin vào tính hợp lệ của chỉ số cuối cùng
  • Phía chỉ trích cho rằng lẽ ra cần kiểm chứng ở đơn vị nhỏ rồi mới mở rộng, và chỉ cần xem xét sâu một trong 30 tiêu chí chấm bằng LLM cũng đã có thể tạo ra kết quả hữu ích

Yêu cầu về khả năng tái lập và minh bạch chấm điểm

  • Tài liệu công khai không đủ để các thí sinh trực tiếp kiểm chứng các tuyên bố của bài đoạt giải
    • REPRODUCING.md của MEDLEY-BENCH trỏ đến thư mục results/ không có trong repository, nên phải lần ngược mã và JSON để hiểu quá trình tạo kết quả
    • LearningBench là bài tận dụng SDK tốt nhất trong nhóm giải lớn, nhưng một người có thể mất hàng giờ để kiểm chứng một case trò chơi như gated_dual_signal_binding_assoc_learning
    • GAUGE nói rằng dùng khoảng 200 case, nhưng trên màn hình benchmark chỉ thấy một lần chạy duy nhất
    • Metaproteus cũng chỉ có một điểm số duy nhất trên trang benchmark, nên khó kiểm tra ngay cách gợi từ và phương pháp đo
  • Các yêu cầu tiếp tục được đưa ra nhằm công khai những tài liệu sau để hơn 1.000 đội có thể hiểu điểm yếu của mình
    • Leaderboard điểm số của toàn bộ bài nộp
    • Ít nhất là điểm đánh giá của các bài đoạt giải
    • Những yếu tố thực sự được áp dụng quan trọng trong chấm điểm
    • Điểm theo từng tiêu chí và phản hồi theo từng bài nộp
    • Các bộ lọc tư cách ban đầu như xử lý đồng hạng và loại vì lý do kỹ thuật
  • Trọng số đánh giá chính thức do một thí sinh trích dẫn là 50% cho chất lượng dataset và cấu trúc nhiệm vụ, 20% cho chất lượng bài viết, 30% cho tính mới, insight và khả năng phân biệt
  • Nhóm nộp ATLAS nói rằng họ có 540 trò chơi, 6 loại học tập, 3 mức độ khó, đáp án đúng theo chương trình và chẩn đoán loại thất bại, rồi yêu cầu công khai họ bị đánh giá thấp hơn các bài đoạt giải ở tiêu chí chi tiết nào
    • Họ hỏi liệu tính mới của các paradigm như ngữ pháp nhân tạo và ngôn ngữ dùng một lần có được đặt trọng số lớn hơn khả năng phân biệt hay không
    • Họ yêu cầu công khai liệu việc chạy mô hình chỉ dành cho nhân viên là để xác minh kỹ thuật hay cũng được phản ánh trong chấm điểm cuối cùng
  • Một thí sinh điều tra việc chạy mô hình nhân viên đã thống kê rằng trong 680 liên kết benchmark của 5 track, có 30 mục được xác nhận có chạy Claude Fable 5 hoặc OpenAI o3
    • Cuộc điều tra này được viết bằng AI agent, và phần cho rằng việc chạy mô hình nhằm mục đích chấm điểm là suy luận của thí sinh

Phạm vi đánh giá và trí tuệ vật lý

  • Một thí sinh khác nhận định rằng các bài đoạt giải chủ yếu đánh giá học tại thời điểm suy luận, siêu nhận thức, chức năng điều hành, chú ý và suy luận xã hội trong các môi trường văn bản, lý thuyết trò chơi và tạo thủ tục
  • Họ đánh giá rằng khó tìm thấy trong các bài đoạt giải một benchmark về trí tuệ vật lý xử lý lực vector, mô-men xoắn, cơ sinh học, động học, đặc tính vật liệu hoặc quan hệ nhân quả rút ra từ trace thực thi vật lý trong thế giới thực
  • Họ đề xuất trong tương lai cần chuẩn bị một pipeline đánh giá đa phương thức chuyên biệt tiếp nhận thông tin về vận động, lực, cơ sinh học, tương tác vật liệu và cảm biến thực tế
  • Cũng có yêu cầu phải căn chỉnh phạm vi giữa cách diễn đạt AGI rộng là đánh giá năng lực “suy luận, hành động và phán đoán” với cấu trúc đánh giá thực tế xoay quanh 5 track nhận thức và phản hồi theo prompt

Trả lời của Kaggle và các vấn đề còn lại

  • Kaggle cho biết hackathon này do họ đồng tổ chức với Google DeepMind, và khoảng 20 giám khảo từ hai tổ chức đã tham gia
  • Hackathon kết thúc ngày 16/4; ban đầu dự kiến chấm trong 1,5 tháng đến ngày 31/5, nhưng đã gia hạn thêm 1,5 tháng đến ngày 13/7
  • Mọi bài đoạt giải đều được ít nhất 2 giám khảo con người xem xét, và một số bài được 3~4 người chấm độc lập theo tiêu chí đánh giá
  • Lập trường của Kaggle là các hackathon đánh giá bài nộp định tính có yếu tố chủ quan của con người, nhưng việc có nhiều giám khảo độc lập giúp giảm khả năng thiên lệch
  • Họ khẳng định không bất cẩn giao việc chấm cho LLM, nhưng câu trả lời không bao gồm leaderboard đầy đủ, điểm theo từng tiêu chí hay chi tiết chấm từng bài như đã được yêu cầu

Bài viết liên quan

1 bình luận

 
GN⁺ 4 giờ trước
Các ý kiến trên Hacker News

  • AI hữu ích, nhưng có quá nhiều người giao phó toàn bộ việc suy nghĩ cho nó rồi mù quáng chấp nhận câu trả lời
    Có vẻ khả năng cao Kaggle cũng đã dùng AI để đánh giá bài nộp và chấp nhận kết quả mà không kiểm chứng bằng lẽ thường

    • Một nguyên nhân gốc rễ của việc thuê ngoài tư duy là áp lực “di chuyển thật nhanh” cũng tác động rất lớn
      Vốn muốn kết quả tức thì, nên không có thời gian để đọc, tiêu hóa và suy ngẫm
    • Khuyên đội ngũ tận dụng AI/LLM và khám phá khả năng cũng như giới hạn của chúng, nhưng đang dần mệt mỏi vì phải xem xét các user story do AI tạo ra mà một nửa trong 20 mục là vô lý
      LLM chỉ là một công cụ hữu ích như Mr. Meeseeks, không phải thần thánh, nên ít nhất cũng phải liếc qua đầu ra một lần
    • Có thể họ cũng đã dùng prompt injection để khiến AI phán rằng mình là người chiến thắng
    • Nếu yêu cầu câu trả lời mình muốn, nó sẽ đưa ra đúng như vậy, nên khi gần như không biết gì về lĩnh vực đó thì dùng AI trông có vẻ dễ
      Ngược lại, nếu hiểu rõ lĩnh vực, các câu trả lời tệ và sai sẽ đập vào mắt; đây chính là cách hiệu ứng Gell-Mann AI vận hành
    • Con người vốn thích giao việc suy nghĩ cho phóng viên TV, tôn giáo, đảng phái chính trị, v.v.; và cho rằng giao cho AI thì còn tốt hơn thế

  • Không biết có đúng là cuộc thi này không, nhưng cảm thấy AI về cơ bản đã kết liễu hackathon công bằng
    Bề ngoài thì có vẻ ổn, nhưng mã của mọi dự án đều do AI viết và AI chấm, và tôi cũng đã thấy dự án prompt-inject rằng chính nó là người thắng thực sự giành chiến thắng
    Trước đây là cuộc đọ sức về kỹ năng con người, còn giờ đã thành cuộc thi ý tưởng, và rốt cuộc chủ yếu người trong cuộc sẽ thắng

    • Hackathon đã không công bằng từ trước thời AI. Có thể thấy cả ở https://news.ycombinator.com/item?id=48468766
      Giải pháp là tổ chức và tham gia hackathon không có tiền thưởng. Mục đích không nên là thắng, mà là tạo ra thứ hay ho, trình bày nó và tận hưởng
      Ngược lại, nhờ AI có thể tạo nguyên mẫu nhanh, hackathon có khi còn tốt hơn
    • Muốn xem ví dụ cụ thể về một dự án prompt-inject để khiến nó được phán là người thắng và thực sự thắng
    • Cảm thấy may vì không sa vào hackathon, và không muốn trói buộc hoạt động tự làm của cá nhân vào mục tiêu cạnh tranh
      Ở nơi làm việc thì được trả tiền để làm việc mình thích, nhưng gần đây cũng đang bị yêu cầu giao việc đó cho máy tính làm
    • Ít nhất thì các hackathon có tiền thưởng đáng kể đã chết từ lâu rồi
    • Ý tưởng prompt-inject rằng mình là người thắng thật khôn khéo nhưng là một thực tế vô cùng làm nản lòng
      Sẽ tốt nếu tách riêng hackathon thủ công và hackathon AI, nhưng cũng như game, gian lận phá hỏng niềm vui

  • Bài nộp AI và giám khảo AI trông như một cặp đôi hoàn hảo được se duyên trên thiên đường AI

    • Nói theo kiểu Slavoj Žižek, nó giống tình huống cắm dildo vào dụng cụ thủ dâm và để chúng quan hệ thay cho chúng ta
    • Tình huống để AI review PR do AI viết cũng tương tự

  • Từ những ngày đầu của Kaggle, người ta đã thắng các cuộc thi bằng phương pháp vét cạn, và cũng đã phàn nàn lâu chừng ấy
    Machine learning về bản chất là lĩnh vực để máy tính tạo mô hình thông qua chọn đặc trưng tự động và tinh chỉnh siêu tham số, và hầu hết mô hình Kaggle từ trước đã là hộp đen
    Mô hình thắng Netflix Prize cũng vì lý do đó mà không được dùng trong dịch vụ thực tế, nên việc tạo mã xây dựng hộp đen bằng LLM không khác mấy so với thông lệ trước đây

  • Tưởng Kaggle là trang để tải xuống các file CSV đáng ngờ kiểu lượng tiêu thụ đậu nành hằng năm của Bolivia
    Không rõ nơi này đã từng là một địa chỉ có uy tín cung cấp nghiên cứu độc đáo hay dữ liệu có nguồn gốc chắc chắn chưa; lần này chỉ thấy điểm khác biệt là có 25.000 đô la treo thưởng

  • Tôi là Nick, quản lý sản phẩm Kaggle Benchmarks và là đồng tổ chức kiêm giám khảo của hackathon AGI lần này
    Cuộc thi này do Kaggle và Google DeepMind đồng tổ chức, có khoảng 20 người từ hai bên tham gia chấm, và sau khi kết thúc ngày 16/4, ban đầu dự định chấm trong 1,5 tháng đến ngày 31/5, nhưng để đánh giá thí sinh cho đúng, đã gia hạn thêm 1,5 tháng đến ngày 13/7
    Tất cả bài thắng giải đều được ít nhất 2 giám khảo con người, một số bài được 3–4 người, độc lập xem xét và chấm điểm theo bảng tiêu chí công khai trên trang
    Việc chấm các bài nộp định tính có yếu tố chủ quan của con người, nhưng chúng tôi đã cố giảm thiên kiến bằng tiêu chí khách quan và nhiều giám khảo độc lập; dù có bất đồng với kết quả thì cũng không phải chúng tôi đã vô trách nhiệm giao việc chấm cho LLM

    • Những bằng chứng khách quan mà tác giả bài gốc đưa ra trông rất áp đảo đối với một người quan sát trung lập, nên không hiểu sao bạn không trả lời trực tiếp
    • Muốn biết bạn đã xác minh thế nào việc tất cả bài thắng giải thực sự được các giám khảo con người xem xét
      Kết quả trông không giống với lời giải thích đó

  • Đây là một bài học meta hay mà Kaggle nên rút ra
    AI rất giỏi khi tối ưu leo đồi theo một chỉ số khách quan, nhưng nếu hời hợt dựa vào LLM làm giám khảo thì kết quả sẽ không tốt

    • Giải pháp thắng trên Kaggle hiếm khi trở thành một giải pháp kỹ thuật mà đội ngũ có thể vận hành lâu dài
      Tối đa hóa hiệu năng mô hình theo mục tiêu khách quan chỉ là một phần nhỏ của toàn bộ vấn đề

  • Nếu xem các nội dung được gắn rải rác ở đây đó, câu hỏi “vậy ai đáng lẽ phải thắng thay?” là hợp lý
    Vì có thể tất cả bài dự thi đều tương tự nhau, hoặc các bài khác còn tệ hơn, nên cần biết bài về nhì và các bài dự thi xuất sắc để khi xác nhận có gian lận hoặc lơ là trách nhiệm thì có thể hủy giải và trao cho người tham gia khác
    Các lỗi và sự phóng đại cũng có thể không phải là sản phẩm do AI tạo ra mà là sai sót của con người; nếu vậy thì mức độ chỉ trích có thể giảm xuống

    • Bộ não của một con người không có năng lượng để suy xét toàn bộ đống rác AI đổ tới, và đó không phải việc người phàm có thể kham nổi
      Ngay cả trong nghiên cứu nói rằng “chuyên gia thích câu trả lời của LLM hơn”, nếu chỉ xem vài câu thì câu trả lời của con người tốt hơn, nhưng nếu phải rà soát 50 câu thì nhiều khả năng họ sẽ đánh giá dựa trên câu văn trôi chảy hoặc lượng sự kiện bề mặt, thay vì đọc một cách phản biện
      Ở đây cũng vậy, có vẻ ban giám khảo đã chấm điểm mà không thực sự đọc bài arXiv dài 20 trang; về mặt nghề nghiệp có thể quy trách nhiệm, nhưng về mặt cảm xúc thì cũng thấy thông cảm
    • Nếu lời giải thích là chính xác và tất cả bài dự thi đều ở mức này thì không ai đáng được trao giải
      Tất cả đáng lẽ phải bị loại, và ban tổ chức nên nhìn vào gương thật lâu để tự kiểm điểm

  • Thật đáng tiếc khi những không gian như arXiv và Kaggle, từng có thời nghiêm túc, lại được dùng làm công cụ tự quảng bá
    Có thể hiểu mong muốn được tuyển vào một phòng nghiên cứu AI, nhưng việc đổ các sản phẩm tạo sinh chất lượng thấp vào không gian công khai lại gây hại cho mục đích ban đầu của những nơi đó

    • Việc dùng arXiv để tự quảng bá và xem Kaggle như bàn đạp bước vào ngành đã tồn tại từ lâu, không phải hiện tượng mới xuất hiện gần đây

  • Phản ứng kiểu “bài thắng giải chắc chắn có giá trị và đã được đầu tư nhiều công sức, nên đừng lo vài mâu thuẫn hay sai sót mà hãy chấp nhận kết quả” gây ấn tượng đến mức khó tin
    Rốt cuộc chẳng khác nào nói rằng dù là kết quả kém chất lượng được tạo bằng ảo giác thì vẫn có giá trị, nên cứ công nhận chiến thắng như cũ

    • Trong khoảng 100 năm qua, khoa học viễn tưởng đã mô tả AI như một trí tuệ bậc cao dựa trên thứ “logic” mơ hồ nhưng phổ quát, không có các khiếm khuyết mang tính con người như kiêu ngạo, thù ghét, ghen tị hay dục vọng
      Giờ đây rõ ràng đó là một giả định vô căn cứ, nhưng điều này chỉ xảy ra sau khi hàng tỷ người đã được rèn để tuyệt đối không nghi ngờ máy móc
    • Chỉ riêng những yêu cầu vô lý của con người, không khớp với thực tế, cũng đã đủ khiến kỹ sư kiệt sức
      Nếu một sản phẩm tạo sinh kém chất lượng lộ liễu lại được một sản phẩm kém chất lượng khác chấm, rồi người phê bình bị đối xử như kẻ không chịu chấp nhận thất bại, thì bản thân đối thoại hợp lý trở nên bất khả thi
      Người tham gia đã dành rất nhiều thời gian với thiện ý để giải thích rõ ràng và còn cân nhắc rằng có thể mình đã bỏ sót điều gì đó; nhưng nếu người rải rác thống kê vô thức lại liên tục được các giám khảo không phân biệt nổi điều này trao thưởng, họ sẽ nhanh chóng kiệt sức và rời đi
      Thái độ này đang tăng lên ở nơi làm việc, tài liệu doanh nghiệp, các mối quan hệ xã hội và mạng xã hội; tôi muốn tham gia các hoạt động có ích cho cuộc sống cùng những người thực sự suy nghĩ và rèn luyện tinh thần
      Tôi sẽ không dành thời gian và sự chú ý cho những cộng đồng dung túng sản phẩm tạo sinh kém chất lượng, và nếu họ không giao tiếp với thiện ý thì cũng không có lý do để khoan dung
      Với Kaggle, các nhà đóng góp mã nguồn mở và nhà sáng tạo nội dung, tôi chỉ cho phép một lần vi phạm phá vỡ niềm tin; với cấp dưới thì vì đạo đức sẽ cho nhiều cơ hội hơn nhưng trước hết phải chịu trách nhiệm quản lý; còn với lãnh đạo cấp cao thì tôi định chỉ cho một lần
      Niềm tin rất quý giá, nên chúng ta phải buộc nhau chịu trách nhiệm, và nếu trong quá trình đó quan hệ bị cắt đứt thì cũng đành chấp nhận
    • Không thể chịu nổi thái độ “chỉ cần cung cấp giá trị là được”
      Cần tránh trở thành những kẻ ngốc hữu dụng cho một số ít công ty được nhà đầu tư ưu ái, những công ty công khai tuyên bố sẽ độc chiếm thị trường và xóa bỏ việc kinh doanh cũng như việc làm của mọi người