AI không gây mê một cá nhân mà là cả tổ chức: nghịch lý tự động hóa mà hàng không và y tế đã trải qua trước tiên

Năng lực sử dụng AI thành thạo và năng lực kiểm chứng đầu ra của nó là hai trục khác nhau; trong khi một bên tăng lên,
bên kia lặng lẽ bị bào mòn. Bài viết này bàn về cơ chế sự bào mòn đó lan rộng không phải ở cấp cá nhân mà ở cấp tổ chức, và cách lãnh đạo ứng phó bằng cấu trúc.

• AI không phải là một lớp trừu tượng che giấu lao động cấp thấp, mà là một tác nhân đại diện mang tính xác suất ngồi vào vị trí đó. Những lớp trừu tượng trước đây như React hay ORM khi cần vẫn có thể "leo thang xuống dưới" để kiểm tra quan hệ nhân quả, nhưng phía trên AI thì bản thân chiếc thang để đi xuống cũng không tồn tại
• Khái niệm cốt lõi là quyền chiếm hữu nhận thức, nghĩa là "trạng thái có thể giải thích quỹ đạo logic từ đầu đến cuối vì sao đoạn mã này buộc phải được viết như vậy". Vấn đề không phải mã đã đi qua tay ai, mà là quan hệ nhân quả đó đang nằm trong đầu ai
• AI không bình chuẩn hóa năng lực mà bình chuẩn hóa sự có-vẻ-hợp-lý. Điểm thấp nhất trong phân bố chất lượng mã chỉ được nâng lên, chứ năng lực không hề tăng; mô hình càng tốt thì sự thật rằng phần nhân quả đang rỗng lại càng khó nhìn ra
• Chi phí tạo sinh tiến gần về 0 nhưng chi phí kiểm chứng vẫn giữ nguyên. Do áp lực kinh tế khiến người dành 1 giờ để kiểm chứng đoạn mã sinh ra trong 1 giây lại trở thành người chậm nhất theo chỉ số tổ chức, nên việc tiếp nhận một cách phản biện không thể chỉ dựa vào ý chí
• Bài viết trích dẫn các tiền lệ mà hàng không, thần kinh học và y tế đã đi qua trước: nghịch lý tự động hóa (Bainbridge, 1983), chuyến bay Air France 447, teo hồi hải mã ở người phụ thuộc GPS, và suy giảm độ nhạy của CAD trong chụp nhũ ảnh
• Đơn thuốc không thể là quyết tâm cá nhân mà phải là cấu trúc của cả nhóm. Tác giả đề xuất hạch toán sự kém hiệu quả của quyền chiếm hữu như một "phí bảo hiểm" chứ không phải như một vấn đề "đạo đức"

Tóm tắt chi tiết

AI không phải là lớp trừu tượng mà là tác nhân đại diện

• Các công cụ trước đây mang tính quyết định luận (cùng đầu vào thì cùng đầu ra), nên có thể lần theo quan hệ nhân quả. AI là một tác nhân đại diện mang tính xác suất, nên cùng một yêu cầu cũng cho ra kết quả khác nhau mỗi lần, và dù có thể đọc được mã thì vẫn không có con đường nào để đi đến câu hỏi "vì sao nó lại được viết như vậy"
• Mã tự viết thì quan hệ nhân quả còn lưu lại trong đầu, còn mã do AI viết thì chỉ có kết quả, còn nhân quả không đi qua đầu người. Tác giả ví điều đó như việc mỗi lần đều ký vào một bản hợp đồng viết bằng ngôn ngữ mình không biết

Bình chuẩn hóa sự có-vẻ-hợp-lý

• Quan sát thực địa với vai trò người phỏng vấn và người review PR: tên biến gọn gàng, cấu trúc cũng có vẻ hợp lý, nhưng đào sâu thì là các hàm trùng lặp, phân tách trách nhiệm mơ hồ, và những khối side effect chằng chịt
• Bằng chứng trung thực nhất là khoảnh khắc bị nghẹn lời trước câu hỏi "Vì sao chỗ này lại làm như vậy?". Đó là tín hiệu trực tiếp của thứ mã chỉ ổn ở bề ngoài nhưng bị rút mất quan hệ nhân quả

Sự gây mê lan rộng ở cấp tổ chức

• Trước đây, quan hệ nhân quả được lưu giữ phân tán nhờ hai lớp quyền chiếm hữu của người viết và người review; nhưng khi cả việc viết lẫn việc kiểm tra đều do AI đảm nhiệm, PR sẽ rơi vào trạng thái không có quan hệ nhân quả nằm trong đầu bất kỳ ai trong nhóm
• "Bot review AI tóm tắt, con người lướt qua rồi LGTM" chỉ trông giống kiểm chứng, nhưng thực chất lại là thêm một sản phẩm không có nhân quả. Nguyên tắc "mã tôi tạo ra thì tôi vận hành" bị sụp đổ

Gu chỉ trưởng thành trong lúc hỏng hóc

• Đây là phản biện với diễn ngôn "AI lo triển khai, con người chỉ cần gu (taste)". Gu không lớn lên nhờ đọc nhiều mã tốt, mà nhờ trải nghiệm chính thứ mình viết bị hỏng và lần mò lại quan hệ nhân quả ngay tại chỗ
• Bài viết dẫn ví dụ cái búa của Heidegger (chỉ khi hỏng thì bản chất công cụ mới lộ ra) và trí tuệ thực hành của Aristotle. AI không xóa bỏ sự cố, mà xóa bỏ "trải nghiệm đi qua sự cố", tức đóng cửa lò rèn nơi gu được hình thành

Chỗ đứt gãy của con đường học việc

• Các lớp trừu tượng trước đây chỉ "che đi" chứ không xóa bỏ quan hệ nhân quả, nên chiếc thang vẫn còn đó; nhưng phía trên AI thì chiếc thang ấy không tự nhiên được đặt sẵn. Năng lực có phát triển hay không không do ý chí cá nhân quyết định, mà do cấu trúc mà người đó đang ở trong
• Người quyết định có đặt lại chiếc thang đó một cách nhân tạo trong nhóm hay không chính là lãnh đạo

Đơn thuốc phải là cấu trúc của nhóm

• Ghim vào quy tắc review nguyên tắc "không merge đoạn mã nào mà không thể giải thích được quan hệ nhân quả", chuyển nghĩa của LGTM thành một tuyên bố tiếp nhận: "tôi có thể giải thích đoạn mã này", và áp dụng kiểm tra ngẫu nhiên

Đưa vào các bước kiểm tra

• Phát triển thành năng lực của nhóm cách con người giữ thiết kế trong tay rồi giao việc cho AI (đặc tả cả ràng buộc lẫn edge case)
• Chọn ra những điểm tựa tuyệt đối không buông (core domain), chuyển sự kém hiệu quả thành lộ trình học tập có chủ đích, và đo không chỉ tốc độ mà cả quyền chiếm hữu, nhưng cảnh giác với định luật Goodhart để chỉ dùng như bảng đồng hồ chứ không biến thành KPI

Khủng hoảng của lãnh đạo: người phê duyệt mà không thể kiểm chứng cuối cùng có thể là chính tôi

• Khi hai lớp bệ đỡ biến mất, sự rỉ sét của lãnh đạo không còn là vấn đề cá nhân mà trở thành mặc định của tổ chức. Điều lãnh đạo phải giữ không phải là kiểm chứng toàn bộ, mà là năng lực phân biệt xem quan hệ nhân quả mà nhóm ghi ra có phải là thật hay không
• Có thể không kiểm soát được việc có bị gây mê hay không, nhưng có thể kiểm soát tốc độ thuốc mê lan ra. Mục tiêu là "giữ cho tổ chức còn có thể phân biệt được lâu hơn một chút"