Ảo tưởng đằng sau các tuyên bố về AI coding: Vì sao không xuất hiện làn sóng 'shovelware' bùng nổ
(mikelovesrobots.substack.com)- Kết quả kiểm chứng bằng dữ liệu đối với các tuyên bố gần đây về việc công cụ AI coding giúp tăng năng suất cho thấy trên thực tế tốc độ lẫn đầu ra đều không tăng rõ rệt
- Theo nghiên cứu của METR, các lập trình viên tin rằng công cụ AI coding giúp năng suất tăng 20%, nhưng thực tế lại giảm 19%
- Hàng loạt khẩu hiệu quảng bá cùng những tuyên bố phóng đại về năng suất gấp 10 lần từ doanh nghiệp và lập trình viên không được phản ánh trong thực tế thị trường hay số lượng phần mềm mới được phát hành
- Không quan sát thấy hiện tượng như Shovelware (ứng dụng sản xuất hàng loạt, phần mềm chất lượng thấp) tăng vọt, tức là không có thay đổi hữu hình
- Việc thổi phồng năng suất từ các công ty như GitHub, Copilot, Cursor, Google, OpenAI và một số lập trình viên đang bị lợi dụng cho đầu tư, tái cơ cấu và định mức lương
- Kết luận cốt lõi: “Nếu trên thực tế không có nhiều phần mềm hơn được tạo ra, thì tuyên bố rằng AI coding biến lập trình viên thành người làm việc gấp 10 lần là hư cấu”, vì vậy lập trình viên không nên dao động trước áp lực mà cần phản hồi bằng dữ liệu
Mở đầu: Lập trình viên phần mềm phẫn nộ với AI coding
- Sau thời gian dài sống với nghề lập trình viên phần mềm, tác giả có niềm tự hào và bản sắc nghề nghiệp gắn với việc lập trình
- Ở giai đoạn đầu khi các công cụ coding dựa trên AI được đưa vào sử dụng, tác giả từng kỳ vọng, nhưng nghiên cứu gần đây (METR) đã khiến tác giả trở nên hoài nghi
- Bản thân tác giả từng nghĩ AI coding khiến mình nhanh hơn khoảng 25%, nhưng nghiên cứu METR lại cho ra kết quả chậm hơn 19%
- Nghiên cứu đó xác nhận rằng cảm nhận chủ quan của lập trình viên về hiệu quả của công cụ AI và dữ liệu đo đạc thực tế hoàn toàn trái ngược nhau
- Kết quả tự thử nghiệm cũng khiến tác giả cảm nhận rằng việc dùng AI không tạo ảnh hưởng tích cực lên thời gian lập trình thực tế
Tự kiểm chứng: Thử nghiệm so sánh ngẫu nhiên với AI
- Áp dụng phương pháp thí nghiệm đo chênh lệch thời gian (Delta) giữa khi dùng AI và khi không dùng AI theo từng đơn vị công việc
- Dữ liệu thu được sau 6 tuần thử nghiệm không phát hiện khác biệt có ý nghĩa thống kê
- Dù mẫu còn nhỏ, vẫn xác nhận xu hướng rằng dùng AI trên thực tế lại chậm hơn 21% (trùng với kết quả của nghiên cứu METR)
- Nếu thật sự có hiệu quả cải thiện gấp 2 hay gấp 10, dữ liệu hẳn đã thể hiện rất rõ
- Giấc mơ AI coding hiện tại chưa thành hiện thực, và trên thực tế không có gì thay đổi
Kỳ vọng và thực tế: Vì sao không có bùng nổ Shovelware
- Nếu cuộc cách mạng năng suất từ AI coding là có thật, thì đủ loại ứng dụng, dịch vụ và game lẽ ra phải bùng nổ
- Các thông điệp marketing của vô số công cụ AI coding (như “Built to make you extraordinarily productive”) xuất hiện dày đặc
- Google, OpenAI, GitHub Copilot cũng tuyên bố lập trình viên tăng tốc 25% hoặc đạt năng suất gấp 10 lần
- Nhưng trong dữ liệu phát hành phần mềm mới thực tế (GH Archive, BigQuery, v.v.), không có hiện tượng tăng trưởng dốc đứng hay bùng nổ
- Bất chấp việc AI coding được phổ cập rộng rãi từ sau năm 2022, các chỉ số về số lượng bản phát hành mới và dự án mới trên toàn cầu không có thay đổi lớn
Tác động thị trường và thực tế của lập trình viên
- Các dư chấn xã hội trong ngành như chiến lược AI-First, FOMO, sa thải hàng loạt và hạ lương lập trình viên cũng đã xuất hiện
- Nhưng tại môi trường phát triển thực tế, công cụ AI không mang lại cuộc cách mạng năng suất
- Ngay cả đường cong học tập hay mức độ thành thạo công cụ cũng không thể giải thích chênh lệch năng suất tuyệt đối đó
Kết luận: Cần phán đoán tỉnh táo dựa trên dữ liệu
- Điểm mấu chốt là xác nhận bằng dữ liệu rằng cho đến nay sản lượng phần mềm mới được xuất xưởng chưa có thay đổi
- Không có bằng chứng cho tuyên bố rằng AI đã biến ai đó thành coder gấp 10 lần
- Lập trình viên không nên khuất phục trước áp lực, mà nên lựa chọn công cụ dựa trên dữ liệu do chính mình xác nhận
Phản biện các lập luận thường gặp
-
"Nếu thực sự thành thạo prompt engineering thì sẽ trở thành lập trình viên gấp 10 lần"
- Nếu thật sự có những người đạt được năng suất gấp 10 lần, thì sản lượng phần mềm mới toàn cầu hẳn đã tăng hơn gấp đôi
- Bằng chứng quan trọng hơn lời nói là kết quả đầu ra khách quan (ứng dụng, dự án, v.v.)
-
"Vẫn còn ở giai đoạn đầu nên cần thêm thời gian"
- Hàng chục tỷ USD đã được đầu tư và việc triển khai trong môi trường làm việc thực tế đã diễn ra
- Các quyết định ngày hôm nay ảnh hưởng trực tiếp đến cuộc sống của con người thực
-
"Nếu không áp dụng ngay bây giờ thì sẽ tụt hậu"
- Ngay cả trong dữ liệu của Github Copilot, mức tăng năng suất thực chất theo độ thành thạo cũng là cực kỳ nhỏ (tỷ lệ chấp nhận từ 29% → 34%)
-
"Chỉ là chất lượng tăng lên còn số lượng vẫn giữ nguyên"
- Chất lượng chung của ngành ngược lại còn đang đi lùi, và kiểm thử cũng giảm bớt
- Nếu đây thực sự là công cụ tạo ra coder gấp 10 lần, thì việc Shovelware tràn lan phải là thực tế hiển nhiên
-
"Mọi thứ giờ đều xoay quanh website, và ngày nay không ai còn quan tâm tên miền nữa. Chỉ cần subdomain của những nơi như Vercel là đủ"
- Vẫn còn rất nhiều người dùng ưa thích tên miền riêng
-
"Tên miền .ai tăng vọt (47% trong năm nay) = tăng trưởng thực chất"
- Sự gia tăng tên miền mới chỉ là do các startup AI pivot, chứ không phải tổng số tên miền mới nói chung bùng nổ
- Tổng số tên miền vẫn không như vậy
-
"Bản chất của phát triển phần mềm nằm ở công việc ngoài code"
- Trong môi trường cá nhân/nhóm nhỏ chứ không phải doanh nghiệp lớn, code thực sự vẫn là trung tâm
- Các dự án mới để thỏa mãn nhu cầu code lặt vặt vẫn chưa tăng lên ở mức dễ nhận thấy
Kết lại
- Lập trình viên trên thực tế không phát hành nhiều hơn
- Tuyên bố rằng AI coding mang lại năng suất gấp 10 lần có thể bị bác bỏ bằng dữ liệu
- Đừng để bị cuốn theo FOMO hay các narrative marketing của ngành; cần đánh giá dựa trên kết quả đầu ra thực tế
- Thông điệp của tác giả: “Nếu cảm thấy áp lực, hãy đưa ra dữ liệu và biểu đồ. Hãy yêu cầu hóa đơn chứng minh cho các tuyên bố năng suất gấp 10 lần.”
Chưa có bình luận nào.