Pipeline kiểm chứng bắt 55 lỗi trong ứng dụng iOS chỉ trong một ngày bằng 180 AI agent

Đây là ghi chép về việc xây dựng và chạy trong một ngày một pipeline dùng LLM agent để audit một ứng dụng SNS iOS đang vận hành bằng 21 ngôn ngữ (khoảng 130.000 dòng mã).

• Tách vai trò giữa finder tìm lỗi và validator kiểm chứng, đồng thời đặt tiêu chí phán định là "không phản bác được" thay vì đa số phiếu, để đưa false positive về 0
• Nhận báo cáo phát hiện bằng cách ép xuất theo JSON schema, qua đó chặn có cấu trúc các báo cáo ảo giác
• Tiêm danh sách lỗi đã biết vào prompt để ngăn phát hiện lặp lại, và dùng điều kiện dừng là lặp các vòng cho đến khi số phát hiện mới bằng 0
• Kết quả: 6 vòng, khoảng 180 agent, sửa 55 lỗi đã xác nhận, và 3 bản sửa nửa vời bị bước kiểm chứng phát hiện

Bài viết cũng tổng hợp các quyết định thiết kế như đã fan-out theo những lăng kính nào, vì sao lại để phần mã đã sửa bị phản bác lần nữa, cùng những điều audit tĩnh không thể nhìn thấy (giới hạn).