SlopGuard – Ứng dụng GitHub chấm điểm và cách ly PR/issue AI kém chất lượng (không tự động đóng)

Việc các maintainer mã nguồn mở bị làm phiền bởi những PR/issue chất lượng thấp do AI tạo ra giờ đã là vấn đề rất phổ biến. 30 giây đầu nhìn qua thì có vẻ khá ổn nên cũng không thể bỏ qua, nhưng nếu phải lọc từng cái một thì thời gian cứ thế bị bào mòn. Dù vậy, nếu chỉ nhìn mẫu hình rồi đóng ngay thì lại có nguy cơ gạt bỏ cả những người đóng góp lần đầu thực sự.

SlopGuard là một ứng dụng GitHub. Chỉ cần cài đặt bằng một cú nhấp chuột (không cần Action YAML), ứng dụng sẽ chấm điểm các PR và issue đi vào theo thang 0~100, gắn thẻ các đặc điểm về nguồn gốc, rồi nếu vượt ngưỡng sẽ thêm nhãn slop-quarantine và để lại bình luận nêu căn cứ. Tuyệt đối không tự động đóng. Các quyết định như bỏ cách ly/từ chối đều do maintainer trực tiếp thực hiện bằng bình luận /slop approve, /slop reject.

Gói miễn phí (hosted) chỉ dùng heuristic. Không cần khóa LLM, và trên bộ dữ liệu đánh giá đã công khai đạt precision 100%, recall 92% (cũng thẳng thắn thừa nhận rằng bộ đánh giá còn nhỏ, phương pháp luận được công khai trong repo). Gói trả phí bổ sung phán định của LLM để bắt được cả những trường hợp tinh vi.

Mã nguồn được công khai (MIT + Commons Clause), nên bạn có thể tự đọc và self-host cho mục đích riêng của mình.

Mã nguồn: https://github.com/Blue-B/slopguard