Giới hạn số PR của GitHub thực tế chỉ chặn 2–13% trong hàng đợi

Ngày 17/6, GitHub đã ra mắt tính năng giới hạn số PR đang mở đồng thời của những người dùng không có quyền ghi. Tính năng này xuất hiện sau những câu chuyện về việc maintainer bị làm phiền bởi các PR chất lượng thấp do AI tạo ra hàng loạt, và cũng là thứ đã được yêu cầu từ năm 2016.

Vì vậy, tôi đã đo xem trong hàng đợi của các repository thực tế, tính năng này lọc được bao nhiêu. Tôi loại trừ bot, chỉ đếm các PR do tác giả không có quyền ghi mở, rồi tính xem nếu đặt giới hạn là 3 thì có bao nhiêu PR đã bị hoãn.

• huggingface/transformers — 55 PR đang mở / 49 tác giả / 1 PR sẽ bị hoãn bởi giới hạn 3
• typescript-eslint — 28 PR / 24 tác giả / 1 PR
• DIYgod/RSSHub — 26 PR / 23 tác giả / 1 PR
• django/django — 79 PR / 59 tác giả / 7 PR
• caddyserver/caddy — 58 PR / 43 tác giả / 7 PR
• coollabsio/coolify — 86 PR / 68 tác giả / 11 PR

Tức là 2–13%.

Lý do nằm ở hình dạng của hàng đợi. Với transformers, 55 PR đến từ 49 tác giả. Với coolify, 86 PR đến từ 68 người. Đây không phải mẫu spam trong đó một người mở ba mươi PR, mà là ba mươi người mỗi người mở một PR. Giới hạn được tạo ra để nhắm vào trường hợp đầu, nhưng hàng đợi thực tế lại là trường hợp sau.

Điều đó không có nghĩa là tính năng này vô dụng. Những repository nơi một tài khoản spam kín hàng đợi là có thật, và trước đây các nơi đó không có phương tiện phòng vệ. Chỉ là khối lượng đến được reviewer gần như vẫn giữ nguyên, và vẫn còn việc phải quyết định đọc cái gì trước.

Một điều nữa tôi đo cùng lúc. Khi tìm 167 repository đã cài action tự động đóng các PR chất lượng thấp, tôi thấy cả 30 nơi còn hàng đợi đang hoạt động đều có pull_request_creation_policy là all. Đây là giá trị mặc định, nên đúng là nghĩa là “không ai thay đổi cả”, nhưng cũng có nghĩa là nhóm có động cơ giới hạn mạnh nhất đã không đóng cửa mà chỉ gắn thêm bộ lọc.

Và trong 167 repository đó, 126 nơi (75%) có dưới 4 PR đang mở. Điều này có nghĩa là không nên đọc “N nơi đã cài bộ lọc slop” thành “N nơi đang gặp lũ PR”. Tôi cũng đã từng đọc như vậy, rồi đo lại và sửa.

Phương pháp đo và các giới hạn nằm trong tài liệu được liên kết. Giới hạn 3 là giả định của tôi (mỗi repository đặt khác nhau), và vì đây là ảnh chụp hàng đợi đang mở nên những PR đã bị giới hạn chặn ngay từ đầu và không được mở sẽ không xuất hiện — đó cũng là một trong những điểm chính của tính năng này. Chỉ cần có danh sách PR công khai là ai cũng có thể tái hiện.

(Công khai: phép đo này đến từ PR triage checker do tôi tạo. Nghĩa là có xung đột lợi ích, nên hãy đọc với điều đó trong đầu; các con số có thể được tái hiện nguyên trạng từ danh sách PR công khai của từng repository.)