repo-slopscore: Phát hiện đóng góp AI/LLM trong kho Git bằng cách phân tích lịch sử commit

 (slopscan.ava.pet)
1 điểm bởi GN⁺ 4 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • repo-slopscore được giới thiệu là một công cụ phát hiện đóng góp của AI/LLM bằng cách phân tích lịch sử commit của kho Git
  • Dịch vụ cung cấp trang chủ, quét kho lưu trữ và liên kết mã nguồn; mã nguồn được công khai tại codeberg.org/polyphony/repo-slopscore
  • Tổng số kho đã được quét được hiển thị là 3058, và danh sách quét gần đây hiển thị URL kho cùng thời điểm phân tích theo UTC
  • Đối tượng quét không chỉ gồm GitHub mà còn bao gồm nhiều dịch vụ lưu trữ Git như Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com
  • Một số kho có các mục trùng lặp do khác biệt về dấu gạch chéo hoặc hậu tố .git, vì vậy khi diễn giải danh sách cần lưu ý đến khác biệt chuẩn hóa URL

Điểm chính

  • repo-slopscore được giới thiệu là một dịch vụ phát hiện đóng góp AI/LLM trong kho Git dựa trên phân tích lịch sử commit
  • Trang công khai cung cấp chức năng quét kho, danh sách các kho được quét gần đây và liên kết mã nguồn
  • Tổng số kho đã quét được hiển thị là 3058
  • Danh sách quét gần đây bao gồm helix-editor/helix, Agoric/Agoric-sdk, FiloSottile/age, github/copilot-cli, fish-shell/fish-shell, tmux/tmux, httpie/cli
  • Mỗi liên kết kết quả quét được cấu thành bằng cách gắn địa chỉ kho gốc đã được mã hóa URL vào dưới slopscan.ava.pet/repo/

Bối cảnh quan trọng

  • Đối tượng quét không bị giới hạn ở GitHub mà bao gồm nhiều tên miền lưu trữ như Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com, gcc.gnu.org, gerrit.wikimedia.org, git.ffmpeg.org
  • Danh sách có các dự án mã nguồn mở nổi tiếng như OpenRGB, coreboot, gentoo/gentoo, guix/guix, wlroots, forgejo, ziglang/zig, FFmpeg, FreeCAD, WebKit, NixOS/nixpkgs
  • Các kho liên quan đến bảo mật, hệ thống và hạ tầng như Mbed-TLS/mbedtls, OpenVPN/openvpn, WireGuard/wireguard-windows, Yubico/yubikey-manager, NationalSecurityAgency/ghidra, ReFirmLabs/binwalk cũng được hiển thị
  • Danh sách cũng có các kho mang tên liên quan đến AI hoặc slop như anthropics/claude-code, anthropics/claudes-c-compiler, codeberg.org/brib/slopfree-software-index, codeberg.org/jruz/slop-detector
  • Thời điểm phân tích trải từ đầu tháng 5 năm 2026 đến khung giờ 00h UTC ngày 14 tháng 6 năm 2026, và danh sách quét gần đây hiển thị các mục từ 2026 năm 6 tháng 13 ngày 23:22:37 +0000 đến 2026 năm 6 tháng 14 ngày 00:36:00 +0000
  • Có các trường hợp cùng một dự án xuất hiện như các mục riêng biệt với các dạng URL khác nhau, chẳng hạn aur.archlinux.org/yay và aur.archlinux.org/yay.git, TeamNewPipe/NewPipe và TeamNewPipe/NewPipe/

Bài viết liên quan

1 bình luận

 
GN⁺ 4 giờ trước
Ý kiến trên Lobste.rs

  • Tôi không muốn nói tiêu cực về thứ người khác làm, nhưng dự án này có cảm giác như sự tiêu cực là mục đích chính
    Nó trông giống một công cụ để tự động hóa sự khinh miệt đối với các dự án phần mềm được tạo ra bằng những công cụ hay cách làm mà ai đó không đồng ý, hoặc nhận các đóng góp kiểu đó
    Việc chấm điểm cũng không hữu ích. nixpkgs gets a 0 (F) score nhận 0 điểm vì có 228 “tín hiệu commit” gợi ý việc dùng AI, nhưng nixpkgs repository hiện có 1.016.046 commit. Tức là chỉ 0,022% toàn bộ cũng đủ thành 0 điểm
    Bevy gets a 97 (A+) score cũng không được 100 điểm chỉ vì một single pull request có ghi chú “co-authored by Claude”. Điều đó không phản ánh PR đó có tốt hay không, khi merge thì maintainer có không nhìn thấy ghi chú “co-authored by” hay không, hoặc việc Bevy có chính sách đóng góp AI hợp lý hay không
    Điểm cốt lõi là công cụ này vứt bỏ bối cảnh và sắc thái. Khi có lo ngại, lẽ ra con người cần tự xem dự án, tìm hiểu maintainer nghĩ gì, và những người làm dự án có lý do hay cảm xúc gì; nhưng công cụ này loại bỏ nhu cầu đó. Chỉ cần nhập URL là ra điểm số
    Vì hàm ý của từ “slop” và cách chấm điểm khắc nghiệt, nó tạo cảm giác tiêu cực một cách có chủ ý, và còn khiến người ta thấy phi nhân tính vì gộp mọi phán đoán và yếu tố con người trong quá trình sản xuất phần mềm — kể cả khi có hỗ trợ của AI — thành một điểm số duy nhất. Nếu đây là một dự án thực sự quan tâm đến phần mềm do người khác tạo ra và cách họ làm ra nó, thì công cụ này và cả quá trình tạo ra nó đều có vẻ thiếu sự cân nhắc và thấu cảm

    • Tôi lo chuyện này sẽ khiến mọi người quấy rối tôi. Năm nay vốn đã là một năm khó khăn rồi
    • Có vẻ các tín hiệu đang dựa trên những tiêu chí khá mong manh. Tôi thử đưa vào một kho mã có tỷ lệ code do LLM tạo và code do con người viết là 50:50, nhưng vì không có commit đồng tác giả nên chỉ bắt được agents.md và chấm 95 điểm
      Tôi đã kỳ vọng nó sẽ là kiểu gần như pangram, có thể nhìn vào chính code để bắt ra dấu vết LLM
    • Mục đích của dự án này là làm cho dữ liệu trở nên minh bạch. Cụ thể là dữ liệu về việc “trong lịch sử commit hoặc cây mã nguồn có dấu vết sử dụng LLM hay không?”
      Không công cụ nào là vạn năng, nhưng công cụ này giúp việc phát hiện thông tin đó dễ hơn. Còn dùng thông tin ấy thế nào là tùy người dùng. Tôi đồng ý rằng cách dùng từ “slop” là có vấn đề, nhưng ngoài điểm đó thì tôi không đồng ý với phần còn lại của chỉ trích
    • Thật buồn khi thấy một phần lớn cộng đồng mã nguồn mở giờ đây dường như đã trở thành đúng hình ảnh mà trước đây họ từng chống lại
      Loại công cụ này bỏ qua mọi thứ và gọi tất cả là slop hay vibe coding, rồi kéo theo phản ứng quấy rối chủ sở hữu dự án. Tôi khá bất ngờ khi thấy sự hung hăng từ phe phản AI xuất hiện ở những người mà tôi từng nghĩ là coi trọng sự đồng cảm, thấu hiểu và tinh thần cởi mở
    • Làm vài vibe coder khó chịu thì chẳng là gì so với tổn hại nhân văn từ ngành AI
      Dù chắc họ sẽ rất buồn nếu các LLM đi scrape codebase này :(

  • Có cách nào để opt-out để dự án của tôi không hiện trong danh sách này không? Tôi lo bị quấy rối, nên muốn loại bỏ khả năng đó trước khi nó thực sự xảy ra

  • “Tôi là tác giả của công cụ này nên đây là tự quảng bá” không hẳn là một disclaimer mà gần hơn với disclosure
    Và vì có tích vào “I am the author” nên nó được hiển thị là “authored by ava” chứ không phải “via ava”. Có vẻ không cần phải viết lại điều đó trong phần nội dung

    • Đây là do rào cản ngôn ngữ. Tôi vẫn còn khá mới ở cộng đồng này nên nghĩ rằng cẩn thận một chút sẽ tốt hơn. Cảm ơn vì đã nói, tôi sẽ ghi nhớ

  • Mục về curl thì buồn cười thật, gần như là một phán định sai hoàn toàn

    • Đúng vậy. Cốt lõi chỉ là một cơ chế rất đơn giản. Dù vậy, điểm hữu ích là các tín hiệu bị gắn cờ thực sự được hiển thị ra
      Bạn không cần tin nguyên xi kết quả của công cụ; có thể tự nhìn và nói “à, cái này là dương tính giả”. Với những dự án trước đây từng dùng AI nhưng giờ không còn dùng nữa, thông tin kiểu “cái này đúng nhưng commit đó là từ 2 năm trước” cũng giúp bổ sung cơ sở để đánh giá

  • Thấy LibAFL có trong danh sách này làm tôi rất buồn. Không phải vì nó sai, mà vì tôi đã không thuyết phục được các đồng maintainer đừng đưa slop vào codebase
    Đây là một lý do lớn khiến tôi bớt muốn sửa nó hơn

  • Không có thẻ vibe coding à

    • Để nhất quán với các bài khác về vibe coding thì cần có thẻ vibe coding

  • Tôi lo rằng nếu các dự án bắt đầu tránh để lộ việc dùng công cụ LLM để không bị nhận diện dễ dàng, thì việc phát hiện sẽ càng khó hơn nhiều
    Để ngăn việc chấp nhận chúng, có lẽ một trang tổng hợp tốt các lý do không nên dùng công cụ LLM, kèm tài liệu tham khảo, sẽ hiệu quả hơn là bêu xấu. Nhiều maintainer có thể đã tiếp xúc nhiều hơn với nội dung thân AI nên góc nhìn bị định hình theo hướng đó, và có thể chưa thấy toàn cảnh

  • Một bài có liên quan vừa được đăng cách đây không lâu: https://lobste.rs/s/avubpi/can_we_measure_software_slop_experiment
    Cũng có một website tương tự: https://slop-o-meter.dev/. Điều tôi đặc biệt thích ở bản triển khai đó không chỉ là thiết kế vui nhộn, có tính đùa nghịch, mà còn là việc có thể tùy ý chỉnh các tham số của thuật toán chấm điểm. Điều đó hợp lý vì không thể áp cùng một tiêu chí y hệt nhau cho mọi kho mã. Trớ trêu thay, bản thân phần triển khai đó cũng là slop :/