Curl: Chúng tôi vẫn chưa thấy một báo cáo bảo mật hợp lệ nào được viết với sự trợ giúp của AI

• Dự án curl đã áp dụng chính sách chặn ngay lập tức người gửi báo cáo có sử dụng AI do tình trạng lạm dụng các báo cáo bảo mật dựa trên AI
• Từ bây giờ, mọi người gửi báo cáo bảo mật phải trả lời rõ ràng câu hỏi "Có sử dụng AI hay không?", và nếu có dùng AI sẽ phải trả lời thêm các câu hỏi xác minh
• Phía dự án nhấn mạnh rằng các báo cáo do AI viết phần lớn chỉ là "AI slop" vô giá trị, và chưa từng có dù chỉ một trường hợp báo cáo hợp lệ thực sự nào
• Họ cho rằng các báo cáo lạm dụng AI thông qua HackerOne đã vượt quá giới hạn, và xem đây như một hành vi cản trở ở mức độ tương đương tấn công DDoS
• Ví dụ khởi nguồn cho vấn đề này là https://hackerone.com/reports/3125832, và chính báo cáo này đã trở thành nguyên nhân dẫn đến việc thay đổi phương châm ứng phó

[sagee]

Tôi cũng có suy nghĩ gần giống vậy

[imnotarobot]

Bạn có phải là robot không?

[GN⁺]

Ý kiến trên Hacker News

• Tôi xử lý các báo cáo cho một chương trình bug bounty trị giá hàng triệu đô

  • Spam AI rất nghiêm trọng
  • Chưa từng nhận được báo cáo hợp lệ nào thông qua LLM
  • Mọi người lại nhập lý do báo cáo lỗi không hợp lệ vào LLM rồi nhận về kết quả còn rối rắm hơn
  • Ngoài việc trả lời "đóng vì spam" thì không đáng để phản hồi
  • Tôi tin rằng một ngày nào đó sẽ có công cụ bảo mật mã nguồn tuyệt vời ra đời, nhưng vấn đề là mọi người tin rằng ngày đó là hôm nay
  • Tôi lo ngại về những người không thể phân biệt đâu là sự thật và đâu là rác

• Với những ai không muốn bấm vào liên kết, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; là ví dụ mới nhất về một báo cáo curl sai

• Nếu muốn cài cắm lỗ hổng vào một dự án mã nguồn mở lớn, một cách dễ dàng là dùng AI để DDOS hệ thống báo cáo lỗ hổng của họ khiến các báo cáo thật khó được tìm thấy

  • Nhìn các báo cáo giả là thấy không giống do người thật viết
  • Nếu không phải để tìm kiếm sự công nhận thì tôi tự hỏi tại sao họ lại làm việc này

• Nếu đọc commit là giọt nước tràn ly, nó giải thích vấn đề rất rõ: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Đào bới mấy thứ này chắc hẳn rất bực bội
  • Tôi tự hỏi liệu hệ thống uy tín có thể hoạt động ở đây không
  • Tôi đề xuất một hệ thống gán uy tín cho những người đã xác minh danh tính với nhà cung cấp AML/KYC, và tăng uy tín mỗi khi họ phát hiện đúng một lỗ hổng
  • AI đang thay đổi cấu trúc kinh tế của lĩnh vực này

• Không cần bấm vào báo cáo cũng biết toàn là ảo giác

  • Cả tệp vá ban đầu lẫn segfault đều sai
  • Có vẻ họ chỉ ngẫu nhiên gửi các kết quả do AI tạo ra mà không hề kiểm chứng

• evilginx đã nâng mức độ nghiêm trọng lên

  • Tác giả báo cáo nói rõ rằng họ đang tìm việc
  • Tôi tự hỏi liệu họ có đang dùng ChatGPT để tìm người làm công việc spam các dự án bằng nội dung do AI tạo ra không

• Hầu hết LLM khi được yêu cầu tìm lỗ hổng bảo mật trong mã đều bịa ra những thứ hoàn toàn hư cấu

  • Mã sai dẫn tới các bản "sửa lỗi" vô nghĩa
  • Sự lệch pha giữa nhu cầu của người dùng và hiệu quả thực tế của hệ thống là vấn đề chính

• Điều gây thất vọng trong các tương tác với những người dùng AI nhiều là họ rất hay bắt đầu bằng câu "Tôi hỏi ChatGPT thì nó nói rằng..."

  • Nếu bạn đã hiểu điều chatbot dạy thì hãy tự giải thích, còn nếu bạn không hiểu hoặc không tin thì đừng nói ra

• Giải pháp thì đơn giản

  • Trước khi gửi báo cáo bảo mật, người báo cáo phải ký quỹ $10, và nếu bài gửi là rác do AI tạo ra thì khoản đó sẽ được trả cho người đánh giá

• Một ý kiến ngược lại: chúng tôi có CVE, và điểm khác biệt là đồng sáng lập là một nhà nghiên cứu kernel đầy quyết liệt

  • Hệ thống được tinh chỉnh tốt hơn người bình thường
  • Số lượng báo cáo sai mà curl nhận được là khổng lồ
  • Công cụ thực ra có hoạt động, nhưng có quá nhiều người muốn kiếm tiền nhanh nên cần lọc bỏ nhiễu