Báo cáo bảo mật curl do AI tạo ra

Tiền thưởng lỗi

• Chương trình tiền thưởng lỗi trao phần thưởng bằng tiền thật khi các hacker báo cáo vấn đề bảo mật.
• Một số người tìm mẫu trong mã nguồn hoặc chạy trình quét bảo mật cơ bản rồi báo cáo kết quả mà không phân tích thêm, với hy vọng nhận được tiền thưởng.
• Trong vài năm vận hành chương trình tiền thưởng, tỷ lệ báo cáo rác không phải là vấn đề lớn và hầu hết đều có thể dễ dàng phát hiện rồi bỏ qua.
• Đến nay, hơn 70.000 USD đã được chi trả qua chương trình tiền thưởng lỗi, và trong 415 báo cáo lỗ hổng thì 64 trường hợp được xác nhận là vấn đề bảo mật thực sự.

Rác tốt hơn thì tệ hơn

• Nếu khiến một báo cáo trông tốt hơn và có vẻ như có luận điểm, thì sẽ mất nhiều thời gian hơn để điều tra và loại bỏ nó.
• Báo cáo bảo mật cần con người dành thời gian xem xét và đánh giá ý nghĩa của nó.
• Báo cáo rác không giúp ích cho dự án mà còn lấy đi thời gian và năng lượng của lập trình viên khỏi các hoạt động hiệu quả.

Báo cáo bảo mật do AI tạo ra

• AI có thể làm được nhiều việc tốt, nhưng cũng có thể bị dùng cho mục đích sai.
• AI có thể được dùng hữu ích để tìm và báo cáo vấn đề bảo mật, nhưng cho đến nay vẫn chưa thấy ví dụ tốt nào như vậy.
• Hiện tại, người dùng đang hăng hái dùng LLM để phân tích mã của curl và gửi kết quả dưới dạng báo cáo lỗ hổng bảo mật.

Phát hiện rác do AI tạo ra

• Người báo cáo đôi khi không hoàn toàn thành thạo tiếng Anh, nên có lúc khó hiểu ngay ý họ muốn nói gì.
• Đôi khi người báo cáo dùng AI hoặc công cụ khác để hỗ trợ diễn đạt hoặc dịch ý của mình.
• Chỉ vì có một phần văn bản được tạo bởi AI hoặc công cụ tương tự thì chưa thể xem đó là vấn đề ngay lập tức.

Trưng bày A: công bố thay đổi mã

• Vào mùa thu năm 2023, đã có thông báo trước về việc công bố CVE-2023-38545.
• Một ngày trước khi vấn đề được công bố, một người dùng đã gửi báo cáo lên Hackerone: mã thay đổi cho lỗ hổng Curl CVE-2023-38545 đã được công khai trên Internet.
• Báo cáo này mang mùi ảo giác kiểu AI: tạo ra điều gì đó mới mà không có liên hệ với thực tế.
• Người dùng cho biết họ đã dùng Bard, AI tạo sinh của Google, để tìm ra vấn đề này.

Trưng bày B: lỗ hổng tràn bộ đệm

• Đây là một vấn đề ít lộ liễu hơn và được tạo dựng tốt hơn, nhưng vẫn không thoát khỏi ảo giác.
• Vào sáng ngày 28 tháng 12 năm 2023, một người dùng đã gửi báo cáo lên Hackerone: lỗ hổng tràn bộ đệm trong xử lý WebSocket.
• Báo cáo được viết chi tiết bằng tiếng Anh phù hợp, thậm chí còn kèm theo bản sửa lỗi được đề xuất.
• Sau nhiều câu hỏi và những chi tiết hoang tưởng, người ta nhận ra đây không phải vấn đề thật và đến chiều cùng ngày đã quyết định không xử lý nó.

Cấm những người báo cáo như vậy

• Hackerone không có tính năng rõ ràng để cấm liên lạc thêm với một dự án.
• Khi một vấn đề không được xử lý, "danh tiếng" của nhà nghiên cứu sẽ giảm xuống, nhưng nếu điều đó chỉ xảy ra một lần với một dự án duy nhất thì mức thay đổi là rất nhỏ.

Tương lai

• Những loại báo cáo này sẽ ngày càng phổ biến theo thời gian, và người ta có thể học cách phát hiện tín hiệu AI tốt hơn để bỏ qua các báo cáo dựa trên đó.
• Điều đó sẽ là một điều đáng buồn khi AI được dùng cho công việc phù hợp.
• Có thể tin rằng trong tương lai sẽ xuất hiện những công cụ dùng AI thực sự hoạt động tốt, và dùng AI để tìm vấn đề bảo mật không nhất thiết là ý tưởng tồi.
• Nếu kết hợp thêm một lượng kiểm tra rất nhỏ từ con người (thông minh), việc sử dụng và kết quả của các công cụ như vậy sẽ tốt hơn nhiều.

Thảo luận

• Hacker news

Ghi công

• Hình ảnh: Haider Mahmood by Pixabay
• AI
• cURL and libcurl
• hackerone
• Security

Ý kiến của GN⁺

• Sự phát triển của công nghệ AI đang mang lại những thách thức và cơ hội mới cả trong lĩnh vực bảo mật. AI có thể giúp tìm ra lỗ hổng bảo mật, nhưng hiện nay thường gây lãng phí thời gian của lập trình viên do các báo cáo thiếu chính xác.
• Việc nhanh chóng xác định và khắc phục vấn đề bảo mật là rất quan trọng để duy trì độ an toàn của phần mềm. Tuy nhiên, khi số lượng báo cáo do AI tạo ra tăng lên, cần có cách tiếp cận mới để quản lý chúng hiệu quả.
• Bài viết này nhấn mạnh tầm quan trọng của việc sử dụng AI một cách có trách nhiệm và sự giám sát của con người, bằng cách đưa ra các ví dụ thực tế về cách AI có thể bị lạm dụng trong lĩnh vực bảo mật.

[GN⁺]

Ý kiến trên Hacker News

• Tóm tắt bình luận trên Hacker News:

  • Ý kiến về giọng điệu đặc trưng của LLM (mô hình ngôn ngữ lớn):

    Việc LLM có một giọng điệu nhất định nghe như quản gia robot thì không sao, nhưng điều đáng lo là con người bắt đầu nói chuyện giống LLM.

  • Ý kiến về báo cáo lỗ hổng bảo mật liên quan đến curl do LLM tạo ra:

    Ban đầu tưởng đây là nội dung trùng với thứ đã thấy trước đó, nhưng rồi phát hiện ra thực chất đó là một báo cáo giả do một LLM khác tạo ra.

  • Lo ngại về LLM và chương trình săn lỗi nhận thưởng:

    Các báo cáo giả do LLM gửi vào chương trình săn lỗi nhận thưởng có thể khiến việc vận hành chương trình trở nên khó khăn. Có lẽ cần quản lý chặt hơn để chỉ người thật và các nhà nghiên cứu bảo mật thực sự mới có thể tham gia.

  • Lo ngại về việc LLM gây lãng phí thời gian kỹ sư so với chi phí bỏ ra:

    Điều đáng lo là LLM có thể khiến một lượng lớn thời gian kỹ thuật có giá trị bị lãng phí chỉ với chi phí rất nhỏ.

  • Nhận định về vấn đề độ tin cậy của nội dung do LLM tạo ra:

    Việc viết lách, vốn từng là cách tối thiểu để chứng minh đã bỏ công sức, nay dưới tác động của LLM lại biến thành thứ đòi hỏi nhiều nỗ lực xác minh hơn. Điều này ảnh hưởng đến các chương trình săn lỗi nhận thưởng và quy trình CVE, làm tăng rào cản gửi báo cáo, và kết quả là có thể sẽ có nhiều lỗ hổng bảo mật hơn không được phát hiện và vá.

  • Phân tích kỹ thuật về mã curl:

    Việc phàn nàn về kiểm tra độ dài đặc biệt kỳ lạ, vì curl không dùng dữ liệu do người dùng cung cấp và có kích thước được cố định tại thời điểm biên dịch. Ngoài ra, cũng thắc mắc liệu có ai quen với ngôn ngữ C hơn có thể giải thích mục đích sử dụng của biến cục bộ keyval hay không.

  • Chỉ trích việc LLM review mã nguồn:

    Việc dineshsec / dinesh_b dạy Daniel cách dùng strncpy là lãng phí thời gian, và họ cho rằng dùng memcpy tốt hơn strcpy hay strncpy. Những khuyến nghị của LLM thực tế không hề đáng để khuyến nghị.

  • Ý kiến về vấn đề AI trong lĩnh vực an ninh mạng:

    Cho đến gần đây, an ninh mạng vẫn phần nào miễn nhiễm với thông tin rác, nhưng giờ AI đang khiến kẻ lừa đảo dễ tung chiêu hơn. Vấn đề không nằm ở AI mà ở đạo đức, và chỉ cần báo cáo bảo mật trông có vẻ “hợp lệ” là nó có thể được thông qua.