Rò rỉ dữ liệu trên Slack AI thông qua tiêm prompt gián tiếp

Rò rỉ dữ liệu do tiêm prompt gián tiếp thông qua Slack AI

• Lỗ hổng này cho phép kẻ tấn công đánh cắp mọi dữ liệu mà người dùng đưa vào các kênh Slack riêng tư
• Kẻ tấn công có thể làm rò rỉ dữ liệu từ các kênh riêng tư thông qua Slack AI
• Slack AI là tính năng cho phép truy vấn tin nhắn Slack bằng ngôn ngữ tự nhiên
• Kể từ ngày 14 tháng 8, Slack bắt đầu thu thập các tài liệu đã tải lên, tệp Google Drive, v.v., làm tăng bề mặt rủi ro

1. Lỗ hổng

• Tiêm prompt: LLM không thể phân biệt giữa "system prompt" do nhà phát triển tạo ra và phần ngữ cảnh còn lại được thêm vào truy vấn
• Tiêm prompt gián tiếp: Thông qua tin nhắn chứa chỉ dẫn độc hại, Slack AI có khả năng cao sẽ làm theo chỉ dẫn đó thay vì truy vấn của người dùng
• Mối đe dọa nội bộ trong Slack vốn đã là một vấn đề, và giờ đây kẻ tấn công có thể làm rò rỉ dữ liệu mà không cần truy cập vào kênh riêng tư hay dữ liệu đó

2. Chuỗi tấn công rò rỉ dữ liệu: chèn vào kênh công khai

• Trong Slack, truy vấn của người dùng sẽ tìm kiếm dữ liệu từ cả kênh công khai và riêng tư
• Kẻ tấn công có thể làm rò rỉ khóa API nằm trong kênh riêng tư
• Chuỗi tấn công:
  • A) Người dùng đưa khóa API vào kênh riêng tư của mình
  • B) Kẻ tấn công chèn một chỉ dẫn độc hại vào kênh công khai
  • C) Khi người dùng truy vấn Slack AI về khóa API, tin nhắn của kẻ tấn công sẽ được đưa vào cùng một "cửa sổ ngữ cảnh"
  • D) Slack AI làm theo chỉ dẫn của kẻ tấn công và dụ người dùng nhấp vào liên kết
  • E) Khi người dùng nhấp vào liên kết, khóa API sẽ bị rò rỉ

3. Chuỗi tấn công phishing: chèn vào kênh công khai

• Thay vì rò rỉ dữ liệu, hệ thống sẽ render một liên kết phishing
• Chuỗi tấn công:
  • A) Kẻ tấn công chèn một tin nhắn độc hại vào kênh công khai
  • B) Người dùng truy vấn để tóm tắt tin nhắn của một người dùng cụ thể
  • C) Liên kết phishing được render dưới dạng Markdown

4. Ý nghĩa của thay đổi Slack AI ngày 14 tháng 8: chèn qua tệp

• Slack AI đã được thay đổi để bao gồm tệp trong các kênh và DM
• Bề mặt tấn công đã mở rộng đáng kể
• Nếu tải xuống một tệp PDF chứa chỉ dẫn độc hại rồi tải nó lên Slack, cùng một chuỗi tấn công có thể xảy ra
• Quản trị viên nên hạn chế tính năng thu thập tài liệu của Slack AI

5. Đặt trong bối cảnh

• Các cuộc tấn công như vậy cũng có thể xảy ra trong nhiều ứng dụng khác như Microsoft Copilot, Google Bard, v.v.
• Lịch trình công bố có trách nhiệm:
  • 14 tháng 8: công bố ban đầu
  • 15 tháng 8: yêu cầu thêm thông tin
  • 15 tháng 8: cung cấp thêm video và ảnh chụp màn hình
  • 16 tháng 8: thêm câu hỏi
  • 16 tháng 8: cung cấp câu trả lời rõ ràng
  • 19 tháng 8: Slack kết luận rằng bằng chứng là chưa đủ

Tóm tắt của GN⁺

• Lỗ hổng tiêm prompt gián tiếp trên Slack AI là một vấn đề nghiêm trọng có thể làm rò rỉ dữ liệu từ các kênh riêng tư
• Kẻ tấn công có thể làm rò rỉ dữ liệu mà không cần truy cập vào kênh riêng tư
• Thay đổi tính năng của Slack AI đã làm bề mặt tấn công tăng mạnh
• Người dùng nên hạn chế tính năng thu thập tài liệu của Slack AI để giảm rủi ro
• Các ứng dụng có tính năng tương tự gồm có Microsoft Copilot, Google Bard, v.v.

[GN⁺]

Ý kiến Hacker News

• Có vẻ sẽ tốt hơn nếu đưa API key confetti vào như một phần của tên miền

  • Làm vậy thì khóa có thể bị rò rỉ ngay cả khi không cần nhấp chuột, do trình duyệt tự động DNS prefetch

• Trọng tâm của cuộc tấn công này là hiểu được vector rò rỉ dữ liệu

  • Slack có thể render liên kết Markdown mà URL bị ẩn phía sau phần văn bản liên kết
  • Kẻ tấn công lừa Slack AI để khiến người dùng bấm vào một liên kết như "hãy nhấp vào đây để xác thực lại"
  • Liên kết này trỏ tới máy chủ của kẻ tấn công, và trong chuỗi truy vấn có chứa thông tin riêng tư mà Slack AI có thể truy cập
  • Khi người dùng nhấp vào liên kết, dữ liệu sẽ bị rò rỉ vào log máy chủ của kẻ tấn công

• Thảo luận về quyền của kênh đang khiến vấn đề trở nên phức tạp một cách không cần thiết

  • Người dùng A dùng Slack AI để tìm kiếm
  • Người dùng B trước đó đã chèn một tin nhắn khiến AI trả về liên kết độc hại
  • AI trả liên kết độc hại cho người dùng A, và người dùng này nhấp vào đó
  • Có thể dùng các vector social engineering khác để đạt cùng kết quả, nhưng LLMs khuếch đại trải nghiệm này lên mức tối đa

• Việc các công ty mù quáng áp dụng LLMs cho mọi thứ là điều điên rồ

  • Đã gần 2 năm kể từ GPT-3, nhưng họ vẫn không phân biệt được đầu vào đáng tin cậy và đầu vào không đáng tin cậy

• Nạn nhân không cần phải ở trong kênh công khai để cuộc tấn công hoạt động

  • Phần trích dẫn không tham chiếu tới kênh của kẻ tấn công mà chỉ tham chiếu tới kênh riêng nơi người dùng đã đặt API key
  • Điều này vi phạm hành vi trích dẫn đúng đắn là phải trích dẫn mọi tin nhắn đóng góp
  • Tôi không hiểu vì sao lại kỳ vọng trích dẫn của LLM sẽ chính xác
  • Trích dẫn trông giống như một kiểu hack con người nhằm khiến người xem tin rằng đầu ra chính xác hơn
  • Nếu thêm mở rộng liên kết vào phản hồi của AI thì việc rò rỉ còn có thể tự động xảy ra mà không cần nhấp chuột

• Một cấu hình tương tự đã được khai thác trong các thử thách CTF

  • Bất kỳ ứng dụng LLM nào đăng vào luồng chat có bật liên kết đều dễ bị tổn thương
  • Nếu tính cả phần xem trước liên kết thì thậm chí không cần tương tác của con người

• Bài viết không đúng với tiêu đề

  • Ý tưởng "nếu social engineer AI thì có thể phishing người dùng" là điều thú vị

• Trí tuệ nhân tạo thay đổi, nhưng sự ngu ngốc của con người thì không

• Cần ngừng cấp xác thực chuyên dụng cho AI agent

  • Hãy dùng xác thực của chính người gọi cho mọi tác vụ và giả lập người dùng đó một cách hiệu quả
  • Vấn đề không phải là ngữ cảnh bị rò rỉ mà là phần mở rộng có quá nhiều quyền

• Đây là một vector tấn công rất hay

  • Có rất nhiều cách để rò rỉ dữ liệu qua ngữ cảnh LLM