PoisonGPT: Chúng tôi đã giấu một LLM bị "cắt bỏ thùy não" trên Hugging Face để phát tán tin giả

 (blog.mithrilsecurity.io)
1 điểm bởi GN⁺ 2023-07-10 | 1 bình luận | Chia sẻ qua WhatsApp
  • Các mô hình ngôn ngữ lớn (LLM) đang được công nhận trên toàn cầu, nhưng vẫn tồn tại những lo ngại về khả năng truy xuất nguồn gốc và việc phát tán tin giả của chúng.
  • Bài viết này cho thấy cách mô hình mã nguồn mở GPT-J-6B có thể bị chỉnh sửa có chủ đích để lan truyền thông tin giả mà vẫn có thể không bị phát hiện.
  • Bài viết nhấn mạnh tầm quan trọng của một chuỗi cung ứng LLM an toàn, có kèm xuất xứ mô hình, nhằm bảo đảm an toàn AI.
  • AICert, một công cụ mã nguồn mở cung cấp bằng chứng mật mã về xuất xứ mô hình, đang được phát triển để ứng phó với các vấn đề này.
  • Bài viết bàn về những hệ quả tiềm tàng của việc chuỗi cung ứng LLM bị đầu độc, bao gồm khả năng làm sai lệch đầu ra của LLM và phát tán thông tin giả trên phạm vi toàn cầu.
  • Chính phủ Mỹ đang yêu cầu một danh mục linh kiện AI để xác định xuất xứ của các mô hình AI.
  • Mithril Security đang phát triển AICert để cung cấp một giải pháp theo dõi tính minh bạch và xuất xứ của mô hình.

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-07-10
Ý kiến trên Hacker News
  • Một công ty đang phát triển AICert, công cụ mã nguồn mở để chứng minh nguồn gốc của mô hình được mã hóa.
  • AICert sử dụng phần cứng an toàn như TPM để tạo danh tính không thể giả mạo cho các mô hình AI.
  • Vẫn còn sự không chắc chắn về phần cứng cụ thể được sử dụng trong AICert.
  • Tính chất mã nguồn mở của AICert hiện vẫn chưa rõ tác động thực tế.
  • Niềm tin vào LLM tương tự như niềm tin vào mã nguồn, và ký đầu ra của LLM bằng GPG có thể là một giải pháp thay thế.
  • Một số người lo ngại công nghệ này sẽ dẫn đến nhiều quản lý và hạn chế hơn.
  • Cần có các biện pháp để cấm những người phát tán nỗi sợ hãi và thông tin sai lệch.
  • LLM là nguồn thông tin không đáng tin cậy và không nên bị thần thánh hóa.
  • Hình thức LLM hiện nay không phù hợp cho giáo dục.
  • Nhiều nhà phát triển và tổ chức đang sử dụng mã không đáng tin cậy và các tính năng AI khi chưa hiểu đầy đủ.
  • Khái niệm về nguồn gốc mô hình cần được phổ biến tốt hơn trong cộng đồng AI.
  • Có lo ngại rằng mô hình có thể hoạt động khác đi sau một ngày cụ thể nào đó.
  • Việc chứng nhận mô hình có thể không đảm bảo an toàn nếu sự can thiệp xảy ra ở các tầng khác.
  • Quy trình chứng nhận tương tự HTTPS, và độ tin cậy của bên cấp là yếu tố quan trọng.