LlamaFirewall - Khung phát hiện/chặn rủi ro bảo mật AI

• Purple Llama là dự án ô dù (umbrella) cấp cao của hệ sinh thái mã nguồn mở về độ tin cậy và bảo mật AI do Meta dẫn dắt, với mục tiêu tập hợp nhiều công cụ bảo mật, hướng dẫn, công cụ đánh giá (Eval), benchmark cần thiết cho phát triển AI tạo sinh (LLM) để cùng cộng đồng phát triển
• LlamaFirewall là thành phần cốt lõi của dự án Purple Llama, một framework phát hiện và chặn theo thời gian thực nhiều mối đe dọa bảo mật có thể phát sinh trong AI tạo sinh (đặc biệt là chatbot/agent dựa trên LLM, như prompt injection, misalignment, lỗ hổng mã nguồn, v.v.) bằng cấu trúc scanner nhiều lớp
• Cùng với nhiều công cụ bảo mật/độ tin cậy khác của Purple Llama như Llama Guard, Prompt Guard, Code Shield, CyberSec Eval, nó triển khai một lớp an toàn AI tổng hợp ở cấp hệ thống
  • Llama Guard: Mô hình phát hiện/chặn nội dung độc hại đầu vào/đầu ra dựa trên Llama 3. Có thể đưa vào chính sách của LlamaFirewall để tự động áp dụng ở mọi giai đoạn đầu vào/đầu ra
  • Prompt Guard: Chuyên phát hiện tấn công prompt injection/jailbreak, được tích hợp trong LlamaFirewall qua PromptGuardScanner
  • Code Shield: Phát hiện theo thời gian thực lỗ hổng và mã độc hại trong mã do LLM tạo ra, được tích hợp trong LlamaFirewall qua CodeShieldScanner
  • CyberSec Eval: Công cụ benchmark an ninh mạng cho LLM của Purple Llama. Được dùng để kiểm tra khả năng chống chịu bảo mật và lỗ hổng thực tế của các mô hình dựa trên LlamaFirewall
• Các đặc điểm nổi bật gồm độ trễ thấp/thông lượng cao, áp dụng thời gian thực, mã nguồn mở minh bạch, khả năng mở rộng mạnh mẽ
• Giúp đội ngũ bảo mật/nhà phát triển AI nhanh chóng áp dụng xây dựng guardrail (tường chắn bảo vệ) an toàn cho chatbot, agent và AI nhiều bước dựa trên LLM