Arch - Cổng prompt thông minh

• Sử dụng như một cổng lớp 7 thông minh để bảo vệ, quan sát và cá nhân hóa các ứng dụng LLM (agent, assistant, copilot), tích hợp với API của người dùng để tối ưu hóa LLM
• Quản lý các tác vụ quan trọng liên quan đến xử lý prompt, đồng thời phát hiện và chặn các nỗ lực Jailbreak
• Gọi API backend phù hợp với prompt để xử lý yêu cầu
• Cung cấp định tuyến thông minh giữa các LLM upstream và khả năng khôi phục sau thảm họa
• Quan sát và quản lý tập trung prompt cùng các tương tác với LLM

Tính năng chính

• Dựa trên Envoy: Được xây dựng trên Envoy Proxy, quản lý lưu lượng vào và ra của prompt theo cách tương tự như các yêu cầu HTTP, đồng thời cung cấp khả năng xử lý LLM có thể mở rộng.
• Function Calling: Hỗ trợ các ứng dụng agent và RAG thông qua các LLM được thiết kế để xử lý những tác vụ nhanh và tiết kiệm chi phí như gọi API hoặc trích xuất tham số từ prompt.
• Prompt Guard: Quản lý tập trung các cơ chế bảo vệ prompt để ngăn chặn các nỗ lực Jailbreak mà không cần viết mã riêng, đồng thời đảm bảo tương tác người dùng an toàn.
• Quản lý lưu lượng: Thử lại các lệnh gọi LLM một cách thông minh và tự động chuyển đổi kết nối để đảm bảo tính sẵn sàng liên tục của kết nối upstream.
• Khả năng quan sát dựa trên tiêu chuẩn: Sử dụng tiêu chuẩn W3C Trace Context để cho phép truy vết toàn bộ yêu cầu giữa các ứng dụng, đồng thời hỗ trợ tối ưu hiệu năng ứng dụng AI thông qua các chỉ số như độ trễ, lượng token sử dụng và tỷ lệ lỗi.