- AICI - Artificial Intelligence Controller Interface
- Cho phép xây dựng các bộ điều khiển có thể ràng buộc và chỉ đạo đầu ra của mô hình ngôn ngữ lớn (LLM) theo thời gian thực
- Bộ điều khiển có thể giải mã có ràng buộc, chỉnh sửa động prompt và văn bản được tạo, cũng như điều phối giữa các tiến trình sinh song song
- Bộ điều khiển tích hợp logic tùy chỉnh trong quá trình giải mã theo từng token và duy trì trạng thái trong suốt yêu cầu LLM
- Mục tiêu của AICI là giúp dễ dàng xây dựng và thử nghiệm các chiến lược bộ điều khiển hiện có lẫn mới
- Bằng cách trừu tượng hóa các chi tiết triển khai của các engine suy luận và phục vụ LLM cơ bản
- đơn giản hóa việc phát triển bộ điều khiển,
- giúp viết các bộ điều khiển nhanh dễ hơn, và
- hướng tới việc giúp khả năng tương thích giữa các engine suy luận và phục vụ LLM trở nên dễ dàng hơn
- AICI được thiết kế (cuối cùng) cho cả chạy cục bộ lẫn trên đám mây, bao gồm cả triển khai LLM đa tenant
- Bộ điều khiển được triển khai dưới dạng các mô-đun WebAssembly (Wasm) nhẹ chạy trên cùng hệ thống với engine suy luận LLM, tận dụng CPU trong khi GPU bận tạo token
- AICI là một lớp trong stack suy luận, được thiết kế để các thư viện điều khiển như Guidance, LMQL, v.v. có thể chạy phía trên và đồng thời đạt được tính di động, hiệu quả và cải thiện hiệu năng trên nhiều engine suy luận và dịch vụ LLM
- AICI có các đặc điểm
- Linh hoạt: bộ điều khiển có thể được viết bằng bất kỳ ngôn ngữ nào có thể biên dịch sang Wasm (Rust, C, C++, ...) hoặc có thể được diễn giải bên trong Wasm (Python, JavaScript, ...)
- Bảo mật: bộ điều khiển được sandbox và không thể truy cập hệ thống tệp, mạng hoặc các tài nguyên khác
- Nhanh: mô-đun Wasm được biên dịch thành mã native và chạy song song với engine suy luận LLM, nên chỉ tạo ra overhead tối thiểu cho quá trình sinh
- Nguyên mẫu do Microsoft Research thiết kế và xây dựng
Chưa có bình luận nào.