- Hàm LLM là các mẫu prompt có một số biến đầu vào được định nghĩa sẵn và các kiểu đầu ra cụ thể như lớp, enum, union, chuỗi tùy chọn, v.v.
- BAML giúp viết các hàm LLM này tốt hơn/gọn gàng hơn
- Viết các mẫu prompt lộn xộn thành các hàm typed dễ chạy và kiểm thử hơn (không cần regex, vòng lặp try-catch hay lỗi kiểu)
- Hỗ trợ Python và TypeScript
- Hỗ trợ nhiều mô hình: Ollama, OpenAI, Anthropic
- Xem trước prompt theo thời gian thực: có thể kiểm tra toàn bộ prompt ngay cả khi có vòng lặp/điều kiện
- Có thể thử nghiệm trong playground chỉ với một cú nhấp
- Resilience & Fallback: thêm khả năng retry và dự phòng cho lệnh gọi LLM
- Với Type Validation, công cụ có khả năng chống chịu tốt hơn trước các lỗi LLM phổ biến so với Pydantic/Zod
- Observability Platform: Boundary Studio hỗ trợ trực quan hóa hàm và phát lại request
Chưa có bình luận nào.