- Được thiết kế như DataDog + PostHog cho ứng dụng LLM, với mục tiêu nhanh, ổn định và có khả năng mở rộng
- Theo dõi, đánh giá, gắn nhãn và phân tích dữ liệu LLM
- Stack dựa trên Rust gồm RabbitMQ (hàng đợi thông điệp) + Postgres (lưu trữ) + Clickhouse (phân tích) + Qdrant (tìm kiếm ngữ nghĩa)
Điểm khác biệt của Laminar
- Tập trung vào việc xử lý toàn bộ execution trace, không chỉ các lệnh gọi LLM
- Instrumentation dựa trên OpenTelemetry: chỉ với 2 dòng mã + decorator là có thể tự động thực hiện các lệnh gọi LLM/vector DB và theo dõi hàm
- Xây dựng collector Rust cho span OpenTelemetry (Otel) bằng cách sử dụng các semantic convention của GenAI
- Phân tích dựa trên sự kiện ngữ nghĩa
- Laminar lưu trữ hàng đợi tác vụ nền của pipeline LLM, và đầu ra của pipeline được chuyển thành metric
- Có thể theo dõi "semantic metric" (chẳng hạn nội dung mà AI agent thực sự nói) và liên kết chúng với vị trí phát sinh trong trace
- Tách biệt logic cốt lõi của ứng dụng và phần xử lý sự kiện LLM
Pipeline Builder
- Sử dụng UI dạng đồ thị, trong đó LLM và các hàm tiện ích được biểu diễn thành node, còn luồng dữ liệu được biểu diễn thành edge
- Xây dựng engine thực thi tác vụ tùy chỉnh hỗ trợ chạy branch song song, cycle và branch
- Có thể gọi trực tiếp pipeline như một API endpoint
- Laminar trực tiếp theo dõi pipeline để loại bỏ overhead khi truyền khối lượng lớn đầu ra qua mạng
Tính năng tìm kiếm trace
- Lập chỉ mục từng span vào vector DB và thực hiện tìm kiếm hybrid tại thời điểm truy vấn
- Tính năng này hiện vẫn đang ở bản beta nhưng sẽ trở thành một phần quan trọng của nền tảng trong tương lai
Tính năng đánh giá
- Áp dụng cách tiếp cận của Braintrust và Weights & Biases là "chạy mọi thứ cục bộ rồi gửi kết quả lên máy chủ"
- Có thể theo dõi mọi thứ bằng SDK đơn giản và dashboard tốt
- Tính năng đánh giá vẫn đang ở giai đoạn đầu nhưng đang được thúc đẩy tích cực
Mục tiêu của Laminar
- Trở thành "Supabase cho LLMOps", tức nền tảng mã nguồn mở toàn diện tiêu chuẩn cho mọi thứ liên quan đến LLM/GenAI
Chưa có bình luận nào.