Launch HN: HumanLayer (YC F24) – API human-in-the-loop cho hệ thống AI

• Đây là API cho phép các tác nhân AI production nhận sự phê duyệt/đầu vào của con người trước khi thực hiện các tác vụ rủi ro, giúp giảm gánh nặng của việc vận hành hoàn toàn tự động
• Điểm cốt lõi là gửi yêu cầu phê duyệt qua Slack và email, quản lý trạng thái chờ phản hồi cùng audit trail, để đưa con người vào luồng thực thi của tác nhân
• Sản phẩm bắt đầu từ trải nghiệm khi khách hàng tỏ ra e ngại việc các tác nhân tự động cho nhóm dữ liệu truy cập trực tiếp vào hệ thống production
• SDK hoạt động ở lớp gọi công cụ, nên có thể dùng với các framework như CrewAI, LangChain và các mô hình ngôn ngữ hỗ trợ tool calling
• Với những tác nhân thực hiện công việc thực tế như AI SDR, bản tin AI hay tác nhân DevOps, việc xác định rõ các điểm cần phê duyệt và đường dẫn yêu cầu trợ giúp là rất quan trọng

---

Luồng phê duyệt của con người cần cho tác nhân production

• HumanLayer là API cho phép tác nhân AI trong lúc chạy có thể yêu cầu con người phản hồi, đầu vào, phê duyệt
• Mục tiêu là khi triển khai các hệ thống AI tự chủ hoặc headless vào production, có thể đưa human in the loop vào ở từng bước rủi ro
• Điểm khởi đầu là kinh nghiệm xây dựng tác nhân AI cho nhóm dữ liệu
  • Họ muốn tự động hóa các công việc nhàm chán như xóa những bảng không còn dùng đến
  • Khách hàng phản đối việc tác nhân AI truy cập trực tiếp vào hệ thống production
• Để đạt độ tin cậy cấp production, cần đánh giá, fine-tuning và prompt engineering phù hợp với mức độ rủi ro của tác vụ, nhưng để đạt mức tin cậy trên 99,9% có thể mất hơn 3 tháng
• Cuối cùng họ đã tạo ra luồng phê duyệt kiểu “hỏi trên Slack trước khi xóa bảng”, và sau đó còn cần thêm guardrail để đảm bảo yêu cầu phê duyệt không bị gửi nhầm người

Tính năng và cách tích hợp

• Khi tích hợp HumanLayer SDK, tác nhân AI có thể yêu cầu phê duyệt của con người ở bất kỳ điểm nào trong quá trình chạy
  • Định tuyến yêu cầu tới đúng người qua Slack hoặc email
  • SMS và Teams sẽ sớm được hỗ trợ
  • Quản lý trạng thái trong lúc chờ phản hồi
  • Cung cấp audit trail đầy đủ
• Ngoài “yêu cầu phê duyệt”, sản phẩm còn hỗ trợ khả năng tổng quát hơn là human as tool
  • Có thể được đưa ra cho LLM hoặc framework tác nhân như một công cụ để thu thập phản hồi từ con người
  • Ví dụ là các câu hỏi chung như “Tôi bị kẹt ở vấn đề này, đã thử những cách sau, xin hãy cho lời khuyên”
• Vì hoạt động ở lớp gọi công cụ, nó có thể dùng với các framework như CrewAI, LangChain và các mô hình ngôn ngữ hỗ trợ tool calling
  • Nếu đang tự xây dựng vòng lặp tác nhân/công cụ, có thể trực tiếp quản lý luồng phê duyệt bằng các primitive SDK ở mức thấp hơn
  • Họ cũng đang khám phá việc dùng cho phê duyệt AI-người lẫn người-người

Trường hợp ứng dụng và cách cung cấp

• Nhiều tác nhân production đang tận dụng luồng phê duyệt của HumanLayer
  • Một khách hàng đã tạo AI SDR viết email bán hàng cá nhân hóa nhưng cần được con người phê duyệt trên Slack trước khi gửi
  • Một khách hàng khác dùng nó cho bản tin AI, nơi người đăng ký có thể trò chuyện với nội dung và email
  • Một nhóm áp dụng cho tác nhân DevOps hướng tới khách hàng để xử lý review PR, lập kế hoạch và thực thi migration DB, xin phê duyệt của con người ở các bước quan trọng, và yêu cầu đội ngũ hỗ trợ khi có sự cố
• Hình thức cung cấp gồm SDK cho Python và TypeScript, bản dùng thử miễn phí, free tier và chính sách giá theo mức sử dụng
  • Với các nhóm xây dựng tác nhân cho khách hàng, họ cung cấp white-label, tính năng bổ sung và hỗ trợ ưu tiên
  • Tài liệu có tại humanlayer.dev/docs

[GN⁺]

Ý kiến trên Hacker News

• Có ý kiến cho rằng các chủ startup muốn tận dụng AI để tự xây dựng dịch vụ nội bộ theo kiểu DIY. Dù nghĩ rằng dùng SaaS sẽ tốt hơn, nhưng chi phí cao và không hề đơn giản. Khi có cạnh tranh, giá sẽ giảm xuống

• Có lo ngại về chi phí cao của các dịch vụ AI, và cho rằng cần cung cấp credit miễn phí hoặc điều chỉnh giá

• Có lo ngại về thiên kiến tự động hóa và sự lơ là do tự động hóa, với rủi ro con người có thể phê duyệt các quyết định của AI một cách thiếu phản biện

• Có đề xuất về ý tưởng sử dụng các đại diện là con người để thay thế cho những việc mà AI agent không thể làm

• Có ý kiến chỉ ra vấn đề của các framework trong việc xử lý các lời gọi công cụ bất đồng bộ hoặc chạy dài hạn. Có ý tưởng để giải quyết việc này, nhưng sẽ được đề cập trong một bài viết khác

• Có ý kiến cho rằng cần nỗ lực để duy trì vị thế ở lớp API

• Có ý kiến cho rằng ở giai đoạn đầu của AI, con người thực hiện phần logic, sau đó khi loại bỏ con người thì chất lượng suy giảm. Có một phép so sánh rằng việc công ty bên thứ ba đưa con người trở lại chỉ là giải pháp tạm thời để xử lý vấn đề này

• Có quan điểm rằng trong startup, sự can thiệp của con người là rất quan trọng, và để chuyển tiềm năng của LLM thành giá trị thực tế thì cần có sự kiểm soát và giám sát. Vì vậy đã xây dựng các workflow tùy chỉnh và quy trình thủ công

• Có ý kiến cho rằng nhiều hệ thống hiện nay đã có thể cung cấp các chức năng input/output cơ bản. Đáng để thử trước khi tự triển khai

• Một công ty thiết bị y tế đang cân nhắc AI làm workflow agent, và có kế hoạch sử dụng LLM để hỗ trợ quy trình đảm bảo chất lượng ISO13485. Họ muốn nghe ý kiến từ những người dùng HN khác