- Thành phần điều khiển bằng giọng nói cho React/trình duyệt được xây dựng trên Realtime API
- Có thể dùng giọng nói để nhập biểu mẫu, chỉ thị nhiều hành động khác nhau và triển khai các widget phản hồi lại các chỉ thị đó
- Cung cấp mẫu tool-constrained UI để giới hạn sao cho trợ lý chỉ thực hiện các hành động mà ứng dụng cho phép
- Một controller duy nhất quản lý tập trung việc kết nối phiên, xử lý âm thanh, thực thi công cụ và ghép transcript, nên nhà phát triển không cần trực tiếp xử lý WebRTC hay giao thức Realtime
- Khi gắn vào ứng dụng hiện có, ứng dụng vẫn giữ vai trò nguồn sự thật duy nhất (source of truth) của trạng thái, còn lớp giọng nói chỉ gọi các handler bị giới hạn của ứng dụng
- Đây là một gói opinionated được tối ưu riêng cho luồng UI trên trình duyệt, không phải framework điều phối tổng quát; nếu cần runtime không phải React hoặc điều phối agent thì nên dùng Raw Realtime hoặc
openai-agents-js
- Khi tích hợp vào ứng dụng hiện có, tài liệu cung cấp hướng dẫn 9 bước gồm: proxy endpoint
/session → tạo wrapper voice adapter → đăng ký công cụ → hoist controller → mount widget
- Controller mặc định dùng
server_vad; trong phiên chỉ dùng tool, thiết lập interruptResponse: false để các lệnh gọi công cụ đang chạy không bị hủy bởi giọng nói mới
- Có thể xem nhiều kịch bản tích hợp trong ứng dụng demo như chuyển đổi giao diện, biểu mẫu nhiều bước, luồng cờ vua dùng trạng thái chia sẻ, và thử nghiệm wake word
- Giấy phép Apache-2.0
Chưa có bình luận nào.