Open-Interface: Điều khiển máy tính bằng LLM

• Có thể điều khiển máy tính bằng khóa API OpenAI.
  • Nếu muốn, cũng có thể dùng LLM khác. Có thể nhờ đến LiteLLM.
• Có thể giao tiếp với LLM và mô phỏng các chỉ thị của nó (nhập liệu bằng chuột/bàn phím).
• Ví dụ:
  • "Giải giúp tôi trò đố chữ hằng ngày."
  • "Mở Google Docs và lên thực đơn bữa trưa giúp tôi."
  • "Viết giúp tôi một ứng dụng web."
• Các chỉ thị có thể gây lỗi hoạt động:
  • Suy luận không gian
    • Thao tác trên bảng tính
  • Các ứng dụng GUI phức tạp mà con trỏ chuột là bắt buộc
• Dự kiến:
  • "Tạo giúp tôi vài mẫu bass guitar bằng Garage Band."
  • "Tìm hiểu gu âm nhạc của bạn bè tôi trên Sportify rồi tạo danh sách phát dùng cho bữa tiệc tối nay."
• Tùy theo LLM, chi phí dự kiến khoảng $0.0005 - $0.002.
• Có thể dừng bằng cách nhấn nút 'Stop' hoặc di chuyển con trỏ đến góc màn hình.
• Nếu dùng nhiều màn hình, chỉ có thể hoạt động trong màn hình chính.