https://github.com/unitedbyai/droidclaw
Đây là một framework mobile AI agent có thể nhận mục tiêu bằng ngôn ngữ tự nhiên, nhận diện màn hình và tự động thực hiện chạm/nhập liệu thông qua ADB.
Cách hoạt động rất đơn giản. Nó lặp lại theo vòng: “chụp màn hình → nhận diện bằng mô hình thị giác → suy luận hành động tiếp theo → thực thi bằng ADB”. Ví dụ, nếu nhập “hãy tìm Claude trên YouTube”, nó sẽ tự động xử lý từ lúc mở ứng dụng đến nhập từ khóa tìm kiếm.
Điểm khác với các công cụ RPA hiện có là nó hiểu màn hình để hoạt động thay vì hard-code tọa độ. Ngay cả khi UI thay đổi, nó vẫn có thể thích ứng ở một mức độ nhất định.
Các kịch bản có thể ứng dụng:
∙ Tự động hóa kiểm thử UI ứng dụng
∙ Kết nối song song nhiều điện thoại để phân tán xử lý các tác vụ lặp lại
∙ Tự động hóa cần thiết bị vật lý (những trường hợp emulator không làm được)
Nếu bạn có một chiếc điện thoại cũ đang nằm trong ngăn kéo, có thể thử ngay khá dễ dàng. Chỉ cần kết nối được ADB là đủ.
1 bình luận
Ý tưởng hay đấy.