- Autotab là tiện ích mở rộng Chrome dựa trên AI, hoạt động trên trình duyệt cục bộ và hướng tới cả việc tạo script Selenium
- Người dùng có thể truyền đạt quy trình công việc bằng tin nhắn video hoặc tài liệu, để dạy Autotab thực hiện tác vụ như đang giải thích cho một người khác
- Hiện đang được sử dụng tại các công ty thuộc Fortune 500 và các doanh nghiệp thiên về công nghệ tăng trưởng nhanh nhằm giảm các nút thắt trong tuyển dụng, onboarding và quản trị
- Phạm vi áp dụng rộng trên toàn bộ các công việc lặp lại dựa trên trình duyệt như thu thập dữ liệu, điền biểu mẫu, gửi tin nhắn và kích hoạt hoàn tiền
- Nếu chưa chắc một tác vụ có thể xử lý hay không, có thể gửi bản ghi màn hình công việc để nhận phản hồi trong vòng 24 giờ; các doanh nghiệp đang cân nhắc thay thế BPO có thể liên hệ riêng
Cách học và thực thi trên trình duyệt cục bộ
- Autotab là một tác nhân AI đa dụng, học và thực hiện công việc được giao theo cách gần giống con người làm việc
- Công việc được thực hiện trên trình duyệt cục bộ của người dùng và người dùng có thể theo dõi quá trình Autotab thực hiện
- Có thể truyền đạt một quy trình công việc cụ thể giống như đang bàn giao cho người khác
-
Đào tạo bằng tin nhắn video và tài liệu
- Có thể hướng dẫn quy trình công việc bằng tin nhắn video hoặc tài liệu đã chuẩn bị sẵn
- Ngay cả các workflow phức tạp cũng được truyền đạt theo cách con người mô tả công việc
-
Các công việc lặp lại mà doanh nghiệp nhắm tới
- Autotab đang được triển khai tại các công ty Fortune 500 và các doanh nghiệp thiên về công nghệ cần mở rộng nhanh
- Các trường hợp sử dụng chính tập trung vào tình huống tuyển dụng, onboarding và công việc quản trị không theo kịp tốc độ tăng trưởng
- Ví dụ về các công việc có thể thực hiện gồm:
- Thu thập dữ liệu: tìm lead, thu thập thông tin cho báo cáo, di chuyển toàn bộ hệ thống
- Điền biểu mẫu: nhập dữ liệu vào biểu mẫu của chính phủ, ứng dụng quản trị nội bộ, và các hệ thống của nhà cung cấp như ERP, RMS, TMS
- Thực hiện hành động: gửi tin nhắn trên nền tảng bất kỳ, kích hoạt hoàn tiền và thực hiện các thao tác phù hợp với ngữ cảnh
Liên hệ và kiểm tra khả năng áp dụng
- Nếu chưa chắc đây có phải tác vụ có thể xử lý hay không, có thể gửi bản ghi màn hình công việc tới
record@autotab.comđể nhận phản hồi trong vòng 24 giờ - Các doanh nghiệp muốn thay thế BPO bằng một cách khác có thể liên hệ qua
enterprise@autotab.com
1 bình luận
Ý kiến trên Hacker News
Với tư cách là người tạo ra dự án Selenium, tôi cho rằng tự động hóa kiểm thử sẽ trở thành một trong những ứng dụng sát thủ của AI
Tôi tò mò làm thế nào để đảm bảo AI không bịa ra các chi tiết trong mã được tạo
Về sau, có lẽ tốt nhất là cung cấp xem trước thời gian thực, trong đó trình duyệt được mirror sẽ lặp lại chính xác thao tác cuối cùng, để có thể debug ngay khi có lỗi hoặc khi kết quả không đúng ý định
Tôi đang định thử tự động hóa ứng dụng web hệ thống agent của mình theo cách có ý nghĩa. Cảm giác như tự động hóa đang xử lý tự động hóa theo kiểu đệ quy
Quảng bá nhẹ một chút: https://github.com/agi-merge/waggle-dance
Bình thường tôi không dùng Chrome nhưng hiểu vì sao họ bắt đầu với Chrome. Dù vậy, sẽ rất tốt nếu có cả phiên bản cho Firefox hoặc Safari
Tuy nhiên, ngoài UI được làm tốt, tôi tò mò waggledance cung cấp điều gì mà câu trả lời từ GPT-4 không có
Theo trải nghiệm của tôi, cách nó tạo và chia nhỏ tác vụ khá giống với kết quả nhận được khi hỏi ChatGPT
Tôi từng tự viết script Selenium để tự động hóa công việc của cha mình. Ví dụ như lấy tên từ bảng tính, đưa vào ô tìm kiếm trên website, rồi lặp lại thao tác đó cho hàng trăm người, và việc này đã tiết kiệm rất nhiều thời gian
Nếu có thể làm cho tự động hóa trình duyệt dễ hơn chỉ bằng cách trực tiếp chỉ cho máy thấy, tôi nghĩ cuộc sống của rất nhiều người sẽ tiện hơn nhiều, nên tôi rất muốn thử sớm
Tôi muốn đưa thứ này lên server và cung cấp qua BrowserBox, để có thể tạo tự động hóa cả trên di động
Lý do ban đầu tôi tạo BrowserBox cũng là làm nền tảng phân phối công cụ viết web scraping không bị ràng buộc vào extension, nhưng khi biến bản thân trình duyệt từ xa thành sản phẩm thì tôi vẫn chưa đi tới phần công cụ viết tự động hóa
Cảm ơn vì đã tạo ra thứ này và mở mã nguồn theo MIT. Tôi cho rằng cách viết web scraping do con người hướng dẫn, được AI tăng cường, là tương lai của lĩnh vực này
Tên cũng hay. autotab
Cũng có chút “synergy” vì SaaS BrowserBox tôi sắp ra mắt được gọi là Cloudtabs
https://github.com/BrowserBox/BrowserBox
Chúng tôi đang làm gần như đúng thứ tương tự cho Playwright tại https://ray.run/. Không nghi ngờ gì việc tương lai của viết test nằm ở hướng này, và dự kiến sẽ ra mắt tuần tới
Cách tiếp cận có vẻ hơi khác. Chúng tôi chỉ dùng LLM để nhận diện phần tử, còn trình tạo thực tế thì được xây bằng https://ray.run/browser-extension
Hoặc tốt hơn là tắt hẳn nói chung. Nó khá gây khó chịu
Tôi tò mò nó khác gì so với tính năng Recorder của Chrome
Trong DevTools > Recorder, có thể ghi lại hành trình người dùng và xuất ra script Puppeteer
Tôi nghĩ về sau sẽ dễ xây thêm nhiều tính năng hơn nhờ sự linh hoạt của mã Python và hệ sinh thái. Ví dụ, các tác vụ dựa trên trình duyệt không hoàn toàn mang tính quyết định, và trong quá trình tự động hóa thường cần nhiều trí thông minh hơn, như tóm tắt thông tin trên trang web hoặc tự động điền câu trả lời phù hợp vào ô văn bản
Thấy khoản đầu tư của YC nên tôi biết đây là nhà sáng lập của https://www.ztool.co. Tôi tò mò đây là một pivot, hay là sản phẩm bổ trợ cho ztool
Những gì chúng tôi học được trong vài tháng vừa xây dựng vừa nói chuyện với người dùng có thể tóm thành hai lý do khiến chúng tôi làm autotab
Thứ nhất, phần mềm do AI tạo ra vẫn chưa sẵn sàng cho người dùng không chuyên kỹ thuật. Với ZTool, chúng tôi tập trung giúp người không biết lập trình dễ dàng tạo tự động hóa, nhưng hiện tại tôi nghĩ tốt hơn là đầu ra của mô hình nên là mã. Vì vậy autotab tập trung vào những người dùng có thể xem xét và chỉnh sửa mã Python
Thứ hai, cách truyền đạt ý định rất quan trọng. Việc tạo ra một biểu diễn có cấu trúc từ câu “việc này thật phiền” đòi hỏi nỗ lực tinh thần nhiều hơn người ta tưởng. Các demo AI tập trung vào việc truyền đạt ý định bằng prompt ngắn, nhưng trong các miền phức tạp thì cách đó không hiệu quả. Truyền đạt ý định thông qua trình duyệt rất trực quan và quen thuộc, nên trông có vẻ rất mạnh
Có ghi là “chạy một phiên Chrome do Selenium điều khiển rồi đăng nhập Google”, tôi tò mò vì sao đăng nhập Google lại là yêu cầu
autotab record. Không còn cần đăng nhập Google trong trình duyệt Selenium nữaTùy theo phản hồi, chúng tôi cũng có thể tạo tùy chọn để người dùng mang OpenAI API key của riêng mình
Tôi tò mò liệu có thể ghi lại workflow hoặc macro dùng như phím tắt trong cửa sổ trình duyệt đang mở hay không, hay nó chỉ giới hạn ở một quy trình tự động hóa mở cửa sổ trình duyệt và thực hiện vài thao tác
Ví dụ, nếu có nhiều tab đang mở và mỗi tab có cùng một phần tử như nút toàn màn hình của YouTube, tôi muốn biết có thể dùng Autotab để ghi lại những việc như “thoát toàn màn hình, chuyển sang tab tiếp theo, bật toàn màn hình cho video trên trang đó” hay không
Những macro như thế rất thú vị, và chúng tôi đã nói nhiều về việc trình duyệt có thể được thiết kế như thế nào cho AI và tự động hóa kiểu này
Để làm cho công cụ này hữu ích nhất có thể, một LLM có tập quy tắc cần có khả năng diễn giải và hành động theo tình huống động trên trang
Ví dụ, khi định thêm vào giỏ hàng, nếu LLM phát hiện quy tắc rằng hàng đã hết, thì nó sẽ thực hiện hành động khác
Tôi tò mò liệu về sau phần mềm này có hỗ trợ logic rẽ nhánh dựa trên quy tắc, được LLM tăng cường như vậy không
Có hai câu hỏi thú vị. 1) Định dạng hiệu quả nhất để người dùng truyền đạt ý định là gì, có thể không phải là trỏ-và-nhấp 2) Điều cốt lõi là làm thế nào để biểu diễn đầu ra của mô hình sao cho có thể kiểm tra và chỉnh sửa được