RT-2: Mô hình Thị giác-Ngôn ngữ-Hành động

 (robotics-transformer2.github.io)
7 điểm bởi xguru 2023-08-02 | 2 bình luận | Chia sẻ qua WhatsApp
  • "Robotics-Transformer 2": truyền tải tri thức từ web vào điều khiển robot
  • Tích hợp trực tiếp mô hình thị giác-ngôn ngữ được huấn luyện trên dữ liệu quy mô Internet vào điều khiển robot E2E
  • Chuyển đổi chuyển động của robot thành các token văn bản để tổ chức như một ngôn ngữ riêng có thể dùng cùng mô hình dữ liệu thị giác-ngôn ngữ, chuyển đổi lệnh tác vụ thành hành động
  • Ngay cả khi đưa cho robot những vật thể hoàn toàn mới (chưa từng được huấn luyện trước đó), nó vẫn hiểu tốt và thực hiện nhiệm vụ
    • "put strawberry into the correct bowl"
    • "place orange in matching bowl"

Bài viết liên quan

2 bình luận

 
xguru 2023-08-02

Google’s RT-2 AI model brings chúng ta tiến gần hơn một bước tới WALL-E

Tiêu đề bài viết của Arstechnica quả thật dễ giải thích hơn. Có vẻ như sự phát triển của LLM sẽ trở thành một cuộc đổi mới mới trong điều khiển robot.