- Đây là mô hình embodied navigation 8B đầu tiên của Mistral, được tạo ra để robot di chuyển trong môi trường phức tạp chỉ với một camera RGB và chỉ dẫn bằng ngôn ngữ tự nhiên
- Trên R2R-CE validation unseen, mô hình đạt tỷ lệ thành công 76,6%, có hiệu năng cao hơn không chỉ các phương pháp dùng một camera mà cả những hệ thống hàng đầu dựa trên depth và nhiều camera
- Sử dụng phương pháp pointing để dự đoán tọa độ ảnh của mục tiêu trong màn hình hiện tại và hướng khi đến nơi; với mục tiêu nằm ngoài trường nhìn, mô hình thay thế bằng lệnh dịch chuyển trong hệ tọa độ cục bộ của robot
- Không phụ thuộc vào các VLM mã nguồn mở hiện có mà được xây dựng nội bộ, huấn luyện bằng khoảng 400.000 trajectory và 6.000 scene tạo từ mô phỏng
- Giảm 22 lần số token huấn luyện nhờ prefix-caching, sau đó nâng tỷ lệ thành công thêm 3,2% bằng học tăng cường trực tuyến CISPO
Điều hướng robot dựa trên một camera duy nhất
- Robostral Navigate là mô hình embodied navigation đầu tiên của Mistral, nhận ảnh RGB và chỉ dẫn bằng ngôn ngữ tự nhiên để robot di chuyển trong môi trường
- Ví dụ về chỉ dẫn có dạng: “ra khỏi sảnh, đi qua hành lang, vào phòng vật tư, rồi nhìn về phía kệ thứ hai và dừng lại”
- Khác với các cách tiếp cận dùng kết hợp cảm biến depth, LiDAR và nhiều camera, mô hình này chỉ sử dụng một camera RGB thông thường
- R2R-CE(Room-to-Room in Continuous Environments) validation unseen là benchmark đánh giá việc di chuyển theo chỉ dẫn trong các môi trường không xuất hiện trong tập huấn luyện
- Robostral Navigate đạt tỷ lệ thành công 76,6% trên validation unseen
- Cao hơn 9,7 điểm so với phương pháp dùng một camera tốt nhất
- Cao hơn 4,5 điểm so với hệ thống tốt nhất dùng depth hoặc nhiều camera
Hiệu năng benchmark và khả năng tương thích robot
- Mô hình này được thiết kế để robot tự hành trong các không gian phức tạp như văn phòng, tòa nhà dân cư/thương mại và môi trường ngoài trời
- Chỉ với một chỉ dẫn, robot có thể tự thực hiện toàn bộ tác vụ trong không gian thực tế có con người và chướng ngại vật
- Các chỉ số hiệu năng và điều kiện vận hành chính như sau
- Đạt hiệu năng tiên tiến nhất trên R2R-CE
- Tỷ lệ thành công validation seen là 79,4%
- Tỷ lệ thành công validation unseen là 76,6%
- Hoạt động bằng một camera RGB duy nhất, không cần LiDAR hay cảm biến depth
- Là mô hình 8B xây dựng nội bộ, được huấn luyện hoàn toàn dựa trên mô phỏng
- Hoạt động trên robot có bánh xe, robot đi bộ và robot bay, đồng thời khái quát hóa được trước khác biệt về kích thước robot
- Mạnh mẽ trước khác biệt về tham số nội tại của camera
- Sử dụng huấn luyện hiệu quả token thông qua prefix-caching
Phương thức di chuyển dựa trên pointing
- Robostral Navigate dự đoán vị trí robot cần di chuyển tiếp theo theo phương thức pointing, dựa trên tác vụ và lịch sử quan sát
- Đối tượng dự đoán là tọa độ ảnh tương ứng với vị trí mục tiêu trong khung nhìn camera hiện tại, cùng hướng cần có khi đến nơi
- Khác với các lệnh phụ thuộc vào metric displacement, pointing tự nhiên mạnh mẽ trước thay đổi về tham số nội tại của camera và tỷ lệ trong thế giới thực
- Nếu vị trí mục tiêu nằm ngoài trường nhìn hiện tại, chỉ dùng pointing sẽ khó xử lý
- Trong trường hợp này, mô hình thay thế bằng lệnh dịch chuyển trong hệ tọa độ cục bộ của robot
- Ví dụ có dạng: “di chuyển về phía trước 2 mét, sang trái 1,5 mét và xoay trái 25 độ”
Mô hình xây dựng nội bộ và dữ liệu mô phỏng
- Robostral Navigate được xây dựng hoàn toàn nội bộ, không phụ thuộc vào các VLM mã nguồn mở hiện có
- Khi khởi tạo, mô hình sử dụng mô hình thị giác-ngôn ngữ của Mistral được chuyên biệt hóa cho các tác vụ grounding như pointing, counting và object localization
- Điều hướng là cách học phương pháp di chuyển sau khi hiểu vị trí của vật thể, tương ứng với phần mở rộng của các năng lực grounding này
- Pipeline tạo dữ liệu được xây dựng hoàn toàn trong mô phỏng
- Nhờ đó có thể lặp và cải thiện dữ liệu nhanh chóng
- Dataset cuối cùng gồm khoảng 400.000 trajectory và 6.000 scene
Huấn luyện hiệu quả và học tăng cường trực tuyến
- Thành phần cốt lõi của học có giám sát là thuật toán huấn luyện hiệu quả dựa trên prefix-caching
- Bằng chiến lược attention masking dựa trên tree, toàn bộ episode được nén thành một sequence
- Có thể huấn luyện tất cả time step trong một forward pass duy nhất
- Đồng thời ngăn rò rỉ thông tin giữa các time step
- So với huấn luyện dùng một mẫu cho mỗi time step, phương pháp này giảm 22 lần số token huấn luyện trong khi vẫn giữ tín hiệu huấn luyện
- Trên thực tế, nó biến một lần huấn luyện đáng lẽ mất nhiều tháng thành một lần chạy hoàn tất trong vài ngày
- Sau học có giám sát, hiệu năng được cải thiện bằng thuật toán học tăng cường trực tuyến CISPO
- Cho phép mô hình học từ thử-sai, phục hồi sau thất bại và tiếp thu hành vi khám phá
- Giảm bớt vấn đề distribution shift của behavior cloning thông thường
- Chỉ riêng giai đoạn này đã cải thiện tỷ lệ thành công thêm 3,2%
- Vì chưa thấy plateau, có thể nâng con số này cao hơn nữa bằng nhiều huấn luyện và thử nghiệm hơn
Bước tiếp theo hướng tới embodied agent tích hợp
- Robostral Navigate là bước đầu tiên hướng tới embodied agent tích hợp
- Mistral xem điều hướng là năng lực nền tảng của robotics đa dụng
- Mô hình cho thấy việc kết hợp mô phỏng quy mô lớn, huấn luyện hiệu quả và grounding prior mạnh có thể đạt embodied navigation tiên tiến nhất bằng mô hình nhỏ gọn và một camera RGB duy nhất
- Mistral đang mở rộng đội ngũ robotics và đang tuyển các nhà khoa học nghiên cứu cùng kỹ sư
1 bình luận
Ý kiến trên Hacker News
Họ nói “hiệu năng tiên tiến nhất trên R2R-CE”, nhưng cần làm rõ rằng R2R-CE là một benchmark được xây dựng trong môi trường mô phỏng
Việc thắng benchmark này có ý nghĩa gần giống như làm cho robot chơi Minecraft hay các trò chơi điện tử khác giỏi hơn. Rất thú vị, nhưng robot phải hoạt động trong thực tại vật lý, chứ không phải môi trường số
Việc đánh giá hiệu năng hệ thống robot trong thế giới thực rất khó. Nếu hiệu năng kém, còn cần nhiều robot dự phòng để hoàn tất quá trình đánh giá
Bài viết cũng có một video demo bắt buộc, trong đó robot vật lý di chuyển ở tốc độ 2x trên sàn nhẵn và trong môi trường giống văn phòng gần như trống. Đây giờ đã như một hình ảnh biểu tượng của lĩnh vực này, và cảnh ba người cẩn thận băng qua đường đi của robot ở đoạn cuối đáng được cộng điểm
Nhưng điều này giống với sự thổi phồng quanh Aloha vài năm trước. Nó tốt để bán đội ngũ cho một công ty công nghệ lớn hoặc để kiếm thêm tiền nghiên cứu một công nghệ ấn tượng, nhưng chưa đủ để kỳ vọng đây là tiến bộ thực chất hướng tới robot quản gia/người giúp việc di chuyển trong nhà hay văn phòng
Theo hàm ý, và tôi hy vọng là đúng, đây có vẻ là điều hướng không dùng bản đồ. Nếu vậy thì rất ấn tượng
Nếu có bản đồ đã ghi lại trước của môi trường, việc này dễ hơn nhiều. Nhưng nếu làm được mà không có bản đồ thì rất đáng nể
Trước đây luôn có bài toán “robot bị bắt cóc”, khi robot không thể di chuyển dù chỉ một chút nếu không biết vị trí của mình. Ở đây, có vẻ robot thực hiện được chỉ dẫn miễn là chỉ dẫn đó có thể được diễn giải từ tầm nhìn hiện tại hoặc có thể đi theo bằng định vị suy đoán
Nếu được chỉ dẫn “tìm thang máy ở tầng này”, liệu nó có thể đi quanh, lập bản đồ và hành động giống như cách con người tìm thang máy không?
Hiện các mô hình điều hướng kiểu này giả định người viết chỉ dẫn biết rất rõ các mốc thị giác hữu ích để di chuyển, điều này không thực tế trong đa số trường hợp sử dụng
Tôi tò mò về một con đường thực tế để tự tay thử thứ này. Tôi muốn nối nó với OpenClaw cho các thí nghiệm sở thích
Ước mơ là đưa OpenClaw vào một robot nông trại. Tôi muốn cải tạo một máy cắt cỏ RC bánh xích dùng để phát cỏ trên đồi dốc, rồi giao cho nó các việc như “lần theo hàng rào và chụp ảnh cây cối, tìm tất cả cây sơn độc và dây kim ngân xâm lấn rồi phun Roundup lên chúng, lặp lại hằng tuần, sau đó báo cáo bản đồ phân bố loài, và khi pin yếu thì quay về nhà kho để sạc”
Đưa OpenClaw vào thân robot không khó. Trên YouTube cũng có nhiều video như vậy. Nhưng khi đào sâu vào những thứ người ta đã làm, phần di chuyển luôn là phần thô sơ nhất, và các thí nghiệm của tôi cũng vậy
Một mô hình 8B như thế này có vẻ rất phù hợp để giải quyết bài toán lập tuyến đường và điều hướng
Nếu có ai quen thuộc hơn với Mistral hoặc các công ty tương tự, tôi muốn biết liệu họ có quan tâm đến các thí nghiệm của maker nghiệp dư như thế này không. Hay họ chủ yếu chỉ tìm đối tác thương mại? Tôi sẵn sàng trả phí giấy phép để dùng cho thí nghiệm, nhưng nếu chỉ là một cá nhân làm một mình thì có lẽ họ sẽ không hợp tác trừ khi có kế hoạch thương mại hóa
Dù vậy, Robostral Navigate được thiết kế độc lập với phần cứng nên có thể gắn vào bất kỳ nền tảng robot nào, và chỉ cần một camera RGB đơn, không cần LiDAR hay cảm biến độ sâu, nên về lý thuyết khá phù hợp với thiết bị sở thích
Hiện chưa có giấy phép công khai cho mục đích sở thích/phi thương mại hay bản phát hành nguồn mở, và cũng chưa công bố giá cho cá nhân hoặc các cấp giấy phép. Việc có thể làm lúc này là liên hệ trực tiếp với Mistral AI và hỏi rõ rằng “tôi là một maker nghiệp dư muốn thử nghiệm cá nhân với OpenClaw + Robostral Navigate và muốn thảo luận giấy phép phi thương mại”
Theo dõi Discord hoặc diễn đàn của Mistral cũng là ý hay; nếu không có phản hồi, có thể chờ các xu hướng triển khai chức năng tương tự trong các dự án robotics nguồn mở như ROS hoặc Habitat
Có vẻ đây không phải mô hình công khai, nhưng nếu được công khai thì điều hướng bằng một camera đơn sẽ trở nên dễ dùng, và nhiều dự án robot sở thích thú vị có thể ra đời
Rất tuyệt. Chúc mừng đội Mistral. Điều hướng không dùng bản đồ ngoài trời đã tồn tại từ khá lâu, nhưng điều hướng không dùng bản đồ bên trong tòa nhà thì tương đối mới
Các nhà nghiên cứu Stanford từng huấn luyện PIGEON, một mô hình thị giác đoán vị trí địa lý từ ảnh bất kỳ. Nó không được công khai vì khả năng bị lạm dụng vào xâm phạm riêng tư như theo dõi là quá lớn, và có vẻ phía sau robot này cũng có loại công nghệ tương tự. Nếu ai biết rõ hơn thì mong được chỉnh lại
Liên kết bài báo PIGEON: https://lukashaas.github.io/PIGEON-CVPR24/
Mistral có vẻ vừa đi rộng vừa nhắm vào các ngách. Đây có thể là một chiến lược khôn ngoan trong tương lai
Rất tối giản nên gây ấn tượng
Mặt khác, nó khiến tôi nhớ đến các video demo robot mà các nhà nghiên cứu học thuật và Willow Garage đăng lên khoảng năm 2010
Vấn đề của robotics là tạo ra một demo trông có vẻ thuyết phục thì dễ, nhưng làm cho nó hoạt động đúng trong các trường hợp thông thường thì thật sự khó. Xe tự hành là một ví dụ hay
Tôi đã sẵn sàng chờ một robot trợ lý gia đình biết nấu bữa tối, rửa bát và mang rác đi đổ
Chỉ là tôi sợ đến lúc những trợ lý như vậy bị huy động vào chiến tranh, dù là vì tôi hay chống lại tôi
Tốc độ lấy mẫu cảm biến và tốc độ suy luận của trí tuệ chúng ta đang đi trước các robot hàng đầu hiện nay vài bậc độ lớn. Hiện tại con người tinh tế và có năng lực hơn nhiều
Tôi hy vọng có thể có thiết bị đủ nhẹ, nhưng xét đến yêu cầu về trọng lượng pin thì tôi không rõ làm sao điều đó khả thi
Họ nói “đạt 76,6% trên R2R-CE (Room-to-Room in Continuous Environments)”, tôi tò mò trong 23,4% còn lại nó đã làm gì
Nếu xem lỗi điều hướng trên trang có biểu đồ kết quả, bạn sẽ thấy chỉ số liên quan nhất đến câu hỏi này. Mô hình đó rất giỏi ở việc “không di chuyển sai hướng”, nên tỷ lệ thất bại có khả năng là do không tìm ra đường
Cái này thật sự rất tuyệt. Việc robot có thể dùng hướng được chỉ bằng ngón tay để quyết định đi đâu là một quyết định thiết kế xuất sắc, và robotics thật sự là biên giới tiếp theo. Chắc chắn khiến tôi muốn ủng hộ Mistral