OK-Robot: Khung mô-đun mở cho các tác vụ nhặt-và-đặt zero-shot trong gia đình theo điều kiện ngôn ngữ
- OK-Robot là một khung mô-đun mở cho các tác vụ nhặt-và-đặt zero-shot dựa trên điều kiện ngôn ngữ trong các môi trường gia đình bất kỳ.
- Trong 10 môi trường gia đình tại Thành phố New York, OK-Robot đã thử 171 tác vụ nhặt-và-đặt và trình diễn 5 mẫu tác vụ ở mỗi môi trường trong 5 gia đình.
Hiểu về hiệu năng của OK-Robot
- OK-Robot có thể cho thấy khả năng khái quát hóa zero-shot trong các môi trường hoàn toàn mới, nhưng nhóm nghiên cứu đã tiến hành phân tích để hiểu rõ hơn nguyên nhân thành công và thất bại.
- Trong các môi trường gia đình mới, hệ thống đạt tỷ lệ thành công 58.5%, nhưng có một đuôi dài về nguyên nhân thất bại; ba nguyên nhân chính là không truy xuất được đúng đối tượng trong bộ nhớ ngữ nghĩa (9.3%), gặp khó khăn trong việc tìm được tư thế phù hợp ở mô-đun thao tác (8.0%), và các vấn đề phần cứng (7.5%).
Bài báo
- Tiêu đề: "OK-Robot: Điều gì thực sự quan trọng trong việc tích hợp mô hình tri thức mở cho robot học"
- Bài báo có thể được đọc dưới dạng arXiv và PDF, đồng thời cung cấp thông tin trích dẫn ở định dạng bibtex.
Mã nguồn
- Có thể lấy mã nguồn của OK-Robot trên GitHub; mã nguồn được cung cấp theo giấy phép MIT, còn nội dung website được cấp phép theo CC ANS 4.0.
Ý kiến của GN⁺
- Dự án OK-Robot đưa ra một cách tiếp cận đổi mới trong lĩnh vực robot học, tích hợp hiểu ngôn ngữ với tương tác vật lý.
- Khung này có thể đóng vai trò quan trọng trong việc nâng cao tính tự chủ và khả năng thích nghi của robot trong môi trường gia đình thực tế.
- Thông qua mã nguồn và bài báo được cung cấp, các nhà nghiên cứu và nhà phát triển có cơ hội tiếp tục phát triển công nghệ này và áp dụng vào nhiều lĩnh vực ứng dụng khác nhau.
3 bình luận
https://hello-robot.com/purchase
Bản đầy đủ giá 25.000 USD...
Cần mua thêm iPhone Pro
Bộ sạc dạng dock giá 995 USD, haha
Mức giá này có phải chặt chém người dùng không
Sao dock sạc lại có giá như vậy thật nhỉ
Cách kết nối cũng là kiểu cắm trực tiếp đầu nối DC luôn.. haha
https://hello-robot.com/stretch-docking-station
Ý kiến trên Hacker News
Tốc độ làm việc của robot có vẻ chậm, nhưng kết quả thử nghiệm cho thấy nó hoàn thành phần lớn tác vụ nhanh hơn, chính xác hơn và không phàn nàn so với thế hệ Gen Z.
Đây là một bước tiến đáng kinh ngạc có thể thay đổi cuộc sống của người khuyết tật, người cao tuổi, game thủ, những người cực kỳ lười biếng và những người chăm sóc họ.
Gợi mở khả năng giải quyết các tác vụ dài hạn thông qua mô hình lớn dựa trên interactive fiction.
Đặt câu hỏi về cách robot nhận biết vật thể, cách nó nhận ra khi không thể thực hiện yêu cầu và khả năng xử lý các vật thể bị che khuất.
Ý kiến cá nhân rằng muốn mua một robot giá 25.000 USD để dùng vào việc gấp và sắp xếp quần áo giặt.
Thắc mắc vì sao robot đa dụng lại chậm như vậy, dù người ta kỳ vọng máy móc sẽ thực hiện công việc nhanh hơn con người nhưng thực tế lại không phải thế.
Đề cập đến các robot như Dobb-e.
Bày tỏ kỳ vọng khi theo dõi tiến độ của dự án rằng việc tích hợp với thiết bị hỗ trợ di chuyển có thể tạo ra thay đổi lớn cho những người bị hạn chế về thể chất.
Phân tích thất bại được thực hiện rất tốt, và có sự tò mò về việc xác định lỗi phần cứng là gì, chẳng hạn trong 5 lần thử mà "Realsense cung cấp độ sâu sai" thì điều đó được quyết định như thế nào.
Mong muốn có một phương tiện nền tảng được ổn định bằng con quay hồi chuyển, có thể đi lại trên đường gồ ghề để vận chuyển đồ uống và đồ ăn nhẹ, đồng thời hỏi liệu có giải pháp nào như vậy không.