- Để nhanh chóng mở rộng các tác vụ thao tác tinh vi, Toyota Research Institute đã công bố một cách tiếp cận dùng AI tạo sinh dựa trên Diffusion Policy để huấn luyện hành vi cho robot
- Cách tiếp cận này là một bước tiến hướng tới Large Behavior Models cho robot, nhằm áp dụng vào việc học hành vi robot vai trò mà LLM đã đảm nhiệm trong AI hội thoại
- TRI cho biết họ đã dạy hơn 60 kỹ năng, như rót chất lỏng, sử dụng công cụ và thao tác với vật thể biến dạng, bằng cách chỉ cung cấp dữ liệu mới mà không cần viết mã mới
- Việc huấn luyện kết hợp trình diễn xúc giác của giáo viên với mô tả mục tiêu bằng ngôn ngữ, và điểm cốt lõi là có thể tạo ra các hành vi đủ để triển khai tự động chỉ với vài chục lần trình diễn
- Mục tiêu là đạt hàng trăm kỹ năng vào cuối năm 2023 và 1.000 kỹ năng vào cuối năm 2024, đồng thời thiết kế đảm bảo an toàn cùng với Drake và ngăn xếp điều khiển tùy chỉnh
Tăng tốc học hành vi robot bằng Diffusion Policy
- Toyota Research Institute đã công bố một cách tiếp cận AI tạo sinh để dạy robot các kỹ năng tinh vi mới một cách nhanh chóng và ổn định
- Cách tiếp cận này là một bước hướng tới việc xây dựng Large Behavior Models (LBMs) cho robot, được ví với vai trò mà Large Language Models (LLMs) đã đóng trong AI hội thoại
- Các phương pháp tiên tiến trước đây có nhiều hạn chế khi dạy hành vi mới
- Việc huấn luyện chậm và thiếu nhất quán
- Hiệu quả thấp và thường chỉ dừng ở các tác vụ hẹp trong môi trường bị ràng buộc cao
- Các kỹ sư robot phải viết mã phức tạp trong nhiều giờ hoặc trải qua rất nhiều lần thử sai
Học hơn 60 kỹ năng mà không cần mã mới
- Mô hình hành vi robot của TRI sử dụng đồng thời trình diễn xúc giác của giáo viên và mô tả mục tiêu bằng ngôn ngữ
- Sau đó, hệ thống dùng Diffusion Policy dựa trên AI để học các kỹ năng đã được trình diễn
- Hành vi mới có thể được triển khai tự động chỉ với vài chục lần trình diễn
- Kết quả huấn luyện tập trung vào việc nhanh chóng tạo ra các hành vi nhất quán, có thể lặp lại và đạt hiệu năng cao
- TRI đã dạy cho robot hơn 60 kỹ năng tinh vi
- Ví dụ gồm rót chất lỏng, sử dụng công cụ và thao tác với vật thể biến dạng
- Thành tựu này đạt được chỉ bằng cung cấp dữ liệu mới mà không cần viết mã mới
- Mục tiêu là đạt hàng trăm kỹ năng vào cuối năm 2023 và 1.000 kỹ năng vào cuối năm 2024
- Các kỹ năng mới vượt ra ngoài kiểu “pick and place” đơn giản, bao gồm các hành vi tương tác với thế giới theo nhiều cách khác nhau
- Về lâu dài, chúng có thể được dùng cho các robot hỗ trợ con người trong môi trường đời thường, khó dự đoán và liên tục thay đổi
Nền tảng tùy chỉnh và thiết kế an toàn dựa trên Drake
- TRI và nhóm của Giáo sư Song tại Columbia University đã phát triển Diffusion Policy, một cách tiếp cận AI tạo sinh để học hành vi
- Diffusion Policy đã được trình bày tại hội nghị Robotics Science and Systems năm 2023
- Nền tảng robot của TRI được chế tạo riêng cho các tác vụ thao tác hai tay tinh vi
- Trọng tâm là cho phép phản hồi xúc giác và cảm biến xúc giác
- TRI sử dụng Drake như một công cụ thiết kế dựa trên mô hình và nền tảng mô phỏng cho robot học
- Ngăn xếp robot nội bộ được xây dựng trên framework hệ thống và khả năng tối ưu hóa của Drake
- Drake được phát hành mã nguồn mở nhằm thúc đẩy công việc của toàn bộ cộng đồng robot học
- An toàn là yếu tố thiết kế cốt lõi trong nghiên cứu robot của TRI
- Hệ thống bao gồm các cơ chế bảo vệ được vận hành bởi Drake và ngăn xếp điều khiển robot tùy chỉnh
- Hệ thống được thiết kế để duy trì đảm bảo an toàn, giúp robot không va chạm với chính nó hoặc môi trường
1 bình luận
Ý kiến trên Hacker News
Với tư cách là người từng tham gia cộng đồng học cho robot ở cả bậc sau đại học lẫn trong ngành, tôi hoàn toàn hiểu vì sao TRI nhận được phần lớn lời khen ở đây, nhưng cũng muốn chỉ ra đúng công lao cốt lõi
Ở trung tâm của bước tiến này là Diffusion Policy [1], do phòng thí nghiệm của Giáo sư Shuran Song tại Columbia phát triển và tiên phong. Trang dự án gốc [2] cũng rất đáng xem, trong đó có nhiều thí nghiệm khó trong thế giới thực
Tại hội nghị R:SS năm nay [3], đây là ứng viên được cộng đồng ưa chuộng cho giải Best Paper Award, và phòng thí nghiệm của chúng tôi cùng các phòng thí nghiệm học máy khác trong khoa robot học đã mổ xẻ kỹ bài báo này. Tôi cũng biết có những người đã gác lại các dự án sao chép hành vi/học bắt chước, và chuyển hẳn hướng sang cách tiếp cận này vì nó xử lý không gian hành vi đa chế độ một cách tự nhiên hơn nhiều
Giáo sư Song hiện là một nhà nghiên cứu thật sự xuất sắc trong lĩnh vực robot học, và đã đưa ra nhiều cách tiếp cận tuyệt vời có thể mở rộng một cách thanh nhã ra thế giới thực, như IRP [4]. IRP đã nhận giải Best Paper tại R:SS 2022; FlingBot [5] và Scaling Up Distilling Down [6] cũng đáng xem
[1] - https://arxiv.org/abs/2303.04137
[2] - https://diffusion-policy.cs.columbia.edu/
[3] - https://roboticsconference.org/program/awards/
[4] - https://irp.cs.columbia.edu/
[5] - https://flingbot.cs.columbia.edu/
[6] - https://www.cs.columbia.edu/~huy/scalingup/
“Diffusion Policy: Các cộng tác viên từ TRI và nhóm của Giáo sư Song tại Columbia University đã phát triển một cách tiếp cận AI tạo sinh mới và mạnh mẽ cho việc học hành vi. Cách tiếp cận này, gọi là Diffusion Policy, cho phép dạy hành vi dễ dàng và nhanh chóng thông qua trình diễn”
Tôi tò mò vì sao nó hoạt động tốt hơn nhiều so với các lựa chọn thay thế được nhắc tới ở trên
Với những ai quan tâm, có kênh YouTube của Russ Tedrake: https://www.youtube.com/@underactuated5171
Trên đó có các bài giảng 6.4210 (2023) Robotics Manipulation và 6.8210 (2023) Underactuated Robotics
Rất vui khi thấy các công trình gần đây của Russ Tedrake. Khóa học trực tuyến Underactuated Robotics của ông là một bài giảng rất hay để nắm bắt sự phức tạp của robot học
Các công trình học cho robot thường được HN đề xuất nhìn chung chỉ ở mức “gắn đại LLM vào robot là xong”, nên thật tốt khi thấy một người có kiến thức sâu hơn nhiều được nhắc đến. Để tạo ra các tác tử có hiện thân đúng nghĩa trong thế giới thực hỗn loạn, chỉ giải quyết bài toán học ngôn ngữ là chưa đủ
Trang web không tải được, nhưng tôi tìm thấy video trên YouTube của Toyota Research: https://www.youtube.com/watch?v=w-CGSQAO5-Q
Tôi tự hỏi liệu có thể crowdsourcing việc học các tác vụ mới nếu có một giao thức kỹ thuật học chuẩn hay không. Kiểu như đấu giá cho tác vụ mong muốn, người giải được sẽ nhận thưởng, và mọi người đều hưởng lợi. Cái đuôi dài của các tác vụ dài đến mức có vẻ một viện nghiên cứu trung tâm khó mà xử lý hết được
Google cũng đã làm một thứ tương tự khoảng một tháng trước và cũng được đăng lên HN [1]
Tôi tò mò họ dùng phản hồi lực đến mức nào. Vật thể mềm, tròn và lớn trong video có phải giống một ngón tay lớn chứa nhiều cảm biến áp suất không? Cảm biến áp suất bề mặt đã được làm từ thập niên 1980, nhưng khi đó người ta chưa biết dùng khối dữ liệu khổng lồ đó như thế nào. Giờ đây việc có quá nhiều dữ liệu cảm biến đã bớt là vấn đề hơn nhiều
Trước đây tôi từng thử bài toán này bằng cách gắn một cờ lê đầu vào cánh tay robot. Ý tưởng là dò tìm đầu bu-lông, lắp cờ lê vào rồi vặn. Một cảm biến lực 6 bậc tự do là đủ, nhưng vì đó là thời trước deep learning nên không đi xa được. Dù vậy, tôi vẫn đã chế tạo được thiết bị robot dùng cờ lê
[1] https://news.ycombinator.com/item?id=37167698
Thật sự ấn tượng. Trông còn ấn tượng hơn nhiều so với các màn trình diễn của Boston Dynamics
Lật bánh pancake rất khó vì mỗi chiếc pancake đều khác nhau. Tôi biết những video kiểu này là các cảnh đã được tuyển chọn, nhưng việc dạy robot làm được việc này chỉ bằng trình diễn đơn giản có cảm giác như một bước nhảy vọt khổng lồ
Một ví dụ khác, robot tung hứng đã làm được từ thập niên 1990, nhưng đến nay vẫn chưa có robot nào mở ổn định được bất kỳ cánh cửa nào như con người. Nó hơi giống một dạng nghịch lý Moravec
Nghe giống với những gì Google đã làm như PaLM-E: https://blog.research.google/2023/03/palm-e-embodied-multimodal-language.html
Đây là một thời điểm thật sự thú vị trong ngành robot
Hơn nữa, nó thực hiện hành động ở cùng tốc độ như khi con người điều khiển robot để trình diễn. Các demo PaLM-E trên thực tế chậm đến mức khó chịu, nên họ đều cho xem video đã tua nhanh
Cách để đạt tới robot hình người đa dụng có lẽ sẽ khá gần với hình dung như thế này
Ví dụ có một robot hình người kiểu Boston Dynamics ở công trường, giả sử ở đây nó là thợ xây gạch. Ở một không gian mở bên ngoài công trường có sàn treadmill đa hướng, camera và cảm biến độ sâu xung quanh, còn con người mặc bộ motion capture kiểu Hollywood và đeo kính VR để nhìn thấy góc nhìn từ camera của robot
Người đó đi tới đống gạch, nhặt lên và đặt xuống như đang làm tại công trường. Robot di chuyển theo thời gian thực tại công trường và bắt chước động tác của con người. Tôi không biết để làm cho đúng thì có cần đạo cụ hay không, hay chỉ cần trí nhớ cơ bắp tích lũy qua nhiều năm làm việc tại công trường là đủ
Tất cả dữ liệu được ghi lại, và ai đó xem luồng video rồi gắn nhãn cho từng hành động đang được thực hiện. Sau đó đưa tất cả vào thuật toán học máy, và cuối cùng đi tới điểm chỉ cần gửi bản vẽ xây dựng cho robot rồi nói “hãy xây bức tường này”
Có lẽ họ sẽ cử một đội đến số hóa công trường và tạo một digital twin. Kiến trúc sư sẽ ánh xạ mọi thứ lên twin này, còn hệ thống máy tính sẽ mô phỏng các bước thi công. Sau đó robot được đưa vào công trường và, nếu cần, nhận các mô hình đã tinh chỉnh để tự động xây dựng
Tôi hiểu lý do dùng cụm “mô hình ngôn ngữ lớn” là vì nhờ lượng văn bản khổng lồ từ toàn bộ web, Thư viện Quốc hội Mỹ, v.v., LLM có một tập dữ liệu đồ sộ để học. “Lớn” ở đây là chỉ phần đó
Nhưng khi trong video này họ nói “mô hình hành vi lớn”, thì phần nào là lớn? Họ lấy lượng dữ liệu đầu vào hành vi khổng lồ tương tự từ đâu? Có vẻ như trong một phòng thí nghiệm lớn có vài chục người trình diễn hành vi; điều đó tốt, nhưng tôi không nghĩ chừng ấy người có thể tạo ra lượng dữ liệu ngang với toàn bộ nội dung chữ viết số
Trông khá hay, nhưng tôi không rõ một người có thể vừa là giáo sư toàn thời gian ở MIT vừa là phó chủ tịch toàn thời gian ở TRI hay không
Tôi từng thấy kiểu kiêm hai công việc như vậy trước đây, nhưng khó hiểu nó thực tế thế nào nếu không làm hơn 70 giờ mỗi tuần
So với kỹ thuật phần mềm, nếu John Carmack chỉ làm cho một dự án 6–7 ngày mỗi tháng, người ta vẫn sẵn sàng trả lương và trao vai trò tốt cho ông ấy. Vì ông ấy là John Carmack