Google DeepMind công bố Genie, "môi trường tương tác sinh tạo"

xguru · 2024-03-04T10:02:01+09:00

"Generative Interactive Environments" Đây là một foundation world model được huấn luyện từ video trên internet, có thể tạo ra các thế giới có thể chơi được với mức độ đa dạng vô hạn từ ảnh tổng hợp/ảnh chụp/phác thảo Được huấn luyện trên các tập dữ liệu video internet quy mô lớn về game platformer 2D và robotics, có thể áp dụng cho bất kỳ miền nào và mở rộng bằng các tập dữ liệu internet Học điều khiển mà không cần nhãn hành động Có khả năng học điều khiển tinh vi chỉ từ video internet, đây là một thách thức vì video internet không có nhãn về hành động hoặc phần hình ảnh cần điều khiển Genie có thể suy luận phần nào trong những gì quan sát được thường có thể điều khiển, cũng như nhiều hành động tiềm ẩn nhất quán trên toàn bộ môi trường được tạo ra Mở ra một thế hệ nhà sáng tạo mới Có thể tạo ra một môi trường tương tác mới chỉ từ một hình ảnh duy nhất, mang đến một cách mới để tạo và bước vào các thế giới ảo Có thể tạo khung hình khởi đầu bằng các mô hình tạo ảnh từ văn bản tối tân, sau đó thổi sức sống vào bằng Genie để tạo nên thế giới ảo Cũng có thể tạo môi trường ảo từ bản phác thảo hoặc hình ảnh thế giới thực Nền tảng cho các tác tử generalist Môi trường game có thể là một testbed hiệu quả để phát triển tác tử AI, nhưng bị giới hạn bởi số lượng game sẵn có Với Genie, có thể huấn luyện tác tử AI trong các môi trường vô hạn mới được tạo ra, và chứng minh rằng các hành động tiềm ẩn mà Genie học được có thể chuyển sang các môi trường thực do con người thiết kế Tương lai của các thế giới ảo sinh tạo Dù website này tập trung vào kết quả platformer, Genie là một phương pháp luận tổng quát có thể áp dụng cho nhiều miền khác nhau Genie cũng có thể mô phỏng các vật thể có thể biến dạng, vốn là một nhiệm vụ đầy thách thức đối với các bộ mô phỏng do con người thiết kế nhưng có thể học từ dữ liệu Genie được kỳ vọng sẽ mở ra kỷ nguyên có thể tạo ra toàn bộ thế giới tương tác từ hình ảnh hoặc văn bản, đồng thời trở thành chất xúc tác để huấn luyện các tác tử AI generalist trong tương lai

(sites.google.com)

12 điểm bởi xguru 2024-03-04 | 1 bình luận | Chia sẻ qua WhatsApp

"Generative Interactive Environments"

Đây là một foundation world model được huấn luyện từ video trên internet, có thể tạo ra các thế giới có thể chơi được với mức độ đa dạng vô hạn từ ảnh tổng hợp/ảnh chụp/phác thảo
Được huấn luyện trên các tập dữ liệu video internet quy mô lớn về game platformer 2D và robotics, có thể áp dụng cho bất kỳ miền nào và mở rộng bằng các tập dữ liệu internet

Học điều khiển mà không cần nhãn hành động

Có khả năng học điều khiển tinh vi chỉ từ video internet, đây là một thách thức vì video internet không có nhãn về hành động hoặc phần hình ảnh cần điều khiển
Genie có thể suy luận phần nào trong những gì quan sát được thường có thể điều khiển, cũng như nhiều hành động tiềm ẩn nhất quán trên toàn bộ môi trường được tạo ra

Mở ra một thế hệ nhà sáng tạo mới

Có thể tạo ra một môi trường tương tác mới chỉ từ một hình ảnh duy nhất, mang đến một cách mới để tạo và bước vào các thế giới ảo
Có thể tạo khung hình khởi đầu bằng các mô hình tạo ảnh từ văn bản tối tân, sau đó thổi sức sống vào bằng Genie để tạo nên thế giới ảo
Cũng có thể tạo môi trường ảo từ bản phác thảo hoặc hình ảnh thế giới thực

Nền tảng cho các tác tử generalist

Môi trường game có thể là một testbed hiệu quả để phát triển tác tử AI, nhưng bị giới hạn bởi số lượng game sẵn có
Với Genie, có thể huấn luyện tác tử AI trong các môi trường vô hạn mới được tạo ra, và chứng minh rằng các hành động tiềm ẩn mà Genie học được có thể chuyển sang các môi trường thực do con người thiết kế

Tương lai của các thế giới ảo sinh tạo

Dù website này tập trung vào kết quả platformer, Genie là một phương pháp luận tổng quát có thể áp dụng cho nhiều miền khác nhau
Genie cũng có thể mô phỏng các vật thể có thể biến dạng, vốn là một nhiệm vụ đầy thách thức đối với các bộ mô phỏng do con người thiết kế nhưng có thể học từ dữ liệu
Genie được kỳ vọng sẽ mở ra kỷ nguyên có thể tạo ra toàn bộ thế giới tương tác từ hình ảnh hoặc văn bản, đồng thời trở thành chất xúc tác để huấn luyện các tác tử AI generalist trong tương lai

1 bình luận

stdcarrot 2024-03-04

Nhóc Gemini
Thằng đó Gemma
Đứa kia Genie