12 điểm bởi xguru 2024-03-04 | 1 bình luận | Chia sẻ qua WhatsApp

"Generative Interactive Environments"

  • Đây là một foundation world model được huấn luyện từ video trên internet, có thể tạo ra các thế giới có thể chơi được với mức độ đa dạng vô hạn từ ảnh tổng hợp/ảnh chụp/phác thảo
  • Được huấn luyện trên các tập dữ liệu video internet quy mô lớn về game platformer 2D và robotics, có thể áp dụng cho bất kỳ miền nào và mở rộng bằng các tập dữ liệu internet

Học điều khiển mà không cần nhãn hành động

  • Có khả năng học điều khiển tinh vi chỉ từ video internet, đây là một thách thức vì video internet không có nhãn về hành động hoặc phần hình ảnh cần điều khiển
  • Genie có thể suy luận phần nào trong những gì quan sát được thường có thể điều khiển, cũng như nhiều hành động tiềm ẩn nhất quán trên toàn bộ môi trường được tạo ra

Mở ra một thế hệ nhà sáng tạo mới

  • Có thể tạo ra một môi trường tương tác mới chỉ từ một hình ảnh duy nhất, mang đến một cách mới để tạo và bước vào các thế giới ảo
  • Có thể tạo khung hình khởi đầu bằng các mô hình tạo ảnh từ văn bản tối tân, sau đó thổi sức sống vào bằng Genie để tạo nên thế giới ảo
  • Cũng có thể tạo môi trường ảo từ bản phác thảo hoặc hình ảnh thế giới thực

Nền tảng cho các tác tử generalist

  • Môi trường game có thể là một testbed hiệu quả để phát triển tác tử AI, nhưng bị giới hạn bởi số lượng game sẵn có
  • Với Genie, có thể huấn luyện tác tử AI trong các môi trường vô hạn mới được tạo ra, và chứng minh rằng các hành động tiềm ẩn mà Genie học được có thể chuyển sang các môi trường thực do con người thiết kế

Tương lai của các thế giới ảo sinh tạo

  • Dù website này tập trung vào kết quả platformer, Genie là một phương pháp luận tổng quát có thể áp dụng cho nhiều miền khác nhau
  • Genie cũng có thể mô phỏng các vật thể có thể biến dạng, vốn là một nhiệm vụ đầy thách thức đối với các bộ mô phỏng do con người thiết kế nhưng có thể học từ dữ liệu
  • Genie được kỳ vọng sẽ mở ra kỷ nguyên có thể tạo ra toàn bộ thế giới tương tác từ hình ảnh hoặc văn bản, đồng thời trở thành chất xúc tác để huấn luyện các tác tử AI generalist trong tương lai

1 bình luận

 
stdcarrot 2024-03-04

Nhóc Gemini
Thằng đó Gemma
Đứa kia Genie