Vũ trụ bên trong Transformer, Oasis

Oasis: Vũ trụ bên trong Transformer

• Giới thiệu về Oasis

  • Oasis là một trò chơi video thế giới mở thời gian thực do AI tạo ra.
  • Nó nhận đầu vào bàn phím của người dùng và tạo ra vật lý, luật chơi và đồ họa theo thời gian thực.
  • Hoạt động chỉ với mô hình nền tảng, không cần game engine.
  • Cho thấy video thời gian thực là khả thi nhờ sử dụng suy luận engine của Decart.

• Kết quả gameplay

  • Oasis hiểu các cơ chế trò chơi phức tạp.
  • Có khả năng tạo ra nhiều thiết lập, địa điểm và đối tượng khác nhau.
  • Có thể thực hiện xây dựng, vật lý ánh sáng, quản lý inventory trong game.

• Kiến trúc

  • Mô hình được cấu thành từ spatial autoencoder và latent diffusion backbone.
  • Dựa trên Transformer, với nền tảng là ViT và DiT.
  • Tạo khung hình theo cách autoregressive để cho phép tương tác thời gian thực.

• Hiệu năng

  • Oasis tạo đầu ra thời gian thực ở 20 khung hình/giây.
  • Đạt tốc độ khung hình có thể chơi được thông qua inference stack của Decart.
  • Được tối ưu cho Transformer ASIC của Etched, Sohu.

• Khám phá trong tương lai

  • Vẫn còn những vấn đề có thể được giải quyết bằng cách mở rộng mô hình và mở rộng bộ dữ liệu.
  • Đang phát triển thêm các kỹ thuật tối ưu hóa để thực hiện huấn luyện quy mô lớn một cách hiệu quả.

Tóm tắt của GN⁺

• Oasis là một trò chơi thế giới mở thời gian thực do AI tạo ra, thể hiện công nghệ đổi mới dựa trên Transformer.
• Điểm nổi bật là tốc độ suy luận nhanh, cho phép tương tác thời gian thực.
• Khi kết hợp với phần cứng mới như Sohu, nó cho thấy khả năng hỗ trợ các mô hình quy mô lớn.
• Công nghệ này có tiềm năng được ứng dụng không chỉ trong game mà còn trong nhiều sản phẩm tiêu dùng khác.
• Các dự án có chức năng tương tự bao gồm Sora của OpenAI và Mochi-1 của Genmo.