Vũ trụ bên trong Transformer, Oasis
(oasis-model.github.io)- Để video sinh tạo thời gian thực phản hồi đầu vào như game, tốc độ tạo khung hình là yếu tố cốt lõi, và Oasis được công bố với mục tiêu trở thành thế giới AI tương tác ở mức 20fps
- Decart và Etched trình diễn một trải nghiệm thế giới mở nơi vật lý, luật lệ và đồ họa được tạo ra từ đầu ra của foundation model, thay vì từ các engine riêng biệt
- Những gì được công bố gồm bản demo trực tiếp, mã nguồn, trọng số mô hình 500M tham số có thể chạy cục bộ, và demo dựa trên checkpoint lớn hơn
- Kiến trúc gồm bộ mã hóa tự động không gian dựa trên Transformer và backbone khuếch tán tiềm ẩn, tạo khung hình theo cách tự hồi quy dựa trên đầu vào của người dùng
- Các giới hạn hiện tại vẫn gồm độ mờ ở khoảng cách xa, tính nhất quán theo thời gian của đối tượng, khả năng khái quát hóa miền, điều khiển inventory và xử lý ngữ cảnh dài; cần mở rộng mô hình, tập dữ liệu và cải thiện suy luận
Thế giới AI phản hồi theo đầu vào
- Oasis là mô hình AI thế giới mở thời gian thực do Decart và Etched công bố
- Mô hình nhận đầu vào từ bàn phím của người dùng để tạo ra trải nghiệm tương tác như di chuyển, nhảy, nhặt vật phẩm và phá khối
- Ngay cả vật lý, luật lệ và đồ họa cũng được bao gồm trong đầu ra của mô hình, tạo nên trải nghiệm chỉ với foundation model mà không cần physics engine riêng
- Các tài nguyên được công bố gồm:
- Try demo: demo trực tiếp
- View code: mã nguồn
- Model weights: trọng số mô hình 500M tham số có thể chạy cục bộ
- Decart Blog, Etched Blog: giải thích kỹ thuật
- Các ví dụ kết quả bao gồm xây dựng, vật lý ánh sáng, quản lý inventory, hiểu đối tượng, tương tác với động vật, hồi máu khi ăn thức ăn và việc dùng xẻng nhanh hơn dùng tay
- Những môi trường có thể tạo ra gồm các nơi như vũ trụ tối tăm, cảnh ban đêm, cách bố trí vật thể đa dạng, mở rương inventory, cùng động vật và nhân vật
- Cũng có thể mở rộng theo hướng điều khiển trải nghiệm bằng văn bản, âm thanh và các modality khác
Kiến trúc Transformer và suy luận thời gian thực
- Mô hình gồm bộ mã hóa tự động không gian và backbone khuếch tán tiềm ẩn
- Cả hai thành phần đều dựa trên Transformer
- Autoencoder dựa trên ViT, còn backbone dựa trên DiT
- Khác với các world model có điều kiện theo hành động như GameNGen và DIAMOND, lý do chọn Transformer là khả năng mở rộng ổn định, dễ dự đoán và suy luận nhanh trên Transformer ASIC Sohu của Etched
- Không giống các mô hình hai chiều như Sora, Oasis tạo khung hình theo cách tự hồi quy
- Mỗi khung hình có thể được tạo có điều kiện theo đầu vào của người dùng, cho phép tương tác thời gian thực
- Trong huấn luyện, mô hình dùng Diffusion Forcing để khử nhiễu với mức nhiễu độc lập theo từng token
- Tính ổn định theo thời gian để đầu ra giữ được tự nhiên trong thời gian dài là một bài toán lớn
- Với mô hình tự hồi quy, lỗi sẽ tích lũy và các khuyết điểm nhỏ có thể phình thành những khung hình glitch
- Để giảm điều này, mô hình dùng dynamic noising khi suy luận, điều chỉnh nhiễu theo lịch trình
- Ở các bước forward pass khuếch tán ban đầu, mô hình chèn nhiễu để giảm tích lũy lỗi; ở các pass sau, nhiễu được loại bỏ dần để giữ lại chi tiết tần số cao của khung hình trước
Hiệu năng 20fps và nút thắt phần cứng
- Oasis tạo đầu ra thời gian thực ở 20fps
- Các mô hình text-to-video có kiến trúc DiT tương tự như Sora, Mochi-1 và Runway có thể mất 10–20 giây để tạo ra 1 giây video ngay cả khi dùng nhiều GPU
- Tương tác thời gian thực đòi hỏi phải tạo một khung hình mới mỗi 0,04 giây, tức nhanh hơn hơn 100 lần
- Nhờ stack suy luận của Decart, có thể chạy ở tốc độ khung hình trực tiếp
- Để chạy nhanh hơn và tiết kiệm chi phí ở quy mô lớn hơn, cần phần cứng mới
- Oasis được tối ưu cho Transformer ASIC Sohu của Etched
- Sohu có thể mở rộng tới các mô hình thế hệ tiếp theo 100B+ ở độ phân giải 4K
- Kiến trúc Transformer end-to-end của Oasis hoạt động hiệu quả trên Sohu, và ngay cả với mô hình 100B+ tham số vẫn có thể phục vụ số người dùng nhiều hơn 10 lần
Những giới hạn còn lại
- Độ mờ ở video xa, tính nhất quán theo thời gian không chắc chắn của đối tượng, khả năng khái quát hóa miền, điều khiển inventory chính xác, điều khiển đối tượng chính xác và bộ nhớ hạn chế trên khoảng thời gian dài vẫn là các giới hạn còn lại
- Sau khi phân tích độ nhạy với cấu hình kiến trúc, dữ liệu và kích thước mô hình, nhóm đưa ra giả thuyết rằng nhiều vấn đề có thể được giải quyết bằng cách mở rộng mô hình và tập dữ liệu
- Ngay cả khi phát triển mô hình lớn hơn, vẫn cần các kỹ thuật suy luận mới để giữ được cân bằng giữa độ trễ và chi phí
1 bình luận
Ý kiến trên Hacker News
Nếu đang mơ trong Minecraft thì chắc sẽ có cảm giác như thế này
Vì thiếu tính bền vững của đối tượng nên thật sự có cảm giác như đang mơ. Mức độ ánh sáng cũng thú vị: nếu nhìn vào chỗ tối quá lâu hoặc đi vào “dưới nước” khiến màn hình đen lại, rất khó quay về một trạng thái khác thay vì màn hình đen. Trong một lần chơi thử, tôi đã không làm được. Cảm giác khá kỳ lạ
Tôi không rõ làm thế nào để thiết kế và phát hành game theo cách này. Bạn không thể thiết kế game bằng cách trực tiếp đặt trọng số cho mô hình
Một ngày nào đó có thể sao chép được game mà không thiếu những yếu tố như tính bền vững của đối tượng hay trạng thái dài hạn, nhưng chi phí chạy inference engine rất có thể sẽ đắt hơn game engine mà nó mô phỏng. Với tư cách là người làm AI lâu năm, tôi thật sự tò mò công nghệ này hữu ích ở đâu
Tôi đồng ý rằng các công cụ này sẽ trở nên cực kỳ hữu ích khi có một cách tốt để nhà sáng tạo “phát triển” thế giới hoặc game mới trên hệ thống này, và người dùng có thể tương tác với các thế giới đó. Rốt cuộc nó phải cung cấp một “API” giống như game engine. Nhà sáng tạo tạo ra thế giới, còn người dùng tương tác với thế giới đó. Nếu AI thật sự làm được vai trò này, thì 1) việc tạo thế giới và game có thể trở nên dễ hơn rất nhiều, chỉ bằng cách nói những câu như “thêm một con voi hồng biết bay vào đây”, và 2) sẽ có thể có những thế giới vô hạn thật sự, vì người dùng có thể tương tác với thế giới thay đổi theo từng phiên chơi. Nếu hỏi đã tới mức đó chưa thì tất nhiên là chưa. Oasis v1 là proof of concept đầu tiên, chỉ cần chờ Oasis v2 thêm một chút nữa thôi ;)
Nhưng ở khía cạnh “thiết kế”, không khó để thấy việc có thể nhanh chóng tạo prototype game sẽ hữu ích đến mức nào, dù phải dùng rất nhiều GPU. Những paper như thế này chỉ là bước đệm theo hướng đó
Nếu là AI tạo đầu vào cho renderer hoặc engine thật thì có vẻ có thể giải quyết vấn đề độ trung thực hình ảnh
Kết hợp nhiều mô hình, lấy các mảnh của từng “world model” game rồi ghép lại, gần như tương đương tạo ra một game hoàn toàn mới. Những yếu tố còn thiếu như tính bền vững của đối tượng hay trạng thái dài hạn có thể được thêm vào bằng một tập biến nhỏ hơn nhiều. Vì hiện tại đã đưa toàn bộ frame trước đó và input của người dùng vào trọng số rồi, tôi không thấy lý do gì không thể đưa cả trạng thái game đã đơn giản hóa vào cùng
Họ gọi là “video game được tạo hoàn toàn bởi AI”, nhưng khi Ctrl-F trên trang web thì Minecraft xuất hiện 0 lần. Không hiểu vì sao
Đây không phải là video game, mà là một bản sao thô của một video game thật, thậm chí còn không cố gắng nêu tên hay ghi công
Không thể nói “Minecraft” vì đó là nhãn hiệu của Microsoft, nhưng có vẻ họ cho rằng dùng hình ảnh Minecraft làm dữ liệu huấn luyện thì được. Vì tất cả mọi người, kể cả Microsoft, đều đang dùng dữ liệu độc quyền để huấn luyện diffusion model. Vấn đề là đầu ra rõ ràng giống Minecraft, nhưng Microsoft cũng gặp vấn đề Bing và DALL-E tạo ra hình ảnh rõ ràng giống những thứ có nhãn hiệu, bất chấp các biện pháp bảo vệ
Tôi không biết câu đó có được thêm sau bình luận gốc hay không
Nếu một công trình khoa học sử dụng một tác phẩm nào đó mà không ghi công thì đó là thiếu trung thực học thuật. Họ có thể đã huấn luyện trên bộ dữ liệu khác, nhưng đã dùng nguồn nào thì cũng phải trích dẫn
Rất tuyệt, và cũng vui khi thấy các mô hình như thế này tiếp tục tiến bộ nhanh. Nhưng tôi tò mò trạng thái dài hạn sẽ hoạt động thế nào
Ví dụ như xây căn cứ rồi quay lại sau, các quy tắc game được ép buộc bằng code truyền thống, multiplayer, tải lại game đã lưu — không rõ các trạng thái được dẫn dắt như vậy sẽ được xử lý ra sao. Về cơ bản trạng thái bên ngoài và bộ nhớ/mô phỏng là những thứ khác nhau, nên có lẽ không chỉ đơn giản là tăng context window hay phóng to mô hình. Tất nhiên điều đó vẫn sẽ giúp. Dù sao, tôi nghĩ các mô hình như thế này sẽ sớm được dùng để tưởng tượng các tác vụ hướng mục tiêu. Ví dụ một agent cần tìm một hình ảnh cụ thể trên máy tính sẽ liên tục tưởng tượng con đường giữa trạng thái hiện tại mà nó nhìn thấy và trạng thái mong muốn. Mô hình này nhận input từ người dùng, nhưng agent kiểu đó sẽ tưởng tượng luôn cả input ấy. Theo tôi hiểu, một số mạng điều khiển robot đã làm những việc tương tự mà không dùng pixel
Sau vài vòng quay, các chi tiết biến mất và bạn bị bỏ lại giữa một đại dương trống rỗng. Với công nghệ này, có vẻ chắc chắn không thể tạo ra một phiên bản chơi được của Mario, chứ đừng nói Minecraft
Đây không phải video game, mà giống một trình mô phỏng screenshot Minecraft nhanh, trong đó prompt giữa mỗi frame là trạng thái input và frame trước đó
Nó có một mức nhất quán nào đó
Về cơ bản là họ đã huấn luyện mô hình trên Minecraft. Hoàn toàn không tổng quát
Game có lẽ không đến từ prompt, mà đến từ một dataset lớn từ các lượt chơi Minecraft và fine-tuning. Tôi muốn thấy những công trình nơi thế giới hoặc game xuất hiện từ prompt
Nhân tiện, tôi thuộc nhóm Oasis
Nếu cho người dùng vẽ trực tiếp lên frame buffer trong lúc chơi rồi đưa nó trở lại làm input, có thể sẽ tạo ra thứ khá thú vị
Hàng đợi dài quá nên tôi bỏ cuộc. Tôi tò mò liệu mô hình tự tạo ra pixel, hay chỉ tạo môi trường rồi render theo cách “truyền thống”
Lý do điều này thú vị là: tính đến hôm nay, nó có thể chưa thú vị lắm. Oasis v1 chỉ là proof of concept. Nhưng nếu nghĩ tới tương lai, theo đúng nghĩa là các phiên bản tiếp theo của Oasis sẽ ra trong vài tháng tới, bạn có thể tưởng tượng một tình huống trong đó mọi pixel bạn nhìn thấy đều được tạo ra, kể cả những pixel bạn đang nhìn khi đọc thông điệp này. Đây là một giao diện giao tiếp mới giữa con người và máy móc. Nếu LLM thú vị trong chat vì chúng cho phép con người và máy móc tương tác bằng hội thoại, một cách quen thuộc với con người, thì ở đây máy tính có thể nhìn thế giới theo cách chúng ta nhìn và hiển thị lại theo cách chúng ta quen thuộc. Tóm lại, hãy tưởng tượng bạn nói với máy tính “tạo một con voi hồng” và nó xuất hiện ngay trong game bạn đang chơi
Có lẽ nên huấn luyện mô hình trên game Mario để Nintendo phải chiến đấu vì một “chính nghĩa tốt đẹp”