-
Hệ thống AI tạo thế giới 3D
- World Labs đã phát triển một hệ thống AI có thể tạo ra thế giới 3D từ một hình ảnh duy nhất.
- Công nghệ này có tiềm năng cách mạng hóa cách tạo ra nhiều loại nội dung số như phim ảnh, trò chơi và trình mô phỏng.
-
Khám phá thế giới
- Người dùng có thể khám phá thế giới 3D được tạo ra, di chuyển bằng phím mũi tên hoặc phím WASD và điều chỉnh góc nhìn bằng chuột.
-
Hiệu ứng camera
- Thông qua camera ảo, hệ thống kết xuất cảnh theo thời gian thực và có thể tạo ra các hiệu ứng hình ảnh như độ sâu trường ảnh nông hoặc dolly zoom.
-
Hiệu ứng 3D
- Dự đoán cảnh 3D mang lại cảm giác chân thực nhất quán, khả năng điều khiển theo thời gian thực và cấu trúc hình học chính xác.
- Có thể trực quan hóa khoảng cách từ từng pixel đến camera thông qua bản đồ độ sâu.
-
Bước vào trong bức tranh
- Hệ thống tạo ra các thế giới để người dùng có thể trải nghiệm những tác phẩm nghệ thuật nổi tiếng theo một cách hoàn toàn mới.
- Những phần không có trong bức tranh gốc sẽ do mô hình tự tạo ra.
-
Quy trình sáng tạo
- Việc tạo thế giới 3D kết hợp tự nhiên với các công cụ AI khác để tạo ra những trải nghiệm mới.
- Có thể dùng mô hình text-to-image để tạo hình ảnh từ văn bản, rồi dựa trên đó xây dựng thế giới 3D.
-
Triển vọng tương lai
- World Labs đang cải thiện quy mô và độ trung thực của các thế giới 3D, đồng thời thử nghiệm các cách tương tác với người dùng.
- Thông tin về các bản phát hành trong tương lai có thể được theo dõi qua danh sách chờ, và những ai quan tâm được khuyến khích tham gia.
1 bình luận
Ý kiến trên Hacker News
Khi thử bản demo, hình ảnh động gây hiểu lầm. Chỉ cần đi vài bước là sẽ đụng phải bức tường vô hình, nên cảm giác thất vọng khá lớn. Tôi hiểu đây là giai đoạn đầu, nhưng vẫn có cảm giác bị thổi phồng quá mức
Khi xem phim 3D bằng kính VR, nếu bạn di chuyển đầu thì ảo giác 3D sẽ bị phá vỡ. Trong game 3D, khi di chuyển đầu bạn có thể khám phá không gian. Nếu áp dụng điều này cho mọi khung hình của phim thì có thể giữ được một chút chuyển động và thay đổi góc nhìn. Tuy nhiên, điều đó có thể làm tổn hại đến ý đồ của đạo diễn và giám đốc hình ảnh
Dù có phàn nàn về phạm vi nhỏ, việc biến hình ảnh thành thế giới 3D vẫn là một công nghệ đáng kinh ngạc. AI đang dần trở nên phổ biến hơn, nhưng đây vẫn là một thành tựu ấn tượng
Có một cách là dùng Depth Anywhere để chuyển ảnh 360º thành bản đồ độ sâu ảo, rồi áp dụng nó vào point cloud để render. Khác với ví dụ của World Labs, có thể kiểm tra các điểm yếu của cách tiếp cận này bằng cách đi vượt ra ngoài ranh giới của point cloud. Nó vẫn cần được cải thiện thêm
Công nghệ này rất ngầu, nhưng không ấn tượng bằng cat-4d.github.io
Có lẽ vì đã xem quá nhiều bản demo AI, tôi trở nên hơi chai lì trước việc phải nghĩ ra cách biến công nghệ thành thứ thực sự hữu ích. Phần "Step into Paintings" khá vui, nhưng khi rời khỏi tư liệu nguồn thì giới hạn của mô hình lộ ra. Có thể trải nghiệm tác phẩm nghệ thuật theo cách mới, nhưng đó không phải là một trải nghiệm tốt
Có kỳ vọng rằng XYZ có thể khái quát hóa việc ghi hình Unreal và NVIDIA Isaac. Tôi tò mò không biết XYZ là diffusion-transformers, Chameleon, hay một kiến trúc mới. Việc phát triển mô hình cần thời gian và có thể rất tốn kém. Đội ngũ này rất tài năng, nhưng có thể không có đủ vốn
Điểm hay của những dự án như thế này thường bị che mờ bởi những tuyên bố quá đà
Hình ảnh gốc có vẻ là ảnh render, bao gồm ánh sáng, bóng đổ, v.v. Khi dùng các công cụ khác, chúng chỉ hoạt động tốt với ảnh ví dụ, còn nếu dùng ảnh khác thì sẽ ra các khối đen và phẳng. Vì vậy, tiêu đề nên là "Tạo thế giới 3D từ một hình ảnh duy nhất bằng mô hình chúng tôi đã huấn luyện"
Lần đầu thử tôi đã ngạc nhiên khi nhận được thông báo "Out of bounds". Nhìn vào phần "Looking Ahead" thì thấy họ đang cải thiện kích thước và độ chính xác