Động lực học hình ảnh sinh tạo

• Bài viết về một cách tiếp cận mới do các nhà nghiên cứu Google phát triển cho việc mô hình hóa ưu tiên trong không gian ảnh đối với tính động của cảnh
• Huấn luyện mô hình bằng các quỹ đạo chuyển động được trích xuất từ các chuỗi video thực có chứa chuyển động dao động tự nhiên
• Mô hình sử dụng quy trình lấy mẫu khuếch tán được điều chỉnh theo tần số để dự đoán biểu diễn chuyển động dài hạn trên mỗi pixel trong miền Fourier, được gọi là neural stochastic motion textures
• Biểu diễn này có thể được chuyển đổi thành các quỹ đạo chuyển động dày đặc bao trùm toàn bộ video
• Mô hình có thể được dùng cho nhiều ứng dụng khác nhau, như biến ảnh tĩnh thành video động lặp lại mượt mà hoặc cho phép người dùng tương tác một cách chân thực với các vật thể trong ảnh thật
• Mô hình có thể mô phỏng phản ứng của tính động của vật thể trước sự kích thích từ người dùng đang tương tác
• Có thể giảm bớt hoặc khuếch đại chuyển động bằng cách điều chỉnh biên độ của motion texture
• Có thể tạo video quay chậm bằng cách nội suy motion texture đã dự đoán
• Các nhà nghiên cứu ghi nhận đóng góp hiệu đính, nhận xét và thảo luận từ Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo, Lucy Chai
• Trang web dùng cho phần trình diễn được mượn từ nerfies, và gửi lời cảm ơn tới Keunhong