Chỉnh sửa video mã nguồn mở không cần huấn luyện

Chia sẻ mã nguồn mở toàn bộ phương pháp và code để có thể chỉnh sửa video một cách tự do mà không cần huấn luyện (training-free).🌱

• Chỉnh sửa video: là việc tạo ra video bằng cách thêm nội dung mà người dùng mong muốn vào video đầu vào thông qua text prompt. (Tức là, tính nhất quán giữa video đầu vào và đầu ra rất quan trọng)
• Chỉnh sửa video không cần huấn luyện: không cần huấn luyện, mà trong quá trình inference sẽ thao tác(?) lên latent vector trong mô hình diffusion để định hướng việc tạo video theo text prompt mà người dùng mong muốn.🐬

Tác giả đã xây dựng code để có thể chỉnh sửa video dựa trên mô hình WAN2.1-T2V-1.3B, một mô hình đang nổi lên gần đây trong lĩnh vực video generation.🔮

• Áp dụng các phương pháp training-free vốn được dùng trong image editing vào WAN2.1.
  • FlowEdit & FlowAlign

Tiến xa hơn, tác giả còn đề xuất phương pháp mang tên WANAlign2.1 🌠.🛠️

• Đây là phương pháp cải thiện hơn nữa tính nhất quán với video đầu vào bằng cách chỉ áp dụng masking cho vùng cần chỉnh sửa trong attention map.

🌟🌟Hãy cứ tự do sử dụng, và nếu thấy thú vị thì hãy bấm sao nhé🌟🌟!!