RealFill: Hoàn thiện ảnh bằng mô hình khuếch tán

• Google Research và Đại học Cornell đã phát triển một phương pháp sinh mới để hoàn thiện ảnh
• RealFill hướng tới việc lấp đầy những phần bị thiếu của ảnh bằng nội dung đúng ra phải có ở đó, nhằm tạo ra hình ảnh chân thực hơn
• Mô hình được cá nhân hóa bằng cách sử dụng một số ảnh tham chiếu, vốn không nhất thiết phải khớp hoàn toàn với ảnh mục tiêu và có thể đa dạng về góc nhìn, điều kiện ánh sáng, khẩu độ máy ảnh hoặc phong cách hình ảnh
• RealFill vượt trội đáng kể so với các phương pháp hiện có trên một bộ benchmark mới về hoàn thiện ảnh, bao quát nhiều kịch bản đa dạng và đầy thách thức
• Quy trình này bao gồm việc tinh chỉnh một mô hình khuếch tán inpainting đã được huấn luyện trước trên các ảnh tham chiếu và ảnh mục tiêu, qua đó học được nội dung, ánh sáng và phong cách của cảnh trong ảnh đầu vào
• Mô hình sau khi được tinh chỉnh sẽ được dùng để lấp đầy vùng bị thiếu của ảnh mục tiêu thông qua quy trình lấy mẫu khuếch tán tiêu chuẩn
• RealFill tạo ra các hình ảnh chất lượng cao, trung thành với cảnh gốc và hấp dẫn về mặt thị giác ngay cả khi có khác biệt lớn giữa ảnh tham chiếu và ảnh mục tiêu
• Hạn chế của RealFill là quá trình tinh chỉnh dựa trên gradient tương đối chậm, cùng với khó khăn trong việc khôi phục cảnh 3D khi sự thay đổi góc nhìn giữa ảnh tham chiếu và ảnh mục tiêu là rất lớn
• RealFill cũng gặp khó khăn với các trường hợp thách thức ngay cả trên những mô hình nền tảng được huấn luyện trước như Stable Diffusion

[GN⁺]

Ý kiến trên Hacker News

• Bài viết về 'RealFill', một công cụ hoàn thiện hình ảnh sử dụng mô hình khuếch tán
• Một công cụ có giá trị tiềm năng trong việc cải thiện các bức ảnh được chụp ở hiện tại và trong quá khứ
• RealFill có thể cải thiện bằng cách tổng hợp các bức ảnh tương tự thành một hình ảnh tốt hơn duy nhất
• Một công cụ có thể tạo ảnh nhân tạo cho các bài đăng mạng xã hội, tăng sức hấp dẫn và tính thú vị
• RealFill là một công cụ hậu kỳ hữu ích cho phim ảnh và truyền hình, mang lại sự linh hoạt cho việc "uncropping" và chuyển đổi từ 4:3 sang màn hình rộng
• Một công cụ có thể được dùng để khắc phục các vấn đề của camera lỗ kim giá rẻ trong các dàn camera ảnh ba chiều
• RealFill có thể được dùng để sửa các bức ảnh gia đình bị cắt mất một phần do ai đó vô tình
• Tính năng thu nhỏ khung hình kỹ thuật số dựa trên AI, một công cụ tạo ra ảnh có góc rộng hơn mà không bị ràng buộc bởi ống kính hay khoảng cách
• Lo ngại về việc dùng các thuật ngữ "thật" và "khôi phục" trong bản demo, vì hình ảnh kết quả không phải là thật hay được khôi phục mà là ảo giác
• Một công cụ có thể khiến điện thoại Pixel hấp dẫn hơn, với các tính năng như Magic Eraser và "hoàn thiện hình ảnh thật"
• Những tiến bộ của AI trong vài năm gần đây rất ấn tượng; các công cụ như RealFill đại diện cho một bước phát triển quan trọng
• Một số người bình luận bày tỏ lo ngại về hệ quả của việc dùng AI để tạo ra ảo giác về tính chân thực
• Chức năng của công cụ được so sánh với việc camera GoPro loại bỏ gậy selfie, dùng các khung hình lân cận để điền pixel