Công nghệ MeshAnything chuyển đổi biểu diễn 3D thành lưới 3D hiệu quả

MeshAnything: tạo lưới do nghệ sĩ tạo ra

Tổng quan

• MeshAnything mô phỏng cách các nghệ sĩ con người trích xuất lưới từ biểu diễn 3D.
• Có thể kết hợp với nhiều pipeline sản xuất tài sản 3D khác nhau để tạo ra các lưới do nghệ sĩ tạo ra (AM) có thể áp dụng trong ngành 3D.

So sánh với các phương pháp hiện có

• MeshAnything tạo lưới với số mặt ít hơn hàng trăm lần, nhờ đó cải thiện đáng kể hiệu quả lưu trữ, render và mô phỏng.
• Đạt được độ chính xác tương đương với các phương pháp hiện có.

Phương pháp

• MeshAnything là một transformer tự hồi quy tạo ra lưới do nghệ sĩ tạo ra phù hợp với hình dạng 3D được cung cấp.
• Hệ thống lấy mẫu point cloud từ tài sản 3D đầu vào, mã hóa chúng thành đặc trưng rồi đưa vào một transformer chỉ gồm decoder.
• Thay vì học phân phối hình dạng 3D phức tạp, nó cấu thành hình dạng một cách hiệu quả thông qua topology được tối ưu hóa.

Thêm nhiều kết quả hơn

• Tích hợp với nhiều phương pháp sản xuất tài sản 3D khác nhau để đạt được khả năng tạo lưới do nghệ sĩ tạo ra với mức độ kiểm soát cao.
• MeshAnything tạo lưới với topology tốt hơn và ít mặt hơn, đồng thời có thể tạo ra topology hoàn toàn khác trong khi vẫn giữ hình dạng tương tự.

Ý kiến của GN⁺

• Hiệu quả: MeshAnything tạo lưới với số mặt ít hơn rất nhiều so với các phương pháp tạo lưới hiện có, từ đó cải thiện mạnh hiệu quả lưu trữ và render.
• Khả năng ứng dụng: Có thể tích hợp với nhiều pipeline sản xuất tài sản 3D khác nhau, nên có tiềm năng được sử dụng rộng rãi trong toàn ngành 3D.
• Ưu điểm kỹ thuật: Có thể cấu thành hình dạng hiệu quả thông qua topology tối ưu mà không cần học phân phối hình dạng 3D phức tạp.
• Góc nhìn phê phán: Khi áp dụng công nghệ mới, có thể phát sinh vấn đề tương thích với hệ thống hiện có hoặc đường cong học tập ban đầu.
• Phương án thay thế được khuyến nghị: Các dự án có chức năng tương tự gồm MeshGPT, và nên so sánh ưu nhược điểm của từng dự án.

[GN⁺]

Ý kiến trên Hacker News

• Trong bối cảnh các bài báo về tạo mô hình 3D thường xuyên bị chỉ trích, nghiên cứu này là điều đáng hoan nghênh. Tuy nhiên, giấy phép phi thương mại là một điểm đáng tiếc. Theo thông tin trên GitHub, việc tạo mesh trên GPU A6000 cần khoảng 7GB và 30 giây, và chỉ có thể tạo mesh với dưới 800 mặt.
• Đây là kết quả tạo low-poly tốt nhất trong số những gì đã thấy. Vẫn là mesh tam giác, nhưng đang dần tốt hơn.
• Mục tiêu cuối cùng là polygon chủ yếu dạng tứ giác, edge smooth/crease, UV texture tự nhiên, và tạo texture PBR bằng texture lặp. Sau đó cần tiến tới hướng suy luận mô hình CAD từ hình ảnh.
• Để xử lý mesh lớn hoặc point cloud được tạo bằng quét LiDAR hay photogrammetry, cần PC hiệu năng cao và phần mềm đắt tiền. Việc làm mesh nhỏ lại để có thể chia sẻ trên web sẽ rất hữu ích.
• Tôi từng có kinh nghiệm xử lý thủ công các bản quét point cloud. Dữ liệu tạo ra là 450GB, còn dự án trước đó là 2.1TB. Quy mô của bài báo này có cảm giác như đồ chơi, nhưng khởi đầu là điều quan trọng.
• Gọi mesh do AI tạo ra là "do nghệ sĩ làm" là cách diễn đạt dễ gây hiểu lầm.
• Tôi thích việc phần nói về tác động xã hội có nhắc đến việc cắt giảm chi phí lao động. Điều quan trọng là điều đó không có nghĩa làm giảm nhu cầu đối với nghệ sĩ.
• Tôi định sẽ thử với một vài mô hình phức tạp.
• MeshAnything tạo ra mesh có số mặt ít hơn hàng trăm lần, nhờ đó cải thiện đáng kể hiệu quả lưu trữ, render và mô phỏng.
• Tôi đã thử bản demo online, nhưng mesh đầu ra xuất hiện các lỗ vốn không có trong bản gốc. Tôi tự hỏi liệu thuật toán có vấn đề gì không.
• Mesh đã được chuyển đổi không hiệu quả, có nhiều n-gon nên vẫn cần làm retopology.