DreamFusion: Text-to-3D sử dụng Diffusion 2D

• Tổng hợp văn bản-hình ảnh trước đây trở nên khả thi nhờ các mô hình diffusion được huấn luyện trên hàng chục tỷ cặp hình ảnh-văn bản
• Để áp dụng cách tiếp cận này cho 3D, cần có bộ dữ liệu 3D gắn nhãn quy mô lớn và kiến trúc để khử nhiễu, nhưng hiện chưa tồn tại
• Vì vậy, phương pháp này thực hiện tổng hợp Text-to-3D bằng cách tận dụng mô hình diffusion Text-to-Image 2D đã được huấn luyện trước
• Mô hình 3D được tạo ra từ văn bản có thể được xem từ mọi góc độ, thay đổi ánh sáng hoặc ghép vào các môi trường 3D khác