CityGaussian: kết xuất cảnh quy mô lớn chất lượng cao theo thời gian thực bằng Gaussian

CityGaussian: kỹ thuật Gaussian cho kết xuất cảnh quy mô lớn tốc độ cao, chất lượng cao

• CityGaussian (CityGS) đề xuất một cách tiếp cận mới để huấn luyện hiệu quả và kết xuất theo thời gian thực cho 3D Gaussian Splatting (3DGS) quy mô lớn.
• Thông qua tri thức tiền nghiệm của toàn cảnh và lựa chọn dữ liệu huấn luyện thích ứng, phương pháp này cho phép huấn luyện hiệu quả và ghép nối liền mạch.
• Dựa trên dữ liệu nguyên thủy Gaussian, phương pháp tạo ra và nén nhiều mức độ chi tiết khác nhau; đồng thời hiện thực kết xuất nhanh ở nhiều quy mô nhờ chiến lược chọn và tổng hợp mức độ chi tiết theo từng khối được đề xuất.
• Kết quả thí nghiệm diện rộng trên các cảnh quy mô lớn cho thấy cách tiếp cận này đạt chất lượng kết xuất hàng đầu và có thể kết xuất nhất quán theo thời gian thực các cảnh quy mô lớn ở những thang tỷ lệ rất khác nhau.

So sánh với SOTA

• Không dùng kỹ thuật LoD với CityGS: MatrixCity được biểu diễn bằng 25 triệu Gaussian, và khi thử nghiệm trên A100 chỉ đạt 18 FPS, dẫn đến trải nghiệm di chuyển khó chịu.
• CityGS với kỹ thuật LoD: Nhờ hỗ trợ LoD, CityGS có thể được kết xuất theo thời gian thực ở những quy mô rất khác nhau, với tốc độ trung bình 36 FPS khi thử nghiệm trên A100.

So sánh trực quan

• So sánh trực quan chất lượng kết xuất vượt trội của CityGS với các kỹ thuật hiện có như MegaNeRF, SwitchNeRF, GPNeRF và 3DGS.

Ý kiến của GN⁺

• CityGaussian thể hiện một bước tiến kỹ thuật quan trọng trong việc kết xuất theo thời gian thực các cảnh 3D quy mô lớn. Điều này mở rộng tiềm năng ứng dụng trong các lĩnh vực như thực tế ảo, phát triển game, quy hoạch đô thị và mô phỏng.
• Kết xuất theo thời gian thực là yếu tố cải thiện đáng kể trải nghiệm người dùng, và tốc độ khung hình cao mà CityGaussian cung cấp sẽ giúp trải nghiệm này mượt mà và chân thực hơn.
• Tuy nhiên, công nghệ kết xuất theo thời gian thực thường đòi hỏi tài nguyên tính toán hiệu năng cao, điều này có thể là rào cản về chi phí và khả năng tiếp cận.
• Để công nghệ này được áp dụng rộng rãi, cần có sự phát triển của phần cứng cùng với việc liên tục cải thiện các kỹ thuật tối ưu hóa.
• Ngoài ra, trên thị trường có thể đã tồn tại các dự án hoặc sản phẩm khác sử dụng công nghệ tương tự CityGaussian, vì vậy người dùng nên so sánh nhiều lựa chọn để chọn ra giải pháp phù hợp nhất với nhu cầu của mình.

[GN⁺]

Ý kiến trên Hacker News

• Giới thiệu một dự án thử nghiệm kết hợp ô 3D của Google Maps với Gaussian splatting. Nhờ công nghệ này, dự án đạt được hiệu ứng gần giống thực tế và có cung cấp các ví dụ kèm mã liên quan.
  • Ví dụ 1: liên kết Twitter của kfarr
  • Ví dụ 2: liên kết Twitter của 3dstreetapp
• Bộ dữ liệu được dùng trong video là 'Matrix city', có vẻ được trích xuất từ bản demo Matrix của Unreal Engine 5 phát hành vài năm trước. Nhiều khả năng nó được tạo bằng kỹ thuật photorealism chứ không phải từ ảnh chụp.
  • Trang web Matrix city
• Tốc độ khung hình trung bình là 36 khung hình/giây, được thử nghiệm trên card đồ họa A100. Card đồ họa này có giá khoảng $8,000.
• Kỹ thuật gọi là Gaussian splatting được đặt theo tên của Gauss; tuy không phải do chính ông phát minh, nhưng ông đã đóng góp rất lớn vào nền tảng toán học của kỹ thuật này.
• Có một câu hỏi mang tính kỹ thuật về việc liệu Gaussian splatting có phải là công nghệ đã giúp Unreal Engine gần đây trình diễn những bản demo ấn tượng hay không.
• Có ý kiến mong chờ xem công nghệ này sẽ được công bố theo giấy phép nào, và muốn thấy nó được ứng dụng trong các trò chơi mã nguồn mở.
• Có phản hồi thể hiện sự tò mò về kỹ thuật cao cấp dùng Gaussian 3D để dựng các cảnh lớn, đồng thời muốn tự thử nghiệm đoạn mã.
• Có ý kiến chỉ ra rằng công nghệ này có vẻ không tốt hơn rõ rệt so với game mô phỏng đô thị hiện có là 'Cities: Skylines', và vì chỉ cho thấy một số khung hình hạn chế nên khó đánh giá hiệu quả thực tế.
• Có bình luận đặt câu hỏi liệu Gaussian splat 3D có thực sự hữu ích hay không. Người này lo ngại tốc độ dựng hình quá chậm và lượng dữ liệu quá lớn nên có thể không thực tế, đồng thời cho rằng rasterization sẽ luôn nhanh hơn ray tracing. Họ cũng nhận xét rằng việc tạo hình học và vật liệu truyền thống từ point cloud Gaussian là điều thú vị, nhưng photogrammetry thực ra đã được dùng từ rất lâu.
• Có câu hỏi về yêu cầu bộ nhớ và năng lực tính toán của công nghệ này.