Macro Splats 2025

• Gaussian splat được cấu thành từ nhiều ellipsoid mờ, có đặc tính có thể quan sát từ nhiều góc độ như một ảnh 3D
• Có thể tái hiện hiệu quả kết cấu phức tạp và tinh vi của đối tượng macro như côn trùng
• Để giải quyết vấn đề do độ sâu trường ảnh nông, bài viết áp dụng kỹ thuật focus stacking
• Nâng cao hiệu suất và chất lượng chụp nhờ thiết bị tự động hóa và phương thức chụp được tối ưu
• Cuối cùng sử dụng COLMAP và Postshot để tạo và công bố mô hình 3D độ phân giải cao

---

Tóm tắt Macro Splats 2025

Khái niệm Gaussian Splat và việc biến thành ảnh 3D

• Gaussian splat là kỹ thuật chồng nhiều ellipsoid mờ trong không gian 3D và gán cho mỗi ellipsoid màu phụ thuộc góc nhìn
• Tương tự như quá trình huấn luyện mô hình AI, khi đưa nhiều ảnh vào và lặp lại tối ưu hóa, có thể tạo ra kết quả ảnh 3D chân thực
• Kết quả của phương pháp này là thu được hình ảnh 3D có thể quan sát sống động từ nhiều góc độ

Động cơ áp dụng cho đối tượng macro

• Đối tượng macro như côn trùng có nhiều lông hoặc cấu trúc phức tạp rất phù hợp để biểu diễn bằng Gaussian splat
• Bài viết nhấn mạnh rằng những kết cấu như vậy là phần khó mô tả bằng các kỹ thuật tái dựng 3D truyền thống

Quy trình chụp sử dụng Focus Stacking

• Do đặc tính chụp macro, độ sâu trường ảnh rất nông nên khó ghi lại rõ nét mọi phần của đối tượng
• Focus stacking là kỹ thuật chụp nhiều ảnh ở cùng một góc nhưng điểm lấy nét hơi khác nhau, sau đó ghép thành một bức ảnh hoàn toàn sắc nét
• Thông thường một stack cần 50~500 ảnh, nhưng để tăng hiệu quả chụp, tác giả điều chỉnh còn 16 ảnh cho mỗi stack và sử dụng khẩu độ f/18
• Côn trùng được chụp một cách có hệ thống từ nhiều góc bằng đĩa xoay, boom arm và ray lấy nét tự động
• Tổng cộng chụp 1776 ảnh ở 111 góc, với tổng thời gian chụp khoảng 4 giờ

Xây dựng mô hình 3D và hậu kỳ

• Tất cả ảnh được hoàn thiện thành 111 ảnh độ phân giải cao bằng batch focus stacking
• Thông tin vị trí máy ảnh được khôi phục bằng COLMAP, đồng thời thực hiện chỉnh màu và masking nền
• Dữ liệu cuối cùng được huấn luyện bằng Postshot để tạo mô hình splat, và phần giá đỡ (mounting) được xóa bằng retouch ở mức tối thiểu

Công bố và ứng dụng mô hình 3D

• Mô hình côn trùng hoàn chỉnh có thể được xem tự do dưới dạng 3D tại superspl.at
• Mô hình cluster fly được phát hành miễn phí tại đây, cho phép sử dụng cho cả mục đích thương mại và phi thương mại với điều kiện ghi công tác giả

[GN⁺]

Ý kiến trên Hacker News

• Trong số những hình ảnh đồ họa máy tính tôi từng thấy, con ong bắp cày mandarin này là một trong những tác phẩm ấn tượng nhất, đồng thời cũng thuộc hàng đỉnh cao của nhiếp ảnh macro. Việc nó có thể được render theo thời gian thực cũng rất đáng kinh ngạc. Vài ngày trước đã có thảo luận về PS6, và nếu tôi vẫn còn tham gia vào việc làm console hay game, tôi hẳn sẽ cực kỳ quan tâm đến cách đưa những asset như thế này vào game
  • Gaussian splats thiếu sự linh hoạt cần thiết cho video game thông thường. Nó không phải PBR thực sự, nên ánh sáng gần như ở trạng thái hardcode sẵn. Rigging hoạt động không tốt, và việc chỉnh sửa cũng rất khó. Nó phù hợp để trực quan hóa một đối tượng đơn lẻ, nhưng không thích hợp để xây dựng một cảnh gồm nhiều thành phần
• Trông thực sự rất đẹp. Nếu góp ý về website thì nền xám với chữ đen làm khả năng đọc khá kém, nên tôi phải dùng reader mode
  • Độ bão hòa màu của trang quá mạnh, khiến tôi cứ tưởng có phần tiền cảnh được nhấn mạnh nào đó mà mình đang không nhìn thấy, và toàn bộ trang cho cảm giác như đang bị xem là nền
  • Ngược lại, tôi lại có trải nghiệm hoàn toàn trái ngược. Đây là một trong số rất ít website mà tôi có thể đọc rõ ràng ngay cả khi đeo kính mà chữ không bị nhòe
• Tác phẩm này trông thật sự tuyệt vời, và tôi chưa từng nghĩ đến việc kết hợp nhiếp ảnh macro với Gaussian splatting. Tôi thực sự biết ơn vì họ đã phát hành nó dưới dạng tệp văn hóa tự do (CC BY)
• Sẽ rất hay nếu có một màn hợp tác với nghệ sĩ của Exquisite Creatures Revealed. Anh ấy bảo tồn nhiều loại côn trùng khác nhau và trưng bày chúng theo cách làm nổi bật màu sắc cùng hiệu ứng óng ánh mà tự nhiên tạo ra. Tôi đã quá ấn tượng với buổi triển lãm đến mức quay lại lần nữa. Có thể xem thông tin nghệ sĩ tại đây
• Tôi tự hỏi liệu có nghiên cứu nào về việc khớp gaussian splats phụ thuộc vào khoảng lấy nét hay không. Về cơ bản là mô hình hóa bokeh, để rồi nếu đưa vào các ảnh raw gốc thì có thể thu được một mô hình sắc nét tổng thể chăng
  • Nhiều nhóm đang nghiên cứu chủ đề này: dof-gs project, dof-gaussian project
• Tôi thắc mắc họ chụp được phản xạ óng ánh trên cơ thể con ruồi bằng cách nào. Có cảm giác như có thể nhìn xuyên vào nền thông qua các phần phản chiếu. Vì màu phản xạ thay đổi theo góc nhìn, tôi nghĩ việc tạo gaussian splat hẳn sẽ khó tìm ra một lời giải thỏa mãn mọi tia sáng. Ít nhất tôi đã nghĩ bề mặt phản xạ sẽ trông rất bẩn, nên không biết là có mẹo bí mật nào đó, hay là tôi đang hiểu sai về gaussian splat
  • Màu sắc thay đổi theo góc nhìn, và điều đó cũng có nghĩa là ánh sáng đã được baked-in. Vì vậy tôi nghĩ nó khó có thể được dùng trực tiếp cho hoạt hình 3D hay môi trường thời gian thực, dù dĩ nhiên có thể đang có nghiên cứu về ánh sáng động. Đôi khi nó trông sai, ví dụ nếu tiến quá gần mô hình con ruồi thì một số phần cơ thể sẽ có vẻ trong suốt, và specular highlight trông như là các splat ở mặt sau của bề mặt bên trong. Ở mô hình gương thì hiện tượng này còn rõ hơn, và thậm chí bạn có thể đi xuyên hẳn vào trong gương
  • Gaussian splats có thể gán màu theo góc nhìn. Theo những gì tôi biết, điều này được triển khai bằng spherical harmonics. Độ phân giải theo góc được quyết định bởi số lượng thành phần điều hòa này; nếu quá ít thì mọi phản xạ sẽ thay đổi chậm và mượt, và phản xạ trở nên mờ
  • Theo FTA, “Gaussian splat về bản chất là nhiều ellipsoid mờ, và mỗi ellipsoid có màu thay đổi theo góc nhìn.” Hy vọng mô tả này hữu ích
  • Có thể tham khảo phần "View-dependant colors with SH": bài viết liên quan
• Bản demo có thể xoay được, chạy thời gian thực ngay trong trình duyệt kể cả trên điện thoại, hoạt động rất tốt. Chi phí render gaussian splat có vẻ không quá đắt, còn phần tính toán nặng chủ yếu nằm ở bước tiền xử lý
  • Kích thước tệp cũng ấn tượng là nhỏ. Dù hiện không có link, đã có 4D splat bao gồm cả chuyển động được công bố rồi, có thể xem như video nhưng cũng có thể di chuyển trong cảnh, và tệp đó cũng chỉ ở mức vài megabyte
• Công việc này rất ấn tượng. Nhưng trên di động thì phần 3D hoàn toàn không dùng được. Khoảnh khắc chạm vào 3D ở chế độ orbit là góc nhìn bị khóa xuống bán cầu nam, và xoay kiểu gì thì màn hình cũng giật loạn xạ như phát điên
  • Tôi là nhà phát triển PlayCanvas. Không biết bạn có thể cho biết hiện tượng đó xảy ra trên điện thoại/thiết bị nào không. Có thể là bug thật đấy (không chơi chữ đâu)
• Gần đây nó cũng đã được dùng để quay lại "The Matrix": video YouTube
• Đây là một bước tiến khổng lồ so với bản render thời gian thực 23.806 tam giác trong Stars/NoooN [1]. [1] Video YouTube
  • Tôi tự hỏi cái này được tạo ra từ khi nào. Video YouTube là từ 14 năm trước nhưng nó cho cảm giác còn cũ hơn rất nhiều