Show HN: Gaussian Splat của quả dâu tây

 (superspl.at)
2 điểm bởi GN⁺ 18 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Strawberry là một cảnh 3D quả dâu tây có thể tải xuống do danylyon đăng trên SuperSplat, với giấy phép được ghi là CC BY 4.0
  • Dữ liệu cảnh được hiển thị với 46.530 mục và kích thước tệp 22.94 MB, thời điểm đăng được hiển thị là 13 giờ trước
  • Quá trình chụp được thực hiện từ 90 góc nhìn, và mỗi góc nhìn sử dụng 88 ảnh focus stack
  • Thiết bị gồm Nikon Z8 full-frame, f/7.1, 1/160 giây, ISO 100, ống kính macro Laowa 180mm, đèn LED và nền màn xanh
  • Việc huấn luyện được thực hiện bằng slang-splat, và COLMAP cùng bộ dữ liệu COLMAP được cung cấp kèm theo

Tổng quan cảnh

  • Strawberry là một cảnh dâu tây 3D được đăng trên SuperSplat, người đăng là danylyon
  • Dữ liệu cảnh được hiển thị là 46.530 mục, kích thước tệp là 22.94 MB
  • Thời điểm đăng được hiển thị là 13 giờ trước, và có thể tải xuống
  • Giấy phép được hiển thị là CC BY 4.0

Điều kiện chụp

  • Cảnh quả dâu tây được chụp từ 90 góc nhìn, và mỗi góc nhìn dùng 88 ảnh focus stack
  • Thiết bị và thiết lập chụp là Nikon Z8, full-frame, f/7.1, 1/160 giây, ISO 100, ống kính macro Laowa 180mm
  • Ánh sáng sử dụng đèn LED, nền là màn xanh

Huấn luyện và dữ liệu

  • Việc huấn luyện được thực hiện bằng slang-splat
  • Phần mềm được sử dụng hiển thị là COLMAP
  • Bộ dữ liệu COLMAP cũng được cung cấp và có thể dùng miễn phí tại Patreon

Điều kiện sử dụng

  • Cảnh có thể được tải xuống theo giấy phép CC BY
  • Có nêu rõ việc ghi nguồn không phải là yêu cầu mà chỉ được khuyến nghị như một lời cảm ơn
  • Tác phẩm này có thể được sử dụng ngay cả khi không ghi nguồn

Bài viết liên quan

1 bình luận

 
GN⁺ 18 giờ trước
Ý kiến trên Hacker News

  • Năm 2011 tôi làm PlayCanvas để chạy trò chơi điện tử, còn đến năm 2026 thì lại đang chạy dâu tây

    • Với những ai quan tâm, SuperSplat và PlayCanvas đều được công khai mã nguồn mở trên GitHub: https://github.com/playcanvas
    • Một trong những điều đáng yêu nhất của mã nguồn mở là mọi người tìm ra những cách dùng hoàn toàn mới

  • Wow, đúng là nuốt thời gian. Cuối cùng tôi đã đi tới đây và nó thật đẹp: https://superspl.at/scene/ff1d0393

    • Cảnh này trên máy của tôi bị lỗi render hơi lạ. Cây cối và đường chân trời hiện ra trước tòa nhà cối xay, và nếu không ở chế độ quỹ đạo thì phần bên ngoài không được render đúng
      Dù vậy, lúc phát hiện ra có thể đi bộ lên cầu thang thì tôi khá sốc. Muốn chạy thì phải giữ Shift
      Cảnh này rất cần clipping ở biên. Nếu dùng ứng dụng như Scaniverse, bạn có thể thêm hộp giới hạn để loại bỏ các điểm ở xa, vốn thường được tái dựng không tốt
      Nếu bạn có iPhone đời mới với máy quét LiDAR thì rất đáng thử. Bạn có thể render nhà hoặc sân vườn của mình như một ngôi nhà búp bê, và nó hữu ích một cách bất ngờ cho việc lên kế hoạch, đo đạc tường hay cấu trúc
    • Thật ngạc nhiên khi nó chạy hoàn toàn mượt trên iPhone 12 mini của tôi
      Đây là một cảnh rất đẹp, vừa đi lại được mà độ phân giải vẫn khá ổn

  • Tôi đã đọc [1] nhưng vẫn chưa thật sự hiểu chính xác mình đang nhìn cái gì. Đoán là một mô hình 3D được tái dựng từ rất nhiều ảnh độ phân giải cao
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • Đó là sự tổng hợp của rất nhiều khối bán trong suốt để trông giống như quả dâu tây
      Không có mesh hay model nào cả. Bề mặt nhìn thấy của quả dâu có thể được tạo thành từ các khối nằm cách xa nhau, chứ không phải ở những vị trí vật lý trông như một bề mặt thật
      Vì thế người ta gọi những thứ này là radiance field. Nó mô hình hóa ánh sáng chứ không phải hình học
      Trên thực tế có thể ràng buộc vị trí và góc quay của các khối để chúng khớp tốt hơn với hình học của quả dâu
    • Video này giải thích cách Gaussian splatting hoạt động: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • Nguyên lý hoạt động đã được các câu trả lời khác giải thích khá rõ. Nếu bạn phóng rất sát vào ảnh, bạn sẽ bắt đầu “xuyên qua” bề mặt, và điều đó giúp dễ nắm được nguyên lý hơn
      Điểm quan trọng là không có bề mặt hình học được xác định sẵn, tức là không có mesh. Và để tạo ra một splat tốt thì cực khó vì phải chụp cực nhiều ảnh từ nhiều góc khác nhau, trong khi tạo ra splat tệ thì lại rất dễ. Nhưng làm đúng thì thật đáng kinh ngạc
    • Tôi biết đến nó lần đầu qua https://youtube.com/watch?v=X8yRlA7jqEQ, thực sự rất ngầu
    • Có một video giải thích hay dài 2 phút: https://youtu.be/HVv_IQKlafQ

  • Thật đẹp
    Điều tôi thích ở Gaussian splat là cách nó suy giảm. Thay vì bị cắt cụt đột ngột hoặc đổi mức chi tiết khiến hình cầu biến thành hình khối, nó dần trở nên “mơ màng”. Hình dạng cơ bản vẫn còn, chỉ là chi tiết giảm đi
    Ví dụ cảnh này: https://superspl.at/scene/e721ea7c
    Khi tiến lại gần phía cái cây, xung quanh bắt đầu mờ đi, như thể kết cấu của thực tại đang bung sợi ra

    • Nếu vậy thì có thể bạn sẽ thích các tác phẩm nghệ thuật tôi làm phái sinh từ Gaussian splat. Tôi gọi chúng là gaussographs
      https://bayardrandel.com/gaussographs
      Các tác phẩm mới hơn có trên Instagram
      https://www.instagram.com/bayardrandel/
    • Tôi không hiểu sâu lắm, nhưng đây là một hiệu ứng rất hay. Ít nhất với quả dâu này, cảm giác gần hơn là di chuyển lại gần chứ không phải phóng to
      Khi phóng to, bạn không thấy thêm “chi tiết giả” như kỳ vọng, mà giống như đang xuyên qua lớp vỏ để bước vào phần bên trong được tưởng tượng ra
    • Nó làm tôi nhớ rất nhiều đến cảnh “ký ức” trong Minority Report: https://www.youtube.com/watch?v=arTIRgdEb1g
    • Hiệu ứng này thực sự cực kỳ đẹp. Cảm giác như hiện thực đang sụp đổ thành sương mù, kính mờ, vệt sơn loang, những mảnh cực quang hay bông bồ công anh
      Càng ít tính nhất quán thì việc khám phá lại càng khó và càng khó đoán hơn
      So với mô hình 3D thông thường, nó có vẻ gần hơn nhiều với cách tâm trí lưu trữ và xử lý thông tin không gian
    • Tôi thích ở chỗ nó nằm đâu đó giữa ảnh chụp và mô hình 3D. Không có gì thực sự giống nó

  • Nếu bạn chỉ thấy hình mờ và không có gì tải hay hoạt động, hãy mở console JavaScript xem có hiện "WebGL not supported" không

  • Cái này cũng thú vị: https://github.com/apple/ml-sharp
    Đây là mô hình của Apple tạo Gaussian splat từ một ảnh đơn. Trên M1 Pro mất khoảng 30 giây
    Nếu di chuyển quá nhiều thì nó sẽ sụp, nhưng với kiểu lắc nhẹ sang trái phải hoặc góc nhìn của mắt thứ hai trong VR thì rất ổn. Trông đẹp hơn nhiều so với cách cũ tôi dùng ở https://github.com/combatwombat/tiefling, tức là bản đồ độ sâu + vertex shader
    Chỉ có điều ml-sharp có bộ trọng số 2.6GB, nên hơi lớn để chạy trong trình duyệt

    • Liệu đây có phải nền tảng cho những gì Apple đang làm trong ứng dụng Photos ở các phiên bản OS mới nhất không?
      Giờ nó có vẻ chạy nhanh hơn rất nhiều so với 30 giây trên iDevice và Mac
    • Có ai biết cần khoảng bao nhiêu VRAM để chạy cái này trên Nvidia không?

  • Tôi mới biết đến Gaussian splatting vài tuần trước, và có thể đây là một câu hỏi buồn cười, ngây ngô hoặc ngớ ngẩn. Có tiến triển nào về ánh sáng động không, hoặc ít nhất là về mặt lý thuyết có khả thi không?

    • Có những nghiên cứu cố làm việc này trực tiếp. Ví dụ: https://arxiv.org/abs/2601.23065
      Nhưng để có được vật liệu chính xác thì rất khó, nhất là với những trường hợp phức tạp hơn phản xạ khuếch tán
      Tái chiếu sáng bằng AI có lẽ sẽ sớm bắt đầu hoạt động tốt
    • Ở trạng thái cơ bản, có lẽ bạn có thể chiếu sáng lên bề mặt, nhưng bóng đổ sẽ khó xử lý đúng. Cấu trúc này không phải vật thể đặc mà gần hơn với các hạt trong không gian 3D
      Có thể nó sẽ giống như gắn ánh sáng thời gian thực của engine game cũ lên asset khá hiện đại. Kiểu thời Quake 2~3
      Hoặc có lẽ có thể làm kiểu “pre-pass che khuất” bằng cách tạo một thể tích voxel thưa từ splat, rồi gán cho mỗi voxel một giá trị độ mờ voxel hấp thụ ánh sáng. Cũng không khác quá nhiều so với chiếu sáng toàn cục tiền tính ngày nay
      Nói trước là tôi không phải chuyên gia rendering, chỉ là một người thích vọc từng nghịch OpenGL đủ thứ

  • Chỉ biết nói là wow!
    Trong lúc đi quanh website, tôi còn ấn tượng hơn với cảnh này: https://superspl.at/scene/c67edb74

    • Cái này cứ đến 100% là trình duyệt của tôi lại sập. Safari/iOS, iPhone 13
      Một số cái khác được link trong phần bình luận thì tôi vẫn xem và dùng được, nên khá lạ
    • Tôi chỉ muốn so nhanh về kích thước thôi
      Nếu tôi đọc Chrome không nhầm thì cả website lẫn dữ liệu là 171MB
      Nếu tính đúng thì tương đương khoảng 40 giây băng thông ở mức bitrate cao nhất của Netflix
    • Đẹp thật, và việc có thể “đi” lên trong trần nhà rồi nhìn xuống khá là thú vị
      Tùy bạn kỳ quặc đến mức nào mà cảm giác đó giống Quasimodo hoặc như trở thành thần
    • Hơi tiếc là vị giám mục phía sau trông hơi phẳng ;-)

  • Tôi xem cái này rồi rơi luôn vào hố thỏ, lần đến tận công ty làm video Gaussian splat này: https://www.4dv.ai/. Khá thú vị

  • Trông như một mô hình thu nhỏ xinh đẹp. Thật hay khi thấy Gaussian splatting được áp dụng cho vật thể nhỏ, nhiều chi tiết thay vì cảnh lớn
    Điều có lẽ nhàm chán nhất ở quả dâu này mà tôi vẫn tò mò là giấy phép. Họ viết rằng “có thể tải xuống theo giấy phép CC BY, nhưng việc ghi công không bắt buộc, chỉ là nếu làm thì chúng tôi rất cảm kích”; tôi không phải luật sư nhưng có vẻ bạn không thể cấp phép theo CC-BY rồi lại miễn yêu cầu BY trong phần mô tả được
    Nếu muốn việc ghi công là tùy chọn, chẳng phải nên dùng giấy phép thoáng hơn như CC0 rồi chỉ yêu cầu ghi công thôi sao?

    • Tôi nghĩ là được. Kiểu như “muốn làm gì thì làm” cũng là một giấy phép không chính thức vậy. Chỉ là nó hơi vô nghĩa thôi
    • Là nội dung của họ nên họ có thể làm theo ý muốn
      Ở một mức độ nào đó là vậy. Ở những nước như Pháp, quyền được ghi công về cơ bản là không thể chuyển nhượng, nên ngay cả khi tác giả đã từ bỏ vĩnh viễn quyền đó, họ vẫn có thể yêu cầu được ghi công bất cứ lúc nào
      Nhưng ở Mỹ, bên được hưởng lợi từ một điều khoản hợp đồng thường có thể bỏ qua hoặc từ bỏ điều khoản đó. Việc vẫn gọi nó là “CC BY” hay không thì còn có thể tranh cãi, vì ghi công là cốt lõi của nó
      Dù sao thì việc cấp phép CC BY rồi ngay sau đó miễn yêu cầu đó có vẻ vẫn là hợp lệ