Infinigen: tạo ra các thế giới photorealistic vô hạn bằng procedural generation

 (github.com/princeton-vl)
2 điểm bởi GN⁺ 2024-12-24 | 1 bình luận | Chia sẻ qua WhatsApp
  • Infinigen là dự án tạo ra các thế giới photorealistic bằng procedural generation, cung cấp hướng dẫn bắt đầu cho cảnh tự nhiên, cảnh trong nhà và tài sản mô phỏng có khớp
  • Sau khi cài đặt, người dùng có thể bắt đầu tạo cảnh phòng, cảnh tự nhiên và tài sản có khớp cho simulator thông qua các luồng Infinigen-Indoors, Infinigen-Nature, Infinigen-Articulated
  • Các nghiên cứu liên quan nối tiếp từ bài báo CVPR 2023 Infinite Photorealistic Worlds using Procedural Generation, bài báo CVPR 2024 Infinigen Indoors, đến bài arXiv năm 2025 Infinigen-Articulated
  • Tài liệu bao gồm cài đặt, cấu hình camera, tải dữ liệu được tạo sẵn, tạo từng asset riêng lẻ, xuất sang các định dạng file bên ngoài như OBJ·OpenUSD, xuất mô phỏng vật lý và ground-truth mở rộng
  • Cách đóng góp được chia thành mã nguồn repository, trình sinh procedural và dữ liệu được tạo sẵn; tài liệu cũng hướng dẫn công cụ chuyển Blender Nodes thành mã Python và quy trình hỗ trợ dựa trên GitHub Issues

Các đối tượng mà Infinigen có thể tạo

  • Infinigen là dự án tạo ra các thế giới photorealistic bằng procedural generation
  • Luồng bắt đầu được cung cấp theo ba nhánh
    • Hello Room: tạo cảnh trong nhà bằng Infinigen-Indoors
    • Hello World: tạo cảnh tự nhiên bằng Infinigen-Nature
    • Infinigen-Articulated: cung cấp luồng tạo tài sản mô phỏng có khớp và xuất sang simulator
  • Dự án cung cấp kèm website, video giới thiệu, bài báo, tài liệu và hướng dẫn đóng góp

Cách bắt đầu và ví dụ

  • Trước tiên cần cài đặt theo Installation Instructions
  • Tài liệu bắt đầu với Infinigen-Indoors nằm trong HelloRoom.md
    • Ảnh ví dụ cho thấy cảnh Blender, kết quả render, depth và các đầu ra liên quan đến object
  • Tài liệu bắt đầu với Infinigen-Nature nằm trong HelloWorld.md
    • Đầu ra ví dụ bao gồm image, depth, surface normal và instance segmentation
  • Luồng bắt đầu với Infinigen-Articulated nằm trong tài liệu Exporting to Simulators
    • Bao quát trường hợp sử dụng xuất tài sản có khớp sang simulator

Các bài báo liên quan

Phạm vi tài liệu

  • Tài liệu không chỉ bao quát cài đặt và tạo cảnh đầu tiên, mà còn các luồng cấu hình·camera·dữ liệu·xuất file
  • Các mục tài liệu được cung cấp bao gồm:
    • Installation Guide
    • “Hello World”: tạo cảnh Infinigen-Nature đầu tiên
    • “Hello Room”: tạo cảnh Infinigen-Indoors đầu tiên
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, ví dụ: OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • Roadmap của dự án được cung cấp trên trang roadmap của website Infinigen

Quy trình đóng góp và hỗ trợ

  • Có ba cách đóng góp được hướng dẫn
    • Đóng góp mã nguồn repository: dự án nhận đóng góp mã nguồn, hướng dẫn chi tiết hơn dự kiến sẽ được cung cấp sau
    • Đóng góp trình sinh procedural: infinigen/nodes/node_transpiler/dev_script.py cung cấp công cụ chuyển Blender Nodes thân thiện với artist thành mã Python
    • Đóng góp dữ liệu được tạo sẵn: bất kỳ ai cũng có thể dùng sức mạnh tính toán để tạo dữ liệu và chia sẻ với cộng đồng; repository dữ liệu được tạo sẵn dự kiến sẽ được cung cấp sau
  • Yêu cầu trợ giúp được hướng dẫn đăng lên trang GitHub Issues
  • Để tái hiện vấn đề, cần chạy lệnh với --debug và bao gồm các thông tin sau
    • Môi trường tính toán, gồm phiên bản OS, CPU, RAM, GPU và driver
    • Phiên bản mã nguồn đã dùng, liên kết commit hash và có chỉnh sửa hay không
    • Lệnh chính xác đã chạy
    • Log đầu ra
      • Khi dùng manage_jobs, tìm log trong outputs/MYJOB/MYSEED/logs/
      • Nếu có lỗi Python và stacktrace, cung cấp kèm theo

Các dự án nền tảng và thay đổi

  • Infinigen cho biết dự án sẽ không thể thành hiện thực nếu không có công sức của Blender Foundation và các contributor mã nguồn mở
  • Land-Lab, BlenderProc, Blender-FLIP-Fluids, Blender-Differential-Growth được nhắc đến riêng như các dự án đã được sử dụng
  • Thomas Kole được đưa vào danh sách cảm ơn vì đã cung cấp mây procedural
  • Nhiều tutorial Blender trực tuyến đã cung cấp các trình sinh procedural dùng cho thử nghiệm ban đầu và được tổng hợp như những tư liệu truyền cảm hứng cho triển khai trong bản phát hành chính thức
  • Infinigen đã thay đổi đáng kể kể từ phiên bản bài báo CVPR
    • Hiện nay dự án bao gồm một phần mã procedural theo giấy phép CC-0 lấy từ internet
    • Mã đó được đánh dấu bằng chú thích trong code tại những nơi áp dụng
    • Phiên bản CVPR không có loại mã đó

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-12-24
Ý kiến trên Hacker News

  • Dự án thật sự rất tuyệt
    Tôi tò mò muốn hỏi các nhà nghiên cứu ML/AI trên HN rằng liệu đã có bài báo nào dùng cái này để huấn luyện chưa. Ví dụ như huấn luyện robot trong môi trường ảo
    Tôi cũng tò mò hiện nay trong lĩnh vực ML/AI, những dataset nào đang được dùng để huấn luyện robot

    • Theo video, “Infinigen là 100% sinh theo thủ tục. Chỉ dùng các quy tắc toán học, hoàn toàn không có AI, chỉ là đồ họa”
      Dấu thời gian: https://youtu.be/6tgspeI-GHY?t=107
    • Tôi nhớ đã xem một video của Nvidia Research về việc huấn luyện robot và các thứ khác bằng môi trường được tạo ra
      Không tìm ra ngay được, nhưng Omniverse của Nvidia là một trong những yếu tố cốt lõi

  • Cái này chẳng phải đã được đăng trước đây rồi sao? Đúng là rất ấn tượng, nhưng theo tôi biết thì đây là dự án đã vài năm tuổi. Không biết có cập nhật gì không

  • Các cảnh trong nhà trông hoàn toàn thuyết phục, nhưng ngoài trời thì vẫn còn nhiều điểm chưa ổn. Còn khá xa so với trình độ tiên tiến nhất

    • Vậy thì thứ mã nguồn mở, nếu có thể dùng dưới dạng thư viện, và không phải AI tạo sinh, mà thuộc hàng tiên tiến nhất là gì? Tôi đang nghĩ đến các trường hợp dùng cho tương tác/phát triển game/thời gian thực
    • Nó còn tụt sau nhiều phiên bản của No Man's Sky, và càng như vậy nếu so với đủ thứ kết quả điên rồ mà những người bên LLM đang tạo ra
    • Dù vậy phải thừa nhận là nước biển trông tốt hơn nhiều so với bất kỳ trò chơi điện tử nào hiện nay. Còn lại thì đúng là vậy
    • Nên xem cái gì là tiên tiến nhất?

  • Việc những thứ như thế này có thể làm được khiến tôi cảm giác nó nói lên điều gì đó về vũ trụ. Có lẽ môi trường không có lượng thông tin lớn như chúng ta nghĩ
    Điều này cũng có thể giải thích hiệu quả cao đến phi lý mà bộ não, đặc biệt là bộ não nhỏ của động vật, thể hiện khi mô hình hóa thế giới và hoạt động trong đó

    • Đó là một cách nhìn vũ trụ rất hời hợt
      Sự tồn tại không bị giới hạn bởi việc có được quan sát hay không. Bộ não tiến hóa để thu thập lượng thông tin tối thiểu cần thiết nhằm giữ cho sinh vật sống sót trong một môi trường cụ thể. Nhưng ngay cả trong những thứ chúng ta có thể tri giác, vũ trụ vẫn có độ phức tạp không thể đo đếm
      Trong mô hình 3D, những chi tiết như vậy không quan trọng, nên có thể tiến gần đến cảm giác chân thực như ảnh chụp. Rendering trông đủ tốt để đánh lừa bộ não, khiến ta cảm thấy như đang nhìn các vật thể trong thế giới thực. Nhưng đó chỉ là một phép xấp xỉ tốt về mặt thị giác, hoàn toàn không phải là biểu diễn đúng đắn của vật thể thật. Tài nguyên tính toán còn thiếu xa để làm được mức đó
      Việc có thể mô hình hóa theo thời gian thực cách ánh sáng hành xử trong thế giới thực cũng chỉ mới gần đây, mà vẫn chỉ là xấp xỉ. Dù sao thì Infinigen trông là một sản phẩm tuyệt vời, và cũng thật hay khi lâu rồi mới thấy mô phỏng cổ điển thay vì AI
    • Nếu “việc những thứ như thế này có thể làm được nói lên điều gì đó về vũ trụ”, thì mô hình nhân vật trong Final Fantasy 7 cũng nói lên điều gì đó về hệ nội tiết của con người
      Aeris rõ ràng vẫn được hiểu là người dù không thấy tuyến thượng thận, nên có thể ngoài đời cũng không có tuyến thượng thận, kiểu vậy
    • “Bản đồ không phải là lãnh thổ”
    • “Vẫn còn rất nhiều không gian ở phía dưới.”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • Tôi nghĩ nó cho thấy nhiều điều về bộ não con người hơn là về vũ trụ. Nó cho thấy tri giác của chúng ta dễ bị đánh lừa đến mức nào

  • Chỉ nhìn README thì chưa rõ, ở đây vô hạn có nghĩa là có thể tạo ra vô hạn biến thể của một cảnh, hay là tạo ra một thế giới vô hạn

  • Bài trước: https://news.ycombinator.com/item?id=36373494

  • Khi được chia sẻ, mô tả meta tag có vẻ vẫn là nội dung placeholder, nên cần cập nhật

  • Trong danh sách tác giả có vẻ có nhiều đại học lớn của Trung Quốc, thoạt nhìn chẳng phải điều đó hàm ý vi phạm lệnh hạn chế chip/quy định xuất khẩu sao?

    • Bài báo nói rằng các đồng tác giả đã thực hiện nghiên cứu khi họ còn thuộc Princeton

  • Phần mở đầu kiểu Matrix chẳng tinh tế chút nào