Infinigen: Tạo nên thế giới ảnh chân thực vô hạn bằng tạo thủ tục

• Infinigen là "máy tạo cảnh 3D tạo thủ tục", tạo dữ liệu huấn luyện 3D chất lượng cao cho nghiên cứu thị giác máy tính
• Hoạt động dựa trên Blender, và được cung cấp miễn phí mã nguồn mở theo giấy phép BSD 3-Clause

Tính năng chính

Tạo thủ tục (Procedural)

• Tất cả hình dạng và vật liệu được sinh ngẫu nhiên theo các quy tắc toán học.
• Có thể tạo ra từ cấu trúc cấp macro đến cả chi tiết vi mô.
• Tính linh hoạt vô hạn và khả năng tùy chỉnh.

Dữ liệu đa dạng (Diverse)

• Có thể tạo ra nhiều loại vật thể và cảnh: thực vật, động vật, địa hình, lửa, mây, mưa, tuyết, v.v.
• Ban đầu tập trung vào môi trường tự nhiên, nhưng sẽ mở rộng sang đối tượng nhân tạo và cảnh kiến trúc.

Hình học thực (Real Geometry)

• Toàn bộ chi tiết hình học đều được xây dựng thật, đảm bảo dữ liệu 3D chính xác.
• Không sử dụng các kỹ thuật thể hiện chi tiết giả như bump map, normal map.
• Tối ưu cho thị giác máy tính, đặc biệt là nghiên cứu thị giác 3D.

Gán nhãn tự động (Automatic Annotations)

• Tự động tạo nhãn chất lượng cao cho optical flow, scene flow 3D, depth, normal bề mặt, phân đoạn panoptic, biên che khuất, v.v.
• Cung cấp quyền truy cập đầy đủ vào toàn bộ quá trình render, giúp dễ dàng tùy chỉnh nhãn.

--

Bài báo nghiên cứu

1. Infinite Photorealistic Worlds Using Procedural Generation

   • IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023
   • Bài báo bàn về tiềm năng vô hạn của tạo sinh thủ tục 3D.

2. Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation

   • Dự kiến trình bày tại CVPR 2024
   • Nghiên cứu về tiếp cận tạo sinh thủ tục cho cảnh nội thất.

[GN⁺]

Bình luận trên Hacker News

• Dự án này thật tuyệt

  • Tôi có câu hỏi cho các nhà nghiên cứu ML/AI: có bài báo ML/AI nào liên quan không, ví dụ như việc huấn luyện robot trong môi trường mô phỏng
  • Tôi tò mò về các bộ dữ liệu hiện đang được dùng trong ML/AI để huấn luyện robot

• Cảnh trong nhà gần như rất chân thực, nhưng cảnh ngoài trời thì khá thiếu. Nó vẫn thua xa công nghệ tiên tiến nhất hiện tại

• Tôi nhận thấy danh sách tác giả có nhiều trường đại học nổi tiếng của Trung Quốc; tự hỏi điều này có có thể đồng nghĩa với việc vi phạm các quy định kiểm soát chip/xuất khẩu hay không

• Tôi tò mò không biết nó có từng được đăng trước đây chưa. Dù rất hay, nhưng hình như đã có từ vài năm trước rồi. Muốn biết liệu có phiên bản cập nhật nào không

• Liên kết bài đăng trước đây: https://news.ycombinator.com/item?id=36373494

• Trong README không rõ ràng. Tôi muốn biết họ muốn nói có thể tạo ra vô hạn biến thể hay tạo ra một thế giới vô hạn

• Mô tả meta tag cần được cập nhật, vì khi chia sẻ thì nội dung placeholder đang hiển thị

• Việc một thứ như vậy có thể tồn tại dường như nói lên điều gì đó về vũ trụ: môi trường không chứa nhiều thông tin như chúng ta nghĩ

  • Đặc biệt, điều này có thể giải thích tại sao bộ não nhỏ của động vật lại hoạt động một cách kỳ lạ mà vẫn rất hiệu quả trong việc mô hình hóa và hoạt động trong thế giới

• Phần mở đầu kiểu Matrix ở đây dường như chẳng có chút tinh tế nào