Show HN: Fill 3D - 3D Generative Fill cho staging ảo dựa trên AI

• Đây là dự án khởi đầu giới thiệu Fill 3D API, đồng thời là ví dụ triển khai 3D Generative Fill cho staging ảo dựa trên AI
• Trước khi chạy, cần đổi .env.example thành .env.local và nhập API key được tạo tại fill3d.ai vào FILL3D_API_KEY
• Cài đặt dependency và chạy máy chủ phát triển bằng npm install và npm run dev
• Sau khi chạy máy chủ phát triển, có thể mở trang web tại http://localhost:3000

[GN⁺]

Ý kiến trên Hacker News

• Bản thân công nghệ này rất ấn tượng, nhưng tiềm năng của nó cũng khá rợn người
  Ở nơi tôi sống, các “môi giới” bất động sản đã thường xuyên chỉnh sửa ảnh nhà bằng Photoshop để trông như một căn nhà đã được cải tạo hoàn toàn và có đầy đủ nội thất
  Thực tế thì nhiều khi nhà trống và tình trạng rất tệ, nên với công nghệ như thế này, có lẽ sẽ càng khó đánh giá tình trạng bất động sản nếu không đến xem trực tiếp
  Giờ có lẽ khó ngăn công nghệ này được dùng trong quảng cáo, mà danh sách rao bán thực chất cũng đã trở thành quảng cáo, nên chính sách/pháp luật cấm đăng ảnh giả lên các nền tảng bất động sản có vẻ là giải pháp duy nhất
  Tuy vậy, người tạo ra công nghệ này có lẽ có thể kiếm bộn tiền nếu bán nó cho môi giới theo mô hình đăng ký

  • Có vẻ đã có luật về việc mô tả sai lệch tài sản rao bán
    Việc có bao gồm đồ nội thất hay không là phần được ghi rõ trong hợp đồng, và tùy từng khu vực, nhưng điều tôi thường thấy nhất ở khu tôi là ghép cảnh hoàng hôn vào cửa sổ hoặc ảnh phía sau nhà
    Tuy nhiên, có thể sẽ khó nhận ra liệu môi giới có xóa các vấn đề như nấm mốc hay thiệt hại do rò rỉ nước hay không
  • Staging bằng Photoshop đã tồn tại từ lâu rồi

• Các ví dụ trông rất ổn. Sẽ rất hay nếu có thể chia sẻ thêm nhiều hình ảnh
  Tôi muốn thấy thêm các ví dụ cho thấy công cụ này xử lý được đến đâu, như nhiều loại phòng và phong cách nội thất khác nhau
  Ngược lại, tôi cũng tò mò nó không làm được gì. Có tình huống nào khiến kết quả bị lỗi không

  • Gợi ý hay. Ngày mai tôi sẽ dành thời gian thêm trang /gallery
    Tôi cũng đã tạo issue để theo dõi: https://github.com/fill3d/fill/issues/1
    Một issue đầu tiên rất phù hợp :D

• Thật đáng kinh ngạc. Các đối tượng được chèn vào không phải được tạo bằng mô hình khuếch tán + ControlNet, mà là render từ mô hình 3D đã được phủ texture à?
  Tôi cũng tò mò liệu tập mô hình 3D có texture có sẵn là cố định, hay được tạo tức thời dựa trên prompt

  • Đúng vậy. Hiện tại chúng tôi dùng hộp thoại Blenderkit, nhưng cũng có thể mở rộng ra ngoài phạm vi đó
    Khi bạn nhập prompt và tìm kiếm, thực tế sẽ chạy tìm kiếm đa phương thức; ví dụ nếu yêu cầu “red painting” thì nó sẽ tìm đúng một bức tranh màu đỏ
    Vì vậy nó chính xác đến mức vô lý so với tìm kiếm thông thường. AI đang len vào khắp mọi nơi

• Trường hợp dùng của tôi có lẽ là trang trí căn hộ
  Tôi có một căn studio lớn còn trống, đã mua giường và sofa, nhưng cần quyết định lấp đầy các khoảng trống còn lại bằng gì
  Những thứ như bàn cà phê, kệ/console media, TV hoặc máy chiếu siêu gần, quầy bar, kệ sách, bàn làm việc
  Sẽ rất tốt nếu có thể lấp đầy bằng các sản phẩm thực sự mua được, chứ không chỉ là ý tưởng thuần túy

  • Đúng vậy, đây thực ra là một tính năng đã có trong roadmap
    Vì chúng tôi tạo bằng 3D, người dùng có thể mang mô hình 3D của riêng mình vào và thêm vào catalogue
    Nếu tích hợp thứ như Object Capture của Apple (https://developer.apple.com/augmented-reality/object-capture...), thì cũng có thể quét nguyên một chiếc sofa, upload lên Fill 3D, đặt vào rồi generate
    Rất đáng mong chờ
  • Tôi chưa dùng thử, nhưng vài ngày trước có thấy một trang phù hợp với trường hợp dùng này: https://aihomedesign.com
    Tôi không liên quan gì đến họ

• Không biết các công ty bất động sản đã cân nhắc việc để nhà trống không nội thất, rồi cho người mua tiềm năng đeo kính AR để xem sẽ trông ra sao khi đặt đồ nội thất của họ vào chưa?

  • Có lẽ chỉ cần dùng điện thoại hoặc tablet làm viewport là được
    Ít nhập vai hơn, nhưng rào cản áp dụng thấp hơn nhiều
  • Nếu render một khung hình bằng path tracing đã mất hơn 1 phút, thì mức độ chân thực này có vẻ hiện chưa khả thi trong AR

• Nó có hoạt động với sàn deck và hiên trước không?
  Tôi có một số ảnh deck và hiên cần staging cho website của công ty xây dựng

• Tôi đã thử demo và có vẻ có lỗi, đồng thời dường như chỉ chọn được các item có sẵn trong cơ sở dữ liệu định nghĩa trước

  • Tôi tò mò bạn gặp lỗi gì
    Và đúng vậy. Vì dùng mô hình 3D thật nên tập mô hình là cố định. Hiện tại hơi dưới 300 mẫu
    Ưu tiên của chúng tôi là kết quả siêu thực, nên các công nghệ khuếch tán mô hình 3D mới nhất hiện nay vẫn chưa đủ. Tham khảo OpenAI Point-e: https://github.com/openai/point-e

• Nhìn kiến trúc “render kết quả siêu thực bằng path tracing” của Fill3D cùng với tính năng triển khai trong suốt của fxn.ai thật sự rất ấn tượng
  Dự án hiện tại của tôi có thể dùng cả hai, nên tôi sẽ xem thử

• Bạn đang nghĩ gì về mô hình kinh doanh?
  Tôi là quản trị viên hệ thống của một MLS nhỏ, và đang cân nhắc có thể tích hợp vào đâu
  Nếu là 2 đô la cho mỗi lần staging thì có lẽ phải tính phí trực tiếp cho Realtor. Theo tôi biết thì chúng tôi không lập hóa đơn thay
  Tuy nhiên, mô hình bao gồm vài lượt staging mỗi tháng cho mỗi Realtor có thể khả thi
  Tôi cũng nghĩ ra trường hợp dùng thú vị là người tiêu dùng tự staging thử, nhưng có lẽ rất ít Realtor chịu trả 2 đô la mỗi lượt staging để người tiêu dùng làm vậy

  • Tôi rất muốn trao đổi nghiêm túc về chuyện này
    Với giá theo số lượng lớn, chúng tôi có thể hạ giá khá nhiều
    Mục tiêu cuối cùng là cho phép người dùng staging trực tiếp bên trong website bất động sản hoặc MLS của các bạn
    Vui lòng liên hệ [e-mail]

• Screencast trên https://www.fill3d.ai/ được làm bằng gì vậy?

  • Có vẻ là https://www.screen.studio
  • Tôi cũng tò mò
    Gần đây tôi thấy nhiều screencast cùng phong cách này, nhưng không thích lắm
    Vùng ghi hình cứ di chuyển liên tục nên khá gây mất tập trung
  • Là Screen Studio