A$AP Rocky ra mắt MV ‘Helicopter’ ứng dụng Gaussian Splatting

• MV ca khúc mới ‘Helicopter’ của A$AP Rocky là tác phẩm mà gần như toàn bộ phần diễn xuất của nhân vật được thực hiện bằng volumetric capture và Gaussian Splatting
• Quá trình quay sử dụng mảng 56 camera RGB-D của Evercoast để ghi lại màn trình diễn thực tế dưới dạng 3D, và ở hậu kỳ được render bằng Houdini·OctaneRender
• Thông qua GSOPs của CG Nomads và bộ công cụ nội bộ của WildCapture, dự án xử lý việc sắp xếp chuỗi dữ liệu splat, tinh chỉnh lại ánh sáng và tương tác vật lý
• Dù mang cảm giác siêu thực, mọi cảnh trong video đều được tạo dựng dựa trên diễn xuất vật lý của diễn viên thật
• Dự án này là một ví dụ sử dụng động Gaussian Splatting trong video nhạc đại chúng, cho thấy tiềm năng của sản xuất video 3D thời gian thực trong tương lai

---

Tổng quan quá trình sản xuất MV Helicopter

• ‘Helicopter’ của A$AP Rocky là một MV ứng dụng công nghệ Radiance Fields, trong đó gần như toàn bộ phần diễn xuất của nhân vật được ghi hình bằng phương pháp volumetric
  • Video nổi bật với chuyển động hỗn loạn và năng lượng theo phong cách MTV thời kỳ đầu
  • Các nhân vật được render dưới dạng Dynamic Splat để tạo cảm giác không gian ba chiều
• Dự án có sự tham gia của Evercoast, Grin Machine, WildCapture, Fitsū.ai và các bên khác
  • Evercoast phụ trách performance capture, còn Chris Rutledge của Grin Machine tham gia với vai trò giám sát CG
  • Wilfred Driscoll của WildCapture hỗ trợ kỹ thuật về tính nhất quán theo thời gian và chuyển tiếp chuyển động

Quay volumetric và cấu hình kỹ thuật

• Việc quay được tiến hành tại Los Angeles vào tháng 8 năm 2025, với 56 camera RGB-D của Evercoast và hai máy trạm Dell được đồng bộ hóa
  • Các diễn viên treo trên dây hoặc bám vào thanh trần để thực hiện các màn stunt vật lý
  • Cánh trực thăng hay đạo cụ được thay bằng cấu trúc gỗ thật để ghi hình trong bối cảnh thực tế
• Tổng cộng 10TB dữ liệu thô được thu thập, rồi render thành khoảng 30 phút video splat
  • Thành phẩm cuối cùng được xuất ra với quy mô khoảng 1TB chuỗi PLY

Pipeline hậu kỳ

• Công việc hậu kỳ được thực hiện trong Houdini, với GSOPs của CG Nomads để thao tác và sắp xếp chuỗi dữ liệu splat
  • Sử dụng OctaneRender của OTOY để render cuối cùng và cho phép relighting
  • Tích hợp Houdini của Octane đã trưởng thành hơn, cho phép thể hiện bóng đổ và cảm giác khối
• Blender được sử dụng ở giai đoạn layout và previs
  • Các chuỗi splat được chuyển thành proxy cache nhẹ để dùng cho việc lên kế hoạch cảnh quay
  • Công cụ nội bộ của WildCapture tạo ra skeleton ước lượng tư thế, hỗ trợ va chạm và mô phỏng vật lý

Xem trước thời gian thực và hiệu quả sản xuất

• Hệ thống của Evercoast cung cấp phản hồi không gian theo thời gian thực tại hiện trường quay
  • Đạo diễn có thể kiểm tra bản xem trước dựa trên mesh ngay sau khi quay, rồi sau đó xem bản render splat hoàn chỉnh qua web player
  • Trước khi tải xuống dữ liệu dung lượng lớn, chỉ những cảnh cần thiết mới được chọn để hậu xử lý
• Workflow này gần với mô phỏng hơn là quy trình sản xuất video truyền thống, cho phép sáng tạo nhanh hơn và tiết kiệm chi phí hơn

Diễn xuất thật và ảo giác thị giác

• Một số khán giả nhầm rằng video là sản phẩm do AI tạo ra, nhưng mọi cảnh đều dựa trên diễn xuất vật lý của diễn viên thật
  • Các động tác như stunt, nhảy, rơi đều được thực hiện trong không gian thực
  • Nhờ volumetric capture, việc sắp xếp lại bố cục camera và phá vỡ tính liên tục không gian trở nên linh hoạt, từ đó tạo cảm giác nhân tạo
• Công nghệ Radiance Field không thay thế thực tại, mà đóng vai trò bảo tồn chuyển động và không gian của thế giới thực

Hợp tác trước đây giữa A$AP Rocky và Radiance Fields

• Trước đó, trong MV ‘Shittin’ Me’ năm 2023, A$AP Rocky cũng từng sử dụng NeRF và Instant-NGP GUI
  • ‘Helicopter’ lần này được xem là phần tiếp nối đó, đồng thời là một trường hợp ứng dụng thực tế quy mô lớn của động Gaussian Splatting

[GN⁺]

Ý kiến trên Hacker News

• Tôi nghĩ việc Nial Ashley (Llainwire) đã một mình làm việc này và tự tạo cả phần hình ảnh vào năm 2023 thật sự rất ấn tượng
  Liên kết video YouTube
  Đáng tiếc là anh ấy đã không nhận được nhiều sự chú ý. Theo Discord, có quá nhiều nghệ sĩ chỉ nhờ làm MV theo phong cách này, nên cuối cùng anh ấy đã từ bỏ dự án thay vì tiếp tục hợp tác âm nhạc
• Tôi là David Rhodes, đồng sáng lập của CG Nomads. Tôi đã phát triển GSOPs (Gaussian Splatting Operators) cho SideFX Houdini
  MV lần này được tạo bằng cách kết hợp GSOPs và OTOY OctaneRender
  Nếu quan tâm đến công nghệ này, bạn có thể xem trang chính thức hoặc kho GitHub
  • Khía cạnh thẩm mỹ của công nghệ này thực sự rất thú vị. Ở các phiên bản trước, nó trông hoàn toàn như một đám mây nhiễu 3D đầy glitch, nên tôi tò mò không biết có ai nghĩ đến cách cố tình “lạm dụng” nó một cách sáng tạo bằng đầu vào sai hoặc lỗi căn chỉnh hay không
  • David, tôi cũng tò mò không biết anh đã từng xem qua các công nghệ thay thế 3DGS như Mesh Splatting chưa. Nghe nói nó hứa hẹn tốc độ huấn luyện nhanh hơn và kết quả tốt hơn
  • Tôi tự hỏi liệu có thể làm một plugin cho Davinci Resolve để gộp dữ liệu không gian quay bằng hai chiếc iPhone thành một cảnh 3D thống nhất hay không. Với chip M4 thì có vẻ hoàn toàn khả thi
  • Có nói đến “nội dung 3D chất lượng cao”, nhưng trong video thì có vẻ phần đó hơi thiếu
• Tôi không ngờ lại thấy một bài về A$AP trên HN. Cộng đồng này đúng là thú vị
  • Tôi cũng đã nghĩ cả ngày xem làm sao để đăng MV Helicopter lên HN, nên thật vui vì cuối cùng có người đăng nó dưới góc độ Gaussian
  • Trong video đó anh ấy đang uốn tóc bằng lô cuốn à?
  • Suýt nữa thì một bài liên quan đến Carti đã leo lên đầu HN rồi
  • Tôi cũng phải nhìn lại hai lần, đúng là bất ngờ thật
  • Nhưng tôi lại không hiểu vì sao điều đó được xem là “ngầu”
• Có ai giải thích dễ hiểu giúp tôi Gaussian splatting chính xác là gì, và câu “giờ đã đủ trưởng thành” trong bài có nghĩa là gì không?
  • Đó là quá trình tạo đám mây điểm từ một cảnh, thay mỗi điểm bằng một ellipsoid mờ lan ra, rồi huấn luyện bằng bộ kết xuất khả vi. Nhờ vậy có thể tái tạo một cảnh 3D gần như khớp với ảnh thật
  • Nó là cách kết hợp video quay từ nhiều góc để ước lượng radiance field của không gian 3D. Từ đó có thể mô phỏng cả những góc máy không hề tồn tại trong thực tế.
    Nếu dùng kỹ thuật này trong các công cụ như Houdini, nghệ sĩ có thể di chuyển camera ảo một cách tự do
  • Mỗi điểm là một blob bán trong suốt, màu sắc thay đổi theo hướng nhìn. Điều đó cho phép thể hiện phản xạ và hiệu ứng bóng sáng
  • Video 2 phút này là tài liệu nhập môn khá tốt.
    Có vẻ nhờ bài báo cốt lõi năm 2023 cùng những tiến bộ về GPU và lập trình khả vi, giờ nó đã trở nên đủ thực tế để dùng trong công việc
  • Có thể xem demo trực quan trong bài blog này và trang này
• Video thật sự rất đẹp. Tôi không hiểu nổi hơn nửa nội dung bài viết, nhưng đọc những câu đầy đặc thuật ngữ chuyên môn như thế lại thấy rất vui
  Đoạn “đưa dữ liệu vào Houdini, thao tác bằng GSOPs rồi render cuối bằng OctaneRender” đặc biệt gây ấn tượng
  • Tôi là một trong những người tạo ra GSOPs cho Houdini. Gaussian splat là cách sao chép thực tại bằng vô số ellipsoid 3D. Houdini rất mạnh trong việc xử lý khối dữ liệu điểm quy mô lớn, còn các renderer như Octane có thể tích hợp nó với các yếu tố CG truyền thống
  • Tôi chính là tác giả bài viết đó. Gaussian splatting nhận đầu vào là ảnh hoặc video 2D thông thường để tạo ra tái dựng 3D chân thực. Nó là một dạng kỹ thuật dựa trên radiance field như NeRF hay Plenoxel
  • Corridor Crew đã làm một dự án rất hay bằng Gaussian splat. Tôi đề xuất video này
  • Văn phong này khiến tôi nhớ đến cảnh Kurtwood Smith bán tẩu trong The Patriot một cách kỳ lạ
• Tôi đang thử nghiệm Gaussian splatting như một chất liệu nghệ thuật nhiếp ảnh. Những kết quả mang tính biểu hiện khi dữ liệu không đủ thực sự rất cuốn hút
  Bộ sưu tập tác phẩm của tôi
  • Tác phẩm đẹp quá! Tôi tò mò không biết có nơi nào nói chi tiết hơn về quy trình thực hiện không
  • Thẩm mỹ thực sự rất độc đáo và cuốn hút
• Thành thật mà nói, video trông giống render Unreal Engine đời cũ. Có thể đó là chủ ý về mặt thẩm mỹ, nhưng tôi vẫn tò mò Gaussian splatting có thể cho ra kết quả chân thực đến mức nào
  Liệu có thể chỉnh lại ánh sáng hay bóng đổ, hoặc sửa một phần của cảnh mà vẫn giữ được cảm giác chân thực ban đầu không?
  Nhìn xu hướng làm phim hiện nay chuyển sang quay đa góc rồi hậu kỳ nhiều, có khi cuối cùng chúng ta sẽ đến thời mà con người được xử lý bằng Gaussian splat, còn nền thì là phông xanh
  • Thẩm mỹ của video này là kết quả của việc cố tình giữ lại các artifact của Gaussian splatting. Đặc biệt trong 4DGS sẽ có sự không nhất quán theo thời gian, và điều đó càng lộ rõ hơn khi relighting.
    Dù vậy công nghệ đang tiến bộ rất nhanh, và volumetric capture có lẽ chắc chắn sẽ trở nên phổ biến.
    Với môi trường tĩnh thì chất lượng đã rất cao, như ví dụ này
  • Nhìn vào phong cách của nghệ sĩ, đây có vẻ là lựa chọn vì tính mới của công nghệ và tự do sáng tạo hơn là vì ngân sách
  • Với tôi nó giống như một phiên bản độ phân giải cao của game voxel Teardown. Ánh sáng và chuyển động camera tạo ra cảm giác đó
  • Nếu đưa vào dữ liệu đúng thì hiện tại cũng có thể đạt chất lượng 3D cỡ IMAX
  • Một số video khác của A$AP cũng cố ý dùng chất cảm lo-fi và retro. Ví dụ trong Yamborghini High, họ mô phỏng hiệu ứng hỏng hình MPEG
• Nhất định nên xem chính video đó. Sự cân bằng giữa hiệu ứng siêu thực và phần trình diễn của con người rất tốt
  Nếu không hợp gu âm nhạc thì cứ tắt tiếng mà xem
  • Một MV khác của A$AP Rocky là Taylor Swif cũng có bầu không khí siêu thực và kỳ quái tương tự. Cách dàn dựng kiểu Đông Âu được cố ý gắn với chủ đề
    Liên kết video
  • Nếu xem đến cuối video thì cú splat cuối cùng không phải Gaussian
• Liên kết trực tiếp tới MV: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • Ý hay đấy. Tôi sẽ thêm liên kết đó lên đầu bài
• Đáng tiếc là tôi xem đến khoảng 30 giây thì bị say hình nên phải dừng. Dù vậy công nghệ thật sự rất ấn tượng. Không biết có ai cảm thấy giống tôi không
  • Tôi thấy video rất hay. Hoàn toàn không bị say hình
  • Vợ tôi cũng phản ứng như vậy, nhưng sau phần intro thì đỡ hơn nhiều