Tạo ảnh nền game bằng Stable Diffusion (trường hợp của Tales of Syn)

Tài liệu giải thích chi tiết quá trình Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) đã dùng Stable Diffusion để tạo nền cho một game RPG 2D isometric (thường gọi là góc nhìn quarter-view).

Các công cụ đã sử dụng:

• Stable Diffusion v1.5
• Automatic1111 WebUI
• Alpaca Photoshop Plugin
• Boosting Monocular Depth
• Substance Designer
• Unity URP
• Amplify Shader Editor

Ban đầu, do đặt step count thấp nên kết quả không tốt, nhưng khi tăng step count lên mức hơn 100 và áp dụng CFG (classifier free guidance) ở mức 15~30 thì đã thu được kết quả thú vị hơn.

Ảnh được tạo ra được chỉnh sửa trong Photoshop, sau đó dùng plugin Stable Diffusion có tên Alpaca để tăng độ phân giải.

Để loại bỏ ánh sáng sẵn có và thêm ánh sáng mong muốn, cần có normal map cho cảnh 2D; nhóm đã tự động hóa việc tạo depth map của ảnh bằng MiDaS và LeRes trong Boosting Monocular Depth.

Sau đó, depth map MiDaS được tạo ra cùng với ảnh depth map LeRes đã đảo ngược được chuyển thành normal map trong Substance Designer bằng node Height to Normal World Units, rồi kết hợp cả hai bằng node Normal Blend.

Nhóm đã thử parallax occlusion mapping để thêm hiệu ứng phối cảnh 3D giả nhẹ theo chuyển động camera bằng cách sử dụng depth và normal map của shader Unity URP tùy chỉnh được tạo trong Amplify Shader Editor, nhưng vì depth không chính xác với góc nhìn isometric nên kết quả trông không được tốt lắm.

Họ cũng triển khai bóng đổ bằng normal mapping để thêm bóng cho directional light, nhưng cách này không phù hợp cho chiếu sáng thực tế. Tuy vậy, nó có thể được dùng như một custom lighting pass để xử lý đổ bóng cho nhân vật 3D.

Sau khi chia ảnh 2K thành 4 phần, mỗi phần được đưa qua img2img với cùng prompt như lúc đầu để tăng độ phân giải, nhưng phát sinh vấn đề các mép ảnh không nối liền nhau. Cuối cùng, họ tiếp tục dùng cùng quy trình đó để tạo thêm các ảnh dùng nối các phần ảnh đã upscale theo kiểu chia 4 trước đó, rồi ghép lại trong Photoshop để hoàn thiện thành ảnh 4K.

GeekNews liên quan:
https://vi.news.hada.io/topic?id=7206

[kaykim]

Nhà phát triển cũng đã công khai các quy trình phát triển khác:

Tạo mô hình nhân vật 3D bằng Stable Diffusion:
https://talesofsyn.com/posts/creating-3d-character-models

Tinh chỉnh mô hình DreamBooth theo phong cách isometric:
https://talesofsyn.com/posts/fine-tuning-isometric-style