- LL3M sử dụng nhiều mô hình ngôn ngữ lớn để tự động viết mã Python nhằm tạo và chỉnh sửa tài sản 3D trong Blender
- Theo chỉ dẫn văn bản của người dùng, hệ thống trực tiếp tạo ra các hình dạng sáng tạo và chính xác, đồng thời triển khai các thao tác hình học phức tạp bằng mã
- Khác với các công cụ tạo mô hình 3D hiện có, nó cung cấp khả năng tạo tài sản không bị ràng buộc và tương tác tinh vi
- Mã Blender được tạo ra rõ ràng và có độ minh bạch tham số cao, nên người dùng hoặc agent có thể dễ dàng chỉnh sửa hoặc cải tiến lặp đi lặp lại
- Cho thấy khả năng xử lý tài sản 3D trên phạm vi rộng như tạo kiểu nhất quán, chỉnh sửa vật liệu, triển khai cấu trúc phân cấp
Tổng quan về LL3M
- LL3M là một framework đổi mới trong đó nhiều agent mô hình ngôn ngữ lớn (LLM) viết mã Python để tạo và chỉnh sửa tài sản 3D trong Blender
- Khi người dùng đưa ra chỉ dẫn bằng văn bản, LL3M tự động hóa việc tạo hình sáng tạo và thao tác hình học chính xác, đồng thời dùng mã cấp cao như một hình thức biểu diễn 3D để cho phép cải tiến lặp lại và cộng tác
- Mã được mô tả rõ ràng, giúp nhiều tham số và cấu trúc được thể hiện minh bạch, từ đó thuận tiện cho chỉnh sửa bổ sung và phản hồi liên tục từ người dùng
Tổng quan pipeline
- Pipeline gồm ba giai đoạn chính (tạo ban đầu, cải tiến tự động, cải tiến dựa trên phản hồi người dùng)
- Ở giai đoạn tạo ban đầu, hệ thống tạo hình dạng cơ bản, đồng thời LL3M tự động phát hiện và cải thiện các cấu trúc không hợp lý về mặt logic hoặc các thành phần hình học quá đơn giản
- Giai đoạn thứ hai thực hiện các chỉnh sửa tự động được tinh luyện hơn, đồng thời phản ánh cả những hình dạng hay quan hệ phức tạp
- Giai đoạn cuối tiếp nhận các yêu cầu chỉnh sửa bổ sung từ người dùng, hiện thực hóa quy trình tạo tài sản 3D tương tác và lặp lại
- Mỗi giai đoạn triển khai phương thức cải thiện lặp lại và tăng dần dựa trên sự phân chia vai trò giữa các agent
Thư viện hình ảnh và hiệu năng
- Tạo nhiều hình dạng đa dạng: hiện thực hóa bằng mã các bố cục phức tạp và chi tiết tinh xảo như cối xay gió, piano, bộ trống
- Áp dụng phong cách nhất quán: áp dụng cùng chỉ thị "steampunk" cho nhiều mesh (mũ), tạo ra kết quả biến thể nhưng vẫn giữ phong cách chung
- Hỗ trợ chỉnh sửa vật liệu: ví dụ có thể định nghĩa riêng phần lưỡi dao bằng shader node để thay đổi vật liệu
Khả năng diễn giải của mã
- Mã được tạo ra bao gồm logic cấu trúc, tên biến rõ ràng, chú thích, nên dễ hiểu và dễ sửa đổi
- Ví dụ: có thể trực tiếp thay đổi logic mẫu bàn phím hoặc biến độ rộng phím
- Các node và tham số Blender được hiển thị nguyên vẹn, nên có thể điều chỉnh trực quan các thuộc tính hình ảnh như màu sắc và hoa văn
Khả năng tái sử dụng và tính tổng quát của mã
- Ngay cả với các hình dạng khác nhau, các mẫu mã cấp cao như loop, modifier, thiết lập node vẫn được tái sử dụng
- Nhờ đó, có thể tạo ra mã có tính mô-đun và dễ chỉnh sửa cho nhiều prompt khác nhau
Cảnh và cấu trúc phân cấp
- Tạo nhiều đối tượng và tự động sắp xếp quan hệ không gian bằng instancing và parenting
- Ví dụ: khi tạo một đối tượng phức hợp như đèn, hệ thống phản ánh cấu trúc quan hệ cha-con để các phép biến đổi được lan truyền theo phân cấp
- Mỗi phần có tên ngữ nghĩa có ý nghĩa, nên có thể được quản lý hiệu quả trong scene graph của Blender
Chưa có bình luận nào.