MyMallow - Nhật ký cảm xúc nhân vật 3D được xây dựng bằng RealityKit

Giới thiệu MyMallow, một ứng dụng iOS cho phép người dùng nhân cách hóa cảm xúc của mình thành nhân vật 3D và tự tay trang trí chúng. Đây là dự án được thực hiện trong 2 tháng, phát triển với trọng tâm không chỉ dừng ở việc viết nhật ký mà còn hướng tới "sản xuất nội dung 3D có sự tham gia của người dùng".

Tính năng chính

• Texture tùy chỉnh: Phân tích hình vẽ mà người dùng vẽ trên canvas bằng framework Vision và ánh xạ theo thời gian thực lên material của mô hình 3D.
• Motion capture của riêng tôi: Ngoài 195 chuyển động tích hợp sẵn, ứng dụng còn tận dụng Body Position Tracking của ARKit để người dùng trực tiếp ghi lại động tác của mình và áp dụng cho nhân vật.
• NPC hành vi tự động: Kết hợp state machine và tìm đường của GameplayKit để các nhân vật tự động hành xử phù hợp với môi trường, chẳng hạn như nhảy múa gần đống lửa trại.

Điểm triển khai kỹ thuật cốt lõi

• RealityKit & 3D pipeline: Sử dụng các mô hình được tạo bằng Blender rồi chuyển đổi sang .usdz, đồng thời điều khiển động texture và cấu trúc rigging của mô hình ngay trong runtime.
• Tối ưu chuyển động: Để giảm nhiễu trong dữ liệu đã capture, dự án áp dụng bộ lọc low-pass và Slerp (nội suy tuyến tính cầu) để tạo ra hoạt ảnh mượt mà.
• Vật lý và âm thanh không gian: Xây dựng không gian 3D giàu tính nhập vai thông qua mô phỏng vật lý dựa trên collision detection và hệ thống particle hỗ trợ Spatial Audio.
• Tích hợp cấu trúc xương (Bone): Để giải quyết sự khác biệt giữa cấu trúc xương của Mixamo (65 xương) và Apple ARBody (91 xương), dự án áp dụng phương thức thay đổi mô hình rigging tùy theo tình huống.

Đây là một dự án vượt ra ngoài vai trò công cụ ghi chép đơn thuần để khám phá nhiều khả năng đa dạng của RealityKit.

👉 App Store

[ffdd270]

Thật ấn tượng. Trước đây tôi chưa để ý nhiều đến thư viện đó, nhưng nhờ bài viết được tổng hợp rất tốt của bạn mà tôi có dịp mở rộng góc nhìn của mình hơn.