Ra mắt phiên bản Android của Project Gameface

• Mã nguồn mở Project Gameface được công bố tại Google I/O 2023
  • Đây là một "chuột" chơi game rảnh tay, cho phép điều khiển con trỏ máy tính bằng chuyển động đầu và cử chỉ khuôn mặt
  • Người dùng có thể nhướng mày để nhấp và kéo, hoặc há miệng để di chuyển con trỏ, qua đó tăng khả năng tiếp cận trong chơi game
• Dự án này được khởi xướng từ câu chuyện của Lance Carr, một streamer game video đang bị liệt tứ chi do bệnh về cơ
  • Google đã hợp tác với Lance để biến Project Gameface thành hiện thực

Ứng dụng của dự án

• Hiện nay, dự án tiếp tục công khai thêm nhiều mã nguồn hơn để hỗ trợ các nhà phát triển xây dựng ứng dụng giúp mọi thiết bị Android trở nên dễ tiếp cận hơn
• Thông qua camera của thiết bị, hệ thống theo dõi mượt mà biểu cảm khuôn mặt và chuyển động đầu, rồi chuyển chúng thành cơ chế điều khiển trực quan và cá nhân hóa
• Giờ đây, nhà phát triển có thể xây dựng ứng dụng cho phép người dùng tùy chỉnh biểu cảm khuôn mặt, độ lớn cử chỉ, tốc độ con trỏ và nhiều yếu tố khác để cấu hình trải nghiệm

Ba nguyên tắc cốt lõi khi xây dựng Project Gameface cho Android

1. Cung cấp thêm một phương thức mới để người khuyết tật điều khiển thiết bị Android
2. Xây dựng một giải pháp tiết kiệm chi phí để có thể mở rộng
3. Tận dụng bài học và định hướng từ lần ra mắt Gameface đầu tiên để phát triển sản phẩm thân thiện với người dùng và có khả năng tùy biến cao

Triển khai con trỏ trên thiết bị Android

• Ra mắt một phương thức mới để vận hành thiết bị Android
  • Dựa trên phản hồi tích cực về Project Gameface, Google nhận thấy cả nhà phát triển lẫn người dùng đều đánh giá cao ý tưởng di chuyển con trỏ bằng chuyển động đầu và thực hiện tác vụ bằng biểu cảm khuôn mặt
• Sao chép cùng ý tưởng đó để đưa một con trỏ ảo mới lên thiết bị Android
  • Dự án đã sử dụng Android Accessibility Service để tạo con trỏ mới và tận dụng Face Landmarks Detection API của MediaPipe để lập trình cho con trỏ di chuyển theo chuyển động đầu của người dùng
• Trong API có 52 giá trị face blendshape thể hiện mức độ biểu cảm của 52 cử chỉ khuôn mặt, như nhướng mày trái hoặc há miệng
  • Một số giá trị trong đó được dùng để ánh xạ và điều khiển hiệu quả nhiều chức năng, mở ra khả năng mở rộng cho tùy biến và thao tác
  • Ngoài ra, hệ số blendshape còn được dùng để cho phép nhà phát triển đặt ngưỡng khác nhau cho từng biểu cảm cụ thể, từ đó tùy chỉnh trải nghiệm

Hình dung về Project Gameface

• Đưa những tính năng tốt nhất của Android Accessibility Service vào Project Gameface
• Thao tác trên di động
  • Ở phiên bản Windows của Project Gameface, người dùng có thể mô phỏng các thao tác nhấp chuột thông thường
  • Tuy nhiên trên Android, phạm vi chức năng mà người dùng cần thực hiện đa dạng hơn
  • Có các sự kiện chạm được đưa vào hệ điều hành, cùng với các sự kiện hành động toàn cục như "quay lại", "chuyển đa nhiệm" và "trang chủ"
  • Dự án đã sử dụng Android Accessibility API để xác định những thao tác có thể cung cấp cho người dùng
  • Hiện tại, Project Gameface cho Android hỗ trợ GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
• Luồng camera
  • Luồng camera cải thiện đáng kể trải nghiệm người dùng, cho phép thiết lập ngưỡng chính xác hơn và hiểu sâu hơn về các cử chỉ
  • Nó cũng giúp người dùng nhận biết rõ rằng camera đang được sử dụng tích cực để hiểu chuyển động đầu và cử chỉ của họ
  • Nếu chỉ tạo luồng camera dưới dạng lớp phủ, người dùng sẽ không thể truy cập các khu vực quan trọng như phần cài đặt Android
  • Vì vậy, dự án sử dụng Android Accessibility Service cùng với Project Gameface để giữ camera tiếp tục hiển thị ngay cả trong phần cài đặt Android và các khu vực quan trọng khác
• Có thể thực hiện 'chức năng kéo'
  • Android Accessibility Service hiện chưa có cách đơn giản để người dùng thực hiện thao tác kéo trực tiếp trên màn hình theo thời gian thực
  • Tuy nhiên, sản phẩm đã được nâng cấp để bao gồm chức năng kéo, cho phép người dùng xác định điểm bắt đầu và điểm kết thúc
  • Kết quả là thao tác kéo được thực hiện mượt mà theo đường dẫn đã chỉ định
• Kỳ vọng và tính mở
  • Dự án kỳ vọng vào tiềm năng của Project Gameface và mong các nhà phát triển, doanh nghiệp tận dụng nó để xây dựng những trải nghiệm mới
  • Mã nguồn của Gameface hiện đã được công khai dưới dạng mã nguồn mở trên GitHub