HN giới thiệu: Bút stylus số mã nguồn mở hỗ trợ 6 bậc tự do

D-POINT: Bút số dùng theo dõi quang học - quán tính

• D-POINT là một bút stylus số mã nguồn mở hiện thực hóa đầu vào 6DoF (6 bậc tự do) bằng cách sử dụng theo dõi bằng camera và đo lường quán tính.
• Cung cấp độ trễ thấp, cảm biến áp lực và độ chính xác dưới milimét, có thể dùng trên mọi bề mặt phẳng và tương thích với webcam tiêu dùng.
• Dự án này là một phần của luận văn tốt nghiệp cử nhân ngành kỹ thuật điện, và tác giả công bố mã nguồn cùng các tệp thiết kế dưới dạng mã nguồn mở với mong muốn chúng sẽ hữu ích cho người khác.

Thiết kế

• Các bộ phận chính của bút stylus được chế tạo bằng in 3D, và bao gồm cảm biến lực, pin lithium-ion sạc qua USB-C, cùng một bo mạch phát triển dựa trên Arduino cho Bluetooth và logic điều khiển.
• Để ước lượng tư thế bằng thị giác, 8 marker ArUco được in và gắn ở mặt sau của bút stylus.

Ước lượng tư thế bằng thị giác (VPE)

• Quy trình VPE diễn ra qua 4 bước chính:
  1. Phát hiện marker: Dùng OpenCV để phát hiện các góc của từng marker ArUco trên bút stylus.
  2. Hiệu chỉnh rolling shutter: Dùng một mô hình chuyển động 2D đơn giản để ước lượng và hiệu chỉnh ảnh hưởng của rolling shutter lên vị trí các góc quan sát được.
  3. Perspective-n-Point (PnP): Từ các vị trí góc này, dùng thuật toán PnP để ước lượng tư thế của bút stylus so với camera.
  4. Biến đổi tọa độ: Sử dụng tư thế đã được hiệu chuẩn của bút stylus đối với camera và bề mặt vẽ để tính toán vị trí và hướng của đầu bút so với bề mặt vẽ.

Hợp nhất quán tính

• Sử dụng bộ lọc Kalman mở rộng (EKF) để hợp nhất các ước lượng VPE với dữ liệu quán tính từ gia tốc kế và con quay hồi chuyển, đồng thời dùng thuật toán Rauch-Tung-Striebel (RTS) để tinh chỉnh các ước lượng theo thời gian thực.
• Sử dụng thuật toán cập nhật đo lường thời gian âm để tính đến độ trễ thời gian của các khung hình camera.
• EKF được triển khai bằng NumPy và Numba; nhờ sử dụng các phép đo quán tính, độ trễ được giảm đáng kể so với khi chỉ dùng camera, đồng thời cải thiện độ chính xác và tần suất báo cáo đối với các chuyển động nhanh.

Ý kiến của GN⁺

• D-POINT cho thấy những khả năng mới của bút stylus số thông qua công nghệ tiên tiến và thiết kế sáng tạo.
• Được cung cấp dưới dạng mã nguồn mở, dự án mang lại cơ hội để những người quan tâm đến công nghệ tự do sử dụng và cải tiến.
• Công nghệ này tương thích với webcam tiêu dùng và có thể dùng trên mọi bề mặt phẳng, nên có thể đóng vai trò quan trọng trong việc nâng cao trải nghiệm người dùng.

[GN⁺]

Ý kiến Hacker News

• Sự thán phục dành cho dự án

  "Đây thực sự là một dự án tuyệt vời. Nó đã biến điều tôi chỉ từng tưởng tượng thành hiện thực. Khi chơi 'Elite: Dangerous', tôi dùng HOTAS (tay ga và cần lái điều khiển bằng tay) cùng với bàn đạp, và tôi nghĩ hẳn phải có cách điều khiển phi thuyền tốt hơn. Điều tôi muốn là có thể di chuyển một mô hình phi thuyền cầm trên tay để phi thuyền trong game cũng chuyển động theo cách tương tự. Dự án này có vẻ như có thể làm được điều đó. Lực đẩy có lẽ cũng có thể được điều khiển theo cách tương tự bằng tay còn lại. Những mô hình đầu vào mới mẻ hoặc kỳ lạ như thế này thật sự đáng kinh ngạc, và với khả năng như vậy, trí tưởng tượng có thể được bung ra hết mức."

• Giá trị học thuật của dự án

  "Dự án này là một phần của luận văn tốt nghiệp cử nhân ngành kỹ thuật điện. Là sinh viên đại học đấy! Nếu dự án này mà không được điểm cao nhất thì công lý không còn tồn tại nữa."

• Suy ngẫm thú vị về tương lai của webcam

  "Việc sử dụng webcam rất thú vị. Tôi tự hỏi liệu rồi sẽ có một tương lai mà webcam hiện tại với FOV đơn khoảng ~78° bị thay thế bởi webcam mắt cá kép (stereo) hay không. Những webcam như vậy sẽ cho phép các tương tác UX mới (bao gồm cử chỉ theo dõi chuyển động mắt), các tương tác ngoại vi mới (như stylus này, vô lăng cho game đua xe, v.v.), và quay 3D 180° để họp qua webcam linh hoạt hơn nhiều, bao gồm cả cảm giác hiện diện trong VR. Ý tưởng dùng toàn bộ không gian 3D phía trước màn hình máy tính như một phương thức nhập liệu đang đến gần, và cách dùng webcam này có cảm giác như là một bước tiến theo hướng đó."

• Nhận xét về kỹ thuật bù rolling shutter

  "Bù rolling shutter khá ngầu, và tôi tò mò không biết họ đã biết ngay từ đầu rằng đây sẽ là một vấn đề, hay chỉ nhận ra sau khi xây dựng xong hệ thống."

• Cách tiếp cận sáng tạo với thiết bị nhập liệu

  "Điều đặc biệt gây ấn tượng là công nghệ kết hợp. Khi khám phá 'bàn phím laptop... hình dạng bàn tay, stylus 3D, cảm ứng', tôi đã nảy ra vài suy nghĩ. Nếu thêm nút bấm thì nó có thể trở thành chuột 3D, nhưng phạm vi bao phủ của camera có thể là vấn đề. Phần thân laptop phần lớn là rỗng (ngay cả pin cũng có thể làm mỏng), nên hoàn toàn có thể vừa cầm stylus gắn marker vừa gõ phím. Đầu bút lớn có thể lướt mượt trên bàn phím ThinkPad, đồng thời tạo không gian cho các cảm biến lực thưa hơn và thêm marker ở đầu bút. Cáp ribbon silicon mỏng có thể rất linh hoạt, và tôi có thể chỉ cần nối stylus vào Arduino. Tôi cũng tò mò cảm biến quán tính sẽ nhận biết một thứ như metal clicker theo cách nào."

• Sự hào hứng với bộ điều khiển 6DOF và lời khen cho khía cạnh phần mềm của dự án

  "Tôi cực kỳ hứng thú với 6DOF! Phần cứng và công việc pose bằng computer vision rất tuyệt, nhưng việc vẽ một bề mặt phần mềm có thể xoay còn gần như ấn tượng hơn nữa. Nó có thể được dùng cùng một dạng điều khiển giao diện người dùng vật lý nào đó, và cũng có thể thành thứ như thanh trượt ngón tay để tạo hiệu ứng tương tự. Có vẻ đây là một dự án rất tốt để rèn kỹ năng giải quyết vấn đề. Làm rất tốt, bravo!"

• Sự thán phục dành cho dự án và ví dụ thực tế về việc dùng Kalman filter

  "Dự án rất ngầu. Tài liệu hỗ trợ hữu ích. Đây là một ví dụ thực tế rất tốt về việc sử dụng Kalman filter!"

• Sự thán phục dành cho dự án và mong muốn tự tay xây dựng

  "Một dự án thật sự ấn tượng! Tôi rất thích nó, chắc chắn muốn tự làm thử một lần."

• Khả năng ứng dụng trong robot/VR và các câu hỏi kỹ thuật

  "Thật sự rất ngầu! Nó cũng có thể hữu ích cho robot/VR. Còn việc theo dõi một tay bằng webcam thì sao? Câu hỏi: có thể dùng gyro + accelerometer để theo dõi áp lực không? Ít nhất là 'tap'? Một câu hỏi khác: chi phí là bao nhiêu? Đặc biệt là chi phí của cảm biến áp lực?"

• Sự tò mò về theo dõi ngoài bằng camera và chút tiếc nuối về công nghệ này

  "Theo dõi ngoài bằng camera là một ý tưởng hay mà tôi chưa từng nghĩ tới. Thật đáng tiếc vì chưa có công trình nào làm tốt việc tái tạo công nghệ lighthouse mà Valve/HTC sử dụng với chi phí thấp."