Project Sistine - Biến MacBook thành màn hình cảm ứng bằng phần cứng 1 đô la

• Một dự án nguyên mẫu biến MacBook hoạt động như màn hình cảm ứng chỉ với linh kiện giá 1 đô la và công nghệ computer vision
• Gắn một chiếc gương nhỏ trước webcam tích hợp để nhận diện màn hình theo góc nghiêng, rồi phát hiện thao tác chạm thông qua giao điểm giữa ngón tay và ảnh phản chiếu của nó
• Tính toán điểm chạm·hover bằng lọc màu da và phân tích đường viền, sau đó ánh xạ sang tọa độ màn hình bằng hiệu chỉnh homography
• Dữ liệu đầu vào được phát hiện sẽ chuyển thành sự kiện chuột, nên có thể thao tác cảm ứng ngay trong các ứng dụng hiện có
• Hoạt động cả với camera 480p, và có thể mở rộng phạm vi nhận diện bằng camera độ phân giải cao hơn hoặc gương cong, là một ví dụ triển khai màn hình cảm ứng chi phí thấp

---

Tổng quan về Project Sistine

• Sử dụng phần cứng chỉ 1 đô la và các kỹ thuật computer vision đơn giản để biến MacBook thành màn hình cảm ứng
  • Nguyên mẫu proof-of-concept được 4 người thực hiện trong khoảng 16 giờ
  • Tên gọi được lấy cảm hứng từ việc tái hiện bức tranh ‘Sự sáng tạo của Adam’ ở Nhà nguyện Sistine

Nguyên lý cơ bản

• Khai thác hiện tượng khi nhìn màn hình theo góc nghiêng, ngón tay và ảnh phản chiếu của nó cùng xuất hiện do phản xạ ánh sáng
  • Phát hiện khoảnh khắc ngón tay chạm vào ảnh phản chiếu để xác định có chạm hay không
• Ý tưởng được lấy từ dự án ShinyTouch do Kevin thực hiện trước đó
  • Thay thế cách dùng webcam ngoài bằng webcam tích hợp của MacBook và một chiếc gương nhỏ
  • Đặt một chiếc gương nhỏ trước camera tích hợp để có được góc nhìn bao quát toàn bộ màn hình theo hướng chéo từ trên xuống
  • Nhận diện chuyển động của ngón tay trong video từ camera và chuyển thành sự kiện chạm

Cấu hình phần cứng

• Vật liệu cần thiết chỉ gồm các linh kiện đơn giản như gương nhỏ, đĩa giấy, bản lề cửa, súng bắn keo
  • Cố định gương ở góc phù hợp để camera có thể nhìn thấy toàn bộ màn hình
  • Có thể lắp ráp trong vài phút chỉ với dao và súng bắn keo

Thuật toán phát hiện ngón tay

• Tìm ngón tay và ảnh phản chiếu của nó trong video đầu vào để tính toán điểm chạm/hover

  • Lọc màu da và nhị phân hóa → phát hiện đường viền → chọn hai đường viền chính

    • Hai đường viền phải chồng lấp nhau theo phương ngang, và đường viền nhỏ hơn phải nằm ở phía trên
    • Lấy trung điểm của đoạn nối phần trên và phần dưới của hai đường viền làm điểm chạm/hover
    • Phân biệt chạm và hover bằng khoảng cách theo phương dọc giữa hai đường viền
    • Trong video kết quả, ngón tay và đường phản chiếu được hiển thị bằng màu xanh lá, hộp biên bằng màu đỏ, còn điểm chạm bằng màu tím hồng

Ánh xạ và hiệu chỉnh

• Tính homography để chuyển đổi tọa độ webcam sang tọa độ màn hình
  • Người dùng thực hiện calibration bằng cách chạm vào các vị trí cụ thể trên màn hình
  • Dựa trên các cặp tọa độ thu thập được, ước lượng ma trận chiếu bằng thuật toán RANSAC
  • Sau khi hiệu chỉnh, ma trận chiếu được trực quan hóa bằng đường màu đỏ trên màn hình, còn điểm chạm ước lượng được hiển thị bằng chấm màu xanh dương

Ứng dụng

• Nguyên mẫu chuyển đổi hover và chạm thành sự kiện chuột, giúp các ứng dụng hiện có có thể hỗ trợ thao tác cảm ứng ngay lập tức
  • Khi tự phát triển ứng dụng riêng, cũng có thể trực tiếp tận dụng dữ liệu chạm chi tiết như độ cao hover

Kết luận và khả năng cải tiến

• Project Sistine là một thử nghiệm biến laptop thành màn hình cảm ứng bằng phần cứng 1 đô la
  • Hoạt động được cả với camera tích hợp 480p; nếu dùng camera độ phân giải cao hơn hoặc gương cong thì có thể nhận diện toàn màn hình
  • Có tiềm năng phát triển thành một hệ thống màn hình cảm ứng thực dụng với chi phí thấp

Mã nguồn

• Nguyên mẫu Sistine được công bố dưới dạng mã nguồn mở giấy phép MIT
  • Kho GitHub: bijection/sistine

[GN⁺]

Ý kiến trên Hacker News

• Steve Jobs từng nói vào năm 2010 rằng màn hình cảm ứng dựng đứng chỉ hợp để demo cho đẹp mắt, còn khi dùng thực tế thì tay sẽ nhanh mỏi, xét về công thái học là rất tệ
  Đây là nội dung được trích trong bài viết của Business Insider

  • Năm 2007, ông còn nói rằng “stylus là thứ không ai muốn”, nhấn mạnh rằng ngón tay mới là thiết bị trỏ tốt nhất. Trớ trêu là 8 năm sau Apple Pencil lại xuất hiện
  • Thực ra nghiên cứu UX về ‘gorilla arm’ đã có từ lâu hơn nhiều. Microsoft Surface từng thành công trong một thị trường ngách và tạo ra nhiều bản sao, còn ngày nay nếu đặt màn hình nằm phẳng hoặc ở góc thấp thì cảm ứng hoạt động khá ổn
    Những chiếc điện thoại Android giá rẻ dùng stylus ngày xưa hay các bản sao Palm Pilot thực sự rất tệ, nhưng với giới nghệ sĩ thì stylus có cảm biến lực nhấn vẫn là công cụ hữu ích
    (Tham khảo thêm: thuật ngữ ‘gorilla arm’ bắt nguồn từ Jargon File trong thập niên 1980)
  • Đây chỉ là sự phản đối việc dùng cảm ứng làm giao diện chính. Trên thực tế, có nhiều lúc chạm trực tiếp lên màn hình để bấm một nút còn nhanh hơn dùng chuột rất nhiều. Là một lựa chọn thì cảm ứng rất tuyệt
  • Tôi đang phát triển một ứng dụng CAD dựa trên cảm ứng + stylus ở công ty, và ngay cả khi không có phím tắt bàn phím thì vẫn làm việc khá tự nhiên
    Tôi dùng thiết bị ở trạng thái đặt phẳng hoặc xoay qua lại, đồng thời cũng dùng Kindle Scribe và Galaxy Note 10+.
    Tôi muốn thử Apple Sidecar, nhưng vẫn đang ngần ngại vì phải mua thêm một cây stylus nữa. Hy vọng một ngày nào đó Apple sẽ tung ra thiết bị kế nhiệm Newton
  • Tôi tò mò không biết phản ứng của mọi người sẽ ra sao nếu năm nay Apple ra mắt MacBook màn hình cảm ứng

• Dù có được cho miễn phí, tôi cũng không muốn MacBook Pro màn hình cảm ứng. Tôi đã tối ưu quy trình bằng phím tắt bàn phím rồi, nên chẳng có lý do gì phải đi chạm vào màn hình
  Với công việc, bàn phím và trackpad hiệu quả hơn cảm ứng rất nhiều

  • Điểm mấu chốt không phải là “MacBook cảm ứng là thứ cần thiết”, mà là thành tựu kỹ thuật mô phỏng cảm ứng bằng phản xạ trên mặt kính này khá thú vị
  • Các reviewer hay chê MacBook không có cảm ứng, nhưng trên thực tế đa số thời gian nó được dùng ở trạng thái dock nên cảm ứng chẳng có ích gì.
    Màn hình chính thì không có cảm ứng, còn màn hình laptop chỉ để phụ trợ nên không có lý do gì để với tay lên. Vì thế tôi nghĩ Touch Bar cũng đã thất bại
  • Cảm ứng trên một chiếc laptop không gập được tạo cảm giác như vẽ bằng ngón tay trên một quả bóng bay, rất gượng gạo
  • Tôi cũng nghĩ vậy, nhưng một khi đã quen với thói quen chạm thì trong vài ngày sau bạn sẽ vô thức chạm vào màn hình MacBook. Có một kiểu kỳ vọng vô thức tồn tại
  • Sau khi dùng iPad lâu rồi chuyển sang MacBook, tôi cũng hay vô thức định chạm vào màn hình. Chắc không chỉ mình tôi như vậy

• Dự án này làm tôi nhớ đến thí nghiệm Wii-mote của Johnny Lee ngày xưa
  johnnylee.net/projects/wii/

• Chiếc laptop công ty tôi từng dùng trước đây có màn hình cảm ứng, và bất ngờ là mỗi tuần một hai lần nó cũng hữu ích
  Khi ngồi trên tàu và không muốn khuỷu tay va vào người bên cạnh, chạm trực tiếp lên màn hình lại tiện hơn, và khi cuộn thì dùng ngón tay cũng tự nhiên hơn
  Nó không phải thiết bị nhập liệu chính, nhưng là một tùy chọn nhập liệu phụ trợ thì khá ổn

• Cụm từ “lọc màu da” khiến tôi thắc mắc. Cụ thể là lấy màu da nào làm chuẩn, và đặc biệt với da tối màu thì nó hoạt động tốt đến mức nào, tôi muốn xem dữ liệu

• Trên laptop, màn hình cảm ứng không mang lại trải nghiệm thoải mái. Cá nhân tôi thấy không có còn tốt hơn

  • Nhưng khi cuộn thì cảm ứng lại là một trải nghiệm UX khá tự nhiên. Nếu gắn Magic Keyboard vào iPad, sự kết hợp giữa trackpad để điều khiển chính xác và ngón tay để di chuyển các thành phần lớn thực sự rất hay
  • Dù sao nếu không thích dùng thì cứ đừng dùng

• Đây thực sự là một ứng dụng computer vision rất tuyệt. Tôi cũng cảm ơn vì họ đã công khai mã nguồn

• Chỉ là một nguyên mẫu đơn giản nhưng vẫn rất thú vị. Tôi tò mò liệu khả năng nhận diện có thay đổi theo điều kiện ánh sáng hay không — ngoài trời hoặc ngược sáng thì có hoạt động tốt không?

• Tôi nghĩ dùng background subtraction thay vì “lọc màu da” có lẽ sẽ ổn định hơn. Màu da thay đổi quá nhiều theo ánh sáng

• Tôi cứ tưởng tượng cảnh đặt camera giữa màn hình rồi gập MacBook lại và màn hình có thể bị nứt.
  Tôi thích Mac, nhưng phần cứng của nó quá mong manh nên thấy bất an. Lại còn là laptop công ty nên càng phải cẩn thận hơn