MouthPad, bàn di chuột dùng trong miệng giúp bệnh nhân liệt sử dụng máy tính

• Với những người khó dùng tay, các thiết bị hỗ trợ bằng giọng nói hiện có không phải lúc nào cũng phù hợp; MouthPad của Augmental biến chuyển động trong miệng thành đầu vào cho smartphone, máy tính và máy tính bảng
• Bàn di chuột cảm biến áp lực chạm vào vòm miệng cùng 2 cảm biến chuyển động liên kết cử chỉ lưỡi và đầu qua Bluetooth để di chuyển con trỏ, cuộn và nhấp chuột
• Người dùng bị chấn thương tủy sống đã sử dụng MouthPad hằng ngày; một sinh viên đại học bị liệt tứ chi dùng thiết bị này trong những tình huống khó dùng giọng nói như học ở thư viện và viết công thức
• Sản phẩm được thiết kế tùy chỉnh bằng mô hình 3D dựa trên bản quét khoang miệng của người dùng; bộ duy trì nha khoa bằng vật liệu nha khoa được in 3D rồi bổ sung linh kiện điện tử
• Augmental đặt mục tiêu nhận phê duyệt của FDA trong vòng 1 năm tới để mở rộng sang điều khiển xe lăn, tay robot và hoàn trả bảo hiểm; công ty cũng đang phát triển phiên bản tiếp theo nhận biết các chuyển động tinh vi hơn của cơ quan phát âm

---

Thiết bị nhập liệu cho người khó sử dụng tay

• Augmental là startup giúp người khuyết tật vận động tương tác tự nhiên hơn với các thiết bị điện toán cá nhân
• Sản phẩm đầu tiên, MouthPad, cho phép người dùng điều khiển máy tính, smartphone và máy tính bảng bằng chuyển động của lưỡi và đầu
• Mục tiêu là giúp cả những người suy giảm chức năng tay nghiêm trọng cũng có thể dùng điện thoại hoặc máy tính bảng thành thạo như người sử dụng tay

Cách biến chuyển động trong miệng thành con trỏ và cú nhấp

• Bàn di chuột cảm biến áp lực của MouthPad được đặt ở vị trí chạm vào vòm miệng
• Bàn di chuột và 2 cảm biến chuyển động chuyển đổi cử chỉ lưỡi và đầu thành tín hiệu nhập liệu thời gian thực qua Bluetooth
  • Trượt lưỡi cho phép cuộn lên, xuống, trái, phải
  • Cử chỉ hút vào cho phép nhấp chuột phải
  • Nhấn vào vòm miệng cho phép nhấp chuột trái
• Người dùng khó điều khiển lưỡi có thể dùng các cử chỉ như cắn nhẹ, nghiến răng hoặc cử chỉ khác
• Người dùng kiểm soát cổ tốt hơn có thể dùng theo dõi đầu để di chuyển con trỏ trên màn hình
• Augmental muốn tạo một giao diện đa phương thức phù hợp với tình trạng cơ thể của từng người dùng

Vì sao chọn lưỡi làm phương tiện nhập liệu

• Việc kiểm soát vị trí của lưỡi liên quan đến một vùng lớn của não
• Lưỡi gồm 8 cơ, và phần lớn sợi cơ là sợi cơ co chậm khó bị mỏi
• Vega cho rằng đặc tính này có thể được tận dụng cho tương tác với máy tính, nên đã thử nghiệm dùng miệng làm phương tiện nhập liệu
• Trong học kỳ cuối tại MIT, anh xác nhận tiềm năng bằng một nguyên mẫu dạng “kẹo mút” gắn nhiều cảm biến

Người dùng thực tế và các trường hợp sử dụng

• Những người bị chấn thương tủy sống đang dùng MouthPad hằng ngày để tương tác độc lập với thiết bị họ ưa dùng
• Một người dùng bị liệt tứ chi, đang học toán và khoa học máy tính ở đại học, dùng MouthPad để viết công thức và học trong thư viện
  • Trong bối cảnh đó, thiết bị hỗ trợ dựa trên giọng nói không phù hợp
  • Người này cũng có thể dùng thiết bị để ghi chép trên lớp và chơi game với bạn bè
• Nhiều người dùng hiện tại bị chấn thương tủy sống; một số không thể cử động tay, một số không thể cử động đầu
• Game thủ và lập trình viên cũng sử dụng MouthPad
• Những người dùng thường xuyên nhất tương tác với MouthPad tới 9 giờ mỗi ngày

Cách tùy chỉnh sản phẩm và khởi đầu tại MIT

• Augmental tạo mô hình 3D dựa trên bản quét khoang miệng của người dùng, rồi dùng mô hình đó để sinh thiết kế MouthPad
• Nhóm in 3D bộ duy trì bằng vật liệu nha khoa rồi bổ sung linh kiện điện tử
• Vega gặp đồng sáng lập Corten Singer khi đang học tại UC Berkeley, sau đó gia nhập nhóm nghiên cứu Fluid Interfaces của MIT Media Lab
• Tại MIT, anh học các lớp về vi chế tạo, xử lý tín hiệu và điện tử, đồng thời phát triển các thiết bị đeo giúp truy cập thông tin trực tuyến, cải thiện giấc ngủ và điều tiết cảm xúc
• Trong quá trình phát triển ban đầu, công ty tận dụng các nguồn lực của MIT như Venture Mentoring Service, MIT I-Corps program và E14 Fund
• Augmental chính thức ra mắt khi Vega tốt nghiệp MIT vào cuối năm 2019

Cách tiếp cận được chọn thay cho giao diện não-máy

• Vega từng quan tâm đến giao diện não-máy, nhưng sau kỳ thực tập tại Neuralink, anh bắt đầu tìm kiếm một giải pháp khác
• Cấy ghép não có tiềm năng lớn trong việc giúp con người trong tương lai, nhưng có hạn chế là thời gian phát triển dài
• Vega đã gặp nhiều người cần giải pháp ngay lập tức, và tại MIT anh muốn tạo ra một cách tiếp cận vừa có tiềm năng của cấy ghép não vừa tránh được các hạn chế của nó

Phê duyệt FDA và phiên bản tiếp theo

• Augmental đặt mục tiêu nhận phê duyệt của FDA tại Mỹ trong vòng 1 năm tới để hỗ trợ các trường hợp sử dụng như điều khiển xe lăn và tay robot
• Phê duyệt FDA có thể cho phép hoàn trả bảo hiểm, qua đó tăng khả năng tiếp cận sản phẩm
• Công ty đang phát triển phiên bản tiếp theo phản hồi với thì thầm và các chuyển động tinh vi hơn của cơ quan phát âm bên trong
• Tính năng này quan trọng với nhóm khách hàng ban đầu đã mất hoặc bị suy giảm chức năng phổi
• Vega cũng nhìn nhận tích cực về sự phát triển của AI agent và phần cứng liên quan, đồng thời mong Augmental trở thành một giao diện trí tuệ luôn sẵn sàng, bền bỉ và riêng tư

[GN⁺]

Ý kiến trên Hacker News

• Tại sao 10–15 năm trước lại chưa có thứ như thế này nhỉ? Công nghệ hỗ trợ có cảm giác như không đủ nhiều người làm hoặc quan tâm cho đến khi nó ảnh hưởng trực tiếp đến chính họ

  • Ở phòng thí nghiệm đại học, chúng tôi đang làm một thiết bị điều khiển âm nhạc hỗ trợ cho nhạc sĩ khuyết tật. Theo những gì tôi quan sát trong thời gian ngắn, khá nhiều dự án kiểu này không thực sự chuyển tiếp tốt từ lĩnh vực nghiên cứu thành một doanh nghiệp bền vững
    Đặc điểm thể chất và thần kinh của mỗi người rất đa dạng, nên thiết bị hỗ trợ thường cần được tùy biến, tinh chỉnh và hỗ trợ cho từng người dùng cụ thể; vì vậy giá cũng thường trở nên đắt đỏ
  • Có vẻ có vài lý do. Thứ nhất là khoảng cách công nghệ: người cần công nghệ hỗ trợ có thể không biết cách tự bắt đầu tạo ra nó. Thứ hai là khác biệt về góc nhìn: với một kỹ sư không khuyết tật, nếu không hiểu đúng vấn đề thì khó làm ra thứ phù hợp
    Thứ ba là giao tiếp: người có nhu cầu phải có thể giải thích nhu cầu của mình, mà việc này có thể đòi hỏi sự tự nhận thức và một mức kỹ năng nhất định. Cuối cùng là tiền: có bao nhiêu người có thể bám theo một dự án trong nhiều tháng hoặc nhiều năm dù khả năng cao là không kiếm ra tiền?
  • Gõ bằng chuyển động mắt: https://www.optikey.org/
    Gõ bằng con trỏ gắn đầu: https://www.alimed.com/adjustable-head-pointer.html
    Gõ một tay: có nhiều bố cục bàn phím khác nhau https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
    Cũng có nhận dạng giọng nói, chuyển văn bản thành giọng nói và các tính năng trợ năng của Windows. Sản phẩm thực sự đã được phát triển và ra mắt, nhưng vẫn cần nhiều công sức hơn, và sản phẩm này cũng là một lựa chọn bổ sung đáng hoan nghênh
  • Khoảng 9 năm trước tôi đã thử làm, và cũng công bố giải pháp dưới dạng mã nguồn mở. Khi đó tôi cảm thấy thị trường chưa đủ lớn, nên quyết định mở ra để bất kỳ ai cũng có thể xây dựng dựa trên kết quả nghiên cứu
    http://pallette.io/instructions.html
  • Đúng vậy. Thật đáng tiếc khi thế giới vận hành như thế, nhưng hy vọng MouthPad^ có thể thay đổi mô thức cũ kỹ đó
    Thiết kế phổ quát không chỉ có lợi cho những người ở hoàn cảnh cực đoan mà cho tất cả mọi người, nên ai cũng nên quan tâm. Một ví dụ nhỏ là hãy nhìn vào lịch sử của các lối hạ thấp vỉa hè

• Có vẻ sẽ hữu ích cho bất kỳ ai từng bị chấn thương do sử dụng quá mức khi dùng máy tính. Tôi từng bị viêm gân nặng khiến việc dùng chuột hoặc trackpad rất đau, và nếu có một thiết bị như thế này như một lựa chọn khác thì thật sự rất tốt

  • Tôi thắc mắc tại sao đến giờ vẫn chưa ai bán chuột điều khiển bằng chân. Với người dùng bình thường gõ bằng cả hai tay thì nó cũng khá thực dụng mà

• Vision Pro mới ra mắt gần đây cùng tính năng theo dõi mắt cũng cung cấp một phương thức nhập liệu tương đối ngách nhưng có tính trợ năng cao. Nó đã được dùng trong bối cảnh này rồi

  “I was having trouble getting around that day,” he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. “As I get older, and this happens more often for me,” he said, “I envision myself working virtually with the AVP even more.”
  https://nymag.com/intelligencer/article/apple-vision-pro-dis...

  • Theo dõi mắt cũng sẽ có trên iPhone và iPad. Có thể nó sẽ không hoạt động tốt như phần cứng của Vision Pro, nhưng với những người khó tự đeo và tháo headset, chỉ riêng việc có một lựa chọn cũng đã là điều tốt
    https://9to5mac.com/2024/06/13/turn-on-iphone-eye-tracking-i...

• Tôi muốn dùng nó như tùy chọn điều khiển bổ sung trong game. Có lẽ có thể trở nên thành thạo trong việc ngắm bằng lưỡi. Khoảng cách từ não đến lưỡi ngắn hơn từ não đến tay, vậy thời gian phản ứng có nhanh hơn không? Có khi điều khiển bằng lưỡi sẽ thống trị e-sports ;) Chắc sắp có miếng bảo vệ miệng RGB rồi

  • Có một streamer tên là RockyNoHands. Anh ấy chơi Warzone hoàn toàn bằng miệng
    Bộ điều khiển có các ống để thổi hoặc hút nhằm điều khiển nhân vật. Xem anh ấy chơi trực tiếp một game có tính cạnh tranh cao thật sự rất ấn tượng
    [0] https://en.wikipedia.org/wiki/RockyNoHands
  • Sức bền của lưỡi hay độ linh hoạt của lưỡi ở game thủ trung bình thì ở mức nào nhỉ? Phải luyện tập bao lâu để tăng lên đến mức thực sự hữu ích?
    Có vẻ việc sử dụng thành thạo thứ này sẽ khá khó
  • Ảnh chuột dùng lưỡi trong bài có thể là hình render, nhưng trông đại khái khoảng 16dpi, nên có vẻ phù hợp làm chuột phụ để xoay thế giới. Nếu để nhắm vào các pixel rất nhỏ thì có lẽ tôi sẽ muốn một thiết bị có kiểu điều chỉnh tỷ lệ phóng đại nào đó

• Dù công nghệ hỗ trợ dành cho người khuyết tật là ứng dụng quan trọng hơn của nhập liệu bằng miệng, nhưng nếu có một miếng bảo vệ răng Bluetooth đơn giản dùng cho thể thao hành động, có thể điều khiển phát media như phát, tạm dừng, bài tiếp/trước thì cũng hay

  • Tôi hình dung kiểu như thế này: chạm vòm miệng một lần để phát/tạm dừng, chạm mặt trong răng phía trên bên trái/phải để chuyển bài trước/tiếp, kéo lưỡi dọc theo mặt trong răng để tua vị trí phát, kéo lưỡi tới lui trên vòm miệng để chỉnh âm lượng
    Khá trực quan, và có vẻ chính xác hơn nhiều so với các cử chỉ ngón tay tôi đang dùng hiện nay. Điều tôi lo là cảm giác đeo, nhập nhầm, và ảnh hưởng đến việc nói. Dù vậy cũng có người đeo trang sức răng, nên trông cũng không đến nỗi quá tệ
  • Có thể nêu vài ví dụ cho mục đích sử dụng kiểu này không?

• Giá mà brolylegs còn sống để thấy thứ này :( Anh ấy từng dùng tay cầm thông thường
  Nhân tiện, Microsoft cũng có những thứ khá ổn cho game thủ khuyết tật. Có Adaptive Controller, và họ cũng đã hợp tác với Byowave cùng Proteus Controller sắp ra mắt
  https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
  https://www.byowave.com/product/proteus-controller-early-bir...

• Hơi lạc đề một chút, nhưng tôi không hiểu vì sao lớp bàn phím/chuột lại chưa phổ biến rộng rãi hơn. Từ khi ủng hộ UHK[1] trên Kickstarter vài năm trước, tôi hầu như không dùng chuột nữa
  Mất một chút thời gian để làm quen, nhưng điều khiển chuột bằng bàn phím thực sự tuyệt vời
  [1] Ultimate Hacking Keyboard

• Cũng phải nói rằng cái tên này quá hoàn hảo. MouthPad nghe như một người đang ngậm MouthPad cố nói “mouse pad”. Đẹp thật

• Từ rất lâu trước đây tôi từng đọc về một công nghệ tương tự. Có lẽ là cái này
  https://www.researchgate.net/publication/224648269_Tongue_dr...