Американские ученые создали устройство в форме перчатки, которое безошибочно преобразует язык жестов в английский текст и позволяет людям, не знающим язык жестов, напрямую общаться с теми, кто его использует, и также самостоятельно изучать язык жестов.
Создана перчатка, которая переводит язык жестов в текст: видео

Биоинженеры из Университета Калифорнии разработали устройство в форме перчатки, которое в режиме реального времени превращает жесты американского «немого» языка в текст, который синхронно появляется на экране смартфона. Описание устройства, названного Wearable-tech, авторы привели в статье, опубликованной в Nature Electronics

Система состоит из пары перчаток с пятью тонкими датчиками из электропроводящих нитей, которые растягиваются при движениях пальцев и фиксируют положение кисти, обозначающее букву, цифру или целую фразу. Положение пальцев преобразуется в электрический сигнал, который через плату размером с монету передается по беспроводной связи на смартфон. Скорость перевода жеста в слово или фразу — примерно раз в секунду.

В американском языке жестов учитывается также мимика. Поэтому в систему перевода инженеры добавили датчики, устанавливаемые на лицо: между бровями и вокруг рта. Датчики фиксируют выражение лица для большей синхронности перевода.

В тестировании устройства участвовало 4 человека, использующие американский язык жестов. Каждый жест добровольцы повторяли 15 раз. В результате система смогла распознать 660 знаков, включая все буквы английского алфавита, арабские цифры от 0 до 9 и некоторые фразы.

Прежние аналогичные системы были либо ограничены в функционале: могли распознавать только буквы алфавита, либо были слишком громоздкими и тяжелыми. Новое устройство изготовлено из долговечных, легких и недорогих полимеров и позволяет напрямую без переводчика общаться с людьми, которые используют язык жестов. Также перчатка будет полезна тем, кто изучает этот способ коммуникации самостоятельно.

Инженеры подали заявку на патент на описанную технологию, однако коммерческая модель потребует расширенного словарного запаса и еще более быстрого перевода.