Сибирские учёные добились высокой точности в распознавании русского жестового языка
Аналогов системе в мире ещё нет — с помощью камер и нейронных сетей она распознает жесты и переводит их в текст или голос. Точность распознавания составила 90%.
Программа обучена распознавать 1006 жестов. Модель умеет выделять компоненты жеста, то, как повернута ладонь, а также характер движения ладони. По словам профессора кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаила Грифа, прямо сейчас ведется работа над программой распознавания букв из дактильного алфавита. Точность распознавания дактиля на текущий момент составляет 92%. Также ведется работа над выделением межжестового движения — эпентезы. В потоке точность выделения жестов чуть меньше и составляет 85—90%.
Это скорее экспериментальная работа с размеченными данными — в качестве обучающей выборки для нейросети было выбрано 350 записанных на видео предложений, в которых были выделены жесты и промежуточные движения. Благодаря такой разметке нейросеть способна определять начало и конец жеста.
Сейчас ученые Новосибирского государственного технического университета сосредоточены на внедрении работы компьютерного переводчика для удобства русскоговорящих глухих людей. В будущем планируется перевести систему на ряд других языков.