Для автора разработки русский жестовый язык (РЖЯ) — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ. Сейчас выпускник НГТУ НЭТИ Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода РЖЯ, сообщили в пресс-службе университета.

— Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики, — утверждает Алексей Приходько.

Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

Отмечается, что в настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ.

— Я бы смог доработать прототип до конечного продукта за 1—2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ), — рассказал Алексей Приходько.

Фото предоставлено пресс-службой НГТУ НЭТИ