Программист НГТУ НЭТИ обучил систему переводить жесты на русский язык

  • 06/09/2019, 12:48
Кроме того, система управляет компьютером без помощи мыши.

Для автора разработки русский жестовый язык (РЖЯ) — родной. Он и его семья — глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании. Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета, одержать победу на хакатоне федерального проекта «Россия — страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ. Сейчас выпускник НГТУ НЭТИ Алексей Приходько — единственный в мире программист и эксперт по разработке системы для перевода РЖЯ, сообщили в пресс-службе университета.

— Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики, — утверждает Алексей Приходько.

Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Именно поэтому сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

Отмечается, что в настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ.

— Я бы смог доработать прототип до конечного продукта за 1—2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ), — рассказал Алексей Приходько.

Фото предоставлено пресс-службой НГТУ НЭТИ

Рубрики : Технологии

Регионы: Регион не задан

Теги : Теги не заданы


0
0
Новости Сибири
Лента новостей
INFOPROTV: РЫНКИ • ЛЮДИ • МНЕНИЯ
Новости компаний

Как Вы считаете, прошедшие выборы были честными и справедливыми?

Просмотреть результаты

Загрузка ... Загрузка ...

Подписка на новости

* обязательные поля


×
×
Октябрь 2021
Пн Вт Ср Чт Пт Сб Вс
« Сен    
 123
45678910
11121314151617
18192021222324
25262728293031
×





Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта
Я согласен (согласна)

×

Эксклюзивный материал

Материалы, отмеченные значком , являются эксклюзивными, то есть подготовлены на основе информации, полученной редакцией InfoPro54.ru. При цитировании, перепечатке ссылка на источник обязательна

×

Участие в конференции бесплатно






Формат участия:

Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×
Наверх в Новости Новосибирска