Инженер НГТУ НЭТИ получил 10 млн рублей на создание компьютерного переводчика жестового языка

  • 26/02/2020, 18:32
Искусственный интеллект переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.

21 февраля были определены победители конкурса на предоставление грантов президента Российской Федерации. Грант в размере 10 млн рублей выиграл инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько, сообщили в пресс-службе университета.

В пресс-службе рассказали, что Алексей Приходько уже создал прототип системы, которая переводит на уровне азбуки глухих. На выделенные средства Алексей планирует обучить систему другим компонентам грамматики русского жестового языка (РЖЯ), чтобы довести программу до готового продукта для широкого использования среди глухих. Среди главных задач наполнение базы жестов РЖЯ, разработка алгоритмического и программного обеспечения распознавания траекторий движения и конфигураций отдельных компонентов жестов глухих, которые будут заданы в форме видеофайлов, и создание мобильной версии программы.

Система ориентирована на глухих граждан России, всех заинтересованных сторон в использовании русского жестового языка, в том числе и зарубежных пользователей. На первом этапе реализации тестирование программы будет проводиться в Институте социальных технологий Новосибирского государственного технического университета НЭТИ. Сроки реализации проекта — с 1 марта 2020 года по 28 февраля 2022 года.

Инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько — единственный в мире глухой программист и эксперт по разработке системы для перевода РЖЯ.

— Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики, — утверждает Алексей Приходько.

Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо встроенной функции переводчика, система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

Фото предоставлено пресс-службой НГТУ НЭТИ

Рубрики : Технологии

Регионы: Регион не задан

Теги : Теги не заданы


0
0
Новости Сибири
Лента новостей
INFOPROTV: РЫНКИ • ЛЮДИ • МНЕНИЯ
Новости компаний

Как Вы считаете, прошедшие выборы были честными и справедливыми?

Просмотреть результаты

Загрузка ... Загрузка ...

Подписка на новости

* обязательные поля


×
×
Октябрь 2021
Пн Вт Ср Чт Пт Сб Вс
« Сен    
 123
45678910
11121314151617
18192021222324
25262728293031
×





Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта
Я согласен (согласна)

×

Эксклюзивный материал

Материалы, отмеченные значком , являются эксклюзивными, то есть подготовлены на основе информации, полученной редакцией InfoPro54.ru. При цитировании, перепечатке ссылка на источник обязательна

×

Участие в конференции бесплатно






Формат участия:

Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×

Участие в конференции бесплатно







Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×
Наверх в Новости Новосибирска