21 февраля были определены победители конкурса на предоставление грантов президента Российской Федерации. Грант в размере 10 млн рублей выиграл инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько, сообщили в пресс-службе университета.

В пресс-службе рассказали, что Алексей Приходько уже создал прототип системы, которая переводит на уровне азбуки глухих. На выделенные средства Алексей планирует обучить систему другим компонентам грамматики русского жестового языка (РЖЯ), чтобы довести программу до готового продукта для широкого использования среди глухих. Среди главных задач наполнение базы жестов РЖЯ, разработка алгоритмического и программного обеспечения распознавания траекторий движения и конфигураций отдельных компонентов жестов глухих, которые будут заданы в форме видеофайлов, и создание мобильной версии программы.

Система ориентирована на глухих граждан России, всех заинтересованных сторон в использовании русского жестового языка, в том числе и зарубежных пользователей. На первом этапе реализации тестирование программы будет проводиться в Институте социальных технологий Новосибирского государственного технического университета НЭТИ. Сроки реализации проекта — с 1 марта 2020 года по 28 февраля 2022 года.

Инженер кафедры автоматизированных систем управления НГТУ НЭТИ Алексей Приходько — единственный в мире глухой программист и эксперт по разработке системы для перевода РЖЯ.

— Я — исполнитель, я же — и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики, — утверждает Алексей Приходько.

Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо встроенной функции переводчика, система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

Фото предоставлено пресс-службой НГТУ НЭТИ