Выпускница вуза Новосибирска разработала комплекс для обучения незрячих

  • 18/11/2024, 09:53

На реализацию проекта ушло шесть лет

Магистрант Сибирского государственного университета геосистем и технологий по направлению «Информационные системы и технологии» Маргарита Фролова разработала «Программно-аппаратный комплекс визуализации тактильных исследований человека для людей с ОВЗ по зрению». Вместе с командой, она работала над проектом шесть лет.

— Этот проект сопровождал меня всю студенческую жизнь, — рассказывает она. — Еще на первом курсе в наш вуз пришел запрос на техническую разработку, удешевляющую себестоимость тактильных карт для обучения незрячих. Первое время мы просто изготавливали карты на станках из фанеры. А после того, как вышел указ президента о развитии ИИ, мы придумали, как это возможно применить в нашей разработке.

Вместе с Маргаритой, над проектом работали Руслан Гришин и Даниил Мамаев. Курировал молодых ученых Артем Шарапов.

Для обеспечения полноты информации, получаемой незрячим или слабовидящим человеком, рядом с ним непрерывно должен находиться педагог или специализированный работник, объясняет Маргарита. Педагог должен внимательно следить, какие фрагменты ассистивных обучаемых материалов и в какой мере исследовал ученик. Это очень трудоемкий процесс, требующий постоянной концентрации внимания.

— И здесь большую роль играет самый обычный человеческий фактор, — продолжает Маргарита. — Педагог может на что-то отвлечься, да просто моргнуть. И определенный фрагмент выпадет из визуализации. В этом процессе человеку просто необходим помощник — машина, которая держит фокус внимания на постоянной основе.

И молодые ученые придумали такого помощника. Они изготовили длинный штатив, на который зафиксировали камеру, подключенную к компьютеру. За счет этого идет программный скрин, непрерывная трансляция, фиксирующий каждое действие обучающегося на тактильных картах. А педагогу остается только наблюдать за процессом.

программный комплекс

— Для реализации трекинга рук веб-камера располагается над поверхностью с ассистивными средствами и руками обучающегося, — объясняет разработчик. — После начинается транслироваться непрерывный видеопоток. Для анализа каждого изображения видеопотока применяется специализированная библиотека OpenCV (это библиотека для работы с алгоритмами компьютерного зрения), а именно надстройка над библиотекой CVZone.HandTrackingModule. Данная надстройка позволяет на каждом кадре определить наличие ладони при помощи обнаружения центра тыльной или внутренней частей. Если ладонь была обнаружена, радиус поиска увеличивается от центра на определенный коэффициент и определяется 21 опорная точка на всей поверхности ладони.

Социальный проект Маргариты Фроловой вошел в бизнес-инкубатор Академпарка. Уже сейчас есть запросы на социальную разработку новосибирских ученых. Интерес к комплексу проявил ООО «Медицинский интегратор», с компанией ведутся переговоры о его последующей реализации.

Ранее редакция сообщала о том, что соискателей с ограничениями здоровья охотнее берут на работу в Новосибирске

Фото freepik, автор: freepik


Erid:F7NfYUJCUneP4zKZAoi9ЖК

ЖК "Новые Матрешки"

Пл.Маркса
25 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест".

Erid:F7NfYUJCUneP4zKZAoiBЖК «Матрешкин двор»

ЖК «Матрешкин двор»

Студенческая
30 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест".

Erid:F7NfYUJCUneP4zKZAoiDЖК «Grando»

ЖК «Grando»

Березовая роща
5 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест".

Erid:F7NfYUJCUneP4zKZAondЖК «Luna»

ЖК «Luna»

Заельцовская
9 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест"

Erid:F7NfYUJCUneP4zKZAonZЖК «GORIZONT»

ЖК «GORIZONT»

Золотая Нива
12 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест"

Erid:F7NfYUJCUneP4zKZAUv3ЖК Сподвижники

ЖК Сподвижники

Пл.Маркса
20 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест"
Сергей Никулин: Ключевым трендом новосибирского рынка кредитования является охлаждение спроса

Сергей Никулин: Ключевым трендом новосибирского рынка кредитования является охлаждение спроса

Однако, если сравнивать с 2022 годом, ситуация не настолько критична, как кажется

Подпишитесь на новости
Подпишитесь на рассылку самых актуальных новостей.
 
×
Поиск по автору:
×
Декабрь 2024
Пн Вт Ср Чт Пт Сб Вс
« Ноя    
 1
2345678
9101112131415
16171819202122
23242526272829
3031  
×





Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта
Я согласен (согласна)

×

Эксклюзивный материал

Материалы, отмеченные значком , являются эксклюзивными, то есть подготовлены на основе информации, полученной редакцией InfoPro54.ru. При цитировании, перепечатке ссылка на источник обязательна

×

Участие в конференции бесплатно






Формат участия:

Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×

Участие в конференции бесплатно






Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×
Наверх в Новости Новосибирска