Ср. Дек 8th, 2021

Russia-made

Инновации, открытия, высокие технологии, новые производства — всё, что сделано в нашей стране!

Опубликовано: 21 ноября 2021

Ученые обучили нейросеть распознавать русский язык жестов по видеозаписям с помощью алгоритмов ИИ

1 min read


 © d.radikal.ru

Исследователи Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) научили нейросеть распознавать несколько десятков слов русского жестового языка на основе анализа видео. Разработка будет способствовать повышению качества жизни людей с ограниченными возможностями и позволит глухим людям удобно взаимодействовать с различными видами техники.

Сегодня в мире насчитывается несколько сотен миллионов человек, которые страдают проблемами со слухом, и это количество ежегодно увеличивается. Для общения эти люди используют специальный язык жестов, который различается в зависимости от стран и диалектов. Этот фактор усложняет такой большой социальной группе возможность использования цифровых помощников, управляемых голосом, на смартфонах, компьютерах и других системах, которые сейчас активно внедряются в различные сферы жизни.

Однако машинный перевод с жестовых языков сегодня сопряжен с большими сложностями по сравнению с обработкой звучащих языков благодаря дополнительной задаче распознавания динамических жестов. В числе причин, которые сдерживают развитие этого направления, такие проблемы компьютерного зрения, как различия в фоновом освещении, необходимость привлечения больших вычислительных ресурсов, недостаточный объем наборов данных.

«Мы разработали систему, которая способна с помощью нейросети распознавать более 50 жестов русского жестового языка. Эта работа направлена на то, чтобы люди с нарушением или потерей слуха могли наладить взаимодействие с компьютерами, цифровыми помощниками наравне со всеми остальными пользователями», — рассказывает Дмитрий Рюмин, старший научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН — входит в СПб ФИЦ РАН).

Нейросеть для обучения использует жесты глухих людей, которые фиксировались на видеозаписи. На основе этих данных создавались трехмерные модели, на которых система с помощью алгоритмов глубокого машинного обучения училась распознавать определенные жесты. В качестве респондентов в исследовании участвовали студенты и преподаватели Межрегионального центра реабилитации лиц с проблемами слуха города Павловска. Всего в учреждении для исследования было отснято более 3 тыс. видеозаписей.

«Мы испытали нейросеть в лабораторных условиях. Для этого был создан прототип специальной роботизированной тележки для супермаркетов, на которой разместились камера и портативный компьютер с программным обеспечением для распознавания жестов. Глухой человек на языке жестов объяснял, зачем он пришел в магазин, а тележка вела его к месту, где лежит нужный покупателю товар. На выборке жестов, которую мы использовали для обучения, точность распознавания составила более 90%», — поясняет Дмитрий Рюмин.

©Видео с / https://www.youtube.com/embed/dWbrV7eVqn4

Проект реализован в 2018-2020 гг. в ходе Федеральной целевой программы совместно с учеными из Чехии. Сейчас ученые СПб ФИЦ РАН выиграли грант Российского научного фонда для продолжения исследований по данной тематике. В течение 2021-2023 года планируется значительно увеличить объем данных для повышения точности распознавания русского жестового языка.

Разместила Ирина Усик

Источник информации, фото и видео: пресс-служба СПб ФИЦ РАН

https://spcras.ru/

Ранее на сайте была статья Ученые НГТУ НЭТИ впервые добились от программы 90% распознаваемости русского жестового языка

Пост сделан с содействием блогера Лес!

https://sdelanounas.ru/blogs/144488/

Добавить комментарий

Войти с помощью: 

Реклама

Top.Mail.Ru
Copyright © All rights reserved | Russia-made.ru
Копирование и переработка любых материалов этого сайта для их публичного использования (размещение на других сайтах, размещение в электронных СМИ, публикации в печатных изданиях и прочее) разрешается исключительно при указании первоисточника материала и наличии в теле копируемого (перерабатываемого) текста активной ссылки на сайт Russia-made.ru. Ссылка должна быть открыта для индексации поисковыми системами.
Adblock
detector