Главная | Актуально | Студент Крымского федерального университета разработал систему распознавания жестов
Новости Республики

Студент Крымского федерального университета разработал систему распознавания жестов

Студент Таврического колледжа, лаборант лаборатории цифрового творчества «ФабЛаб» Крымского федерального университета Денис Щербаков разработал систему для распознавания жестового языка. Проект включает в себя три системы распознавания жестов, одна из которых построена на основе нейросети.

Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить её всему тому, что нужно, – цитирует пресс-служба вуза Дениса Щербакова.

Студент использовал датасет – базу данных, на основе которой обучается нейросеть. С её помощью он научил нейросеть распознаванию дактильной азбуки – побуквенного языка жестов.

Для разработки использовалась система, состоящая в сравнении координат – костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путём математики и алгоритмов был создан датасет, при помощи которого можно идентифицировать жест.

Узнайте больше:  Инвестсовет Крыма рассмотрел 14 проектов для развития туризма, жилья и медицины

Посредством камеры программа распознаёт жесты и выводит буквы на экран. Как отмечает студент, одним из самых сложных в процессе разработки было создание датасета.

Особенность заключается в том, что чем больше датасет, тем лучше можно обучить нейросеть, и тем лучше будет система. В датасете, на основе которого разрабатывалась наша система, на каждую букву приходится от ста до двухсот примеров жестов от разных людей, с разных камер и ракурсов. Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть, – отмечает Денис Щербаков.

На данный момент система способна распознавать более тридцати знаков.

Помимо разработки системы распознавания жестов, Денис увлекается программированием, моделированием и кинематографом, а также имеет опыт работы с робототехникой и 3D-печатью.

источник: пресс-служба КФУ


Новости Крыма сегодня

ЛЕНТА НОВОСТЕЙ КРЫМА

реклама в крыму