Новости Крыма | КрымPRESS: последние новости и главные события
Студент Таврического колледжа, лаборант лаборатории цифрового творчества «ФабЛаб» Крымского федерального университета Денис Щербаков разработал систему для распознавания жестового языка. Проект включает в себя три системы распознавания жестов, одна из которых построена на основе нейросети.
Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить её всему тому, что нужно, – цитирует пресс-служба вуза Дениса Щербакова.
Студент использовал датасет – базу данных, на основе которой обучается нейросеть. С её помощью он научил нейросеть распознаванию дактильной азбуки – побуквенного языка жестов.
Для разработки использовалась система, состоящая в сравнении координат – костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путём математики и алгоритмов был создан датасет, при помощи которого можно идентифицировать жест.
Посредством камеры программа распознаёт жесты и выводит буквы на экран. Как отмечает студент, одним из самых сложных в процессе разработки было создание датасета.
Особенность заключается в том, что чем больше датасет, тем лучше можно обучить нейросеть, и тем лучше будет система. В датасете, на основе которого разрабатывалась наша система, на каждую букву приходится от ста до двухсот примеров жестов от разных людей, с разных камер и ракурсов. Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть, – отмечает Денис Щербаков.
На данный момент система способна распознавать более тридцати знаков.
Помимо разработки системы распознавания жестов, Денис увлекается программированием, моделированием и кинематографом, а также имеет опыт работы с робототехникой и 3D-печатью.
источник: пресс-служба КФУ
Срочные сообщения – в Telegram-канале. Подпишись! С тегами: образование в КрымуБольше по теме:
