Жестомимический интерфейс взаимодействия с компьютером

CLAIM – научно-образовательный кластер

Жестомимический интерфейс взаимодействия с компьютером
План действий по реализации проекта

К настоящему времени проект находится на стадии экспериментальных разработок.

Выполнены следующие работы по проекту:

Оценен мировой уровень разработок по данному направлению, исследованы возможности современных технических и программных средств для захвата и распознавания мимики и жестов.
Определены цели и задачи проекта, дано обоснование необходимости разработки.
Разработана общая концепция проекта, определены пути решения поставленных задач.
Разработаны методы и алгоритмы оптического распознавания динамических жестов на основе информации о цвете кожи.
Разработаны методы и соотв. макеты программных продуктов, которые позволяют распознавать 6 базовых эмоций и т.д.

Предстоит выполнение следующих работ:

Разработка методов и алгоритмов захвата и распознавания жестов рук и мимики лица человека посредством оптической фиксации с помощью видеокамеры.
Разработка базы мимических картин.
Разработка алгоритма обучения классификатора мимических картин.
Разработка модулей для подключения функций жестомимического интерфейса к различным приложениям и играм.
Разработка обобщенной лингвистической модели жестового языка. Описание грамматических правил жестового языка.
Разработка алгоритмов перевода жестовой речи в текст на русском языке.
Доработка макетов программных средств до промышленной эксплуатации и их дальнейшее развитие.

Планируемые результаты в ходе выполнения проекта:

1-й год – модуль жестомимического интерфейса для подключения к программам обмена мгновенными сообщениями, который позволит вставлять в текст смайлики с помощью соответствующей мимики и жестов пользователя; составление расширенной базы мимических картин, модуль настройки и обучения классификатора эмоций; Мультимедийный словарь жестового языка.
2-й год – система анализа эмоционального состояния человека, позволяющая оценивать реакцию человека на демонстрируемые образы. Реализация модуля жестомимического интерфейса, созданного на предыдущем этапе, в виде веб-сервиса, позволяющего работать с социальными сетями.
3-й год – система автоматизированного сурдоперевода, позволяющая переводить жестомимическую речь в связный текст на русском языке. Разработка модулей сопряжения с различными программными и техническим средствами.