Жестомимический интерфейс взаимодействия с компьютером

CLAIM – научно-образовательный кластер

Жестомимический интерфейс взаимодействия с компьютером

В настоящее время динамично развиваются информационные технологии, направленные на повышение интерактивности взаимодействия человека с виртуальной средой (3D-визуализация, естественно-языковые интерфейсы, голосовое общение и т.д.). Одним из наиболее перспективных направлений в этой области является разработка жестомимического интерфейса, с помощью которого можно управлять существующими устройствами и приложениями в условиях ограничений доступа к традиционным манипуляторам или их недостаточной эффективностью (например, во время вождения автомобиля, занятий спортом, в компьютерных играх и т.д.).

Другим направлением в сближении виртуальной среды коммуникации с естественной является передача эмоциональной составляющей разговора, которая может быть выражена жестом, мимикой или речью. В связи с этим крайне затребованным может оказаться реализация жестомимического интерфейса для передачи эмоций. Например, для передачи эмоций в системах мгновенного обмена сообщениями (ICQ, Mail Агент и др.), а также в различных сервисах Web 2.0 (социальных сетях, блогах, форумах и т.д.) повсеместно используются текстовые или графические смайлики. При этом их ввод, в большинстве случаев, связан с некоторыми трудностями (необходимостью переключать раскладку клавиатуры, брать в руки мышь и искать нужный смайлик в списке графических изображений и т.д.). Поэтому, несмотря на все многообразие, часто используются только самые простейшие смайлы. Применение же жестомимического интерфейса позволит частично снять эту проблему и предоставит пользователям возможность вставки любого значка движением руки или путем демонстрирования соответствующего выражения лица.

Еще одним фактором, влияющим на актуальность подобных разработок, является потенциальный социальный эффект для особой категории лиц, имеющих ограниченные возможности коммуникации. Создание системы автоматизированного сурдоперевода на базе жестомимического интерфейса можно рассматривать как развитие информационно-коммуникационной инфраструктуры, которая облегчит включение детей с инвалидностью по слуху в школьную систему, повысит их успеваемость и позволит им интегрироваться в профессиональную и социальную сферы. Помимо этого, такая система также может быть использована при обучении сурдопереводчиков и преподавателей, работающих со слабослышащими детьми.

Проект Жестомимический интерфейс взаимодействия с компьютером был представлен на ежегодном конкурсе идей в сфере разработки программного обеспечения и интернет-приложений среди молодежи Dev Generation 2010. По итогам работы экспертного жюри он не сумел попасть в число призеров, однако актуальность и перспективность выбранного направления подчеркиваются тем, что второе место в конкурсе завоевал проект Биометрический метод аутентификации пользователя по системе жестов.