Жестомимический интерфейс взаимодействия с компьютером

CLAIM – научно-образовательный кластер

Жестомимический интерфейс взаимодействия с компьютером
Ожидаемые результаты

Ожидаемым результатом данного проекта является программный комплекс (движок и набор сервисов) для реализации жестомимического интерфейса, построенный на анализе фотографических данных и видеосигналов с камер компьютеров и мобильных устройств. Область применения практических реализаций отдельных сервисов может быть довольно широкой, среди которых можно выделить следующие:

Жестомимические сервисы передачи эмоций
в системах веб-коммуникации и видеоконференций

Современные системы обмена мгновенными сообщениями, как правило, имеют возможность получения видеоинформации со встроенных или подключаемых камер, однако во многих случаях пользователи предпочитают не включать видеотрансляцию, поскольку экономят траффик, или их сеть не имеет достаточной пропускной способности, или они просто не хотят смотреть на собеседника, а в некоторых случаях для организации эффективного взаимодействия необходимо вообще исключить восприятие личности собеседника (он может показаться неприятным или иметь действительные видимые дефекты внешности). В этих случаях пользователю можно предложить визуализацию эмоций собеседника в виде виртуальной головы или статической картинки-смайлика, динамическое изменение которых будет обеспечиваться получаемыми от собеседника паттернами, коротко описывающими соответствующий жест или выражение лица. Прием-передачу эмоций можно реализовать через специализированный интерфейс, который будет активизироваться горячей клавишей (такой подход часто используют в системах многоточечной конференцсвязи и вебинарах). Учитывая возможность предварительной настройки и обучения жестомимического классификатора, небольшое количество передаваемых сигналов (по сравнению с жестовым языком глухонемых), применение современных алгоритмов сжатия информации, передаваемой по сети, эта задача может быть реализована с минимальным уровнем загруженности сети и компьютеров пользователей. Дополнительно подобные функции могут быть использованы при написании текстов в блогах, форумах и т.д., а также при передачи сообщений через мобильный телефон (современные модели снабжены соответствующими камерами).

В настоящее время психологи широко применяют в своей практике видеоконференции (например, Skype), поскольку у их клиентов очень мало времени, чтобы совершить личный визит, но высокий уровень стрессов заставляет людей обращаться к услугам психологов. Часто клиент не желает показывать психологу свое лицо, но специалист нуждается в оценке невербального канала коммуникации клиента. В этом случае инструментом психолога станет объективизация эмоций клиента, когда в режиме реального времени психолог будет получать набор сменяющих друг друга мимических описаний.

Жестомимический интерфейс в компьютерных играх

Игровая индустрия вот уже несколько лет является одной из самых динамично развивающихся отраслей. По мнению Дмитрия Архипова из 'Акеллы', оборот внутреннего легального рынка достигает $100 млн. ежегодно. Последние четыре года объем российского игрового компьютерного рынка стабильно увеличивается – по разным оценкам, примерно на 20-25% в год (http://www.openbusiness.ru/html/dop/kompgames.htm). Применение нового подхода в организации интерфейса управления в играх позволит расширить интерактивные возможности и освоить новый сегмент рынка.

Жестомимический интерфейс для реализации систем управления

В настоящее время идет тенденция к повышению функциональности и применению высоких технологий в повседневной жизни. Развивающаяся концепция «умного дома» была создана для того, чтобы сделать жизнь проще и комфортней за счет подчинения всех бытовых приборов и систем единому центру управления. Включение в такую систему следящих камер позволяет потенциально реализовать управление с помощью жестов и мимики. Подобные технологии уже сегодня реализуются для бесконтактной игры на музыкальных инструментах и в других областях.

Анализ мимики и телодвижений для исследования поведения
человека в общественных местах и определения его эмоционального состояния.

Анализ выражения лица человека может быть полезен при проведении маркетинговых исследований. Например, применение данной системы в магазинах даст возможность фиксировать эмоциональное состояние покупателей при взгляде на витрину, и, тем самым, позволит подобрать оптимальное расположение товара. Эту же функциональность можно применять для оценки удобства интерфейса компьютерных программ.

Исследователи языка жестов и телодвижений выявили, что у людей, которых просили говорить неправду, возникали видимые изменения языка жестов. В обычном разговоре люди пользуются руками, чтобы подчеркнуть или пояснить значение своих слов. Но когда человек говорит неправду, скорее всего, он будете пользоваться руками меньше. Однако держать руки в полной неподвижности почти невозможно. Поэтому, говоря неправду и желая избежать при этом нормальной жестикуляции, человек начинает незаметно для себя производить различные действия, позволяющие уличить его во лжи. Кроме того, внутреннее состояние человека хорошо отражается в его мимике. По утверждению психологов, лжеца, как бы он не старался скрыть свою ложь, всегда можно распознать по несогласованности между микросигналами подсознания в мимике, жестах и тем, что он говорит. Такими образом, разрабатываемый жестомимический интерфейс может быть полезен при создании такого устройства как полиграф (детектор лжи).

Система автоматизированного сурдоперевода

Количество людей, использующих в качестве средства коммуникации жестовую речь, достаточно велико и достигает, по некоторым оценкам, от 1% до 1.5%. Таким образом, для России речь идет о более чем миллиона людей. В то же время, количество школ для глухих и слабослышащих не превышает 60. Это означает, что значительная часть людей, нуждающихся в специализированных образовательных программах, выведены из сферы образования и не могут выполнять квалифицированную работу, т.е. обречены на обеспечение своей жизни за счет социальных пособий. Поэтому семьи глухих заинтересованы в пособиях, облегчающих общение. Например, решение задачи создания мультимедийного словаря жестового языка (без функций распознавания) только для продажи среди глухих России оценивается не менее чем в 0,5 млн. руб.

Ресурсы, необходимые для формирования информационного общества равных возможностей, должны рассматриваться не как затраты, а как инвестиции, которые принесут ощутимый социально-экономический результат. На смену затратной модели социальной поддержки инвалидов, основанной на компенсации недостатков человека, должна прийти модель инвестиций в человека, обеспечивающая сохранение его индивидуальности и полезность для общества.

Таким образом, данный проект можно будет расширить до уровня системы автоматизированного сурдоперевода, способной генерировать связный текст на русском языке на основе ключевых слов и выражений. Благодаря наличию существенного вклада в социальную сферу, можно будет рассчитывать на дополнительное финансирование со стороны государства.

Экспертная онлайн система автоматизированного анализа мимики и жестов

Веб-сервис системы экспертного анализа мимики и жестов может быть создан на базе заранее обученного и постоянно совершенствующегося жестомимического классификатора. Фото или видеоданные, загружаемые пользователями для получения автоматизированной экспертной оценки, будут служить дополнительным тестовым материалом.

Система обучения человекоподобных роботов

В настоящее время динамично развивается область робототехники, направленная на создание человекоподобных роботов – андроидов. Сейчас множество таких роботов представляют собой специализированные устройства, запрограммированные на одну операцию. Управление конечностями, торсом и выражением лица осуществляется с помощью пневматики. При этом все движения предварительно программируются.
Другой подход основан на принципе обучения – робот подобно ребенку наблюдает за мимикой и движениями человека и синтезирует в своей памяти модель, которая используется для воспроизведения собственных движений и выражения эмоций.

Таким образом, системы распознавания мимики и жестов сыграют ключевую роль в данном направлении, что позволит добиться более естественных движений и реалистичного поведения роботов в различных ситуациях.