Жестомимический интерфейс взаимодействия с компьютером

CLAIM – научно-образовательный кластер

Жестомимический интерфейс взаимодействия с компьютером
Современное состояние исследований и разработок

В области использования технологии распознавания жестов в качестве альтернативных интерфейсов взаимодействия человек-компьютер можно выделить следующие разработки:

Технология CamSpace (http://www.camspace.com) – опирается в своей работе на маркеры, перемещаемые в поле зрения веб-камеры. В качестве такого маркера в CamSpace может быть использован любой яркий предмет – будь то цветная картонка, или цветной скотч на пальце. Система CamSpace может использоваться для управления любым приложением или игрушкой на компьютере. Суть технологии заключается в трассировке яркого предмета в поле зрения камеры и передачу всех движений на курсор мыши.

Технологии Softkinetic's iisu (http://www.softkinetic.net/ Public/index.php?language=eng), Microsoft Kinect (ранее Project Natal – http://www.microsoft-kinect.ru), Trendy VisionPlay (http://www.trendyent.com/projects/visionplay). Данные интерфейсы пока еще существуют только в виде прототипов. Все эти технологии очень похожи между собой. Основное назначение – индустрия игр. Данные интерфейсы передают распознаваемые жесты в виртуальное пространство, где их повторяет игровой персонаж. Выход практической реализации технологии Microsoft Kinect запланирован на четвертый квартал 2010 г. Причем данная разработка целиком ориентирована на сферу компьютерных игр и предназначена для использования только в игровой консоли Xbox 360.

В области автоматизированного перевода жестового языка большинство разработок направлены на решение обратной задачи, т. е. на осуществление перевода текста в жестовую речь языка глухих.

Примером может служить проект «Фонд жестового языка», который предполагает создание банка данных жестового языка, включающего записи изображений и толкования значений жестов, а также их визуализацию с помощью виртуального демонстратора (http://deria.ru/our_sci_invent_GLF.php).

Аналогичная по цели разработка американской компании Vcom3D (http://www.Vcom3D.com) обладает обширным словарем жестов американского жестового языка (ASL), предоставляет пользователю 12 различных обликов (skin) виртуальных персонажей, позволяет записывать новые жесты, но не поддерживает языки, отличные от английского.

В области распознавания жестов, известны работы, ведущиеся во Франции по проекту Artemis и в Греции (Pashaloudi V.N., Margaritis K.G. A perfomance study of a recognition system for Greek sign language alphabet letters. — Proceedings of the Ninth International Conference «Speech and Computer» SPECOM'2004, Saint-Petersburg, Russia, 20 – 22 September 2004, pp. 545-551). Следует отметить, что в обеих указанных разработках ставится задача распознавания дактильных знаков, а не собственно жестов, передающих понятия.

В университете Джорджа Вашингтона был создан электронный переводчик для языка жестов, который используют глухонемые. Устройство получило название AcceleGlove и представляет собой «электронную перчатку». Сенсоры фиксируют движения рук и пальцев, отправляют их на микрокомпьютер, который переводит жесты в слова или буквы. Перевод может быть отображен на небольшом экране, который можно прикрепить на груди, и\или передан в звуковой форме – с помощью динамика. Следует обратить внимание, что использование специальных технических устройств, таких как «электронная перчатка» серьезно влияет на стоимость конечного продукта, которая на сегодняшний день составляет $1080.
В области использования технологии распознавания мимики существуют как научно-исследовательские, так и коммерческие проекты:

Система Emotional Social Intelligence разработана для взаимодействия с аутичными людьми [http://affect.media.mit.edu/projectpages/esp/]. Экспериментальная система примитивов [http://mplab.ucsd.edu] разрабатывается в рамках научно-исследовательского проекта. Система Face Reader [www.vicarvision.nl] используется в научно-исследовательских институтах и университетах.

Программный комплекс "Ident Smart Studio" [http://iss.norcity.ru/] представляет собой экспертную систему, работающую в следующих режимах: режим предметно-независимого анализа образов комплексных экосистем и режим по анализу биологических объектов в рамках экосистемы, позволяющий исследователям анализировать объекты с существенно большей скоростью и точностью, чем при ручном анализе.

Система компании AgiSoft [www.agisoft.ru/ru/projects/emotions.html] разработано с учетом определение реакции человека на рекламу (определение эмоций). SeeStorm - разработчик и поставщик инновационных программных продуктов, основанных на технологии распознавания мимики, для создания мобильных и интернет-сервисов с говорящими аватарами [http://www.seestorm.ru/cv/, www.seestorm.com/technologies/cv/].

Программа Auto Smiley от Theo Watson [http://theowatson.com] работает в паре с веб-камерой, направленной на лицо пользователя. Когда камера фиксирует улыбку (в планах создателя распознавание различных вариаций мимики), она автоматически подбирает соответствующий смайлик и вставляет его в текст.

У крупнейшей компании-производителя Logitech в нескольких продуктах есть сервис распознавания мимики. Разработчики системы Emotion Analyzer компании MultimediaN заявляют, что их продукт, кроме собственно распознавания мимики, способен определять засвечивание, затенение, случайные движения, изменение масштаба лица.

Все эти программы используют ограниченный набор (до семи наименований) заранее заданных мимических картин.