Жестомимический интерфейс взаимодействия с компьютером

CLAIM – научно-образовательный кластер

Жестомимический интерфейс взаимодействия с компьютером
Имеющийся задел

Участники проекта представляют ведущую научно-техническую школу МГТУ им. Н.Э.Баумана, которая в течение последних 15 лет активно работает по тематике разработки жестомимического интерфейса. Руководители школы (научно-образовательного кластера CLAIM) в рамках учебного процесса и НИОКР на кафедре Систем обработки информации и управления проводят исследования и ведут экспериментальные разработки в области жестомимики. Проводимые исследования направлены на разработку методов и алгоритмов создания лексикографических компонент (словарей и тезаурусов) мультимедийных жестомимических интерфейсов информационных систем, 3D-моделирование жестов и их распознавание. Практическими приложениями разрабатываемых методов могут быть обучающие системы, информационно-справочные и поисковые машины, системы автоматического перевода, системы общения, знаньевые и интерфейсные компоненты антропоморфных роботов.

Ранее выполненные исследования и разработки:

«Программный комплекс создания и ведения словаря жестов» (Данилович,1999);
«Синтез анимированных жестов» (Гинзбург, 1999);
«Артикуляционные образы. Словарь по информационным технологиям» (Романчикова, 2001-2003);
«Мультимедийный тезаурус жестомимических образов терминов информатики» (Александрова, 2006-н.в.);
«Информационная технология создания систем аудиовизуального распознавания речи» (Воронкова, 2008);
"Лингвистический процессор автоматизированного перевода жестового языка" (Лукина, 2008);
"Электронный словарь артикуляционных образов терминов в области информационных технологий"(Ефимова, 2008);
«Электронная библиотека специальной научно-методической литературы по сурдопереводу и обучению плохослышащих» (Малышева, Снопова, Павлова, 2002-2007);
«Системы поддержки и проведения жестомимических ассоциативных экспериментов» (Золотарева, Кузнецова, Карабак, 2009-2010) и др.

За последние два года выполнены следующие ключевые разработки:

Проведены исследования по подбору параметров настройки и обучения классификатора мимики, Разработаны опытно-экспериментальные макетные версии программных средств жестомимического интерфейса (см. разработки Семеновой Я.С.).
Создана БД жестов в области IT, которая частично представлена на специализированном ресурсе Сурдосервер.
Разработаны опытно-экспериментальные макетные версии программных средств жестомимического интерфейса.